diff --git a/composte-hermes.yml b/composte-hermes.yml index 2b1d39f..434c4a3 100644 --- a/composte-hermes.yml +++ b/composte-hermes.yml @@ -45,6 +45,13 @@ services: # Qualitätsverlust – gerade bei 32k Context relevant - --kv-cache-dtype=fp8 - --served-model-name=qwen3-14b-awq + # Fehlten bisher: ohne diese beiden Flags lehnt vLLM jeden Request + # mit tool_choice="auto" ab ("auto tool choice requires ...") + - --enable-auto-tool-choice + - --tool-call-parser=hermes + # Trennt -Reasoning-Content vom eigentlichen Tool-Call-Parsing, + # sonst kann der hermes-Parser bei aktiviertem Denk-Modus stolpern + - --reasoning-parser=deepseek_r1 healthcheck: test: ["CMD", "curl", "-f", "http://localhost:8000/health"] interval: 30s