composte-hermes.yml aktualisiert

composte-hermes.yml

@@ -5,7 +5,6 @@
 # Hermes spricht vLLM intern über http://vllm:8000/v1 an – kein extra
 # Netzwerk-Routing nötig, alles lokal auf Cortex.
 #
-
 services:
   vllm:
     image: vllm/vllm-openai:latest
@@ -18,6 +17,8 @@ services:
     environment:
       - NVIDIA_VISIBLE_DEVICES=0,1
       - HUGGING_FACE_HUB_TOKEN=${HF_TOKEN:-}
+      # Reduziert Fragmentierung im CUDA-Allocator – hilft bei knappem VRAM
+      - PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
     volumes:
       - ${HOME:-/root}/.cache/huggingface:/root/.cache/huggingface
     deploy:
@@ -31,19 +32,34 @@ services:
       - --model=Qwen/Qwen3-14B-AWQ
       - --quantization=awq
       - --tensor-parallel-size=2
-      - --gpu-memory-utilization=0.90
+      # Von 0.90 auf 0.82 gesenkt: lässt Platz für CUDA-Graph-Pools
+      # und NCCL all_reduce Buffer, die zusätzlich zum KV-Cache-Pool anfallen
+      - --gpu-memory-utilization=0.82
+      # 32768 ist die native Context-Länge von Qwen3-14B – YaRN entfernt,
+      # da hier gar keine Erweiterung über die native Länge hinaus stattfindet
       - --max-model-len=32768
-      - --hf-overrides={"rope_scaling":{"rope_type":"yarn","factor":2.0,"original_max_position_embeddings":32768}}
+      # Begrenzt parallele Sequenzen -> kleinerer KV-Cache-Bedarf,
+      # wichtig bei nur 12GB pro GPU. Bei Bedarf hochsetzen, wenn stabil.
+      - --max-num-seqs=16
+      # FP8 KV-Cache spart ca. 50% Speicher gegenüber FP16 bei minimalem
+      # Qualitätsverlust – gerade bei 32k Context relevant
+      - --kv-cache-dtype=fp8
       - --served-model-name=qwen3-14b-awq
+    healthcheck:
+      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
+      interval: 30s
+      timeout: 10s
+      retries: 5
+      start_period: 180s
     networks:
       - cortex-net
-
   hermes-gateway:
     image: nousresearch/hermes-agent:latest
     container_name: cortex-hermes-gateway
     restart: unless-stopped
     depends_on:
-      - vllm
+      vllm:
+        condition: service_healthy
     command: ["gateway", "run"]
     shm_size: 1g
     ports:
@@ -61,7 +77,6 @@ services:
       # - API_SERVER_KEY=${API_SERVER_KEY}
     networks:
       - cortex-net
-
   hermes-dashboard:
     image: nousresearch/hermes-agent:latest
     container_name: cortex-hermes-dashboard
@@ -79,7 +94,6 @@ services:
       - GATEWAY_HEALTH_URL=http://cortex-hermes-gateway:8642
     networks:
       - cortex-net
-
 networks:
   cortex-net:
     driver: bridge