Kurzer Hinweis: flozi00 TechHub ist ein Solo-Nebenprojekt neben einem Vollzeitjob — persönliche Lernnotizen, keine offiziellen Aussagen. Kritische Schritte selbst prüfen.
Sehen Sie, wie der KV-Cache eines Agenten den freien HBM eines Knotens füllt, während der Kontext wächst — über GQA-, MLA- und hybride Aufmerksamkeitsmodelle hinweg, mit live Füllbalken pro Modell.
GQA speichert volle K/V seiner KV-Gruppen; MLA speichert eine latente Darstellung und Positionszustand. Ein hybrides Modell kann KV nur in Attention-Schichten wachsen lassen und anderswo separaten rekurrenten Zustand halten.
Eine GPU-Gruppe hat eine feste Menge Gerätespeicher. Gewichte belegen einen Teil davon; ein Teil des Rests kann KV-Caches für gleichzeitige Anfragen aufnehmen. Die KV-Größe hängt von Attention-Architektur, Zahl der Cache-Ebenen, Sequenzlänge und Cache-Datentyp ab.
Wählen Sie GPU, Gruppengröße und Gewichtspräzision und vergleichen Sie mit dem Kontextregler GQA, MLA und hybride Attention. Jede Zeile nimmt ein Modell pro GPU-Gruppe mit verteilten Gewichten und zusammengefasstem Speicher an. Für die Verteilung über Geräte braucht es eine passende Runtime und Topologie; ein aggregiertes Speicher-Fit garantiert keine Platzierung pro Gerät.
Die Kurven sind vereinfachte Kapazitätsschätzungen mit denselben Modell- und GPU-Voreinstellungen und derselben kvPerToken()-Formel wie im Inferenzrechner. Der freie Speicher kann zwischen den Tools abweichen, weil der Inferenzrechner auch Aktivierungen reserviert und eine andere Platzierung annimmt.
Interaktiver Rechner
KV-Cache-Speicherwachstums-Explorer
Sehen Sie, wie der KV-Cache eines Agenten den freien HBM-Speicher des Knotens füllt, während sein Kontext wächst — über Attention-Familien hinweg (GQA, MLA, hybride lineare Aufmerksamkeit). Dieselben Modell- und GPU-Daten wie im Inferenzrechner, damit jede Zahl konsistent bleibt.
KV bei diesem Kontext: 3.00 GiBGleichzeitige Agenten bei diesem Kontext: 641Max. Kontext für 1 Agenten: 262.144 tokens
Llama 3.3-70B (dense)Dense GQA
320.0 KiB/token
KV bei diesem Kontext: 40.00 GiBGleichzeitige Agenten bei diesem Kontext: 48Max. Kontext für 1 Agenten: 131.072 tokens
Qwen3-32B (dense)Dense GQA
256.0 KiB/token
KV bei diesem Kontext: 32.00 GiB(überschreitet den Maximalkontext des Modells)Gleichzeitige Agenten bei diesem Kontext: 0Max. Kontext für 1 Agenten: 40.960 tokens
Modelle
Qwen dense
Qwen MoE
Qwen3.8 / Qwen4-exp
Llama / open
DeepSeek
GLM / Z.ai (Zhipu)
Qwen3.5 / 3.6
NVIDIA
KV-Bytes pro Token = 2 · KV-Köpfe · Kopf-Dimension · Präzision · KV-Ebenen (GQA) bzw. (Latent- + RoPE-Dimension) · Präzision · KV-Ebenen (MLA); Hybridmodelle zählen nur Full-Attention-Ebenen. MTP-Draft-Ebenen und Aktivierungsspeicher sind ausgenommen. Formel folgt kvPerToken() des Inferenzrechners.
Drei architektonische Entscheidungen bestimmen die Steigung jeder Kurve:
GQA speichert die vollen K und V für seine KV-Gruppen. Llama-3.3-70B hält 8 KV-Köpfe × 128 Kopf-Dim über 80 Ebenen — 320 KiB pro Token in BF16.
MLA speichert ein komprimiertes Latent. In der GLM-5.2-Voreinstellung ergeben kv_lora_rank 512 + 64 RoPE-Dimensionen etwa 88 KiB/Token in BF16. Eine hypothetische ungruppierte Basis mit 64 KV-Köpfen und gleicher Kopf-Dimension bräuchte etwa 3,7 MiB/Token, also rund 43-mal mehr. Das ist keine tatsächliche GQA-Variante von GLM-5.2.
Hybride lineare Attention (Qwen3-Next) hält Attention-KV in jeder vierten Ebene (2 KV-Köpfe × 256 Kopf-Dimensionen): etwa 24 KiB/Token in BF16. Der Rechner lässt die Zustände fester Größe der anderen 36 Ebenen aus.
Im Standardszenario mit 8×B300, der GLM-5.2-Voreinstellung und angenommenen FP8-Gewichten belegt eine Anfrage mit 128 Ki-Tokens etwa 11 GiB BF16-KV; in den aggregierten Pool passen rechnerisch 116 solcher Anfragen. Bei 1 Mi Tokens sind es etwa 88 GiB und rechnerisch 14 Anfragen. Das sind arithmetische Obergrenzen, keine Prognosen für erreichbare Parallelität oder Durchsatz.
Die Schätzung lässt Prefill-Aktivierungsspitzen, Präfixteilung, KV für spekulatives Decoding, rekurrente Zustände, Attention-Index-Puffer, Offloading, Fragmentierung und die Platzierung pro Gerät aus. Einige davon senken den Speicherbedarf, andere erhöhen ihn. Das Ergebnis ist eine aggregierte arithmetische Grenze.
