AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA

Die Instinct-Linie von AMD hat eine Marketing-Botschaft, jede Generation dieselbe: mehr HBM-Kapazität und mehr Bandbreite pro GPU als NVIDIA. Diese Behauptung ist wahr — im Folgenden ist jede Zahl aus AMDs eigenen Datasheets belegt. Und trotzdem laufen die meisten Tokens im produktiven Serving auf CUDA-Hardware. Dies ist die mathematik-first-Erklärung beider Fakten: wo das Silizium auf dem Papier gewinnt, wo es im Betrieb verliert, und warum jede Niederlage eine benannte, belegte Ursache hat.

Die Silizium-Linie-up: Datasheet-Zahlen, keine Folien

Drei Einschränkungen. Erstens: Die MI355X-Datasheet-Zahlen sind dicht (ohne Sparsity); mit Sparsity verdoppeln sie sich (FP16 5.033,2, OCP-FP8 10.066,4 TFLOPS). Zweitens gilt für NVIDIA dieselbe Konvention — die 2.250 TFLOPS dichtes BF16 des B200 sind der ehrliche Vergleichswert. Drittens sind MI400-Zahlen Herstellerangaben und intern inkonsistent: Die MI455X-Produktseite nennt 23,3 TB/s, das Helios-Broschüren-PDF 19,6 TB/s pro GPU⁴.

Die berechneten Verhältnisse

MI355X vs H200: 2,04x der Speicher, 1,67x der Bandbreite, 2,54x des FP8-Peaks (beide dicht). Gegen den B200 — den tatsächlichen generationellen Gegner — hat der MI355X 1,60x die Kapazität, aber nur 1,01x die Bandbreite. AMDs Vorsprung gilt gegen die Hopper-Klasse, nicht gegen Blackwell.

Für den angekündigten MI455X: 3,06x H200-Kapazität und 4,08x dessen Bandbreite (2,45x beim B200) — der größte Papier-Vorsprung, den AMD je beansprucht hat, und die erste Instinct-Generation, in der das Bandbreitenverhältnis das Kapazitätsverhältnis übersteigt. Unten auf den Zahn geprüft.

Warum roher Speicher keine Inferenz gewinnt

Grund 1: Die Quantisierungs-Unterstützung ist nicht symmetrisch

Speicherkapazität zählt nur, wenn man sie mit einem Modell füllen kann, und Produktivmodelle sind quantisiert. vLLMs Hardware-Kompatibilitätstabelle ist unmissverständlich: Auf AMD-GPUs sind AWQ, GPTQ, die schnellen Marlin-Kernel (GPTQ/AWQ/FP8/FP4) und bitsandbytes nicht unterstützt; FP8 W8A8 und GGUF sind die unterstützten Wege⁷. Auf NVIDIA ist all das abgehakt, mit handoptimierten Kerneln pro Format.

SGLangs Plattform-Tabelle erzählt dasselbe: FP8 (w8a8) läuft auf MI300X/MI325X/MI350 über Aiter/Triton, AWQ nur über einen Triton-Dequantisierungs-Pfad statt des JIT-kompilierten CUDA-Kernels, GPTQ wurde zugunsten des NVIDIA-exklusiven gptq_marlin entfernt (docs.sglang.io, Stand September 2026), und der AMD-exklusive Pfad quark_int4fp8_moe (online INT4-zu-FP8-MoE) existiert gerade deshalb, weil der ausgereifte INT4-Stack auf CDNA fehlt⁸.

Die arithmetische Konsequenz: Der kleinste gut unterstützte Footprint auf einem MI300X ist FP8 (1 Byte pro Gewicht); auf H100/H200 läuft W4A16 mit Marlin-Kerneln, auf dem B200 sind MXFP4/NVFP4 erste Klasse. Ein 70B-Modell belegt rund 70 GB bei FP8 gegenüber rund 40 GB bei 4 Bit — der NVIDIA-Betreiber bekommt mehr Sequenzen, mehr KV-Cache oder eine kleinere GPU-Rechnung. Der 2,4x-Speichervorsprung schrumpft auf etwa 1,4x, sobald nur die NVIDIA-Seite härter quantisieren kann — das Verhältnis der Modell-Kopien pro GPU: (192 GB ÷ 70 GB) ÷ (80 GB ÷ 40 GB) = 2,74 ÷ 2,00 = 1,37 ⁷⁸.

70B-Modell-Footprint, nur Gewichte:
FP8-Gewichte            ~70 GB   (vLLM-unterstützt auf AMD und NVIDIA)
4-Bit (AWQ/GPTQ-INT4)   ~40 GB   (ausgereifte Marlin-Kernel: nur NVIDIA)
 
Llama-70B-GQA-KV-Cache: ~0,33 MB/Token (BF16) -> ein einziger
128k-Token-Kontext addiert ~43 GB KV zusätzlich zu den Gewichten.

Grund 2: Compute-vs-Speicher-Balance (die Roofline)

Decodieren ist speichergebunden: Die Decke pro Sequenz ist Bandbreite geteilt durch Modell-Bytes. Für ein 70B-BF16-Modell (140 GB) sind das etwa 24 Tokens/s auf einem H100 gegenüber 38 auf einem MI300X — ein 1,58x-Vorsprung, exakt dem Bandbreitenverhältnis folgend. Batch-1-speichergebundenes Decodieren ist das eine Regime, in dem sich der Datasheet-Vorteil eins-zu-eins in Durchsatz umsetzt.

Aber Prefill und Large-Batch-Decode sind computebunden, und dort kippt AMDs Balance nach hinten: Die Arithmetic-Intensity-Schwelle (FP8-TFLOPS pro TB/s) liegt bei etwa 493 für den MI300X gegenüber 591 für den H100 (629 für den MI355X, über 1.000 für den MI455X behauptet). Der MI300X kippt Richtung Speicher (FP16-Peak 1,32x des H100 gegen 2,40x Kapazität), sodass der Vorteil genau da verdampft, wo interaktives Serving die Hälfte der Zeit verbringt: der Prompt-Verarbeitung. Deshalb wog der 2x-FP16/FP8-Peak des MI355X mehr als seine +50 % Speicher.

Auf Rack-Ebene hat ein 8xMI300X-Knoten 42,4 TB/s aggregiert; ein geshardetes 671B-FP8-Modell der DeepSeek-Klasse hat damit eine Decode-Decke von rund 63 Tokens/s gegenüber 40 auf 8xH100 und 57 auf 8xH200 — der Kapazitätsvorteil erlaubt Sharding auf weniger GPUs mit KV-Spielraum; das ist die ehrliche Version von AMDs Sieg.

Grund 3: Die Scale-up-Domäne hat 8 GPUs, nicht 72

Die MI300X/MI355X-Plattform verbindet 8 GPUs über je sieben Infinity-Fabric-Links (128 GB/s pro Link beim MI300X, ~153,6 GB/s beim MI355X)¹³. NVLink 4 gibt jedem H100 900 GB/s bidirektional, NVLink 5 jedem B200 1,8 TB/s — und, entscheidend, jedes GPU-Paar in einem 72-GPU-NVL72-Rack spricht über die Switch-Fabric mit NVLink-Tempo⁹.

Diese Domänengröße ist eine Serving-Einschränkung, keine Fußnote: TP-Effizienz verschlechtert sich jenseits von Fabric-Grenzen. TP8 passt bei beiden Herstellern in eine 8-GPU-Domäne, TP16 (oder latenzkritische Expert-Parallelität) überspannt Domänen — beim MI300X/MI355X bei 8, mit Scale-out über Ethernet/InfiniBand bei weit geringerer Bandbreite pro Paar, beim NVL72 erst bei 72. MLPerf spiegelt es: AMDs stärkste Ergebnisse sind 8-GPU-Knoten, NVIDIA reicht 72-GPU-NVL72-Systeme ein, die Billionenparameter-Klasse In-Domäne fahren¹⁰. Für Frontier-Serving ist die effektive TP-Domäne das Produkt — „8“ war die Zahl, die AMD gegen „72“ schiffte, bis Helios kam.

Software-Stack-Realität vs Benchmark-Bilanz

ROCms Kadenz hat sich dramatisch verbessert — Day-0-Modell-Support ist inzwischen AMDs erklärtes Ziel³ —, aber Kadenz war nie der Engpass; Kernel-Reife ist es. Die vLLM-/SGLang-Tabellen oben sind der Boden der Wahrheit: Die schnellen Kernel, die NVIDIAs kleinere Speicher brauchbar machen, existieren auf CDNA nicht; AMD kompensiert mit eigenen Pfaden (Quark, Aiter, quark_int4fp8_moe)⁷⁸.

Die Benchmark-Bilanz zeigt ein echtes, aber schmales Schließen der Lücke. AMDs erste MLPerf-Training-Einreichung: v5.0 (Juni 2025), MI350-Ergebnisse in v5.1 (November 2025)¹¹ — Jahre nach NVIDIA. Inference v5.1 (September 2025): AMD reichte MI355X-Systeme mit starken Llama-2-70B-Server-Zahlen ein, neben NVIDIAs Rekorden¹⁰. Drittanbieter-Benchmarks (SemiAnalysis/InferenceX, MangoBoost LLMBoost) zeigen den MI300X vorne beim speichergebundenen Batch-Serving und hinten bei Prefill-lastigen, latenzkritischen Workloads — Drittanbieter-Messungen, keine Herstellerangaben. Eine unabhängige arXiv-Evaluierung fand starke speichergebundene Leistung mit Software-Unreife als wiederkehrendem Kostenpunkt¹².

Das Muster: Braucht AMDs Sieg nur das Speichersystem, gewinnt es. Braucht er Kernel-Tiefe, Quantisierungs-Breite oder eine große TP-Domäne, gewinnt NVIDIA. Die Benchmarks sind nicht voreingenommen; sie messen die Software.

MI400/Helios: Überleben die Versprechen die Physik?

Stand September 2026 ist die MI400-Serie angekündigt, aber nicht allgemein verfügbar: MI455X und Helios gelauncht am 2026-07-23, OpenAI erwartet Racks online ab Q4 2026⁵. Alles Folgende ist Herstellerangabe.

Die behaupteten Specs: 432 GB HBM4, 19,6 TB/s pro GPU (23,3 TB/s laut Produktseite), 40,3 PFLOPS MXFP4 / 20,1 PFLOPS FP8, 72 GPUs pro Rack via UALoE mit 3,6 TB/s pro GPU, 31 TB HBM4 pro Rack⁴⁵. Nachgerechnet: 19,6 TB/s sind 4,08x die H200-Bandbreite und 2,45x die des B200 — und anders als MI355X vs B200 (1,0x-Gleichstand) übersteigt das Bandbreitenverhältnis erstmals das Kapazitätsverhältnis. Die erste AMD-Generation also, deren Papier-Roofline in beiden Regimen steht: Decode (4,08x Bandbreite) wie Prefill (behauptete FP8-Schwelle ~1.026 Ops/Byte), und die 72-GPU-UALoE-Domäne beantwortet NVL72s Topologie direkt.

Lob, wo die Mathematik aufgeht: Helios' 72-GPU-Fabric adressiert das Domänengrößen-Problem frontal, und HBM4s Bandbreite pro GB schlägt echt alles, was der B200 mitbringt. Skepsis: (a) Der Wettbewerber des MI455X ist Rubin mit NVLink 6, nicht der B200 — dafür gibt es noch keine neutralen Zahlen; (b) die 23,3-vs-19,6-TB/s-Diskrepanz zwischen AMDs eigenen Seiten zeigt: Die Rundung hat begonnen; (c) die Quantisierungs-Lücke schließt sich mit Kernel-Engineering, nicht mit neuem Speicher; (d) „30 % mehr Tokens pro Dollar“⁵ ist eine Pro-Dollar-Zahl gegen eine ungenannte Baseline. Urteil: Die Helios-Silizium-Mathematik hält der Prüfung stand; Lieferplan, Kernel-Tiefe und Rubins Antwort existieren noch nicht — eine untestbare Behauptung ist noch kein Fakt.

Entscheidungstabelle: Wann AMD wirklich gewinnt

Rechnet man die Fits (Gewichte + 15 % Overhead, vor KV-Cache) durch, fällt der Gewinner mechanisch heraus:

Die „Mehr VRAM = besser"-Falle, als ein durchgerechnetes Beispiel

Hier die Komprimierung aller obigen Fehlermodi in einem Szenario. Man serve ein 405B-Klasse-Modell in FP8 (405 GB Gewichte) interaktiv:

• Auf 8xH100: 640 GB minus 405 GB Gewichte lassen 235 GB über acht GPUs — ~29 GB/GPU KV-Spielraum. Passt, knapp, via TP8 in einer NVLink-Domäne.
• Auf 8xMI300X: 1.536 GB minus 405 GB lassen 1.131 GB — 141 GB/GPU KV-Spielraum, 4,8x mehr. Der 2,4x-Speichervorteil ist real.

Und trotzdem gewinnt das NVIDIA-System typischerweise: (a) Die Prefill-Hälfte jeder Anfrage ist computebunden, wo B200-FP8 (~4.500 TFLOPS) etwa das 1,7-fache des MI300X (2.614,9) liefert; (b) bei 4 Bit mit Marlin-Kerneln holt die NVIDIA-Seite den Großteil des Kapazitätsabstands zurück⁷; (c) jenseits von TP8 zählt auf beiden Systemen der Knotenübergang, aber NVL72 hält vier weitere TP8-Domänen mit NVLink-Tempo koherent⁹. Der 2,4x-Speichervorteil ist eine Eigenschaft des Speichersubsystems; der ausgelieferte Durchsatz eine Eigenschaft des ganzen Stacks. Das Marketing zeigt das Erste und lässt dich das Zweite annehmen — die Verhältnisse oben sind das Gegenmittel.

Das alles macht Instinct zu keinem schlechten Produkt. Es macht ihn zum Spezialisten: die einzige lieferbare Hardware, die ein 100–670B-Modell mit KV-Cache-Spielraum auf ein Board legt, und ab dem MI455X möglicherweise die erste glaubwürdige Rack-Scale-Antwort, die NVIDIA bekommen hat. Kaufe ihn für die speicherresidenten Workloads, die die Tabelle oben als AMD-Siege markiert; kalkuliere die Software-Realitäten aus Grund 1–3 für alles andere ein.

Artikel erstmals veröffentlicht: 24. September 2026 Autor: flozi00

Weiterlesen

• NVIDIA NVLink Deep Dive — das Fabric auf der anderen Seite
• Der KV-Cache: Bit-exakte Speicher-Mathematik — jede Kapazitätsangabe hier, abgeleitet