NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen

NVIDIA meldete am 24. August 2026, dass Groq 3 LPX in voller Produktion sei.¹ Das System kombiniert LPUs mit On-Chip-SRAM und Rubin-GPUs in verschiedenen Serving-Konfigurationen.

Die Architektur soll latenzkritische Arbeitsdaten im SRAM halten. Dense Decode bei kleinen Batches kann durch wiederholte Gewichtslesevorgänge begrenzt werden; bei anderen Workloads können Attention, Kommunikation oder Rechenleistung dominieren. Dieser Guide trennt Peak-Spezifikationen, überschlägige Kapazitätsrechnungen und den gemeldeten Benchmark.

Das LPU-Design stammt aus Groqs Technologie. Der im Dezember 2025 gemeldete Lizenz- und Personaldeal wird in der Presse auf rund 20 Mrd. US-Dollar beziffert; die genaue technische und kommerzielle Wirkung lässt sich daraus nicht ableiten.²³

Das Rack, in Zahlen

Jeder LP30-Chip trägt rund 500 MB On-Die-SRAM und kein HBM. Ein volles LPX-Rack fasst 256 davon in 32 flüssigkeitsgekühlten 1U-Trays nach MGX-Architektur, Vera-Rubin-kompatibel, mit einem Fabric über 1.000 LPUs hinaus:⁴⁵

Die Architektur ist Groqs, nicht NVIDIAs: deterministische, compiler-schedulierte Ausführung, keine Caches, keine Sprungvorhersage, keine Out-of-Order-Maschinerie. Der Compiler plant die Pipeline mit Takt-Genauigkeit über feste 320-Byte-Vektoren — das Tensor-Streaming-Prozessor-Design aus der ISCA-Publikation „Think Fast" (2020), vorgestellt auf der Hot Chips unter gleichem Titel von Arsovski und Santosh Raghavan.⁴⁵

Der Determinismus hat einen Nebeneffekt, den niemand einpreist: Weil der Compiler den Stromverbrauch Zyklus für Zyklus vorhersagen kann, bestellt das Rack Strom bei den Reglern nach, bevor die Nachfrage da ist — Spannungseinbrüche sinken um mehr als 60 %, Überschwingen um mehr als 70 % gegenüber einer unkompensierten Last. Eine Workload ohne Jitter ist auch eine Stromversorgung ohne Jitter.⁴

Bandbreite pro FLOP: die Zahl, die kein GPU-Hersteller druckt

Dense Decode bei Batchgröße 1 hat geringe Gewichts-Wiederverwendung: Ein vereinfachtes Modell liest pro Token die Gewichte und führt ungefähr 2 × Parameterzahl FLOPs aus. Ein 31B-Modell investiert ~62 GFLOPs pro Token; die Frage ist, wie schnell man 31 GB bewegen muss, um sie zu verdienen.

Eine Vergleichsgröße ist die Peak-Bandbreite des lokalen Speichers pro ausgewiesenem FP8-FLOP. Sie ist kein gemessener Speedup:

Das Spezifikationsverhältnis liegt in diesem FP8-Vergleich beim LPU-Rack grob 97- bis 111-mal höher. Ein Vergleich mit Rubins NVFP4-Peak würde Rechenpräzisionen mischen. Weder das eine noch das andere Verhältnis sagt Token-Latenz oder Durchsatz direkt voraus, weil Kapazitäten, Partitionierung, Interconnect und Cache-Verhalten verschieden sind.⁵⁶

Pro Chip: Die 150 TB/s eines LP30 sind etwa das 6,8- bis 7,8-Fache der 19,2–22 TB/s, die NVIDIAs Rubin-Länderseiten nennen. Die ~8 TB/s HBM3E der Vorgängergeneration ergeben einen nominalen Faktor von rund 19 pro Chip. Bei einem dichten Modell mit kleinem Batch kann Gewichtsverkehr eine GPU begrenzen. Die LPU kann für SRAM-residente Gewichte wiederholte HBM-Lesungen vermeiden; die Systemleistung hängt zusätzlich von Kommunikation und Attention ab.⁵⁶

Die Kehrseite: Das einfache Verhältnis der Peak-Spezifikationen zeigt auch eine geringe Rechenleistung pro Bandbreite. Bei 315 FP8-PFLOPS über 38,4 PB/s braucht die Compute-Sättigung 8,2 FLOP pro geliefertem Byte — rund 4× Wiederverwendung jedes Gewicht-Bytes, wenn ein MAC 2 FLOPs liefert. Ein einzelner dichter Decode-Stream nutzt Gewichte nur begrenzt mehrfach. Der Wert von ~24 % ist eine idealisierte Roofline-Rechnung aus Peak-Bandbreite und FP8-Peak, keine gemessene Auslastungsgrenze für alle LPX-Workloads.

Die Kapazitätsklippe

SRAM-Kapazität ist pro Chip erbarmungslos kleiner: Ein LPU trägt 500 MB gegen 288 GB HBM4 je Rubin-GPU — ein Kapazitätsverhältnis von 576:1. Alle 256 LPUs eines Racks tragen zusammen 128 GB SRAM — weniger als die Hälfte des HBM einer Rubin-GPU. Der Vergleich beschreibt Kapazität, nicht Gesamtsystemleistung.⁴

Gemma 4 31B — das Modell, das NVIDIA benchmarken ließ — hat 30,7 Milliarden Parameter, ihre FP8-Gewichte sind also rund 31 GB, nicht die kursierenden „62 GB". Die 62 in der Tom's-Hardware-Berichterstattung sind LPUs, nicht Gigabyte: 31 GB ÷ 500 MB = etwa 62 LPUs, nominal ein Viertel des Racks; Laufzeitdaten, Aktivierungen und KV-Zustände benötigen zusätzlich Speicher.⁴⁷ Diese reine Gewichtsrechnung belegt weder die tatsächliche Platzierung noch die DDR5-Nutzung oder die Wahl des Benchmark-Modells.

Die KV-Platzierung hängt vom Betriebsmodus ab. Im von NVIDIA beschriebenen Attention-FFN-Split bearbeiten Rubin-GPUs Decode-Attention und den KV-Cache, während LPUs FFN und Experten ausführen.⁵ NVIDIA beschreibt SRAM für andere LPU-Pfade auch als Speicher für Gewichte, Aktivierungen und KV-Zustände. Aus den veröffentlichten Spezifikationen folgt keine vollständige Speicherbelegung des Benchmarks.

Die Kapazitätsfrage wird bei größeren Modellen sichtbarer. Ein 2-Billionen-Parameter-Modell hat im vereinfachten FP8-Fall ~2 TB Gewichte:

• Wenn alle FP8-Gewichte zugleich im On-Chip-SRAM lägen, ergäben 2 TB ÷ 500 MB rund 4.000 LPUs oder 16 Racks. Das ist ein Kapazitätsszenario, keine von NVIDIA offengelegte Platzierung; aktive MoE-Experten, andere Speichertiers, Quantisierung und Partitionierung ändern das Ergebnis.
• Tom's Hardware sagt dasselbe von der anderen Seite: Große MoE-Modelle landen „im vierstelligen Chipbereich über mehrere Racks".⁴
• Die gemeldeten 350 ns sind eine Chip-zu-Chip-Link-Angabe; tatsächliche Token-Latenz hängt von Platzierung und Ausführungsmodus ab.

NVIDIAs Zahlen für 2T-Parameter- und Langkontext-Szenarien sind Herstellerprojektionen für definierte Konfigurationen, kein gemessener 16-Rack-Betrieb.⁴⁵ Die 350-ns-Link-Angabe darf ohne Messungen nicht auf eine Ende-zu-Ende-Latenz über 16 Racks extrapoliert werden.

Die 3.431 Tok/s einordnen

In einem von NVIDIA veröffentlichten Vergleich maß Artificial Analysis auf einer von NVIDIA bereitgestellten LPX-Konfiguration 3.431 Output-Tokens pro Sekunde für Gemma 4 31B mit 100K-Token-Kontext. NVIDIA gibt für den nächstschnellen öffentlichen Endpunkt im Vergleich etwa 870 Tok/s an: knapp Faktor vier.⁴⁸ Die Hardware und Rechenpräzision dieses Vergleichsendpunkts werden im veröffentlichten Diagramm nicht genannt. Das Ergebnis beschreibt die Output-Geschwindigkeit eines einzelnen Requests, nicht den aggregierten Durchsatz unter Batching.

Eine reine Gewichts-Bandbreitenrechnung liefert eine nützliche ideale Obergrenze, aber keine Erklärung des Messergebnisses: 31 GB pro Token geteilt durch 38,4 PB/s ergäben etwa 1,2 Mio. Tok/s, wenn sämtliche nominelle SRAM-Bandbreite für diesen Gewichtsstrom verfügbar wäre. Ein einzelner LP30 mit 500 MB lokalem Gewichtsanteil und 150 TB/s läge entsprechend bei etwa 300.000 Tok/s. Die gemeldeten 3.431 Tok/s sind rund 0,3 % der Rack-Rechnung. Diese vereinfachte Roofline lässt Berechnung, Interconnect, Aktivierungen, KV und Attention aus.

Bei 3.431 Tok/s beträgt die mittlere Ausgabezeit pro Token etwa 291 µs. Der Benchmark zerlegt diese Zeit nicht in Chipkommunikation, Rechnen, Attention und Software. Auch die rund 870 Tok/s des Vergleichsendpunkts belegen keine HBM-Grenze: Eine hypothetische einzelne Rubin-GPU mit 31 GB FP8-Gewichten und 19,2–22 TB/s HBM hätte eine reine Gewichtsverkehrsgrenze von rund 619–710 Tok/s, aber der Endpunkt ist nicht als eine Rubin-GPU mit dieser Präzision ausgewiesen.⁴⁵

Der Vergleich stützt also eine ungefähr vierfach höhere beobachtete Output-Geschwindigkeit pro Request in der gezeigten Konfiguration. Er belegt nicht, welcher Anteil des Unterschieds auf SRAM-Bandbreite zurückgeht. NVIDIAs Bühnenzahl von 11.000 Tok/s für dasselbe Modell ist eine gesonderte Herstellermessung ohne hier veröffentlichte unabhängige Methodik.⁹

Drei Betriebsmodi

NVIDIA beschreibt LPX als Ergänzung zu Vera Rubin NVL72, mit Dynamo als Orchestrierung für heterogene Inferenz.⁵ Drei mögliche Aufteilungen:

1. Prefill/Decode-Disaggregation: Rubin-GPUs übernehmen Prefill und bauen KV-Zustand auf; LPUs erzeugen Output-Tokens. Die tatsächliche KV-Platzierung und Übertragung hängt vom Deployment ab.
2. Attention-FFN-Disaggregation: Rubin-GPUs bearbeiten Decode-Attention und halten deren KV-Zustand im HBM; LPUs übernehmen FFN und MoE-Experten. Zwischen beiden müssen pro Token Aktivierungen ausgetauscht werden.⁵ Ob dieser Austausch für ein konkretes Modell klein genug bleibt, zeigt der 3.431-tok/s-Benchmark nicht.
3. Externer Draft für Speculative Decoding: Ein Draft-Modell läuft auf LPUs, während GPUs Vorschläge verifizieren.⁵ Die Endgeschwindigkeit hängt von Akzeptanzrate, Modellgröße und Kommunikationskosten ab.

Die 35x-Aussage und ihre Vergleichsbasis

NVIDIA nennt für eine ausgewählte Billionen-Parameter-Konfiguration „bis zu 35x“ höheren Inferenzdurchsatz pro Megawatt und „bis zu 10x“ mehr Umsatzchance gegenüber GB200 NVL72.⁵ Das ist eine Herstellerprojektion mit definierter Vergleichsbasis, kein gemessener LPX-gegen-Rubin-Speedup und keine universelle Serving-Leistung. Umsatz pro Megawatt und Durchsatz pro Megawatt sind zudem verschiedene Kennzahlen; ihre Faktoren dürfen nicht miteinander verrechnet werden, als hätten sie denselben Nenner.

Das im Material verwendete Beispiel ist ein 2T-Parameter-MoE mit langem gecachtem Kontext und hohem Token-Ziel pro Nutzer. Weder eine unabhängige Reproduktion der 35x- und 10x-Zahlen noch ein Kostenvergleich für beliebige Modelle ist in den Quellen enthalten.⁵¹⁰ Die Peak-Bandbreite-pro-FLOP-Tabelle oben erklärt die Hardwareauslegung, nicht den realisierten Geschäftswert.

Fazit und offene Messfragen

Für niedrige Latenz pro Nutzer ist LPX eine plausible spezialisierte Ergänzung zu Rubin. Die gemeldeten 3.431 Tok/s stützen hohe Single-Request-Geschwindigkeit für die getestete Gemma-Konfiguration; Kosten, aggregierter Durchsatz und Latenz anderer Modelle bleiben offen.⁴⁸

Kapazität und Wirtschaftlichkeit hängen vom Workload ab. Modelle oberhalb der SRAM-Kapazität eines Racks benötigen Partitionierung, andere Speichertiers oder weitere Racks. Attention-lastige und hoch konkurrierende Lasten nutzen ebenfalls Rubin-Ressourcen. Das hypothetische 16-Rack-Szenario ist kein Deployment-Benchmark.⁵

NVIDIA positioniert LPX als Decode-Ergänzung der Rubin-Plattform. Die öffentlichen Quellen belegen die Produktpositionierung und den gemeldeten Produktionsstatus, nicht das strategische Motiv des Lizenzgeschäfts oder einen künftigen Wettbewerbsausgang.⁵⁸ Eine Kaufentscheidung braucht Messungen für Modell, Kontext, Parallelität, Leistungsaufnahme und Gesamtsystemkosten.