Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash

KI-Hinweis: Dieser Artikel wurde mit Unterstützung generativer KI erstellt. Redaktionell verantwortlich: Florian Zimmermeister (flozi00). Impressum und Kontakt.

NVIDIA veröffentlichte Nemotron 3.5 Bolt E4B BF16 und seinen Target-spezifischen DFlash-NVFP4-Drafter am 23. Oktober 2026. Das ist ein nutzbares Serving-Paar und kein reiner Forschungsprototyp: NVIDIA stellt beide Checkpoints und einen Befehl für vLLM 0.31.0 bereit. Das Target besitzt insgesamt 8 Mrd. und effektiv 4 Mrd. Parameter; der Begleiter ist ein Qwen3-artiges Draftnetz mit fünf Schichten und 1,03 Mrd. Parametern.¹²

Trotz des gemeinsamen Namens „Bolt 3.5“ ist dies nicht das hybride 74B-A9B-Modell aus dem Artikel zu LatentMoE und IQ2. E4B ist ein Gemma-4-Text-Backbone mit 42 Schichten. Sein DFlash-Begleiter unterscheidet sich auch vom LiLiCorr-Drafter für 74B Bolt. Ein Drafter ist auf Vokabular, Hidden Width und ausgewählte interne Schichten eines bestimmten Targets abgestimmt; er ist kein austauschbares kleines Sprachmodell.

Dieser Artikel prüft die Target-Revision 49843eed8db1f1c616c47af75cfd36e07aec0667, die Draft-Revision 913d13c49fbbb2b477dce78552a31ab650d5b693, vLLM db9527a46873454610df6dbedf79a36d6bf1a7f6 und NeMo AutoModel 6b0f669ec07e4b9d0f37c92162384b3c7cc97c15, Stand 24. Oktober 2026. Die Byteangaben sind logische Nutzdaten, keine gemessenen GPU-Allokationen. Wir haben die Checkpoints nicht ausgeführt und keine GPU-Benchmarks erstellt.

Der veröffentlichte Serving-Zyklus

Gewöhnliches autoregressives Decoding führt das vollständige Target für jedes neue Token einmal aus. DFlash amortisiert stattdessen eine Target-Verifikation über einen Block:

1. Das Target liefert das letzte verifizierte Token und Hidden States nach den nullbasierten Schicht-IDs 5, 11, 17, 23 und 35.
2. Der Drafter bildet einen Block mit acht Positionen: einen echten Anker und sieben Maskentokens.
3. Ein einziger nichtkausaler Durchlauf durch fünf Schichten sagt alle sieben zukünftigen Positionen parallel voraus.
4. Das Target bewertet die vorgeschlagene Fortsetzung in einem Durchlauf.
5. Die exakte spekulative Verifikation akzeptiert das längste gültige Präfix und sampelt bei Bedarf eine Korrektur.

Die endgültige Ausgabe stammt weiterhin aus der Target-Verteilung. „Nichtkausal“ gilt innerhalb des Draftblocks, nicht für die Target-Verifikation: Ein Vorschlag ist billig, kann sich aber nicht selbst bestätigen. Die veröffentlichte Blockgröße ist acht. Damit beträgt die maximale Acceptance Length acht Ausgabetokens pro Zyklus – einschließlich des Korrektur- oder Folgetokens des Targets.²³⁴

Fünf Target-Zustände werden zu persistentem Draftkontext

Die fünf ausgewählten Target-Tensoren seien $H^{(j)}\in\mathbb{R}^{B\times S\times2560}$. Die Laufzeit konkateniert sie entlang der Feature-Achse und projiziert sie zurück auf die Draftbreite:

Der resultierende Kontext wird in K/V-Einträge projiziert und in den Cache jeder Draftschicht eingefügt. Für die acht Blockpositionen bildet jede Schicht Q mit der Form $[B,32,8,128]$ sowie K/V mit der Form $[B,8,8,128]$, bevor der gecachte Kontext hinzukommt. Je vier Query-Heads teilen sich einen KV-Head. Headweise Q/K-RMS-Normalisierung findet vor RoPE statt. Die veröffentlichte vLLM-Implementierung kann unquantisierte K/V-Projektionen in einer Matrixmultiplikation zusammenfassen; gepackte quantisierte Gewichte laufen dagegen schichtweise durch die konfigurierte Quantisierungsmethode.⁵⁶

Die gewählten Target-Indizes sind keine beliebigen Positionen eines einheitlichen Stacks. E4B besitzt 35 Sliding-Window- und sieben Full-Attention-Schichten, jeweils eine Full-Attention-Schicht nach fünf lokalen Schichten. Der Drafter liest fünf dieser globalen Ausgaben: 5, 11, 17, 23 und 35. Die Full-Attention-Schichten 29 und 41 werden nicht abgegriffen. So erhält das kleine Draftnetz komprimierte globale Merkmale, während seine eigene Attention auf die letzten 1.024 Tokens begrenzt bleibt.⁷⁵

Beim Training ist der Anker echt, die späteren Positionen sind maskiert. Positionen innerhalb eines Blocks dürfen bidirektional kommunizieren, die Maske verhindert aber Leckage aus späteren Blöcken. NVIDIA gewichtet frühe Vorhersagepositionen im veröffentlichten Verfahren stärker: $w_k=\exp(-(k-1)/\gamma)$. Das sind Trainingsmechanismen; der Release legt bei der Inferenz sieben Vorschläge fest.³⁴

Warum exakte Verifikation die Target-Verteilung erhält

Für eine Position sei $q(x)$ die Wahrscheinlichkeit des Drafters und $p(x)$ die des Targets. Sampelt der Draft Token $x$, akzeptiert Speculative Sampling es mit

Bei einer Ablehnung wird aus dem normalisierten positiven Residuum gesampelt:

Die über $q$ akzeptierte Wahrscheinlichkeitsmasse ist $q(x)a(x)=\min(p(x),q(x))$. Der Ablehnungszweig ergänzt den fehlenden positiven Anteil $[p(x)-q(x)]_+$. Zusammen rekonstruieren beide nach der Normalisierung $p(x)$. Sequenziell auf den vorgeschlagenen Block angewendet, akzeptiert das Verfahren das längste gültige Präfix, ohne die Target-Verteilung zu verändern. Beim Greedy Decoding ist die Regel einfacher: Vorschläge werden akzeptiert, solange sie mit dem Target-Argmax übereinstimmen; beim ersten Unterschied wird das Target-Token verwendet.³⁴

Darum kann auch ein schwächerer Draft nützlich sein: Seine endgültige Qualität muss nicht vertrauenswürdig sein. Er muss nur oft genug bedingt mit dem Target übereinstimmen, um die Verifikation zu amortisieren. Ein besserer Draft erhöht das erwartete akzeptierte Präfix; ein zu großer Draft verteuert jedoch jeden Zyklus.

Die Parameterzahl zeigt die tatsächlichen Kosten

Die Model Card nennt 1.031.568.640 logische Parameter. Die veröffentlichten Dimensionen ergeben exakt diese Zahl:

Der Output Head allein stellt 65,1 % der Parameter. Er ist eine NVFP4-Kopie des Target Heads, denn der Drafter muss dasselbe Vokabular mit 262.144 Tokens bewerten. Das Token-Embedding wird dagegen mit dem Target geteilt und fehlt im Draft-Checkpoint. Bei BF16 vermeidet dies ein doppeltes logisches Payload von 1,25 GiB für $262144\times2560$ Werte.²⁵

Bei idealen vier Bit pro Parameter belegten alle Draft-Codes 491,9 MiB, die Codes des Output Heads allein 320 MiB. Das veröffentlichte Repository umfasst 580 MB, weil reale Speicherung zusätzlich Quantisierungsskalen, BF16-Ausnahmen, Tensor-Metadaten und Alignment enthält. „NVFP4“ ist daher ein Rechen- und Speicherformat, kein Versprechen, dass die Datei exakt Parameterzahl mal ein halbes Byte groß ist.

Die Standardrevision ist W4A16: NVFP4-Gewichte mit 16-Bit-Aktivierungen. Die Revision w4a4 nutzt zusätzlich NVFP4-Aktivierungen und benötigt Blackwell-Aktivierungskernel; für GB300 nennt NVIDIA einen vLLM-Build mit CUDA 13. Die Konfiguration lässt die Draft-KV-Cache-Quantisierung deaktiviert und nimmt Normalisierungen vom gepackten Pfad aus.²⁵⁸

Cache und Latenz haben getrennte Break-even-Punkte

Für fünf Draftschichten, acht KV-Heads, ein Fenster von 1.024 Tokens, Head-Breite 128 und BF16-K/V beträgt das logische Cache-Payload pro Sequenz

Bei 64 Sequenzen sind das allein 1,25 GiB, noch vor Paging, Alignment und Reservierungen des Allokators. DFlash veranlasst das Target außerdem, fünf Hidden States bereitzustellen, und hält Zustände für Vorschläge und Rollback. Die kleine Datei des Drafters ist nicht der gesamte Serving-Overhead.

Sei $C_t$ die Zeit eines gewöhnlichen Target-Decodeschritts, $C_d$ die Zeit des Block-Drafts, $C_v$ die Zeit der Target-Verifikation und $\tau$ die gemessene mittlere Zahl ausgegebener Tokens pro Zyklus. Dann gilt

Eine Acceptance Length von vier ist daher keine vierfache Beschleunigung. Die Verifikation verarbeitet einen Block effizient, ist aber nicht kostenlos; Draftdurchlauf, Zustandsprojektion, Cache-Traffic und verworfene Vorschläge bleiben erhalten. Der Break-even-Punkt ändert sich mit Promptlänge, Sampling-Entropie, Batchgröße und Kerneln.³

NVIDIAs Herstellerwerte verwenden W4A16, aktiviertes Thinking, 4.096 Ausgabetokens, Concurrency 16 und eine einzelne GB300. Unter diesen Bedingungen beträgt die angegebene mittlere Acceptance Length auf MT-Bench 4,01 bei Greedy und 3,65 bei Temperatur 1; SPEED-Bench ergibt 3,88 und 3,50. Das sind Akzeptanzmessungen, keine Ende-zu-Ende-Beschleunigungen, und sie dürfen nicht auf andere Hardware oder Traffic-Muster übertragen werden. NVIDIA nennt gegenüber einem unquantisierten BF16-Draft außerdem ungefähr 1 % geringere Akzeptanz für W4A16 und 2 % für W4A4.²

Produktionsgrenze: Latenzpfad, kein universeller Durchsatzpfad

Das offizielle DFlash-Beispiel setzt max-num-seqs=1. Das separate Target-Rezept für maximalen Durchsatz setzt 64 Sequenzen und sagt ausdrücklich, dass für diese Konfiguration keine spekulative Decoding-Strategie am besten ist. Darin liegt die praktische Trennlinie: DFlash kann bei geringer Nebenläufigkeit die Inter-Token-Latenz reduzieren, wenn freie Rechenleistung aus einer Verifikation mehrere Tokens macht. Continuous Batching kann das Target bereits so effizient auslasten, dass die zusätzliche Draftarbeit verliert.¹

Weitere Grenzen sind relevant:

• Die Target-Kopplung ist exakt. Die 2.560 breite Projektion, das Vokabular, die Schichtindizes und der Target Head binden den Checkpoint an Nemotron 3.5 Bolt E4B.
• Der gemeinsame Kontextvertrag lautet 64K Text. Die Draftkonfiguration nennt 131.072 Positionen und ihre Model Card multimodale Eingaben. Die veröffentlichte E4B-Service-Card spezifiziert jedoch Text/Text und 65.536 Tokens; ihr vLLM-Befehl deaktiviert Bild, Video und Audio. Ohne separat validierten Stack gilt der engere Vertrag des Targets.
• Die Hardwarepfade unterscheiden sich. W4A16 ist der Standard. W4A4 ist ein Blackwell-spezifischer Aktivierungskernelpfad, kein portables Synonym.
• Qualität ist Target-Qualität, nicht Draft-Qualität. Exakte Verifikation bewahrt die Sampling-Semantik; sie behebt keine Ungenauigkeiten, Verzerrungen oder unsicheren Target-Ausgaben.
• Beide Artefakte und die Laufzeit müssen fixiert werden. Änderungen an Target-Gewichten oder Hidden-State-Konventionen können die Akzeptanz senken oder den Checkpoint inkompatibel machen.

Der technische Wert dieses Releases ist die Trennung der Zuständigkeiten. Das Target mit 42 Schichten bleibt die Autorität; fünf ausgewählte globale Target-Zustände konditionieren ein deutlich kleineres nichtkausales Netz; exakte Verifikation schützt die Verteilung; NVFP4 reduziert die dauerhaft residenten Draftgewichte. Ob dieser Tausch positiv ist, lässt sich nur mit vorgesehenem Kontext, Sampling, Concurrency und GPU messen.

Primärquellen