Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax

KI-Hinweis: Dieser Artikel wurde mit Unterstützung generativer KI erstellt. Redaktionell verantwortlich: Florian Zimmermeister (flozi00). Impressum und Kontakt.

Reflection stellte die Gewichte von Beam 1.0 am 16. Oktober 2026 bereit, nach der Ankündigung vom 5. Oktober. Es handelt sich um ein veröffentlichtes Textgenerierungsmodell, nicht um einen Vorschlag: Der Instruction-Checkpoint liegt in BF16, FP8 und NVFP4 unter Apache 2.0 vor. Die Model Card nennt 501,3 Milliarden Gesamtparameter und 23,4 Milliarden aktive Parameter.¹²

Das interessante Detail ist die Aufteilung der Attention: 43 lokale Schichten verwenden RoPE; neun globale Schichten verzichten auf rotatorische Positionskodierung und skalieren stattdessen ihre Queries positionsabhängig. Dieser Artikel prüft den BF16-Checkpoint unter 78f8f654d40a40919b8e9954b40dd879ecb9a692, Transformers unter 54c0fe02b61062fe2666add21744c27035549644 und vLLM unter 6af1e0ae273442d7cc19e60eed5b414ce299cb91, Stand 19. Oktober 2026. Die folgenden Gleichungen und Byte-Zahlen sind Herleitungen, keine Inferenzmessungen.³⁴⁵

Zwei Attention-Pfade in einem Decoder

Der Checkpoint besitzt 52 Decoder-Schichten, eine Hidden-Breite von 5.120 und ein Vokabular mit 151.936 Einträgen. Globale Attention liegt in den Schichten 6, 12, 18, 24, 30, 36, 42, 48 und 52, ab eins gezählt. Alle übrigen Schichten haben ein konfiguriertes Fenster von 512. Der gespeicherte maximale Kontext beträgt 1.048.576 Tokens; der Standardwert der allgemeinen Konfigurationsklasse ist nicht das Kontextlimit des Checkpoints.³⁶

Tabellen und Formeln verwenden zur eindeutigen Vergleichbarkeit mit dem Code internationale Zahlenschreibweise: Komma als Tausendertrennzeichen, Punkt als Dezimaltrennzeichen.

Das 512-Token-Fenster enthält das aktuelle Token: Bei vollem Fenster sind es 511 frühere Positionen plus die aktuelle. Sowohl die Referenzmaske als auch der Backend-Vertrag von vLLM formulieren diese Grenze. Sie regelt die Sichtbarkeit in der Attention, verspricht aber nicht, dass jede Cache-Implementierung physisch exakt 512 Plätze alloziert.⁷⁵

Lokale Schichten bilden Repräsentationen aus benachbarten Tokens; globale Schichten können weit entfernte Repräsentationen verbinden. Das ist eine Interpretation des Datenflusses im Schichtplan, kein Nachweis dafür, dass eine bestimmte Schicht ausschließlich eine sprachliche Aufgabe erfüllt. Zum Vergleich: Bei Mellum2.1s lokalem/globalem Layout verwenden globale Schichten stattdessen YaRN.

Den Tensoren folgen, nicht der Parameterzahl

Die normalisierte Sublayer-Eingabe sei $X\in\mathbb{R}^{B\times T\times5120}$. Die Projektionen erzeugen vor dem Vertauschen von Head- und Sequenzachse die folgenden Tensoren. Matrixformen entsprechen der PyTorch-Konvention Ausgabe-mal-Eingabe.⁴

Die Attention-Breite beträgt 6.144, nicht 5.120. Je sechs Query-Heads teilen einen KV-Head; GQA erfordert keine sechs gespeicherten Kopien von K/V. Q und K erhalten vor der pfadspezifischen Positionsoperation RMSNorm entlang ihrer Head-Achse mit 128 Koordinaten, mit Epsilon $10^{-6}$. Values erhalten diese Q/K-Norm nicht.⁴

Bei lokaler Attention rotiert RoPE die normalisierten Q und K. Bei globaler Attention bleibt K unrotiert, und nur Q erhält den positiven Faktor $a(p)$. Dabei ist $p=t+1$ die absolute, ab eins gezählte Query-Position, nicht die Zahl neu übergebener Tokens eines Decode-Aufrufs mit Cache.⁴⁸

Die Balken bezeichnen die gelernte RMS-Normalisierung entlang der Head-Achse. Die kausale Maske beschränkt die Summe; zukünftige Tokens bleiben unsichtbar. Das Attention-Ergebnis $O$ wird anschließend koordinatenweise gegatet, nicht mit einem einzelnen Skalar pro Head:

Nur der additive Bias hat einen Wert pro Head; die Gate-Projektion liefert 6.144 Ausgaben pro Token. Das Sigmoid-Gate schwächt einzelne Koordinaten ab, bevor $W_o$ die Heads mischt. Dieser Mechanismus ist von der MoE-Expertenauswahl getrennt und entfernt keine Heads aus dem KV-Cache.⁴⁵

NoPE bedeutet nicht Positionsunabhängigkeit. Globale Schichten verzichten auf die explizite rotatorische Transformation. Ihre Eingaben haben aber bereits lokale RoPE-Schichten durchlaufen, die kausale Maske trägt Ordnungsinformation, und $a(p)$ hängt ausdrücklich von der absoluten Position ab. Dafür die aktuelle Länge des Sliding-Caches einzusetzen, würde das Modell verändern.

Was skalierbare Softmax mathematisch verändert

Für eine feste Query und feste sichtbare Keys seien $Z(a)=\sum_j e^{az_j}$ und $\pi_j(a)=e^{az_j}/Z(a)$. Die Softmax-Entropie in Nats lautet $H(a)=\log Z(a)-a\mathbb{E}_{\pi(a)}[z]$. Ableiten ergibt:

Ein größeres $a$ schärft also einen nicht konstanten, festen Logit-Vektor. Die Reihenfolge der Logits bleibt erhalten; ein falsch eingeordneter Key wird dadurch nicht zum besten Key. An den Positionen 2.048, 65.536 und 1.048.576 betragen Beams Faktoren ungefähr 1,0718, 1,4186 und 1,8664. Das sind dimensionslose Faktoren, keine Beschleunigungen oder Qualitätswerte.

Die Bedingung eines festen Vektors ist entscheidend: Eine verlängerte Sequenz fügt Keys hinzu und verändert Hidden States. Die Ableitung beweist nicht, dass die Entropie beim Wachsen eines echten Prompts sinkt oder dass das Modell bei jeder Länge gleich gut abruft. Ein einfaches Gegenstück liefert das folgende illustrative Score-Modell, keine Messung an Beam.

Angenommen, ein relevanter Key übertrifft jeden von $N-1$ gleich bewerteten Distraktoren um den festen Abstand $\Delta>0$. Seine Wahrscheinlichkeit und die Skalierung, die eine gewählte Wahrscheinlichkeit $r$ konstant hält, lauten:

Mehr Distraktoren vergrößern den Softmax-Nenner. Query-Skalierung kann dieser Verdünnung entgegenwirken, aber Beams vorgegebenes Potenzgesetz ist nicht an den Abstand dieses Spielzeugmodells angepasst. Bei $\Delta=1$, $a=1.8664$ und $N=1,048,576$ beträgt dessen Wahrscheinlichkeit nur etwa $6.17\times10^{-6}$. Das ist kein Retrieval-Ergebnis von Beam: Echte Abstände, Key-Korrelationen und Repräsentationen unterscheiden sich. Die belastbare Aussage ist enger: Temperatursteuerung allein garantiert keinen Long-Context-Recall.

KV-Speicher: neun wachsende Caches, nicht 52

Für Batchgröße $B$, Sequenzlänge $N$ und $b$ Bytes pro KV-Skalar ist ein nützliches logisches Nutzdatenbudget mit fenstergroßen lokalen Caches:

Der Faktor zwei berücksichtigt K und V. Jedes weitere Token im langen Kontext fügt über die neun globalen Schichten 18 KiB in FP8 oder 36 KiB in BF16 hinzu. Die 43 fenstergroßen lokalen Caches tragen ungefähr 43 MiB in FP8 bei, unabhängig von $N$, sobald sie voll sind. Für eine Sequenz, vor Sharding oder Replikation:

Dies sind berechnete Tensor-Nutzdaten mit 512 lokalen Plätzen, keine gemessenen Spitzenallokationen. Der dynamische Sliding-Cache der fixierten Transformers-Version behält nach einem Update 511 Zeilen vorheriger Tokens; die zurückgegebenen Attention-Tensoren können den gesamten aktuellen Prefill-Chunk enthalten. Statische Caches, Seitenrundung, weiter gehaltene zugrunde liegende Speicherbereiche, temporäre Tensoren und Quantisierungsmetadaten können davon abweichen. Modellgewichte, Aktivierungen, Kommunikationspuffer und ein spekulativer Drafter sind nicht enthalten.⁹

Ein hypothetisches Modell mit 52 ausschließlich globalen Schichten und gleicher KV-Geometrie würde bei 1.048.576 Tokens 104 GiB FP8-KV halten. Beams Architektur reduziert diese logische Nutzlast auf etwa 18,04 GiB, macht Attention aber nicht linear: Die Attention-Arbeit über die gesamte Sequenz skaliert weiterhin als $O(9N^2+43NW)$ mit $W=512$, unter Auslassung gemeinsamer Head-Breitenfaktoren. Flash-artige Kernel vermeiden die Materialisierung der vollständigen Score-Matrix; die globalen Skalarprodukte beseitigen sie nicht. Grundlagen liefern der KV-Cache-Guide und die Inferenzmathematik.

Das umgebende Modell und die Serving-Grenze

Die Schichten 1–3 verwenden dichtes SwiGLU mit Zwischenbreite 20.480; die übrigen 49 verwenden 256 geroutete Experten der Breite 2.560, davon acht pro Token und keinen Shared Expert. FP32-Router-Logits werden zu Sigmoid-Scores. Die Gruppenauswahl summiert die zwei größten bias-korrigierten Scores jeder der acht Gruppen, behält vier Gruppen und wählt daraus acht Experten. Die Mischgewichte verwenden die unkorrigierten ausgewählten Scores, normalisiert und mit 2,5 multipliziert. Jeder Sublayer besitzt Pre-/Post-RMSNorm und eine tiefenabhängig skalierte Residualaddition.³⁴

Sparse-Aktivierung bedeutet nicht Sparse-Residenz: 23,4 Milliarden aktive Parameter bedeuten nicht, dass nur 23,4 Milliarden Gewichte in den Speicher passen müssen. Expertenplatzierung, Präzision und Offload bestimmen das tatsächliche Gewichtsspeicherlayout. Keine der KV-Herleitungen misst Qualitätsverluste durch FP8-Cache oder NVFP4-Gewichte.

vLLM besitzt einen konkreten NVIDIA-Serving-Pfad: Er kann Q/K/V/Gate-Projektionen zusammenlegen, Q/K-Normalisierung mit RoPE oder SSMax und Cache-Schreibzugriff fusionieren und einen separaten Ausgabe-Gate-Kernel ausführen. In dieser fixierten Implementierung setzt der fusionierte Cache-Schreibzugriff BF16 sowohl für Q als auch für den Cache voraus; der FP8-Cache-Pfad übergibt K/V stattdessen an das Attention-Backend. Für beide Cache-Datentypen darf also nicht dieselbe Kernelabfolge angenommen werden. Die optimierten Operationen erhalten ausdrücklich die Rundungsgrenzen des Aktivierungsdatentyps. Gleitkommafusion lässt sich deshalb nicht allein durch Umstellen reeller Gleichungen rechtfertigen.⁵⁸

Das Serving-Beispiel zur Veröffentlichung adressiert den NVFP4-Checkpoint auf einem GB300-Knoten mit TP4, FlashInfer-Attention und FP8-KV. Optional ergänzt es den separat veröffentlichten DFlash2-Drafter. Das ist eine dokumentierte Deployment-Konfiguration, keine Zusage für beliebige GPUs und keine Behauptung, dieser Artikel habe sie ausgeführt. Checkpoint, Serving-Commit/Container-Digest, Tokenizer/Template, Cache-Datentyp und Parallelisierung gemeinsam fixieren; ein bewegliches main oder Docker-Tag ist kein reproduzierbares Deployment.¹⁰

Vor dem Produktionsbetrieb sollten Long-Context-Genauigkeit am eigenen Workload, Prefill-Speicherspitzen, numerische Cache-Effekte und Request-Parallelität geprüft werden. Das gespeicherte Millionen-Token-Limit beschreibt unterstützte Sequenzkapazität, keine gemessene allgemeine Recall-Garantie. Für diesen Artikel wurden weder GPU-Inferenz noch Qualitätsbenchmarks oder Latenzexperimente ausgeführt. Das Ergebnis ist eine Quellenprüfung mit transparenter Speicher- und Softmax-Herleitung.

Für verwandte Mechanismen trennt Step-5-Preview spärliche globale Zugriffe von weiter gespeicherten originalen KV, während Ling-3.1-flash rekurrente Zustände alternativen MLA-Cache-Layouts gegenüberstellt. Beides ist nicht dieselbe Operation wie Beams temperatur-skalierte globale GQA.

Primärquellen