Qwen3-Next: Kontext auf zwei Wegen
Sequenzschichten, Experten und den Speicher für sämtliche Gewichte auseinanderhalten.
KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel
Das wiederholte Muster nutzt drei Gated-DeltaNet-Schichten und danach eine Gated-Attention-Schicht. Verschiedene Mechanismen arbeiten nacheinander im selben Modell.
Laut der Modellkarte zu Qwen3-Next-80B-A3B-Instruct hat das unter Apache 2.0 lizenzierte Sprachmodell insgesamt 80 Milliarden Parameter, von denen pro Token ungefähr 3 Milliarden aktiviert werden. Die Zahlen betreffen verschiedene Kosten: Aktive Parameter sind für die Rechenarbeit wichtig; alle gespeicherten Gewichte brauchen weiterhin Speicher, sofern Teile des Modells nicht ausgelagert oder verteilt werden.
Hybride Sequenzschichten und sparse Experten
Die Modellkarte nennt 48 Schichten: zwölf Wiederholungen von jeweils drei Gated-DeltaNet-Schichten und einer Gated-Attention-Schicht. Zu jeder Schicht gehört eine Mixture-of-Experts-Komponente (MoE). Es gibt 512 geroutete Experten; zehn werden pro Token ausgewählt, dazu kommt ein geteilter Experte. Der Router wählt für unterschiedliche Token andere Expertengewichte aus. Das bedeutet nicht, dass für das gesamte Modell nur drei Milliarden Parameter im GPU-Speicher liegen.
Die hybride Attention-Architektur soll lange Kontexte effizienter verarbeiten. Die Modellkarte gibt 262.144 Token als native Kontextlänge an und beschreibt eine Erweiterung durch zusätzliche Konfiguration. Diese unterstützten Längen sind keine Zusage, dass jede Installation sie ausführen kann: Verfügbarer GPU-Speicher, parallele Anfragen und Serving-Implementierung spielen weiter eine Rolle.
Was „A3B“ aussagt und was nicht
Sparse Aktivierung senkt den Rechenaufwand in den Expertenschichten gegenüber der Auswertung sämtlicher Experten. Sie macht aus dem 80B-Modell kein dichtes 3B-Modell mit dessen Latenz, Speicherbedarf oder Betriebskosten. Expert-Routing, Zugriffe auf gespeicherte Gewichte, Attention, Zustand langer Kontexte, Kommunikation zwischen GPUs und Batchgröße beeinflussen die Leistung. Die Qwen-Modellkarte veröffentlicht Durchsatz- und Aufgabenvergleiche für bestimmte Konfigurationen; daraus folgen keine allgemeinen Geschwindigkeitsgarantien.
Als grobe Schätzung nur für die Gewichte benötigen 80 Milliarden Parameter zu je zwei Byte ungefähr 160 GB in dezimalen Einheiten, vor dem Laufzeit-Overhead. Eine Acht-Bit-Kopie benötigt ungefähr 80 GB, noch ohne Skalen, Metadaten, KV-Cache und Puffer. Der tatsächliche Bedarf hängt von Checkpoint-Format und Serving-Implementierung ab. FP8-Quantisierung ist eine optionale Entscheidung beim Betrieb; Modellqualität und Hardwareunterstützung müssen geprüft werden. Die offizielle Modellkarte beschreibt FP8 nicht als kennzeichnende Eigenschaft des veröffentlichten Checkpoints und verspricht nicht für jede FP8-Konvertierung einen vernachlässigbaren Qualitätsverlust.
Bereitstellung
Die Modellkarte dokumentiert das Serving mit SGLang und vLLM, auch mit gesonderten Optionen für Multi-Token Prediction. Sie weist darauf hin, dass MTP-Unterstützung und Durchsatz von der Implementierung abhängen. Die frühere Artikelfassung nannte NVIDIA Transformer Engine fälschlich als von der Modellkarte unterstützte Serving-Option; die zitierte Karte enthält diese Aussage nicht.
Für eine Bereitstellung müssen Checkpoint, Präzision, Kontextlänge und gleichzeitige Anfragen auf der Zielhardware gemessen werden. Aus „80B-A3B“ allein lassen sich Latenz, GPU-Speicherbedarf und Kosten nicht bestimmen.