Wie LLMs wirklich funktionieren — Eine animierte Tour

Mit den Bausteinen anfangen: Attention Schritt für Schritt ausprobieren, danach die Wiederverwendung im KV-Cache verfolgen. Der visuelle Lernpfad verbindet die drei Einsteigerlektionen. Die Animation verfolgt den Prompt „The cat sat on the mat because it was" bis zu einer beispielhaften Wahl des nächsten Tokens. Wortstücke, Attention-Linien und Wahrscheinlichkeiten sind zur Erklärung erfunden; sie stammen nicht aus einer Messung an einem Modell.

Die Version in einem Satz

Ein autoregressives Sprachmodell bildet eine Tokenfolge auf Scores für das nächste Token ab. Softmax kann daraus eine Wahrscheinlichkeitsverteilung machen; durch wiederholte Auswahl entsteht Text. Das beschreibt die Generierungsschleife. Tatsächliche Assistenten verwenden zusätzlich Tokenisierung, gegebenenfalls multimodale Eingaben, Post-Training, Tools und Runtime-Orchestrierung.

Wer diesen Satz verinnerlicht hat, für den ist der Rest dieser Seite nur noch Maschinendetail darüber, wie die Funktion gebaut ist.

Stufe für Stufe

Von Buchstaben zu IDs

Das Modell verarbeitet Token-IDs eines Tokenizers. Viele LLM-Tokenizer verwenden BPE-Varianten, doch Vokabular und Token-Grenzen hängen vom Modell ab; ein Wort kann aus einem oder mehreren Tokens bestehen. Die Animation färbt ganze Wörter nur zur besseren Lesbarkeit. Die Tokenzahl desselben Textes kann zwischen Tokenizern und Sprachen deutlich variieren. Siehe die Hugging-Face-Tokenizer-Dokumentation.

Eine Konsequenz, die überrascht: Das Modell hat keinen eingebauten Begriff von „Wort". Rechtschreibtricks, Homoglyphen oder ungewöhnliche Leerzeichen können den Token-Strom ändern — und damit die Berechnung — selbst wenn die Bedeutung für Menschen identisch bleibt.

Von IDs zu Geometrie

Jede Token-ID indiziert einen gelernten Embedding-Vektor. Kontextuelle Repräsentationen in späteren Ebenen können semantische Beziehungen ausdrücken. Welche Nachbarn rohe Eingabe-Embeddings haben, ist modellspezifisch und wurde in der Animation nicht gemessen.

Auch die Position geht in die Rechnung ein. Bei Modellen mit Rotary Position Embeddings (RoPE) werden Query- und Key-Vektoren in der Attention rotiert; dabei wird nicht bloß jedem Eingabe-Embedding ein Positionsvektor addiert.

Attention: die eigentliche Idee

Attention ist das tragende Konzept. Für jedes Token berechnet das Modell drei Projektionen seines Vektors — eine Query, einen Key und einen Value — und dann:

1. die Query von Token i wird mit den Keys verglichen, die es sehen darf (bei voller kausaler Self-Attention sich selbst und frühere Tokens),
2. die Scores werden skaliert und per Softmax auf Gewichte gebracht, die sich zu 1 summieren,
3. die Ausgabe ist die gewichtete Mischung der Values.

Das Ergebnis ist eine gewichtete Mischung der Value-Vektoren, wie im ursprünglichen Transformer-Paper. Die dicke Linie von „it" zu „cat" zeigt nur ein mögliches Lehrbeispiel. Diese Gewichte wurden nicht gemessen; ein einzelnes Attention-Gewicht erklärt das Reasoning eines Modells nicht zuverlässig.

Volle Self-Attention führt bei einem Prefill mit N Tokens O(N²) Query-Key-Vergleiche aus. Sliding-Window-Attention ändert die verglichenen Paare. IO-bewusste Verfahren wie FlashAttention reduzieren Speicherverkehr, ohne die gesamte Arithmetik zu beseitigen. Bei der Generierung wächst der KV-Cache mit der Zahl gecachter Positionen; Grouped-Query Attention und KV-Quantisierung können die Bytes je Position senken.

Warum Tiefe schlägt Breite

Transformer-Blöcke verbinden Attention, Feed-Forward-Schichten, Normalisierung und Residual-Verbindungen; Anzahl und Reihenfolge variieren zwischen Modellen. Manche mechanistischen Studien finden Merkmale wie Induction Heads, weisen aber nicht jeder Ebene jedes LLM eine feste Rolle zu.

Hier liegen auch die Parameter: Die Matrizen des Blocks skalieren mit dem Quadrat der Versteckten Größe — wer die Breite verdoppelt, vervierfacht grob die Parameterzahl. Ein 70B-Modell braucht daher ~140 GB Gewichtsspeicher in BF16, ein 4B-Modell ~8 GB (2 Bytes pro Parameter, linear in der Parameterzahl). Der Leitfaden zur LLM-Inferenz-Mathematik behandelt die resultierenden Speicher- und Compute-Budgets, und die Qwen3-Next-Notizen zeigen, wie sparse MoE-Aktivierung die Regel biegt.

Sampling: wo die „Kreativität" steckt

Der finale versteckte Vektor der letzten Position wird auf Vokabular-Scores projiziert; Softmax kann diese in Wahrscheinlichkeiten umwandeln. Sampling erzeugt Variation; ein fester Seed reproduziert Ausgaben nur, wenn auch die übrige numerische Ausführung deterministisch ist:

• Temperatur skaliert Logits vor Softmax. Niedrige Werte schärfen die Verteilung, hohe flachen sie ab. Keine der Einstellungen garantiert Sicherheit oder Korrektheit.
• Top-p / Top-k schneiden die Verteilung vor dem Sampling ab und kappen den langen Schwanz unsinniger Tokens.

Stufe 6 der Animation zeigt genau das: derselbe Kontext, eine Verteilung über Kandidaten-Tokens, ein gesampelter Gewinner.

Training: vorhersagen, korrigieren, wiederholen

Vor-Training ist im Kern peinlich einfach: Man zeigt dem Modell einen Textausschnitt, bittet es, jedes nächste Token vorherzusagen, misst, wie falsch es lag (Cross-Entropy), und stellt alle Matrizen einen winzigen Schritt in Richtung weniger Fehler nach (Backpropagation + Optimierer). Billionenfach wiederholen. Es gibt keinen Lehrer, der warum erklärt — nur den rohen Druck des nächsten Tokens.

Post-Training kann überwachtes Instruktions-Finetuning sowie Präferenzoptimierung wie RLHF oder DPO umfassen. Diese Methoden verändern das Verhalten, garantieren aber weder Hilfsbereitschaft noch faktische Genauigkeit.

Was die Animation auslässt

Ehrlichkeits-Runde — die Teile, die die schöne Version überspringt:

• KV-Cache & Decode-Mechanik. Echte Generierung cached Keys und Values, damit jedes neue Token den Prompt nicht komplett neu verarbeitet; der Cache dominiert den Serving-Speicher bei langem Kontext. Der Inferenz-Rechner lässt ihn berechnen.
• MoE-Routing. Viele aktuelle Modelle (auch Qwen3-Next) leiten jedes Token durch eine Teilmenge von Experten; die sechs Stufen bleiben identisch, nur der Feed-Forward-Schritt wird dünnbesetzt.
• Multimodalität. Bilder, Audio und Video können in modellspezifische Token- oder Embedding-Folgen kodiert werden; Encoder und Verknüpfung unterscheiden sich je nach Architektur.
• Reasoning-Modelle. „Denk"-Tokens sind derselbe nächste-Token-Loop — nur länger laufen, bevor geantwortet wird. Die Maschinerie dieses Artikels ändert sich nicht.

Ein veröffentlichtes Beispiel ist Mellum2.1: Jedes Token verwendet acht von 64 Experten. 21 lokale und sieben globale Attention-Schichten behandeln unterschiedliche Entfernungsbereiche. Nur globale Schichten verwenden YaRN-Positionsskalierung. Der Architektur-Guide erklärt die tatsächlichen Tensorformen und warum aktive Parameter nicht dem belegten Gewichtsspeicher entsprechen.

Ein vortrainierter Sprachmodell-Backbone kann auch einen Entscheidungskopf speisen. Cloudflare Clef Omni kodiert Text, Audio und visuelle Eingaben und bewertet anschließend deklarierte Schema-Optionen nach einem einzigen Prefill. Sein Wrapper ersetzt die Vokabularprojektion durch ein Identity-Modul und behält die Output-Embedding-Gewichte für Options-Lookups. Damit folgen weder Next-Token-Sampling noch eine Decode-Schleife.

Liquid d1-3B wählt einen anderen Weg: Es behält den gebundenen Vokabularkopf, packt einen gemeinsamen Zustand als Stamm mit unabhängigen Fragezweigen und führt deren Attention exakt aus partiellen Log-Sum-Exp-Statistiken zusammen. Der Guide leitet her, welche Arbeit tatsächlich geteilt wird und weshalb die zurückgegebene Confidence standardmäßig nicht kalibriert ist.

Wer die Leistungsseite will — wie sich das alles auf FLOPS, Bandbreite und Euro abbildet —, fährt mit der Seite zur Inferenz-Ökonomie fort, die auf derselben Pipeline aus Sicht der Hardware aufbaut.

Verwandte Artikel

• Nemotron 3.5 Super VL: der visuelle Tokenpfad — dichte Bildfeatures, gepaarte Video-Patches und änderungsbasiertes Token-Pruning vor dem autoregressiven Sprach-Backbone nachvollziehen.

• Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax — positionsabhängige Query-Skalierung nachvollziehen und herleiten, weshalb schärfere Attention keinen Long-Context-Recall garantiert.

• Muse Spark Open: Residualgates und normalisierte Experts — drei unterschiedliche Gate-Mechanismen verfolgen und Normierungsreihenfolge als Teil der Modellkorrektheit verstehen.

• Nemotron 3.5 Bolt: heterogenes LatentMoE und IQ2 — Routing und Shared Experts voller Breite vom schmaleren gerouteten Zweig trennen und dessen Mixed-Precision-Speicherung prüfen.

• Step-5-Preview: Sparse-Zugriffe und KV-Speicher — Acht-Token-Indexzusammenfassungen, gruppenspezifische Blockauswahl und Attention über originale K/V nachvollziehen.

• Ling-3.1-flash: Gruppen-Routing und MLA-Cache-Layouts — KDA-/MLA-Tensorformen und die Algebra nachvollziehen, die Key-/Value-Projektionen aus dem Request-Cache verlagert.

• LFM2.5-24B-A2B: Routing und Cache-Architektur — Top-4-Sigmoid-Routing nachvollziehen und erklären, warum nur zehn Schichten KV aufbauen, während alle Expertengewichte resident bleiben.

• LLM-VRAM-Bedarf: Ein mathematischer Deep Dive — Gewichts- und KV-Cache-Budget für jedes Modell kalkulieren.

• Die richtige GPU für Qwen3-Inferenz auswählen — Modell-Fußabdrücke mit Hardware abgleichen.

• Das Guide zur LLM-Inferenz-Mathematik — die Roofline-Formeln hinter jeder Zahl hier.