Finde das Thema, das dich interessiert.
Wähle eine Modellfamilie oder ein technisches Thema und finde die passenden Artikel an einem Ort. Für einen geführten Einstieg folge einem Leseweg.
Lernen & Grundlagen
9 ArtikelKI Schritt für Schritt verstehen: visuelle Erklärungen, Attention, KV-Cache und Quantisierung.
- Attention visuell erklärt: Queries, Keys und Values
- KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
- KV-Cache visuell erklärt: Prefill, Decode und Speicher
- KV-Cache-Glossar: GQA, MLA, TTFT und Eviction
- LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf
- LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache
- NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen
- Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen
- Wie LLMs wirklich funktionieren — Eine animierte Tour
KI-Modelle
36 ArtikelModellfamilien, Architekturen und praktische Anwendungen – von Nemotron und Qwen bis zu Sprache, Bildern und Embeddings.
Architektur, Einsatzmöglichkeiten und Messungen sind nach Modellfamilien gebündelt.
NVIDIA Nemotron
Qwen
- DSpines kausale Feature-Brücke und Draft-Grenzen
- GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße
- MI350P und vLLM: Kerneloptimierung und Messungen
- Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Qwen3.8 Flash Next: GDN, Attention, N-Gram-Speicher
Beam
Cloudflare Clef
DeepSeek
EmbeddingGemma
Fibo
GLM
IBM Granite Speech
JetBrains Mellum
Kimi
Kolibri
Ling
Liquid AI
Muse
NVIDIA Parakeet
OlmoEarth
Perplexity pplx-embed
Ripple
StepFun
TypeSafe Jev
Inferenz & Optimierung
60 ArtikelServing, Speicher, Quantisierung, GPU-Kernel und Kosten für den praktischen KI-Betrieb.
KV-Cache & Speicher
- Agenten-Inferenz: KV-Datenverkehr und Speichertiers
- Beam 1.0: NoPE, Softmax-Skalierung und KV-Speicher
- BOOST: Host-Speicher und HBM beim LLM-Decoding
- CXL-SSD-Prefix-Caching: KV-Chunks und Datenverkehr
- DeepSeek V4.1 Flash: KV-Cache-Kompression
- DSpines kausale Feature-Brücke und Draft-Grenzen
- Embedding-Value-Residuals und hybrider Cache
- FlashLoop: Looped Transformer und KV-Cache-Speicher
- HBF für KV-Cache: Kapazität und Latenz
- HBM-Kapazität und die Kosten des KV-Caches
- K3.1: DSA-Indexer und Cache
- KITE: Zwei-Turm-MoE und KV-Cache (Forschung)
- KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
- KV-Cache visuell erklärt: Prefill, Decode und Speicher
- KV-Cache-Glossar: GQA, MLA, TTFT und Eviction
- KV-Cache-Kompression: Tensor-Rang und Fehler
- KV-Cache-Speicherwachstums-Explorer
- KV-Eviction: Risikokontrolle und Full-Cache-Fallback
- KVSET: LLM-Prefix-Cache mit LRU-Traces dimensionieren
- LFM2.5-24B-A2B: Routing und Cache-Architektur
- Ling-3.1-flash: KDA, MLA und reale Cache-Layouts
- LLM-Prefix-Caching: LRU-Eviction und ihre Grenzen
- Mellum2.1: MoE, lokale Attention und selektives YaRN
- Nemotron 3.5 Super VL: visuelle Tokens und Video-Pruning
- Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik
- Random Attention vs bewertete KV-Eviction
- Step-5-Preview: Sparse GQA, Indexer und KV-Speicher
- Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen
- UNISON: KV-Cache für pausierte Agenten planen
Serving & Deployment
- DeepSeek V4 Pro: VRAM und Self-Hosting-Kosten
- GLM-5.3-MTP auf B300: Akzeptanzmathematik und NCCL NVLS
- llama.cpp vs Ollama vs vLLM: Lokale LLMs betreiben
- LLM-Inferenz: Durchsatz, GPU-Bandbreite & Roofline-Modell
- LLM-Serving-Engines 2026: Upgrades und Versionen
- Nemotron E4B DFlash: Blockspekulation und Serving-Mathematik
- NVIDIA und Hugging Face: Serving-Abhängigkeiten
- vLLM vs SGLang: LLM-Serving, Caching & Entscheidung
Quantisierung & Fine-Tuning
- 4-Bit-Quantisierung: Veränderte Retrieval-Rankings
- BF16 vs FP16: Warum Greedy-Decoding variieren kann
- Kolibri-1-Architektur: hybride Attention, MoE und FP8
- LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf
- LLM-Quantisierung: Prefill und Decode getrennt
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- Nemotron 3.5 Bolt: LatentMoE, IQ2 und Speicherbudgets
- Nemotron 3.5 Embed: kompatibles multimodales Retrieval
- NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen
- OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight
- PTQ: Quantisierungsfehler vor dem Deployment schätzen
GPU-Kernel & Skalierung
Kosten & Kapazität
Embeddings & RAG
6 ArtikelEmbedding-Modelle, Vektorsuche, Retrieval-Qualität und Speicherbudgets.
- 4-Bit-Quantisierung: Veränderte Retrieval-Rankings
- EmbeddingGemma-2-Architektur: Soft Tokens, PLE und MRL
- Nemotron 3.5 Embed: kompatibles multimodales Retrieval
- OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight
- pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
- RAG-Speicher berechnen: Embeddings, HNSW, Reranker
Hardware & Systeme
17 ArtikelGPUs, Speicher und Vernetzung vergleichen sowie Linux, Treiber und Container einrichten.
GPUs & Systeme
- AMD Instinct vs NVIDIA: Speicher und Inferenz
- AMD MI455X: Den 34×-Durchsatz-Vergleich prüfen
- GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße
- GPU-Kaufberatung für LLM-Inferenz (2026)
- MLPerf-Inferenz: Hardware und Software vergleichen
- NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks
- NVIDIA Groq 3 LPX: SRAM und LLM-Decoding
Speicher & Datenverkehr
Vernetzung & Interconnects
Linux, Treiber & Container
Benchmarks & Evaluation
7 ArtikelMessungen, Modellbewertungen und Datensätze prüfen und Ergebnisse richtig einordnen.
- AMD MI455X: Den 34×-Durchsatz-Vergleich prüfen
- KREX: Kernel-Zeiten auf geteilten GPUs messen
- LLM-Leaderboards: Verdeckte Auswahl und Score-Abstände
- MLPerf-Inferenz: Hardware und Software vergleichen
- Nemotron 3.5 Transcribe: Architektur und Datensatz-Audit
- NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks
- Uncheatable Eval: LLMs mit Textkompression bewerten
KI-Recht & Transparenz
5 ArtikelEU AI Act, Datenschutz, Kennzeichnung und die technischen Grenzen von Wasserzeichen.
Rechner & Tools
3 ArtikelVRAM, KV-Cache-Wachstum und Inferenzkosten interaktiv berechnen.
Schritt für Schritt lernen
Beginne mit einer Frage. Jeder Leseweg ordnet Grundlagen, praktische Werkzeuge und vertiefende Analysen in eine sinnvolle Reihenfolge.
Neu bei KI? So funktioniert sie.
Mit Attention, KV-Cache und Quantisierung beginnen. Danach in jedem Fachartikel mit einer eigenen visuellen Erklärung weiterlernen – von Modellarchitekturen bis zu GPUs und Linux.
- Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen
Den Einstieg finden, ohne Vorwissen in Machine Learning.
- Attention visuell erklärt: Queries, Keys und Values
Ein Token auswählen und berechnen, wie es Informationen aus dem Kontext mischt.
- KV-Cache visuell erklärt: Prefill, Decode und Speicher
Beobachten, welche Berechnungen ein Modell beim Generieren von Text wiederverwendet.
- NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen
Eine Zahl verschieben und Rundung sowie Skalen von INT4 und NVFP4 vergleichen.
- Wie LLMs wirklich funktionieren — Eine animierte Tour
Die Teile verbinden: Tokens, Embeddings, Transformer-Blöcke und Sampling.
Wie viel VRAM braucht mein LLM?
Mit dem Speicherbudget beginnen, dann Gewichte, Kontext und Laufzeit-Overhead berechnen. Fine-Tuning braucht ein eigenes Budget.
- LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache
Das Speicherbudget für Inferenz und seine Annahmen verstehen.
- LLM-VRAM-Rechner: GPU-Speicher & Inferenz berechnen
Modell-Fit für GPU, Präzision und Kontext berechnen.
- LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf
Gewichtskompression, Qualität und Laufzeitgrenzen unterscheiden.
- KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
Speicher für Kontext und gleichzeitige Anfragen bestimmen.
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
Adapter, Optimizer-Zustände und Aktivierungen für Fine-Tuning planen.
Welche GPU und Vernetzung passen zum Workload?
Modell-Fit und Bandbreite für Inferenzplanung nutzen. Trainingsbenchmarks als Systemergebnisse lesen und von Kaufentscheidungen unterscheiden.
- GPU-Kaufberatung für LLM-Inferenz (2026)
Spezifikationen, Angebote und Workload-Anforderungen vergleichen.
- GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße
Roofline-Rechnungen auf konkrete Qwen3-GPU-Kombinationen anwenden.
- NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks
Veröffentlichte B200- und GB200-Trainingsergebnisse fair vergleichen.
- NVIDIA NVLink: Bandbreite, NVSwitch & GPU-Topologie
Verstehen, was eine NVLink-Domäne verbindet.
- Scale-Up vs Scale-Out: NVLink und All-Reduce
Kommunikation innerhalb und zwischen GPU-Servern berechnen.
- AMD Instinct vs NVIDIA: Speicher und Inferenz
AMD- und NVIDIA-Speicherspezifikationen und ihre Grenzen vergleichen.
Wie wähle und betreibe ich eine LLM-Serving-Engine?
Lokales Deployment, Engine-Auswahl, Release-Pflege und Kostenrechnung getrennt betrachten. Jeder Guide beantwortet eine eigene Betriebsfrage.
- llama.cpp vs Ollama vs vLLM: Lokale LLMs betreiben
Zwischen lokalen Runtimes und GPU-Serving wählen.
- vLLM vs SGLang: LLM-Serving, Caching & Entscheidung
vLLM und SGLang für eigene Anfragemuster vergleichen.
- LLM-Serving-Engines 2026: Upgrades und Versionen
Upgrades, Versionsfixierung und Rollback einplanen.
- LLM-Inferenz: Durchsatz, GPU-Bandbreite & Roofline-Modell
Formeln hinter Decode- und Prefill-Grenzen verstehen.
- MI350P und vLLM: Kerneloptimierung und Messungen
Eine Inferenzkampagne prüfen und GDN-, QSA- und MoE-Kerneländerungen nachvollziehen.
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
Self-Hosting-Kosten unter klaren Annahmen mit einer API vergleichen.
Wie dimensioniere und verwalte ich einen KV-Cache?
Vom Speicher pro Token zu Working Sets und Prefix-Wiederverwendung. Dimensionierung, Eviction und Offload lösen unterschiedliche Probleme.
- KV-Cache visuell erklärt: Prefill, Decode und Speicher
Prefill, Decode und Cache-Wiederverwendung Schritt für Schritt sehen.
- KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
Formel pro Token und Unterschiede der Attention-Layouts lernen.
- KV-Cache-Speicherwachstums-Explorer
Untersuchen, wie wachsender Kontext freien GPU-Speicher belegt.
- KV-Cache-Glossar: GQA, MLA, TTFT und Eviction
Serving-Begriffe und ihre präzisen Definitionen nachschlagen.
- KVSET: LLM-Prefix-Cache mit LRU-Traces dimensionieren
Eine Cache-Kapazitätskurve aus einem LRU-Trace bestimmen.
- LLM-Prefix-Caching: LRU-Eviction und ihre Grenzen
LRU-Eviction für verschiedene Workloads und Kapazitäten bewerten.
- Agenten-Inferenz: KV-Datenverkehr und Speichertiers
Agenten-Working-Sets und Datenverkehr zwischen Speichertiers berechnen.
Was unterscheidet Modellarchitekturen?
Den Ablauf vom Token zur Ausgabe lernen, dann veröffentlichte Sprach- und Multimodal-Checkpoints vergleichen. Architektur-Guides erklären Mechanismen und Serving-Grenzen.
- Attention visuell erklärt: Queries, Keys und Values
Einen Attention-Head berechnen, bevor es um ganze Architekturen geht.
- Wie LLMs wirklich funktionieren — Eine animierte Tour
Embeddings, Attention und Sampling in einer Animation nachvollziehen.
- Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik
Blockkausale Diffusion-Attention, Prefix-Caching und den Turbo-Zeitplan untersuchen.
- Fibo-2.0-Architektur: Gist-Tokens und Editing-Kosten
Adaptive Gist-Tokens, doppelte Textinjektion und Clean-Latent-Editing-Kosten nachvollziehen.
- OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight
Räumliches Attention Pooling, verschachtelte Destillation und nahtbewusstes Embedding-Serving nachvollziehen.
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
Hybride Attention und Sparse Experts von Qwen3-Next untersuchen.
- LFM2.5-24B-A2B: Routing und Cache-Architektur
Expert-Auswahl mit Bias von Mischgewichten trennen und hybriden LFM2.5-Cache-Speicher herleiten.
- Mellum2.1: MoE, lokale Attention und selektives YaRN
Lokale/globale Attention, selektives YaRN und hybriden Cache-Speicher von Mellum2.1 herleiten.
- Beam 1.0: NoPE, Softmax-Skalierung und KV-Speicher
Lokales RoPE und globales NoPE nachvollziehen, SSMax-Entropieeffekte herleiten und KV-Nutzdaten von Allokationen trennen.
- Ripple-65B: Value-Residuals und hybrider KV-Cache
Embedding-basierte Value-Residuals, PeriNorm und den Unterschied zwischen Fenster-Reads und kompakter Cache-Aufbewahrung nachvollziehen.
- Kolibri-1-Architektur: hybride Attention, MoE und FP8
Kolibri-1-Architektur und ihre Serving-Grenzen verstehen.
- Kimi-K3-Architektur: KDA, MLA und LatentMoE
Rekurrenz, MLA und LatentMoE-Routing von Kimi K3 lesen.
- Kimi K3.1 Pro: DSA-Indexer und KV-Cache-Grenzen
K3.1-NoPE-Indexierung, Sparse-MLA-Reads und den Unterschied zwischen Read-Breite und gespeicherter Historie untersuchen.
- Ling-3.1-flash: KDA, MLA und reale Cache-Layouts
Lings Gruppen-Routing und den Unterschied zwischen expandiertem und absorbiertem MLA-Cache herleiten.
- Step-5-Preview: Sparse GQA, Indexer und KV-Speicher
Step-5-Blockindexierung nachvollziehen und Sparse-K/V-Zugriffe von vorgehaltener Cache-Kapazität trennen.
- Nemotron 3.5 Super VL: visuelle Tokens und Video-Pruning
Visuelle Patches, Frame-Paare und änderungsbasiertes Pruning von Super VL verfolgen; Tokenersparnis von Vision-Arbeit trennen.
- Nemotron 3.5 Bolt: LatentMoE, IQ2 und Speicherbudgets
Bolts heterogenes LatentMoE, gepackte IQ2-Gewichte und das separate Laufzeitspeicherbudget untersuchen.
- Nemotron E4B DFlash: Blockspekulation und Serving-Mathematik
E4B-DFlash-Blockvorschläge, exakte Verifikation sowie den Latenz-/Concurrency-Break-even herleiten.
- Qwen3.8 DSpine: Kausaler Draft, Verfeinerung und Cache
Benachbarte kausale Draft-Schreibschritte, serielle Kandidatenverfeinerung und die Dense-Cache-Serving-Grenze nachvollziehen.
- Muse Spark Open: Residualgates und normalisierte Experts
Muse-Attention-, Routing- und Residualgates unterscheiden und Grenzen normerhaltender Mischungen herleiten.
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
Attention, Residuals und Cache-Formen von GLM-5.3-Flash untersuchen.
- Cloudflare Clef: Qwen und Schema-Bewertung
Clefs Entscheidungsbewertung und sein Design ohne Decode verstehen.
- Liquid d1-3B: Inferenz mit geteiltem Zustandszweig
Geteilte Zustandszweige und exaktes Zusammenführen der Attention in d1-3B herleiten.
- Clef Omni: Audio, Video, MoE und Schema-Scoring
Audio-/Video-Verknüpfung, Sparse Experts und Schema-Scoring von Clef Omni nachvollziehen.
- Granite Speech 5.0 TurboCTC: Architektur
Pyramidale Conformer-Formen, Block-Attention und Encoder-only-CTC-Decoding nachvollziehen.
- Nemotron 3.5 Transcribe: Architektur und Datensatz-Audit
Promptbare Spracharchitektur mit Anwendungen und evidenzbasierten Audio-Transkript-Audits verbinden.
Wie vergleiche ich Embeddings für die Suche?
Mit Speicher- und Latenzbudgets beginnen, Single-Vector- und Late-Interaction-Ansätze vergleichen und Grenzen der Quantisierung untersuchen.
- RAG-Speicher berechnen: Embeddings, HNSW, Reranker
Embedding-Gewichte, Vektorindex-Speicher und Retrieval-Latenz dimensionieren.
- EmbeddingGemma-2-Architektur: Soft Tokens, PLE und MRL
Einen Embedding-Encoder, Pooling und Produktionsgrenzen untersuchen.
- Nemotron 3.5 Embed: kompatibles multimodales Retrieval
Kompatibilität des eingefrorenen Textraums, visuelle Ausrichtung, Destillation und Serving-Dimensionen nachvollziehen.
- pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
Late Interaction und asymmetrische Dokument-/Query-Kodierung vergleichen.
- 4-Bit-Quantisierung: Veränderte Retrieval-Rankings
Änderungen im Retrieval-Ranking von Relevanzverlusten unterscheiden.
Wie nutze ich NVIDIA-GPUs unter Ubuntu?
Installation und Container-Prüfung von der Diagnose von CUDA-Fehlern trennen. Ein berichteter Workaround ist keine allgemeine Lösung.
- NVIDIA-GPU-Container unter Ubuntu 24.04
Host-Treiber installieren und GPU-Zugriff in Docker prüfen.
- NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr
CUDA-Fehler 802 diagnostizieren, bevor nokaslr erwogen wird.