DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
DSpines Vorgängerfeatures, parallelen Draft und serielle Verfeinerung aus gepinntem Qwen3.8-Code erklären. Speicherbedarf und Serving-Grenzen herleiten.
KI-Blog: LLMs, GPUs und Linux
Anleitungen, Vergleiche und Rechner zu LLM-Inferenz, GPU-Speicher, NVIDIA-Hardware und Linux. Alle Fachartikel von flozi00 TechHub im Überblick.
98 Fachartikel · Nach Thema stöbern
Ripple-65B: Embedding-Value-Residuals und hybride Attention
Ripples Embedding-basierten V-Mix, PeriNorm und lokale/globale Attention aus Code erklären. Kompakte KV-Kapazität und Grenzen des Referenz-Caches herleiten.
Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
Sparse MLA und NoPE-Indexer von K3.1 Pro aus gepinntem Code erklären. Top-2048-Auswahl, gespeicherte Historie, Approximationsfehler und Serving-Grenzen trennen.
Nemotron 3.5 Transcribe: Von Sprachaufnahmen zum Datensatz-Audit
Nemotron 3.5 Transcribe vom Audioframe zum hybriden MoE: Stundenkontext berechnet, Sprecherfusion, Speichergrenzen, Anwendungen und Datensatz-Audits.
Attention visuell erklärt
Sieh, wie Attention Queries mit Keys vergleicht und Values mischt. Ein interaktiver Einstieg mit Softmax, kausaler Maske und einem kleinen Rechenbeispiel.
Den KV-Cache visuell verstehen
Begleite einen Prompt und neue Tokens durch den KV-Cache. Verstehe, welche Keys und Values wiederverwendet werden und warum der Speicherbedarf wächst.
NVFP4 und INT4 visuell erklärt
Vergleiche INT4 und NVFP4 mit interaktiven Zahlenstrahlen. Verstehe Rundungsfehler, das Gleitkommaformat E2M1 und Blockskalierung ohne Machine-Learning-Vorwissen.
KI visuell verstehen: Hier geht es los
Interaktive Diagramme in jedem technischen Artikel: Attention, KV-Cache, Modellarchitekturen, GPUs, Parallelisierung, Serving und Linux.
Granite Speech 5.0 TurboCTC: Pyramidales Conformer-Serving
Wie Granite Speech 5.0 TurboCTC ASR-Rechenaufwand mit pyramidalen Conformer-Blöcken, Chunk-Attention und CTC-Decoding reduziert.
Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash
Tensorformen, Parameter- und Cache-Bytes, exakte spekulative Verifikation, NVFP4-Grenzen und die Nebenläufigkeitsgrenze von Nemotron 3.5 Bolt E4B.
OlmoEarth v1.3: Attention Pooling, Matryoshka-Destillation und Searchlight
Tensorformen, Attention-Mathematik, Gram-Destillation, Signed-Power-int8, Zarr-Layout und Produktionsgrenzen von OlmoEarth v1.3.
Nemotron 3.5 Embed: Bilder ergänzen, ohne den Textindex zu ersetzen
Eingefrorene Text-Embeddings, visuelle Ausrichtung, 1B-Destillation, dynamische Dimensionen und NVFP4-Grenzen in NVIDIA Nemotron 3.5 Embed.
Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
Wie Fibo 2.0 komprimierte Qwen3-VL-Gist-Tokens, direkte Textinjektion und saubere Bild-Latents kombiniert – mit Tensorformen, Attention-Kosten und Laufzeitgrenzen.
Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
Frame-Paar-Projektion, Pixel Shuffle und änderungsbasiertes Pruning in Nemotron 3.5 Super VL: Tensorformen, Speicherrechnung und konkrete Laufzeitgrenzen.
Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
43 lokale und neun globale Attention-Schichten prüfen, den Entropieeffekt von SSMax herleiten und logische KV-Nutzdaten vom Serving-Speicher trennen.
Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
Residualgate-Koeffizienten von Muse Spark Open herleiten, drei Gate-Arten unterscheiden und Expert-Normierung sowie korrekte Kernel-Transformationen erklären.
Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
Heterogene Experts, 66-Byte-IQ2-Blöcke und Mixed Precision in Bolt nachvollziehen; KV- und Mamba-Zustände berechnen, statt 24 GB als Laufzeitmaximum zu deuten.
Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
Acht-Token-Indexblöcke, gruppierte Top-k-Zugriffe und BF16-Cache von Step-5-Preview herleiten; Serving-Unterstützung von Grenzen des Referenzcodes trennen.
Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
Gruppiertes Routing, KDA-Zustand und MLA-Gewichtsabsorption von Ling-3.1-flash anhand von Tensorformen, festgelegtem Code und klaren Speicherannahmen erklären.
LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
Sigmoid-MoE-Routing, gegatete Faltung und GQA-Cache-Speicher aus festgelegten LFM2.5-24B-A2B-Gewichten, Konfiguration und Code herleiten.
Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
118 Messläufe: GDN-Replay, dichte QSA, MoE-Routing, FP4/FP8-Abwägungen, verworfene Kernel und Grenzen von Durchsatz-, Latenz- und Qualitätsaussagen.
Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
d1-3B-Tree-Inferenz, exakte Split-Attention und typisierte Vokabular-Ausgabe mit Tensorformen und Produktionsgrenzen herleiten.
Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
Mellum2.1 mit Tensorformen, Top-8-Routing und schichtspezifischem YaRN. Den hybriden KV-Cache berechnen und veröffentlichte Funktionen von MTP-Ankündigungen trennen.
Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
Wie Cloudflare Clef Omni Audio und Video, acht MoE-Experten pro Token und Schema-Scoring verbindet: Tensorformen, Speicherrechnung und Grenzen beim produktiven Betrieb.
Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
Blockkausalen Transformer und 8-Schritt-Turbo von Qwen-Image 2.1 verstehen. Tensorformen, Prefix-Cache-Speicher, eingesparte Arbeit und Betriebsgrenzen herleiten.
EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
EmbeddingGemma 2 technisch erklärt: Media-Token-Fusion, 20 lokale und vier globale Encoder-Schichten, PLE, 768d-Pooling, MRL und Betriebsgrenzen.
pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
Architektur und Mathematik von 9B-Dokumentembeddings mit 0.6B-Queries: gemeinsame Koordinaten, MaxSim, gemessene Suchqualität und Betriebskosten.
Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
Kolibri 1 technisch erklärt: 40 Sliding-Window- und 10 Full-Attention-Blöcke, Top-6-aus-384-MoE-Routing, Cache-Rechnung und FP8-Betriebsgrenzen.
Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
Architektur von Clef und Clef-flash untersuchen: Qwen-Backbones ohne Decode, Optionsevidenz, gemeinsame Feld-Attention und Produktionsgrenzen.
GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
Quellengeprüfter Leitfaden zum veröffentlichten GLM-5.3-Flash-Checkpoint: 3:1-KDA/Sparse-MLA-Stack, vier mHC-Residual-Ströme, MoE-Routing, Cache-Formen, FP8-Gewichte und Serving-Grenzen.
Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
Kimi K3 anhand des veröffentlichten Checkpoints verstehen: KDA, globale MLA, Attention Residuals, LatentMoE-Routing und Serving-Grenzen.
Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
Die veröffentlichte Architektur von Qwen3.8 Flash Next untersuchen: GDN, Sparse Attention, MoE-Routing und ausgelagerte N-Gram-Embeddings.
Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
Agentenkosten anhand veröffentlichter Tokenpreise berechnen, einen ungeprüften Nutzungsbericht einordnen und Prompt-Cache-Wiederverwendung planen.
BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
Parallele Host- und HBM-Zugriffe mit Prefetch-Tiering vergleichen. GH200-Durchsatzwerte von Latenz und PCIe-Hochrechnungen unterscheiden.
Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
Veröffentlichte Modell- und Cache-Lesepreise vom 21.–22. September 2026 vergleichen, mit Kostenrechnungen für Agenten-Workloads pro Anbieter.
CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
CXL-SSD-Prefix-Caching und LM-CXDs chunkbewusstes Design verstehen: Datenbewegung, TTFT-Ergebnisse und Grenzen praktischer Bereitstellung.
CXMT bei 10 % DRAM-Umsatzanteil: Was die Zahlen zeigen
Counterpoints Schätzung für Q2 2026 und CXMTs Angaben zu G5 und LPDDR6, getrennt von Kosten- und Yield-Schätzungen.
DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
CED, CSA2, FP4 und Bounded Replay verstehen: Was legt das Paper zu den angegebenen KV-Bytes pro Token von DeepSeek V4.1 Flash offen?
Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
Phasenspezifische Quantisierung, Genauigkeitstests und SSD-gestreamten Prefill prüfen: zusätzliche Checkpoints und Grenzen von Laufzeitmessungen.
FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
Token-Sparsity, Sparse Attention und INT4-KV-Residuals in FlashLoop untersuchen: Grenzen der Speicher-, Speedup- und Genauigkeitsergebnisse.
Gumbel-Watermarking ist endlich produktiv — und die Compliance-Asymmetrie, die niemand eingepreist hat
SynthID-Text und vLLM-Gumbel-Watermarking vergleichen: statistische Nachweisgrenzen und die im Guide behandelte Kennzeichnungspflicht nach Artikel 50.
HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
High-Bandwidth-Flash als KV-Tier vergleichen: Cold-Pool-Platzierung, Offload-Verkehr, Haltbarkeit und Latenzbudget hinter Kapazitätsgewinnen.
KernelOPTs agentische Kernel-Suche: Die Verifikationskaskade funktioniert, der Speedup verblasst mit der Schwierigkeit
Profilgestützte Triton-Optimierung und Verifikation auf Modellebene verstehen: Wie Laufzeit in Herstellerbibliotheken die Speedups begrenzt.
KREX: Kernel-Benchmarking auf geteilten GPUs, ohne die Suche des Agenten zu korrumpieren
Isolation kritischer Bereiche bei GPU-Benchmarks verstehen: Wie Messfehler die Kernel-Suche beeinflussen und wo die Studiengrenzen liegen.
Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
Tokenbasierte und zeitbasierte Abrechnung in einer synthetischen vLLM-Studie vergleichen: KV-Kapazität, Rechenzeit und Zuordnungsgrenzen.
Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
Kalibrierung, Garantien bei endlichen Stichproben und Full-KV-Fallback bei risikokontrollierter Eviction anhand von Rechenbeispielen verstehen.
KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
KITEs Prefill-KV-Invariante und Two-Tower-Architektur verstehen. Grenzen von Trainingsverlust als Maß für Fähigkeiten und Decode-Kosten einordnen.
KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
Head- und Layer-Rang, Tucker-Zerlegung und Rekonstruktionsfehler in zwei untersuchten Modellen einordnen, ergänzt um eine Beispielsimulation.
KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
Aus LRU-Stack-Distanzen eine Trefferkurve für den Prefix-Cache berechnen: Beispielsimulation, Working Set und Grenzen der Methode.
Leaderboard-Margen gegen verborgene Modellauswahl: Welche Gewinne überleben k geheime Varianten?
Wie verdeckte Modellauswahl Benchmark-Abstände beeinflusst: Gauß-Modell, Korrelationsannahmen und Simulation anhand der untersuchten Studie.
Greedy Decoding ist nicht präzisionsinvariant: BF16-vs-FP16-Flips, Margin-Gating und die Kernel-Reihenfolgen-Achse
Logit-Abstände und Reduktionsreihenfolge beim Greedy-Decoding verstehen: Zahlenbeispiele und Grenzen untersuchter Gegenmaßnahmen.
LLM-Prefix-Caching: Wo LRU stark ist und wo es zurückfällt
LRU auf produktiven Prefix-Cache-Traces prüfen: rechengewichtete Einsparungen, Workload- und Kapazitätsgrenzen sowie eine Beispielsimulation.
PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
Krümmungsgewichtete Fehlerbewertung bei Post-Training-Quantisierung verstehen: Kalibrierung und Grenzen der quadratischen Näherung.
Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
Ranking-Änderungen durch 4-Bit-Quantisierung, Score-Abstände und Gegenmaßnahmen prüfen. Geänderte Treffer bedeuten nicht automatisch weniger Relevanz.
Snapdragon X2 unter Linux: Die 80-TOPS-NPU ist nicht die Story — 228 GB/s sind es
Linux-Unterstützung und Speicherbandbreite des Snapdragon X2 einordnen. Rechenbeispiele für lokale LLMs sind keine gemessenen Leistungswerte.
Uncheatable Eval: LLMs benotet nach den Bits, die sie brauchen
Kompressionsrate und Bits pro Byte umrechnen. Skalierungsergebnisse und Grenzen der Kontrolle von Trainingsdatenkontamination einordnen.
KV-Cache-Speicherwachstums-Explorer
Sehen Sie, wie der KV-Cache eines Agenten den freien HBM eines Knotens füllt, während der Kontext wächst — über GQA-, MLA- und hybride Aufmerksamkeitsmodelle hinweg, mit live Füllbalken pro Modell.
TypeSafe Jev: Was öffentlich belegt ist
Einordnung der Jev-Ankündigung, Workflow-Evaluation, Kalibrierungsbehauptung und relevanter Vorarbeiten.
GLM-5.3-MTP auf B300: Akzeptanzmathematik und NCCL NVLS
Ein Rechenbeispiel für MTP-Akzeptanzraten beim GLM-5.3-Serving und dokumentierte Änderungen im NVLS-Fehlerverhalten verschiedener NCCL-Versionen.
Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
KV-Bytes pro Agenten-Turn, Flottenbandbreite und Working-Set-Kapazität berechnen. PCIe-Transfers und HBM-Zugriffe getrennt einordnen.
EU-KI-Verordnung Art. 50: Kennzeichnung und technische Grenzen
Art. 50 Abs. 2 verlangt von Anbietern generativer KI-Systeme die Kennzeichnung synthetischer Ausgaben, mit Ausnahmen und Machbarkeitsvorbehalt. Was die Übergangsfrist 2026 und die Forschung zu Wasserzeichen aussagen.
EU AI Act nach dem Digital Omnibus: Was sich verschoben hat
Die Verordnung (EU) 2026/1744 verschob zwei Anwendungsdaten für Hochrisiko-KI. Für Verbote, GPAI und Art. 50 gelten andere Termine. Ein quellenbasierter Überblick.
EU AI Act und DSGVO für selbst gehostete LLMs
Welche Pflichten aus der EU-KI-Verordnung und der DSGVO für ein selbst gehostetes LLM gelten können: Rollen, Hochrisiko-Einsatz, Transparenz, Open-Source-GPAI und personenbezogene Daten.
Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
Zufällige Eviction mit fixiertem Prompt auf Reasoning-Traces prüfen, bewertete Verfahren vergleichen und KV-Datenverkehr pro Token berechnen.
DeepSeek V4 Pro selbst hosten: die echte Rechnung
MoE-Gewichtsspeicher, KV-Cache-Wachstum und Decode-Grenzen für DeepSeek V4 Pro berechnen, ergänzt um einen bedingten API-Kostenvergleich.
GPU-Kaufberatung für LLM-Inferenz (2026)
GPU-Spezifikationen für LLM-Serving lesen: Modellgröße, Speicherbandbreite, Interconnect, Systemangebote, gebrauchte Hardware und Workload-Auswahl.
HBM-Kapazität und die Kosten des KV-Caches
Wie Kontextlänge GPU-Speicher belegt, warum HBM pro Bit mehr Waferkapazität als DDR5 benötigt und was NVIDIA und TrendForce tatsächlich zur Kapazität von Rubin und Rubin Ultra sagen.
Deutschlands KI-MIG: Wer überwacht die KI-Verordnung?
Das KI-MIG bestimmt die Bundesnetzagentur zur grundsätzlich zuständigen Marktüberwachungsbehörde für die KI-Verordnung und regelt Ausnahmen. Eine quellenbasierte Übersicht zu Befugnissen, Register und Fristen.
Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
KV-Cache-Speicher pro Token und Anfrage berechnen. GQA, MQA und MLA vergleichen, PagedAttention verstehen und GPU-Kapazität mit Beispielen planen.
KV-Cache-Glossar: jeder Begriff des Serving-Stacks
Begriffe und Formeln zu KV-Bytes pro Token, PagedAttention, Prefix-Caching, Eviction, TTFT, TPOT und Speichertiers nachschlagen.
llama.cpp / Ollama vs vLLM: Was, wann und warum
llama.cpp, Ollama und vLLM vergleichen: GGUF, parallele Anfragen und GPU-Speicher. Mit VRAM-Rechnung für ein 14B-Modell auf einer 24-GB-GPU.
LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
Das 16-Byte-Modellzustandsbudget für AdamW, LoRAs r(d_in+d_out)-Adapterformel, QLoRAs NF4-Speicher und die Grenzen von Aktivierungsspeicher-Schätzungen.
NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
SRAM-Kapazität und Bandbreite von Groq 3 LPX analysieren, Hardwareverhältnisse vergleichen und Token-Latenz von Gesamtdurchsatz unterscheiden.
NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
Hugging-Face-Abhängigkeiten in vLLM, SGLang und TensorRT-LLM untersuchen und Lieferkettenfragen zur angekündigten Übernahme einordnen.
LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
FP8, NVFP4, MXFP4, GPTQ, AWQ und GGUF vergleichen. Bit-Layouts, Block-Skalen und Rechenbeispiele zeigen den VRAM-Bedarf der Quantisierungsformate.
RAG-Retrieval-Mathematik: Embedding-Speicher, Vektorindex-Größe und das Latenzbudget, das niemand rechnet
Embedding-Gewichte, Vektorspeicher und Retrieval-Latenz für selbst gehostetes RAG berechnen: Beispiele zu Flat Search, HNSW und Rerankern.
Die Churn-Steuer 2026 für Serving-Engines: vLLM 0.29, SGLang 0.5.19 und TensorRT-LLM ohne TensorRT
Breaking Changes von vLLM, SGLang und TensorRT-LLM im September 2026 prüfen: Upgrade-Kosten, Versionsfixierung und Rollback planen.
UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
Working Sets pausierter Agenten und UNISONs SPEAR- und TIDE-Verfahren analysieren: KV-Datenverkehr berechnen und Softwarealternativen einordnen.
vLLM vs SGLang: Architektur, Overhead und die Frage, wann man was wählt
vLLM und SGLang für LLM-Serving vergleichen: PagedAttention, RadixAttention, Scheduling und Quantisierung. Mit Entscheidungstabelle für den Einsatz.
AMDs MI455X-Behauptung von 34-fachem Durchsatz: Was die Quellen belegen
AMDs MI455X-Durchsatzangabe anhand offengelegter Speicher- und Bandbreitenwerte prüfen: Welche Benchmark-Details fehlen für den Vergleich?
AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
AMD MI300X, MI350 und MI400 mit NVIDIA vergleichen: Speicher, Bandbreite, Quantisierung und Grenzen theoretischer Leistungswerte.
MLPerf Inference 2026: Was Ergebnisse über Hardware und Software aussagen
MLPerf-Inference-Ergebnisse aus v6.0 und v6.1 einordnen: Softwaregewinne, Clustergröße und Vorab-Ergebnisse im Zusammenhang verstehen.
Scale-up vs. Scale-out: Netzwerkbandbreite und Kollektivoperationen
NVLink-Domänen und Netzwerke zwischen Racks vergleichen: Ring-All-Reduce mit Rechenbeispiel und klaren Bandbreitenannahmen.
Wie LLMs wirklich funktionieren — Eine animierte Tour
Vom Token zur Wahrscheinlichkeitsverteilung: Embeddings, Attention, Training und Sampling — erklärt ohne Formel-Sprung, mit Animation.
LLM-Inferenzrechner & Break-Even-Analyse
VRAM und KV-Cache für Qwen, DeepSeek und GLM abschätzen. GPUs, Quantisierung und Batchgrößen vergleichen – mit theoretischen Durchsatzwerten.
LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
Eigenbau vs. Cloud für LLM-Inferenz: Kosten pro Token, Amortisierung und Break-even für GPUs von RTX PRO 6000 bis B300 im Vergleich.
Parakeet TDT vs. Encoder-Decoder-ASR: Abwägungen für den Einsatz
Wo Parakeet (FastConformer + TDT) für ASR geeignet ist: Streaming, lange Audios, Zeitstempel und N-Gramm-LM-Fusion.
Expert Parallelism: Das Dilemma des Routers
Expert Parallelism für MoE-Modelle: Tokens statt Matrizen routing, All-to-All-Kommunikation, Load-Imbalance und reale Implementierungen.
Pipeline Parallelism: Daten flussaufwärts pumpen
Pipeline Parallelism erklärt: Schichten vertikal über GPUs teilen, 1F1B-Scheduling und die Pipeline-Bubble kontrollieren.
Tensor Parallelism: Silizium zerschneiden
Tensor Parallelism erklärt: Wie Gewichtsmatrizen über GPUs aufgeteilt werden, welche All-Reduce-Kommunikation entsteht und wann TP skaliert.
Die richtige GPU für Qwen3-Inferenz auswählen
RTX PRO 6000, H200 und DGX Station für Qwen3-Inferenz vergleichen: Modellgröße, GPU-Speicher, Bandbreite und theoretische Decode-Grenzen.
LLM-Inferenz-Mathematik: Theorie trifft Hardware
LLM-Inferenz verstehen: Bytes pro Token, GPU-Bandbreite und theoretischen Decode-Durchsatz berechnen. Mit Rechenbeispiel für Qwen3-VL-32B.
LLM-VRAM-Bedarf: Ein mathematischer Deep Dive
Wie viel VRAM braucht ein LLM? Gewichte, Quantisierung und KV-Cache Schritt für Schritt berechnen – mit Qwen3-VL-32B als Beispiel und VRAM-Rechner.
Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
Hybridlayout aus Gated DeltaNet und Attention, sparse Experten, Speicherbedarf und Bereitstellung anhand der offiziellen Modellkarte.
NVIDIA-GPU-Container unter Ubuntu 24.04
Host-Treiber, Docker Engine und NVIDIA Container Toolkit anhand aktueller offizieller Anleitungen installieren und GPU-Zugriff prüfen.
NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr
Was ein Forumseintrag zu nokaslr tatsächlich belegt und wie sich CUDA- und Fabric-Manager-Fehler unterscheiden lassen.
NVIDIA B200 vs GB200: Was MLPerf Training tatsächlich zeigt
B200 und GB200 im Vergleich: Systemaufbau, NVLink-Domänen und veröffentlichte MLPerf-Trainingsergebnisse – mit klaren Grenzen der Leistungsbewertung.
NVIDIA NVLink: Generationen, Domänen und Prüfung
NVLink-Bandbreiten nach Generation vergleichen, NVSwitch und HGX-/NVL72-Domänen verstehen und GPU-Topologie unter Linux mit nvidia-smi prüfen.