Themen & Tags
Alle Artikel des TechHub, nach Tag gruppiert. Klick dich durch die Themen.
ai91 Artikel
- Über Florian Zimmermeister
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- TypeSafe Jev: Was öffentlich belegt ist
- Nemotron 3.5 Transcribe: Von Sprachaufnahmen zum Datensatz-Audit
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- EU-KI-Verordnung Art. 50: Kennzeichnung und technische Grenzen
- EU AI Act nach dem Digital Omnibus: Was sich verschoben hat
- EU AI Act und DSGVO für selbst gehostete LLMs
- Granite Speech 5.0 TurboCTC: Pyramidales Conformer-Serving
- Parakeet TDT vs. Encoder-Decoder-ASR: Abwägungen für den Einsatz
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- Attention visuell erklärt
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
- CXMT bei 10 % DRAM-Umsatzanteil: Was die Zahlen zeigen
- DeepSeek V4 Pro selbst hosten: die echte Rechnung
- DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
- Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
- EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
- Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
- FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- GPU-Kaufberatung für LLM-Inferenz (2026)
- Die richtige GPU für Qwen3-Inferenz auswählen
- Gumbel-Watermarking ist endlich produktiv — und die Compliance-Asymmetrie, die niemand eingepreist hat
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- Wie LLMs wirklich funktionieren — Eine animierte Tour
- KernelOPTs agentische Kernel-Suche: Die Verifikationskaskade funktioniert, der Speedup verblasst mit der Schwierigkeit
- Deutschlands KI-MIG: Wer überwacht die KI-Verordnung?
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- KREX: Kernel-Benchmarking auf geteilten GPUs, ohne die Suche des Agenten zu korrumpieren
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- Den KV-Cache visuell verstehen
- Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- Leaderboard-Margen gegen verborgene Modellauswahl: Welche Gewinne überleben k geheime Varianten?
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
- llama.cpp / Ollama vs vLLM: Was, wann und warum
- LLM-Inferenz-Mathematik: Theorie trifft Hardware
- LLM-VRAM-Bedarf: Ein mathematischer Deep Dive
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Nemotron 3.5 Embed: Bilder ergänzen, ohne den Textindex zu ersetzen
- Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
- OlmoEarth v1.3: Attention Pooling, Matryoshka-Destillation und Searchlight
- pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
- Greedy Decoding ist nicht präzisionsinvariant: BF16-vs-FP16-Flips, Margin-Gating und die Kernel-Reihenfolgen-Achse
- LLM-Prefix-Caching: Wo LRU stark ist und wo es zurückfällt
- PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
- NVFP4 und INT4 visuell erklärt
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
- RAG-Retrieval-Mathematik: Embedding-Speicher, Vektorindex-Größe und das Latenzbudget, das niemand rechnet
- Ripple-65B: Embedding-Value-Residuals und hybride Attention
- Expert Parallelism: Das Dilemma des Routers
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Tensor Parallelism: Silizium zerschneiden
- Die Churn-Steuer 2026 für Serving-Engines: vLLM 0.29, SGLang 0.5.19 und TensorRT-LLM ohne TensorRT
- Snapdragon X2 unter Linux: Die 80-TOPS-NPU ist nicht die Story — 228 GB/s sind es
- Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
- Uncheatable Eval: LLMs benotet nach den Bits, die sie brauchen
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
- KI visuell verstehen: Hier geht es los
- vLLM vs SGLang: Architektur, Overhead und die Frage, wann man was wählt
- Meine Reise: Besessenheit, Scheitern und KI als Anker
- KV-Cache-Speicherwachstums-Explorer
- LLM-Inferenzrechner & Break-Even-Analyse
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
inference51 Artikel
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
- DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
- Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
- EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
- FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- Den KV-Cache visuell verstehen
- Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- Greedy Decoding ist nicht präzisionsinvariant: BF16-vs-FP16-Flips, Margin-Gating und die Kernel-Reihenfolgen-Achse
- LLM-Prefix-Caching: Wo LRU stark ist und wo es zurückfällt
- PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
- Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
- Ripple-65B: Embedding-Value-Residuals und hybride Attention
- Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
- AMDs MI455X-Behauptung von 34-fachem Durchsatz: Was die Quellen belegen
- AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
- MLPerf Inference 2026: Was Ergebnisse über Hardware und Software aussagen
- KV-Cache-Speicherwachstums-Explorer
- LLM-Inferenzrechner & Break-Even-Analyse
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
machine-learning43 Artikel
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- TypeSafe Jev: Was öffentlich belegt ist
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Granite Speech 5.0 TurboCTC: Pyramidales Conformer-Serving
- Parakeet TDT vs. Encoder-Decoder-ASR: Abwägungen für den Einsatz
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
- CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
- DeepSeek V4 Pro selbst hosten: die echte Rechnung
- DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
- Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
- FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
- Gumbel-Watermarking ist endlich produktiv — und die Compliance-Asymmetrie, die niemand eingepreist hat
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- KernelOPTs agentische Kernel-Suche: Die Verifikationskaskade funktioniert, der Speedup verblasst mit der Schwierigkeit
- KREX: Kernel-Benchmarking auf geteilten GPUs, ohne die Suche des Agenten zu korrumpieren
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- Leaderboard-Margen gegen verborgene Modellauswahl: Welche Gewinne überleben k geheime Varianten?
- llama.cpp / Ollama vs vLLM: Was, wann und warum
- LLM-Inferenz-Mathematik: Theorie trifft Hardware
- LLM-VRAM-Bedarf: Ein mathematischer Deep Dive
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
- Greedy Decoding ist nicht präzisionsinvariant: BF16-vs-FP16-Flips, Margin-Gating und die Kernel-Reihenfolgen-Achse
- LLM-Prefix-Caching: Wo LRU stark ist und wo es zurückfällt
- PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
- RAG-Retrieval-Mathematik: Embedding-Speicher, Vektorindex-Größe und das Latenzbudget, das niemand rechnet
- Die Churn-Steuer 2026 für Serving-Engines: vLLM 0.29, SGLang 0.5.19 und TensorRT-LLM ohne TensorRT
- Uncheatable Eval: LLMs benotet nach den Bits, die sie brauchen
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
- vLLM vs SGLang: Architektur, Overhead und die Frage, wann man was wählt
llm36 Artikel
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
- DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
- Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
- FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- Gumbel-Watermarking ist endlich produktiv — und die Compliance-Asymmetrie, die niemand eingepreist hat
- Wie LLMs wirklich funktionieren — Eine animierte Tour
- KernelOPTs agentische Kernel-Suche: Die Verifikationskaskade funktioniert, der Speedup verblasst mit der Schwierigkeit
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- KREX: Kernel-Benchmarking auf geteilten GPUs, ohne die Suche des Agenten zu korrumpieren
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- Leaderboard-Margen gegen verborgene Modellauswahl: Welche Gewinne überleben k geheime Varianten?
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Greedy Decoding ist nicht präzisionsinvariant: BF16-vs-FP16-Flips, Margin-Gating und die Kernel-Reihenfolgen-Achse
- LLM-Prefix-Caching: Wo LRU stark ist und wo es zurückfällt
- PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
- Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
- Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
- Uncheatable Eval: LLMs benotet nach den Bits, die sie brauchen
- Scale-up vs. Scale-out: Netzwerkbandbreite und Kollektivoperationen
gpu34 Artikel
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- DeepSeek V4 Pro selbst hosten: die echte Rechnung
- GPU-Kaufberatung für LLM-Inferenz (2026)
- Die richtige GPU für Qwen3-Inferenz auswählen
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- KernelOPTs agentische Kernel-Suche: Die Verifikationskaskade funktioniert, der Speedup verblasst mit der Schwierigkeit
- KREX: Kernel-Benchmarking auf geteilten GPUs, ohne die Suche des Agenten zu korrumpieren
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- llama.cpp / Ollama vs vLLM: Was, wann und warum
- LLM-Inferenz-Mathematik: Theorie trifft Hardware
- LLM-VRAM-Bedarf: Ein mathematischer Deep Dive
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- RAG-Retrieval-Mathematik: Embedding-Speicher, Vektorindex-Größe und das Latenzbudget, das niemand rechnet
- Expert Parallelism: Das Dilemma des Routers
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Tensor Parallelism: Silizium zerschneiden
- Die Churn-Steuer 2026 für Serving-Engines: vLLM 0.29, SGLang 0.5.19 und TensorRT-LLM ohne TensorRT
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
- vLLM vs SGLang: Architektur, Overhead und die Frage, wann man was wählt
- NVIDIA-GPU-Container unter Ubuntu 24.04
- AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
- NVIDIA B200 vs GB200: Was MLPerf Training tatsächlich zeigt
- NVIDIA NVLink: Generationen, Domänen und Prüfung
- KV-Cache-Speicherwachstums-Explorer
- LLM-Inferenzrechner & Break-Even-Analyse
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
kv-cache21 Artikel
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- DeepSeek-V4.1-Flash: Was die berichteten 890 Byte KV-Cache pro Token umfassen
- FlashLoop, oder: Wer einen Transformer loopt, vervierfacht die Rechnung — und wirft das Meiste wieder weg
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- Den KV-Cache visuell verstehen
- Risikokontrollierte KV-Eviction: Zuverlässigkeitsvertrag und Full-KV-Fallback
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
- Ripple-65B: Embedding-Value-Residuals und hybride Attention
- Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
- KI visuell verstehen: Hier geht es los
attention18 Artikel
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- Attention visuell erklärt
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
- Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
- Wie LLMs wirklich funktionieren — Eine animierte Tour
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- Ripple-65B: Embedding-Value-Residuals und hybride Attention
- KI visuell verstehen: Hier geht es los
hardware18 Artikel
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- CXL-SSDs für LLM-Prefix-Caching: Byte-Adressierbarkeit bringt ohne Chunk-Bewusstsein nichts
- CXMT bei 10 % DRAM-Umsatzanteil: Was die Zahlen zeigen
- GPU-Kaufberatung für LLM-Inferenz (2026)
- Die richtige GPU für Qwen3-Inferenz auswählen
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- LLM-Inferenz-Mathematik: Theorie trifft Hardware
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- Expert Parallelism: Das Dilemma des Routers
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Tensor Parallelism: Silizium zerschneiden
- Snapdragon X2 unter Linux: Die 80-TOPS-NPU ist nicht die Story — 228 GB/s sind es
- AMDs MI455X-Behauptung von 34-fachem Durchsatz: Was die Quellen belegen
- AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
- NVIDIA NVLink: Generationen, Domänen und Prüfung
- Scale-up vs. Scale-out: Netzwerkbandbreite und Kollektivoperationen
deep-learning16 Artikel
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Die richtige GPU für Qwen3-Inferenz auswählen
- Wie LLMs wirklich funktionieren — Eine animierte Tour
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- LLM-Inferenz-Mathematik: Theorie trifft Hardware
- LLM-VRAM-Bedarf: Ein mathematischer Deep Dive
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- Expert Parallelism: Das Dilemma des Routers
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Tensor Parallelism: Silizium zerschneiden
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
- KV-Cache-Speicherwachstums-Explorer
- LLM-Inferenzrechner & Break-Even-Analyse
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
architecture15 Artikel
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Liquid d1-3B: Verzweigte Entscheidungen ohne Decoding
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Nemotron 3.5 Embed: Bilder ergänzen, ohne den Textindex zu ersetzen
- Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
- Ripple-65B: Embedding-Value-Residuals und hybride Attention
- Step-5-Preview: Sparse-Zugriffe sind kein komprimierter KV-Cache
gpu-memory15 Artikel
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Random Attention vs. scorebasierte KV-Eviction auf Reasoning-Traces
- BOOST: Gleichzeitiger Zugriff auf Host-Speicher und HBM beim LLM-Decode
- HBF als dritte KV-Tier: 24x Sessions oder 5x schlechtere Latenz — das Medium ist in Ordnung, die Placement-Politik entscheidet
- HBM-Kapazität und die Kosten des KV-Caches
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- KV-Cache-Tensordekomposition: Vollrangige Kopf- und Layer-Modi in zwei Modellen
- KVSET: LRU-Stack-Distanzen für das Sizing von LLM-Prefix-Caches
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- RAG-Retrieval-Mathematik: Embedding-Speicher, Vektorindex-Größe und das Latenzbudget, das niemand rechnet
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht
moe15 Artikel
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Beam 1.0: lokales RoPE, globales NoPE und skalierbare Softmax
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- DeepSeek V4 Pro selbst hosten: die echte Rechnung
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kimi K3.1 Pro: Sparse-Zugriffe, keine kleinere Historie
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- LFM2.5-24B-A2B: Routing mit Bias, kurze Faltungen und zehn KV-Caches
- Ling-3.1-flash: Gruppen-Routing und zwei unterschiedliche MLA-Caches
- Mellum2.1: Sparse Experts, lokale Attention und selektives YaRN
- Muse Spark Open: Normerhaltende Gates sind keine Normgarantie
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
- Expert Parallelism: Das Dilemma des Routers
guide13 Artikel
- Granite Speech 5.0 TurboCTC: Pyramidales Conformer-Serving
- Parakeet TDT vs. Encoder-Decoder-ASR: Abwägungen für den Einsatz
- Attention visuell erklärt
- Die richtige GPU für Qwen3-Inferenz auswählen
- Wie LLMs wirklich funktionieren — Eine animierte Tour
- Den KV-Cache visuell verstehen
- NVFP4 und INT4 visuell erklärt
- Expert Parallelism: Das Dilemma des Routers
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Tensor Parallelism: Silizium zerschneiden
- KI visuell verstehen: Hier geht es los
- NVIDIA-GPU-Container unter Ubuntu 24.04
- NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr
architektur11 Artikel
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
- Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- Kimi K3 im Detail: Delta Attention, Attention über Schichten und LatentMoE
- Kolibri 1 im Detail: hybride RNoPE-Attention, Sparse MoE und FP8-Serving
- Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash
- OlmoEarth v1.3: Attention Pooling, Matryoshka-Destillation und Searchlight
- pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
nvidia11 Artikel
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- NVIDIA Groq 3 LPX: SRAM-Decode, Kapazität und Benchmark-Grenzen
- NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
- NVIDIA-GPU-Container unter Ubuntu 24.04
- NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr
- AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
- NVIDIA B200 vs GB200: Was MLPerf Training tatsächlich zeigt
- MLPerf Inference 2026: Was Ergebnisse über Hardware und Software aussagen
- NVIDIA NVLink: Generationen, Domänen und Prüfung
- Scale-up vs. Scale-out: Netzwerkbandbreite und Kollektivoperationen
quantization9 Artikel
- Disaggregierte Quantisierung: Prefill- und Decode-Kosten auf zwei Formate verteilen
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- Nemotron 3.5 Bolt: Heterogenes LatentMoE und das 24-GB-Budget
- Nemotron 3.5 Embed: Bilder ergänzen, ohne den Textindex zu ersetzen
- PTQ-Konfigurationsbewertung: Den Quantisierungspreis vorhalten, bevor das Modell gebaut wird
- LLM-Quantisierung: Bit-Layouts, Block-Skalen und die VRAM-Mathematik
- Quantisierung kann Retrieval-Ergebnisse trotz stabiler Klassifikationsgenauigkeit ändern
- NVFP4 und INT4 visuell erklärt
- KI visuell verstehen: Hier geht es los
vllm8 Artikel
- llama.cpp / Ollama vs vLLM: Was, wann und warum
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- Nemotron 3.5 Bolt E4B: blockparallele Spekulation mit DFlash
- NVIDIA will Hugging Face übernehmen: Die Dependency-Rechnung hinter den 12,93 Mrd. $
- Die Churn-Steuer 2026 für Serving-Engines: vLLM 0.29, SGLang 0.5.19 und TensorRT-LLM ohne TensorRT
- vLLM vs SGLang: Architektur, Overhead und die Frage, wann man was wählt
- KV-Cache-Speicherwachstums-Explorer
- LLM-Inferenzrechner & Break-Even-Analyse
multimodal7 Artikel
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- EmbeddingGemma 2 im Detail: Soft Tokens, PLE, hybride Attention und MRL
- Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
- Nemotron 3.5 Embed: Bilder ergänzen, ohne den Textindex zu ersetzen
- Nemotron 3.5 Super VL: Wo visuelle Tokens komprimiert werden
- OlmoEarth v1.3: Attention Pooling, Matryoshka-Destillation und Searchlight
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
qwen7 Artikel
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Cloudflare Clef im Detail: Prefill-only Qwen und ein gemeinsamer Schema-Head
- Clef Omni: Audio, Video, Sparse Experts und Schema-Entscheidungen
- Fibo 2.0: Gist-Kompression, doppelte Textinjektion und Clean-Latent-Editing
- Qwen-Image 2.1: Blockkausale Attention, Prefix-KV-Cache und Turbo
- DSpine für Qwen3.8-27B: Kausale Features über die Tiefe
- Qwen3.8-Flash-Next im Detail: Gated DeltaNet, Sparse Attention und N-Gram-Speicher
compliance5 Artikel
- EU-KI-Verordnung Art. 50: Kennzeichnung und technische Grenzen
- EU AI Act nach dem Digital Omnibus: Was sich verschoben hat
- EU AI Act und DSGVO für selbst gehostete LLMs
- Gumbel-Watermarking ist endlich produktiv — und die Compliance-Asymmetrie, die niemand eingepreist hat
- Deutschlands KI-MIG: Wer überwacht die KI-Verordnung?
datacenter5 Artikel
economics5 Artikel
- Agent-Fleet-Tokenökonomie ist Cache-Ökonomie: Der 60-fache Dollar-Spread im Detail zerlegt
- Der Cache-Read-Preiskrieg des Septembers 2026, der nicht dreiseitig war
- Wer bezahlt den KV-Cache? Messregeln sind getarnte Preisentscheidungen
- KITE: Das Modell skalieren, die KV-Rechnung einfrieren — welche Prefill-Invariante arXiv:2609.27294 wirklich beweist (und was nicht)
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
ai-act4 Artikel
amd4 Artikel
- Qwen3.8 auf MI350P betreiben: Kernel, Fehler und Messungen
- AMDs MI455X-Behauptung von 34-fachem Durchsatz: Was die Quellen belegen
- AMD MI300X/MI350/MI400: Mehr Speicher, aber gewinnt die Mathematik? — Eine kritische Silizium-Analyse von AMD Instinct vs NVIDIA
- MLPerf Inference 2026: Was Ergebnisse über Hardware und Software aussagen
beginner4 Artikel
embeddings4 Artikel
nemotron4 Artikel
optimization4 Artikel
- Ihre Agenten-Flotte ist ein Storage-Array: Die KV-Cache-Tiering-Mathematik hinter agentischer Inferenz
- Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
- KV-Cache-Glossar: jeder Begriff des Serving-Stacks
- UNISON und die pausierte Flotte: Warum Agenten-KV-Traffic jede Cache-Policy bricht