flozi00TechHub
Technische Artikel und Rechenbeispiele zu Servern, GPUs, KI-Infrastruktur und modernen IT-Systemen.
Der Einstieg für Neugierige
Technik verstehen. Schritt für Schritt.
Vom ersten Token bis zum GPU-Verbund: Jeder Fachartikel erklärt seinen Kerngedanken mit einem eigenen interaktiven Diagramm. Abspielen, anhalten und Bausteine erkunden. Beginne mit Attention, KV-Cache und Quantisierung und lerne im ganzen Hub weiter.
Visuellen Lernpfad starten →KI-Grundlagen · Modellarchitekturen · GPUs · Serving · Linux
LLM-Inferenz: Hier starten
LLM-VRAM-Rechner: GPU-Speicher & Inferenz berechnen
VRAM und KV-Cache für Qwen, DeepSeek und GLM abschätzen. GPUs, Quantisierung und Batchgrößen vergleichen – mit theoretischen Durchsatzwerten.
LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache
Wie viel VRAM braucht ein LLM? Gewichte, Quantisierung und KV-Cache Schritt für Schritt berechnen – mit Qwen3-VL-32B als Beispiel und VRAM-Rechner.
NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks
B200 und GB200 im Vergleich: Systemaufbau, NVLink-Domänen und veröffentlichte MLPerf-Trainingsergebnisse – mit klaren Grenzen der Leistungsbewertung.
KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
KV-Cache-Speicher pro Token und Anfrage berechnen. GQA, MQA und MLA vergleichen, PagedAttention verstehen und GPU-Kapazität mit Beispielen planen.
Welche Frage möchtest du lösen?
Lesewege zu VRAM, GPU-Auswahl, Serving, KV-Cache, Modellarchitekturen und Linux erklären, welcher Guide dir wobei hilft.
Themen und Lesewege entdecken →Nach Thema entdecken
Modellfamilien, KI-Grundlagen, Inferenz, Hardware und Rechner in einem Menü finden.
Alles schnell finden
Alle Artikel, Modellanalysen und Anleitungen durchsuchen — inklusive Specs, Konfigurationen und Benchmarks.
im Header — einfach tippen
Nach Thema erkunden
Zur Themenübersicht →Lernen & Grundlagen
9 ArtikelKI Schritt für Schritt verstehen: visuelle Erklärungen, Attention, KV-Cache und Quantisierung.
Weitere 6 Artikel anzeigen
- KV-Cache-Glossar: GQA, MLA, TTFT und Eviction
- LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf
- LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache
- NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen
- Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen
- Wie LLMs wirklich funktionieren — Eine animierte Tour
KI-Modelle
33 ArtikelModellfamilien, Architekturen und praktische Anwendungen – von Nemotron und Qwen bis zu Sprache, Bildern und Embeddings.
Weitere 30 Artikel anzeigen
- DeepSeek V4 Pro: VRAM und Self-Hosting-Kosten
- DeepSeek V4.1 Flash: KV-Cache-Kompression
- EmbeddingGemma-2-Architektur: Soft Tokens, PLE und MRL
- Fibo-2.0-Architektur: Gist-Tokens und Editing-Kosten
- GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE
- GLM-5.3-MTP auf B300: Akzeptanzmathematik und NCCL NVLS
- GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße
- Granite Speech 5.0 TurboCTC: Architektur
- Kimi-K3-Architektur: KDA, MLA und LatentMoE
- KITE: Zwei-Turm-MoE und KV-Cache (Forschung)
- Kolibri-1-Architektur: hybride Attention, MoE und FP8
- LFM2.5-24B-A2B: Routing und Cache-Architektur
- Ling-3.1-flash: KDA, MLA und reale Cache-Layouts
- Liquid d1-3B: Inferenz mit geteiltem Zustandszweig
- Mellum2.1: MoE, lokale Attention und selektives YaRN
- MI350P und vLLM: Kerneloptimierung und Messungen
- Muse Spark Open: Residualgates und normalisierte Experts
- Nemotron 3.5 Bolt: LatentMoE, IQ2 und Speicherbudgets
- Nemotron 3.5 Embed: kompatibles multimodales Retrieval
- Nemotron 3.5 Super VL: visuelle Tokens und Video-Pruning
- Nemotron 3.5 Transcribe: Architektur und Datensatz-Audit
- Nemotron E4B DFlash: Blockspekulation und Serving-Mathematik
- OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight
- Parakeet TDT vs. Encoder-Decoder-ASR: Abwägungen für den Einsatz
- pplx-embed-v2: 9B für Dokumente, 0.6B für Queries
- Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik
- Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving
- Qwen3.8 Flash Next: GDN, Attention, N-Gram-Speicher
- Step-5-Preview: Sparse GQA, Indexer und KV-Speicher
- TypeSafe Jev: Was öffentlich belegt ist
Inferenz & Optimierung
57 ArtikelServing, Speicher, Quantisierung, GPU-Kernel und Kosten für den praktischen KI-Betrieb.
Weitere 54 Artikel anzeigen
- BF16 vs FP16: Warum Greedy-Decoding variieren kann
- BOOST: Host-Speicher und HBM beim LLM-Decoding
- CXL-SSD-Prefix-Caching: KV-Chunks und Datenverkehr
- DeepSeek V4 Pro: VRAM und Self-Hosting-Kosten
- DeepSeek V4.1 Flash: KV-Cache-Kompression
- Expert Parallelism: Das Dilemma des Routers
- FlashLoop: Looped Transformer und KV-Cache-Speicher
- GLM-5.3-MTP auf B300: Akzeptanzmathematik und NCCL NVLS
- HBF für KV-Cache: Kapazität und Latenz
- HBM-Kapazität und die Kosten des KV-Caches
- KernelOPT: Triton-Kernel-Suche und Verifikation
- KI-Agenten-Kosten: Tokenpreise und Prompt-Caching
- KITE: Zwei-Turm-MoE und KV-Cache (Forschung)
- Kolibri-1-Architektur: hybride Attention, MoE und FP8
- KREX: Kernel-Zeiten auf geteilten GPUs messen
- KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA
- KV-Cache visuell erklärt: Prefill, Decode und Speicher
- KV-Cache-Abrechnung: Tokens und Serving-Zeit
- KV-Cache-Glossar: GQA, MLA, TTFT und Eviction
- KV-Cache-Kompression: Tensor-Rang und Fehler
- KV-Cache-Speicherwachstums-Explorer
- KV-Eviction: Risikokontrolle und Full-Cache-Fallback
- KVSET: LLM-Prefix-Cache mit LRU-Traces dimensionieren
- LFM2.5-24B-A2B: Routing und Cache-Architektur
- Ling-3.1-flash: KDA, MLA und reale Cache-Layouts
- llama.cpp vs Ollama vs vLLM: Lokale LLMs betreiben
- LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even
- LLM-Inferenz: Durchsatz, GPU-Bandbreite & Roofline-Modell
- LLM-Prefix-Caching: LRU-Eviction und ihre Grenzen
- LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf
- LLM-Quantisierung: Prefill und Decode getrennt
- LLM-Serving-Engines 2026: Upgrades und Versionen
- LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache
- LLM-VRAM-Rechner: GPU-Speicher & Inferenz berechnen
- LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik
- Mellum2.1: MoE, lokale Attention und selektives YaRN
- MI350P und vLLM: Kerneloptimierung und Messungen
- Nemotron 3.5 Bolt: LatentMoE, IQ2 und Speicherbudgets
- Nemotron 3.5 Embed: kompatibles multimodales Retrieval
- Nemotron 3.5 Super VL: visuelle Tokens und Video-Pruning
- Nemotron E4B DFlash: Blockspekulation und Serving-Mathematik
- NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen
- NVIDIA und Hugging Face: Serving-Abhängigkeiten
- OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight
- Pipeline Parallelism: Daten flussaufwärts pumpen
- Prompt-Cache-Preise: Vergleich im September 2026
- PTQ: Quantisierungsfehler vor dem Deployment schätzen
- Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik
- Random Attention vs bewertete KV-Eviction
- Step-5-Preview: Sparse GQA, Indexer und KV-Speicher
- Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen
- Tensor Parallelism: Silizium zerschneiden
- UNISON: KV-Cache für pausierte Agenten planen
- vLLM vs SGLang: LLM-Serving, Caching & Entscheidung
Embeddings & RAG
6 ArtikelEmbedding-Modelle, Vektorsuche, Retrieval-Qualität und Speicherbudgets.
Weitere 3 Artikel anzeigen
Hardware & Systeme
17 ArtikelGPUs, Speicher und Vernetzung vergleichen sowie Linux, Treiber und Container einrichten.
Weitere 14 Artikel anzeigen
- CXL-SSD-Prefix-Caching: KV-Chunks und Datenverkehr
- CXMT bei 10 % DRAM-Umsatzanteil: Was die Zahlen zeigen
- GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße
- GPU-Kaufberatung für LLM-Inferenz (2026)
- HBF für KV-Cache: Kapazität und Latenz
- HBM-Kapazität und die Kosten des KV-Caches
- MLPerf-Inferenz: Hardware und Software vergleichen
- NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks
- NVIDIA Groq 3 LPX: SRAM und LLM-Decoding
- NVIDIA NVLink: Bandbreite, NVSwitch & GPU-Topologie
- NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr
- NVIDIA-GPU-Container unter Ubuntu 24.04
- Scale-Up vs Scale-Out: NVLink und All-Reduce
- Snapdragon X2 unter Linux: Speicher für lokale LLMs
Benchmarks & Evaluation
7 ArtikelMessungen, Modellbewertungen und Datensätze prüfen und Ergebnisse richtig einordnen.
Weitere 4 Artikel anzeigen
KI-Recht & Transparenz
5 ArtikelEU AI Act, Datenschutz, Kennzeichnung und die technischen Grenzen von Wasserzeichen.
Weitere 2 Artikel anzeigen
Rechner & Tools
3 ArtikelVRAM, KV-Cache-Wachstum und Inferenzkosten interaktiv berechnen.
Neueste Artikel
Nemotron 3.5 Transcribe: Von Sprachaufnahmen zum Datensatz-Audit
Wie Nemotron 3.5 Transcribe Sprach- und Sprechermerkmale mit einem hybriden MoE-Sprachmodell verbindet und bestehende Audio-Transkript-Paare prüfen kann, ohne Modellübereinstimmung mit Wahrheit zu verwechseln.
Attention visuell erklärt
Verfolge Queries, Keys, Values und Softmax durch ein kleines Attention-Beispiel – mit schrittweisen Diagrammen und verständlichen Erklärungen.
Wie LLMs wirklich funktionieren — Eine animierte Tour
Vom Token zur Wahrscheinlichkeitsverteilung: Embeddings, Attention, Training und Sampling — erklärt ohne Formel-Sprung, mit Animation.
Der KV-Cache: Exakte Speicher-Mathematik, GQA vs MQA vs MLA und PagedAttention
Warum der Key-Value-Cache Ihren GPU-Speicher auffrisst: die exakte Per-Token-Formel, MHA vs MQA vs GQA vs MLA mit berechneten Beispielen, PagedAttention-Block-Mathematik, RadixAttention-Präfix-Wiederverwendung, FP8-KV-Cache und ein durchgerechnetes Kapazitätsbeispiel — alles aus den Primärquellen belegt.
Den KV-Cache visuell verstehen
Sieh, was ein Sprachmodell im KV-Cache speichert, wie sich Prompt-Verarbeitung und Generierung unterscheiden und warum mehr Kontext Speicher braucht.