Zum Inhalt springen
Kurzer Hinweis: flozi00 TechHub ist ein Solo-Nebenprojekt neben einem Vollzeitjob — persönliche Lernnotizen, keine offiziellen Aussagen. Kritische Schritte selbst prüfen.
← Start

Finde das Thema, das dich interessiert.

Wähle eine Modellfamilie oder ein technisches Thema und finde die passenden Artikel an einem Ort. Für einen geführten Einstieg folge einem Leseweg.

Lernen & Grundlagen

9 Artikel

KI Schritt für Schritt verstehen: visuelle Erklärungen, Attention, KV-Cache und Quantisierung.

Zur Themenübersicht ↑

KI-Modelle

36 Artikel

Modellfamilien, Architekturen und praktische Anwendungen – von Nemotron und Qwen bis zu Sprache, Bildern und Embeddings.

Architektur, Einsatzmöglichkeiten und Messungen sind nach Modellfamilien gebündelt.

NVIDIA Nemotron

Qwen

Beam

Cloudflare Clef

DeepSeek

EmbeddingGemma

Fibo

GLM

IBM Granite Speech

JetBrains Mellum

Kimi

Kolibri

Ling

Liquid AI

Muse

NVIDIA Parakeet

OlmoEarth

Perplexity pplx-embed

Ripple

StepFun

TypeSafe Jev

Zur Themenübersicht ↑

Inferenz & Optimierung

60 Artikel

Serving, Speicher, Quantisierung, GPU-Kernel und Kosten für den praktischen KI-Betrieb.

KV-Cache & Speicher

Serving & Deployment

Quantisierung & Fine-Tuning

GPU-Kernel & Skalierung

Kosten & Kapazität

Zur Themenübersicht ↑

Embeddings & RAG

6 Artikel

Embedding-Modelle, Vektorsuche, Retrieval-Qualität und Speicherbudgets.

Zur Themenübersicht ↑

Hardware & Systeme

17 Artikel

GPUs, Speicher und Vernetzung vergleichen sowie Linux, Treiber und Container einrichten.

Zur Themenübersicht ↑

Benchmarks & Evaluation

7 Artikel

Messungen, Modellbewertungen und Datensätze prüfen und Ergebnisse richtig einordnen.

Zur Themenübersicht ↑

KI-Recht & Transparenz

5 Artikel

EU AI Act, Datenschutz, Kennzeichnung und die technischen Grenzen von Wasserzeichen.

Zur Themenübersicht ↑

Rechner & Tools

3 Artikel

VRAM, KV-Cache-Wachstum und Inferenzkosten interaktiv berechnen.

Zur Themenübersicht ↑

Schritt für Schritt lernen

Beginne mit einer Frage. Jeder Leseweg ordnet Grundlagen, praktische Werkzeuge und vertiefende Analysen in eine sinnvolle Reihenfolge.

Neu bei KI? So funktioniert sie.

Mit Attention, KV-Cache und Quantisierung beginnen. Danach in jedem Fachartikel mit einer eigenen visuellen Erklärung weiterlernen – von Modellarchitekturen bis zu GPUs und Linux.

  1. Technik visuell verstehen: Von KI-Grundlagen bis zu Systemen

    Den Einstieg finden, ohne Vorwissen in Machine Learning.

  2. Attention visuell erklärt: Queries, Keys und Values

    Ein Token auswählen und berechnen, wie es Informationen aus dem Kontext mischt.

  3. KV-Cache visuell erklärt: Prefill, Decode und Speicher

    Beobachten, welche Berechnungen ein Modell beim Generieren von Text wiederverwendet.

  4. NVFP4 vs. INT4: 4-Bit-Quantisierung visuell verstehen

    Eine Zahl verschieben und Rundung sowie Skalen von INT4 und NVFP4 vergleichen.

  5. Wie LLMs wirklich funktionieren — Eine animierte Tour

    Die Teile verbinden: Tokens, Embeddings, Transformer-Blöcke und Sampling.

Wie viel VRAM braucht mein LLM?

Mit dem Speicherbudget beginnen, dann Gewichte, Kontext und Laufzeit-Overhead berechnen. Fine-Tuning braucht ein eigenes Budget.

  1. LLM-VRAM-Bedarf: Gewichte, Quantisierung & KV-Cache

    Das Speicherbudget für Inferenz und seine Annahmen verstehen.

  2. LLM-VRAM-Rechner: GPU-Speicher & Inferenz berechnen

    Modell-Fit für GPU, Präzision und Kontext berechnen.

  3. LLM-Quantisierung: FP8, INT4, GGUF & VRAM-Bedarf

    Gewichtskompression, Qualität und Laufzeitgrenzen unterscheiden.

  4. KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA

    Speicher für Kontext und gleichzeitige Anfragen bestimmen.

  5. LoRA- und QLoRA-Finetuning: die echte Speicher-Mathematik

    Adapter, Optimizer-Zustände und Aktivierungen für Fine-Tuning planen.

Welche GPU und Vernetzung passen zum Workload?

Modell-Fit und Bandbreite für Inferenzplanung nutzen. Trainingsbenchmarks als Systemergebnisse lesen und von Kaufentscheidungen unterscheiden.

  1. GPU-Kaufberatung für LLM-Inferenz (2026)

    Spezifikationen, Angebote und Workload-Anforderungen vergleichen.

  2. GPU für Qwen3-Inferenz: VRAM, Bandbreite & Modellgröße

    Roofline-Rechnungen auf konkrete Qwen3-GPU-Kombinationen anwenden.

  3. NVIDIA B200 vs GB200: Unterschiede & MLPerf-Benchmarks

    Veröffentlichte B200- und GB200-Trainingsergebnisse fair vergleichen.

  4. NVIDIA NVLink: Bandbreite, NVSwitch & GPU-Topologie

    Verstehen, was eine NVLink-Domäne verbindet.

  5. Scale-Up vs Scale-Out: NVLink und All-Reduce

    Kommunikation innerhalb und zwischen GPU-Servern berechnen.

  6. AMD Instinct vs NVIDIA: Speicher und Inferenz

    AMD- und NVIDIA-Speicherspezifikationen und ihre Grenzen vergleichen.

Wie wähle und betreibe ich eine LLM-Serving-Engine?

Lokales Deployment, Engine-Auswahl, Release-Pflege und Kostenrechnung getrennt betrachten. Jeder Guide beantwortet eine eigene Betriebsfrage.

  1. llama.cpp vs Ollama vs vLLM: Lokale LLMs betreiben

    Zwischen lokalen Runtimes und GPU-Serving wählen.

  2. vLLM vs SGLang: LLM-Serving, Caching & Entscheidung

    vLLM und SGLang für eigene Anfragemuster vergleichen.

  3. LLM-Serving-Engines 2026: Upgrades und Versionen

    Upgrades, Versionsfixierung und Rollback einplanen.

  4. LLM-Inferenz: Durchsatz, GPU-Bandbreite & Roofline-Modell

    Formeln hinter Decode- und Prefill-Grenzen verstehen.

  5. MI350P und vLLM: Kerneloptimierung und Messungen

    Eine Inferenzkampagne prüfen und GDN-, QSA- und MoE-Kerneländerungen nachvollziehen.

  6. LLM-Inferenz-Ökonomie: Kosten & Cloud-Break-Even

    Self-Hosting-Kosten unter klaren Annahmen mit einer API vergleichen.

Wie dimensioniere und verwalte ich einen KV-Cache?

Vom Speicher pro Token zu Working Sets und Prefix-Wiederverwendung. Dimensionierung, Eviction und Offload lösen unterschiedliche Probleme.

  1. KV-Cache visuell erklärt: Prefill, Decode und Speicher

    Prefill, Decode und Cache-Wiederverwendung Schritt für Schritt sehen.

  2. KV-Cache erklärt: Speicherbedarf, GQA, MQA & MLA

    Formel pro Token und Unterschiede der Attention-Layouts lernen.

  3. KV-Cache-Speicherwachstums-Explorer

    Untersuchen, wie wachsender Kontext freien GPU-Speicher belegt.

  4. KV-Cache-Glossar: GQA, MLA, TTFT und Eviction

    Serving-Begriffe und ihre präzisen Definitionen nachschlagen.

  5. KVSET: LLM-Prefix-Cache mit LRU-Traces dimensionieren

    Eine Cache-Kapazitätskurve aus einem LRU-Trace bestimmen.

  6. LLM-Prefix-Caching: LRU-Eviction und ihre Grenzen

    LRU-Eviction für verschiedene Workloads und Kapazitäten bewerten.

  7. Agenten-Inferenz: KV-Datenverkehr und Speichertiers

    Agenten-Working-Sets und Datenverkehr zwischen Speichertiers berechnen.

Was unterscheidet Modellarchitekturen?

Den Ablauf vom Token zur Ausgabe lernen, dann veröffentlichte Sprach- und Multimodal-Checkpoints vergleichen. Architektur-Guides erklären Mechanismen und Serving-Grenzen.

  1. Attention visuell erklärt: Queries, Keys und Values

    Einen Attention-Head berechnen, bevor es um ganze Architekturen geht.

  2. Wie LLMs wirklich funktionieren — Eine animierte Tour

    Embeddings, Attention und Sampling in einer Animation nachvollziehen.

  3. Qwen-Image 2.1: Attention, KV-Cache und Turbo-Mathematik

    Blockkausale Diffusion-Attention, Prefix-Caching und den Turbo-Zeitplan untersuchen.

  4. Fibo-2.0-Architektur: Gist-Tokens und Editing-Kosten

    Adaptive Gist-Tokens, doppelte Textinjektion und Clean-Latent-Editing-Kosten nachvollziehen.

  5. OlmoEarth v1.3: Pooler, Matryoshka-Student, Searchlight

    Räumliches Attention Pooling, verschachtelte Destillation und nahtbewusstes Embedding-Serving nachvollziehen.

  6. Qwen3-Next-80B-A3B: Architektur und Grenzen beim Serving

    Hybride Attention und Sparse Experts von Qwen3-Next untersuchen.

  7. LFM2.5-24B-A2B: Routing und Cache-Architektur

    Expert-Auswahl mit Bias von Mischgewichten trennen und hybriden LFM2.5-Cache-Speicher herleiten.

  8. Mellum2.1: MoE, lokale Attention und selektives YaRN

    Lokale/globale Attention, selektives YaRN und hybriden Cache-Speicher von Mellum2.1 herleiten.

  9. Beam 1.0: NoPE, Softmax-Skalierung und KV-Speicher

    Lokales RoPE und globales NoPE nachvollziehen, SSMax-Entropieeffekte herleiten und KV-Nutzdaten von Allokationen trennen.

  10. Ripple-65B: Value-Residuals und hybrider KV-Cache

    Embedding-basierte Value-Residuals, PeriNorm und den Unterschied zwischen Fenster-Reads und kompakter Cache-Aufbewahrung nachvollziehen.

  11. Kolibri-1-Architektur: hybride Attention, MoE und FP8

    Kolibri-1-Architektur und ihre Serving-Grenzen verstehen.

  12. Kimi-K3-Architektur: KDA, MLA und LatentMoE

    Rekurrenz, MLA und LatentMoE-Routing von Kimi K3 lesen.

  13. Kimi K3.1 Pro: DSA-Indexer und KV-Cache-Grenzen

    K3.1-NoPE-Indexierung, Sparse-MLA-Reads und den Unterschied zwischen Read-Breite und gespeicherter Historie untersuchen.

  14. Ling-3.1-flash: KDA, MLA und reale Cache-Layouts

    Lings Gruppen-Routing und den Unterschied zwischen expandiertem und absorbiertem MLA-Cache herleiten.

  15. Step-5-Preview: Sparse GQA, Indexer und KV-Speicher

    Step-5-Blockindexierung nachvollziehen und Sparse-K/V-Zugriffe von vorgehaltener Cache-Kapazität trennen.

  16. Nemotron 3.5 Super VL: visuelle Tokens und Video-Pruning

    Visuelle Patches, Frame-Paare und änderungsbasiertes Pruning von Super VL verfolgen; Tokenersparnis von Vision-Arbeit trennen.

  17. Nemotron 3.5 Bolt: LatentMoE, IQ2 und Speicherbudgets

    Bolts heterogenes LatentMoE, gepackte IQ2-Gewichte und das separate Laufzeitspeicherbudget untersuchen.

  18. Nemotron E4B DFlash: Blockspekulation und Serving-Mathematik

    E4B-DFlash-Blockvorschläge, exakte Verifikation sowie den Latenz-/Concurrency-Break-even herleiten.

  19. Qwen3.8 DSpine: Kausaler Draft, Verfeinerung und Cache

    Benachbarte kausale Draft-Schreibschritte, serielle Kandidatenverfeinerung und die Dense-Cache-Serving-Grenze nachvollziehen.

  20. Muse Spark Open: Residualgates und normalisierte Experts

    Muse-Attention-, Routing- und Residualgates unterscheiden und Grenzen normerhaltender Mischungen herleiten.

  21. GLM-5.3-Flash im Detail: KDA, Sparse MLA, mHC und 8-von-288-MoE

    Attention, Residuals und Cache-Formen von GLM-5.3-Flash untersuchen.

  22. Cloudflare Clef: Qwen und Schema-Bewertung

    Clefs Entscheidungsbewertung und sein Design ohne Decode verstehen.

  23. Liquid d1-3B: Inferenz mit geteiltem Zustandszweig

    Geteilte Zustandszweige und exaktes Zusammenführen der Attention in d1-3B herleiten.

  24. Clef Omni: Audio, Video, MoE und Schema-Scoring

    Audio-/Video-Verknüpfung, Sparse Experts und Schema-Scoring von Clef Omni nachvollziehen.

  25. Granite Speech 5.0 TurboCTC: Architektur

    Pyramidale Conformer-Formen, Block-Attention und Encoder-only-CTC-Decoding nachvollziehen.

  26. Nemotron 3.5 Transcribe: Architektur und Datensatz-Audit

    Promptbare Spracharchitektur mit Anwendungen und evidenzbasierten Audio-Transkript-Audits verbinden.

Wie vergleiche ich Embeddings für die Suche?

Mit Speicher- und Latenzbudgets beginnen, Single-Vector- und Late-Interaction-Ansätze vergleichen und Grenzen der Quantisierung untersuchen.

  1. RAG-Speicher berechnen: Embeddings, HNSW, Reranker

    Embedding-Gewichte, Vektorindex-Speicher und Retrieval-Latenz dimensionieren.

  2. EmbeddingGemma-2-Architektur: Soft Tokens, PLE und MRL

    Einen Embedding-Encoder, Pooling und Produktionsgrenzen untersuchen.

  3. Nemotron 3.5 Embed: kompatibles multimodales Retrieval

    Kompatibilität des eingefrorenen Textraums, visuelle Ausrichtung, Destillation und Serving-Dimensionen nachvollziehen.

  4. pplx-embed-v2: 9B für Dokumente, 0.6B für Queries

    Late Interaction und asymmetrische Dokument-/Query-Kodierung vergleichen.

  5. 4-Bit-Quantisierung: Veränderte Retrieval-Rankings

    Änderungen im Retrieval-Ranking von Relevanzverlusten unterscheiden.

Wie nutze ich NVIDIA-GPUs unter Ubuntu?

Installation und Container-Prüfung von der Diagnose von CUDA-Fehlern trennen. Ein berichteter Workaround ist keine allgemeine Lösung.

  1. NVIDIA-GPU-Container unter Ubuntu 24.04

    Host-Treiber installieren und GPU-Zugriff in Docker prüfen.

  2. NVIDIA-Fehler 802 unter Ubuntu: Diagnose vor nokaslr

    CUDA-Fehler 802 diagnostizieren, bevor nokaslr erwogen wird.

Alle Artikel nach Datum ansehen →