Nutzbare Kapazität und echte Kosten vergleichen
Trenne modellierte Token-Kapazität von Besitz, Miete und API-Abrechnung und vergleiche vor der Entscheidung die Aufgabenqualität.
KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel
Eine Roofline schätzt mögliche Decode-Kapazität; Auslastung beschreibt den genutzten Anteil. Ersetze ideale Tokenraten durch gemessenen Workload-Durchsatz, bevor das Tokenvolumen eines Zeitraums zur Kaufprognose wird.
Der folgende Rechner vergleicht ein vereinfachtes Decode-Kapazitätsmodell mit editierbaren Annahmen zu Kauf, Miete und API-Preisen. Eine Kostenaussage ist erst nach Eingabe eines vollständigen Hardwareangebots, eines echten Mietangebots und gemessenen Serving-Durchsatzes belastbar.
Physik und Kapazität
Bei Dense Decode mit kleinem Batch ist Speicherbandbreite geteilt durch Gewicht-Bytes eine Obergrenze nur für Gewichtslesevorgänge, wenn Gewichte und KV-Cache hineinpassen. Die Rechennäherung ist effektive Tensor-FLOPS geteilt durch zweimal die aktive Parameterzahl. Beide lassen Attention, Prefill, Routing-Überlappung, Scheduling, Kommunikation und Runtime-Allokationen aus. Der angezeigte Batch-Schnittpunkt B* ist die Stelle, an der sich diese beiden modellierten Grenzen treffen, keine gemessene optimale Scheduling-Einstellung. Siehe Inferenz-Mathematik und Break-even-Modell.
Kostenannahmen
GPU-Anschaffungs- und Cloud-Stundenpreise im Tool sind beispielhafte Eingaben, keine geprüften Marktangebote. Ersetzen Sie sie durch ein Kaufangebot für das vollständige System und einen Anbieterpreis für dieselbe GPU-Bauform, Vertragsart und Region. Die Stromrechnung verwendet eine angenommene Kurve zwischen Leerlauf und Spitzenleistung und nur GPU-/Board-Watt; die angezeigte Abschreibung über 36 Monate enthält weder Finanzierung noch Strom außerhalb der GPU oder Kühlung. Die Output-Token-Kapazität unterstellt kontinuierliches Decode an der Roofline mit gewählter Effizienz und Auslastung. Prefill und Lastspitzen können mehr Kapazität verlangen.
Das API-Menü verwendet ungecachte Standardpreise für Text-Tokens, geprüft am 29. September 2026 anhand der Herstellerdokumentation: OpenAI, Anthropic, Google und xAI. Gecachter Input, lange Kontexte, Region, Batch-Verarbeitung und Tools können die Rechnung ändern. Dieselbe gewählte API dient in jeder Open-Weight-Zeile nur als Preisreferenz; die Tabelle behauptet keine gleichwertige Modellqualität. Vergleichen Sie zuerst die Qualität der Kandidaten für Ihre Aufgaben und dann die Kosten pro brauchbarer Antwort.
Ökonomie
Ökonomie der LLM-Inferenz beta
Von der Physik zum Euro: Wie Speicher und Rechenleistung Ihren Durchsatz begrenzen, welches Modell auf welche Hardware passt, was die Hardware kostet und wann Eigentum dem Mieten vorzuziehen ist — inklusive Vergleich mit proprietären API-Preisen.
Token-Ertrag dieser Hardware
Betriebspunkt: min(B*, VRAM-fähiger Batch), FP8-KV, kontinuierliche Bedienung.
Monatliche Kosten bei Eigentum
Szenario: Anschaffung über 36 Monate abgeschrieben; Finanzierungskosten und Strom außerhalb der GPUs fehlen.
Welche Modelle passen auf welche Hardware (FP8 (1 B), 1× GPU)
| Modell | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Qwen3-4B-Instruct-25074B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Qwen3-14B14B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Qwen3-32B32,76B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✓ | ✗ | ✓ |
| Qwen3-VL-8B-Instruct8B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Qwen3-30B-A3B30,5B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ~ | ✓ | ✗ | ✓ |
| Qwen3-Next-80B-A3B80B | ✓ | ✓ | ✓ | ✓ | ✗ | ✓ | ✓ | ✓ | ~ | ~ | ✗ | ✗ | ✗ | ✗ | ~ |
| Qwen3.8-Flash-Next180B | ✓ | ✗ | ~ | ✗ | ✗ | ✓ | ✓ | ~ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Qwen3.8-27B27B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ~ | ✓ | ✗ | ✓ |
| Qwen3-235B-A22B235B | ~ | ✗ | ✗ | ✗ | ✗ | ✓ | ~ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Llama 3.3-70B70B | ✓ | ✓ | ✓ | ✓ | ~ | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | ~ | ✗ | ✓ |
| gpt-oss-120B-A5B117B | ✓ | ✓ | ✓ | ~ | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| DeepSeek V3.2-671B-A37B671B | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| DeepSeek V4-Flash-0731284B | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| DeepSeek V4.1-Flash748B | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| GLM-5.2753B | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Qwen3.6-35B-A3B35B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✓ | ✗ | ✓ |
| Nemotron Nano 9B v28,9B | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
✓ Gewichte lassen ≥15 % rohe Kapazität frei · ~ weniger als 15 % · ✗ Gewichte überschreiten die Kapazität. KV-Cache und Runtime-Speicher fehlen. Zum Auswählen auf eine GPU-Überschrift klicken. Formatfaktor (3%) enthalten.
Die gleiche GPU in der Cloud mieten
Die Stundenmiete ist eine editierbare Szenarioannahme, kein Anbieterangebot. Mindestabrechnung und Verträge unterscheiden sich.
API vs. eigene Hardware für Ihren Workload
Ungecachte Standard-API-Preise geprüft am 29. Sept. 2026; für Ihren Tarif anpassen. Die Hardwarezahl ist eine Untergrenze nur für Decode, kein Qualitätsvergleich.
Hardwarekosten nur für Decode vs. gewählte API, je 1 Mio. Output-Tokens
Open-Weight-Kosten = eigene Hardwarekosten bei 70% Auslastung, FP8 (1 B) Gewichten, FP8-KV.Die gewählte API dient in jeder Zeile nur als Preisreferenz; Modellqualität, Prompt-Verarbeitung und Betrieb sind nicht angeglichen.
| Open-Weight-Modell | Gewählte API-Referenz | API In/Out ($/Mt | Benötigte GPU-Größe | Eigene $/Mt | API $/M Output-Tokens bei 30% out | Urteil |
|---|---|---|---|---|---|---|
| Qwen3-32B (dense) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,03 | $5,5 | eigen −99,44% |
| Qwen3-VL-8B-Instruct (dense + vision) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,01 | $5,5 | eigen −99,89% |
| Qwen3-14B (dense) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,01 | $5,5 | eigen −99,81% |
| Qwen3-4B-Instruct-2507 (dense) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0 | $5,5 | eigen −99,95% |
| GLM-5.2 (753B-A40B, MLA + DSA) | Gemini 3.8 Flash | 0,75 / 3,75 | Passt bei 2k auf ≤8 GPUs nicht | — | $5,5 | — |
| DeepSeek V4.1-Flash (552B-A16B + 196B Engram) | Gemini 3.8 Flash | 0,75 / 3,75 | Passt bei 2k auf ≤8 GPUs nicht | — | $5,5 | — |
| DeepSeek V4-Flash-0731 (284B-A13B) | Gemini 3.8 Flash | 0,75 / 3,75 | 4× RTX PRO 60 | $0,26 | $5,5 | eigen −95,32% |
| Qwen3.8-Flash-Next (125B-A6B + PLE + MTP) | Gemini 3.8 Flash | 0,75 / 3,75 | 2× RTX PRO 60 | $0,31 | $5,5 | eigen −94,41% |
| Qwen3.8-27B (dense hybrid) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,02 | $5,5 | eigen −99,64% |
| Qwen3.6-35B-A3B (hybrid MoE + vision) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0 | $5,5 | eigen −99,95% |
| Qwen3-235B-A22B (flagship MoE) | Gemini 3.8 Flash | 0,75 / 3,75 | 3× RTX PRO 60 | $0,24 | $5,5 | eigen −95,61% |
| Llama 3.3-70B (dense) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,22 | $5,5 | eigen −95,91% |
| gpt-oss-120B-A5B (MoE, MXFP4) | Gemini 3.8 Flash | 0,75 / 3,75 | 2× RTX PRO 60 | $0,03 | $5,5 | eigen −99,5% |
| DeepSeek V3.2-671B-A37B (MoE + MLA) | Gemini 3.8 Flash | 0,75 / 3,75 | 8× RTX PRO 60 | $0,16 | $5,5 | eigen −97,05% |
| Qwen3-Next-80B-A3B (hybrid MoE) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,04 | $5,5 | eigen −99,35% |
| Nemotron Nano 9B v2 (hybrid Mamba) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,01 | $5,5 | eigen −99,88% |
| Qwen3-30B-A3B (MoE) | Gemini 3.8 Flash | 0,75 / 3,75 | 1× RTX PRO 60 | $0,01 | $5,5 | eigen −99,81% |
GPU-Kauf- und Mietpreise sind Beispielannahmen, keine geprüften Angebote. Tragen Sie ein Angebot für das vollständige System und Ihren Mietpreis ein. API-Preise sind ungecachte Standardtarife, geprüft am 29. Sept. 2026; Langkontext-, Regional-, Cache-, Batch- und Tool-Kosten fehlen. Der Hardwaredurchsatz ist eine vereinfachte Decode-Roofline; Prefill, Attention, Scheduling, Netzwerk, CPU-Arbeit und Strom außerhalb der GPU fehlen.
Verwandte Artikel
- LLM-Inferenzrechner & Break-Even-Analyse — die Batch-Kurve hinter den Kostenlinien.
- LLM-VRAM-Bedarf: Ein mathematischer Deep Dive — was entscheidet, ob Ihr Modell auf die kalkulierte Karte passt.
Einschränkungen
- Effizienz und Auslastung sind Nutzereingaben; es gibt keinen allgemeingültigen Prozentsatz der Spitzenleistung, den jeder Stack erreicht.
- Kauf- und Mietdefaults sind Szenarioannahmen. Prüfen Sie API-Tarife vor einer Kaufentscheidung erneut.
- Prefill, Scheduling, Netzwerk, CPU-Arbeit, Systemstrom, Steuern und Finanzierung fehlen; vergleichen Sie echte Angebote und gemessene Workloads.