GPU-Kaufberatung für LLM-Inferenz (2026)

Die Auswahl einer GPU für LLM-Inferenz beginnt damit, ob Modell und KV-Cache in den Speicher passen. Danach zählen die benötigte Decode- und Prefill-Rate auf dem vorgesehenen Software-Stack. Dieser Guide erklärt die relevanten Herstellerangaben, Interconnect, Risiken gebrauchter Hardware und den Vergleich aktueller Systemangebote. Die VRAM-Rechnung steht in den verlinkten Artikeln.

1. Wie man GPU-Spezifikationen für LLM-Serving liest

Dense Decode bei kleinen Batches ist oft durch die Speicherbandbreite begrenzt. Die idealisierte Obergrenze nur für Gewichtslesevorgänge ist Speicherbandbreite geteilt durch Gewicht-Bytes, sofern Gewichte und KV-Cache überhaupt hineinpassen. Ein 70B-Checkpoint in bf16 braucht etwa 140 GB vor dem KV-Cache und passt nicht auf eine einzelne H100 SXM mit 80 GB. Für einen 32,76B-Text-Checkpoint mit etwa 65,5 GB bf16-Gewichten ergeben sich idealisiert ~51 Tok/s auf einer H100 SXM (3,35 TB/s) und ~118 Tok/s auf einer HGX B200 (7,7 TB/s), bevor KV-Verkehr und andere Grenzen hinzukommen. Prefill und größere Batches können durch Rechenleistung begrenzt sein. Siehe den Inferenz-Matheartikel.

Kapazität entscheidet, was passt — und was batchbar ist. Der VRAM muss Gewichte plus KV-Cache plus Aktivierungen aufnehmen. Quantisierung tauscht Genauigkeit gegen Kapazität und effektive Bandbreite (Bytes pro Token) — das billigste „GPU-Upgrade" ist daher oft ein Formatwechsel, keine Anschaffung; siehe den Quantisierungs-Guide. Ein Modell, das bequem passt, lässt Raum für längere Kontexte und größere Batches — der eigentliche Hebel für Kosten pro ausgeliefertem Token. Rechnen Sie zuerst mit dem VRAM-Rechner und dem KV-Cache-Deep-Dive, bevor Sie Geld ausgeben.

Lesen Sie das Datenblatt in dieser Reihenfolge: Speicherkapazität (passt das Modell?), Speicherbandbreite (Decode bei kleinen Batches), Tensor-Rechenleistung (Prefill und Batch), Interconnect (Multi-GPU-Kommunikation), Stromverbrauch und Kühlung. Welche Grenze zählt, hängt vom Workload ab.

2. Hardwareklassen und vergleichbare Angebote

Die Tabelle nennt konkrete SKUs, weil sich die Bandbreite je nach Bauform unterscheidet. Die Zahlen sind maximale Herstellerangaben, keine gemessenen Serving-Raten. Ein Angebot sollte Modul, Gehäuse, Interconnect und Garantie genau benennen. HGX B200/B300 werden üblicherweise als Systeme angeboten; ein Systempreis geteilt durch acht ist kein Einzelkartenpreis.

RTX 5090 und Workstation-RTX-PRO-6000 haben dieselbe maximale Speicherbandbreite; letztere bietet dreimal so viel Speicher. Die HGX-B300-Zeile folgt NVIDIAs eigenem Blackwell-Ultra-Datenblatt. Manche NVIDIA-Referenzarchitekturen führen abweichende maximale B300-Speicher- und Bandbreitenwerte; prüfen Sie daher das angebotene System. Quellen: RTX 5090, RTX PRO 6000, H200, Blackwell Ultra.

Für einen wirtschaftlichen Vergleich holen Sie aktuelle Systemangebote ein und teilen die gesamten Betriebskosten durch gemessene nutzbare Tokens über die Nutzungsdauer. Gehäuse, Netzwerk, Strom, Kühlung, Support, Auslastung und Restwert gehören dazu. Historische Händlerlistings sind keine verlässlichen Kaufpreise.

3. Interconnect: Warum Multi-GPU NVLink will

Tensor-Parallelität verteilt Schichtoperationen auf mehrere GPUs und erfordert bei jedem Forward-Pass Kommunikation. PCIe Gen5 x16 bietet etwa 64 GB/s je Richtung (128 GB/s zusammen); NVIDIA nennt 600 GB/s für A100 NVLink 3, 900 GB/s für H100/H200 NVLink 4 und 1,8 TB/s für B200/B300 NVLink 5 als aggregierte GPU-zu-GPU-Linkbandbreite. Diese Linkwerte sind nicht automatisch die für ein bestimmtes All-Reduce nutzbare Bandbreite: Topologie, Nachrichtengröße und Software spielen mit ¹. HGX-SXM-Systeme verbinden die GPUs per NVSwitch; bestimmte PCIe-NVL-Karten können kompatible Bridges verwenden.

Bei TP=1 gibt es keine Inter-GPU-Kommunikation. Vergleichen Sie für Multi-GPU-Serving gemessene Latenz und Durchsatz von Tensor-, Pipeline- und Expert-Parallel-Layouts auf der angebotenen Topologie. Eine Studie berichtete für ein Pipeline-Layout bis zu 4,5-mal höheren Durchsatz als ihre Cross-Node-TP-Baseline auf 16 H100; das ist ein Workload-spezifisches Ergebnis, kein allgemeiner Faktor ².

4. Risiken je Tier

Gebrauchte Rechenzentrumskarten (A100, H100 aus der Cloud). Prüfen Sie Verkäufergarantie, Rückgaberecht, Firmware, thermischen Zustand und Modulidentität. SXM-Module brauchen ein kompatibles Baseboard samt Kühlung; ein einzelnes SXM-Modul ist keine PCIe-Steckkarte. Verlangen Sie Funktionstests und eine lauffähige Systemkonfiguration, bevor Sie einen niedrigen Modulpreis bewerten.

Consumer-Karten. Die RTX 5090 hat 32 GB GDDR7, kein NVLink und eine Total Graphics Power von 575 W. Ihre 32 GB fassen ein 70B-Modell selbst bei idealen 4 Bit pro Gewicht nicht: Allein die Nutzdaten benötigen 35 GB, noch vor Skalen und KV-Cache. Die RTX PRO 6000 Workstation Edition hat 96 GB GDDR7 mit ECC. Die Leistung mehrerer PCIe-GPUs hängt von Topologie und Runtime ab; prüfen Sie Netzteil und Kühlung für die konkreten Karten im konkreten Gehäuse.

Systemanforderungen an der Spitze. NVIDIAs Blackwell-Ultra-Datenblatt nennt für HGX B300 eine konfigurierbare GPU-TDP bis 1.100 W pro GPU. Zum Verbrauch eines Nodes kommen CPUs, Netzwerk, Kühlung und Stromwandlung hinzu. Lassen Sie sich vom OEM die Nenn- und Messwerte des gesamten Systems geben, bevor Sie Stromversorgung und Kühlung planen ³.

5. Entscheidungstabelle nach Workload

Fazit

Berechnen Sie Modellgröße, KV-Cache und Runtime-Reserve mit dem Inferenz-Rechner. Messen Sie anschließend Kandidaten bei der geplanten Latenz und Nebenläufigkeit. Vergleichen Sie aktuelle Angebote für vollständige Systeme samt Betriebskosten anhand dieses Workloads. Eine Roofline-Obergrenze oder ein altes Händlerangebot belegt nicht, welche GPU am günstigsten ist.