Zeit bis zum selben Trainingsziel vergleichen
Lies die beiden 16-GPU-Einreichungen des Artikels als Gesamtsystem-Ergebnisse für dieselbe LoRA-Aufgabe.
KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel
MLPerf Training misst die Zeit eines Systems bis zu einem definierten Qualitätsziel. Die beiden Einträge nutzen dieselbe LoRA-Aufgabe, dasselbe Ziel und dieselbe GPU-Zahl; andere Pretraining-Aufgaben lassen sich hier nicht einmitteln.
Was unterscheidet B200 und GB200?
B200 ist eine Blackwell-GPU; GB200 kombiniert eine Grace-CPU mit zwei Blackwell-GPUs. GB200 NVL72 verbindet 36 Grace-CPUs und 72 GPUs in einer flüssigkeitsgekühlten NVLink-Domäne. HGX B200 nutzt eine andere Host- und Systemkonfiguration. Vergleiche vollständige Systeme für deinen Workload, statt die Namen als austauschbare GPU-Konfigurationen zu behandeln.
Ist GB200 schneller oder energieeffizienter als B200? Die vergleichbaren Trainingseinreichungen unten zeigen für einen Workload ein schnelleres GB200-Ergebnis. Sie belegen keinen allgemeinen Speedup oder Leistung-pro-Watt-Vorteil; dafür sind vergleichbare Workload- und Leistungsmessungen nötig.
Für Inferenzplanung hilft der GPU-Kaufguide. Zu Kommunikationsengpässen führen NVLink und Scale-Up vs Scale-Out.
Der Vergleich
MLPerf Training misst, wie lange ein Gesamtsystem braucht, um bei einer festgelegten Aufgabe ein Qualitätsziel zu erreichen. Die Messung isoliert die GPU nicht von Host, Kühlung, Netzwerk, Software und Optimierung. Die Ergebnisse von MLPerf Training v6.0 enthalten B200- und GB200-Einreichungen. Ein Unterschied zwischen Einreichungen ist aber kein kontrollierter Nachweis für die reine GPU-Geschwindigkeit oder Energieeffizienz.
Die frühere Fassung dieses Artikels teilte die Trainingszeit durch die GPU-Anzahl und bezeichnete das Ergebnis als „Effizienz“. Diese Rechnung war falsch: Mit zusätzlichen GPUs sinkt die Zeit oft, während der Divisor steigt. Damit sieht ein größerer Cluster selbst bei schlechter Skalierung besser aus. Außerdem wurden Llama-2-70B-LoRA-Fine-Tuning und Llama-3.1-405B-Pretraining in einer Rangliste vermischt. Ihre Laufzeiten lassen sich nicht zu einer Hardwarewertung mitteln.
Eine vergleichbare veröffentlichte Aufgabe
Die MLPerf-Training-v6.0-Tabelle von NVIDIA nennt folgende Einreichungen der Closed Division für Llama-2-70B-LoRA-Fine-Tuning auf SCROLLS GovReport. Beide verwenden 16 GPUs und das Ziel 0,925 Evaluationsverlust:
| Einreichung | System | Veröffentlichte Zeit bis zum Ziel |
|---|---|---|
| 6.0-0071 | 16 × GB200, HPE GB200 NVL72, NVIDIA NeMo | 5,3 min |
| 6.0-0069 | 16 × B200, HPE ProLiant Compute XD685, NVIDIA NeMo | 6,3 min |
Bei diesen zwei Einreichungen war das GB200-System 1,0 Minute früher fertig. Das Verhältnis der veröffentlichten Zeiten beträgt 6,3 ÷ 5,3 ≈ 1,19. Dies ist eine Beobachtung auf Systemebene: Die Serverplattformen unterscheiden sich, ebenso möglicherweise Konfiguration und Optimierung. Daraus folgt weder ein allgemeiner GPU-Vorsprung von 19 % noch eine Aussage zu Energieverbrauch oder Kosten.
Im Ergebnis-Dashboard von MLCommons lassen sich die Details der Einreichungen und spätere Korrekturen prüfen. Die Werte oben sind wie auf der NVIDIA-Seite veröffentlicht gerundet.
Was die Hardwarespezifikationen belegen
Laut GB200-NVL72-Produktseite enthält ein flüssiggekühltes Rack 36 Grace-CPUs und 72 Blackwell-GPUs in einer NVLink-Domäne. NVIDIA nennt 130 TB/s aggregierte NVLink-Bandbreite für diese Domäne. Ein GB200-Grace-Blackwell-Superchip verbindet eine Grace-CPU mit zwei Blackwell-GPUs. Das sind Designspezifikationen, keine gemessenen Beschleunigungen für Anwendungen.
Ein HGX-B200-System verwendet B200-GPUs mit anderer Host- und Interconnect-Konfiguration. Die größere NVLink-Domäne des NVL72 kann bei Aufgaben mit intensiver Kommunikation über Servergrenzen hinweg relevant sein. Ob eine konkrete Trainingsaufgabe dadurch schneller wird, hängt unter anderem von Modellaufteilung, Batchgröße, Netzwerk, Software und Vergleichssystem ab.
So lassen sich Beschaffungsoptionen vergleichen
Für eine Entscheidung zwischen B200 und GB200 sollten dasselbe Modell, dieselben Daten, dasselbe Qualitätsziel und dieselbe Softwareversion auf beiden Kandidatensystemen laufen. Zur Laufzeit gehört immer die GPU-Anzahl. Für die Skalierung vergleicht man den Geschwindigkeitszuwachs mit dem Zuwachs der GPU-Anzahl bei derselben Aufgabe. Energie und Kosten erfordern Messwerte zur Systemleistung sowie Gesamtkosten einschließlich Kühlung und Infrastruktur; sie lassen sich aus Laufzeit und Datenblatt allein nicht ableiten.
Die genannten v6.0-Einträge zeigen, dass eine 16-GPU-GB200-Einreichung diese LoRA-Aufgabe schneller abschloss als eine 16-GPU-B200-Einreichung. Sie belegen weder die frühere Behauptung von „2× Effizienz“ noch eine Rangfolge nach Leistung pro Watt oder eine allgemeine Kaufempfehlung.