Einen GPU-Transfer durch seine echte NVLink-Domäne verfolgen
Ein Switch verbindet unterstützte GPU-Links; Topologieprüfung und Kommunikationsmessungen zeigen, was eine Anwendung nutzen kann.
KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel
Eine NVLink-Generation beschreibt Link-Fähigkeiten; das Systemdesign bestimmt die Domänengröße. Die gesamte Rackbandbreite summiert Kapazitäten und ist keine Rate für ein einzelnes GPU-Paar.
NVIDIA NVLink ist eine Verbindung mit hoher Bandbreite zwischen GPUs. NVSwitch verbindet mehrere NVLink-GPUs innerhalb einer unterstützten Systemarchitektur. Dadurch kann die Kommunikation mancher Mehr-GPU-Aufgaben schneller werden. Weder vorhandenes NVLink noch eine Datenblattbandbreite garantieren jedoch einen bestimmten Anwendungsgewinn. GPU-Modell, Systemtopologie, Datenmenge und Software bestimmen die erreichte Leistung.
Bandbreite und Domänengröße
NVIDIAs NVLink-Produktspezifikationen nennen folgende maximale bidirektionale Bandbreiten je GPU:
| Generation | Plattform | Maximum je GPU |
|---|---|---|
| NVLink 3 | Ampere A100 | 600 GB/s |
| NVLink 4 | Hopper H100 | 900 GB/s |
| NVLink 5 | Blackwell | 1.800 GB/s |
| NVLink 6 | Rubin | 3.600 GB/s, vorläufig |
Aus der Generation allein ergibt sich nicht die GPU-Anzahl einer Domäne. HGX B200 ist beispielsweise ein Acht-GPU-Baseboard mit NVLink der fünften Generation. GB200 NVL72 verbindet 72 GPUs in einer rackweiten NVLink-Domäne und nennt 130 TB/s aggregierte NVLink-Bandbreite. Dieser Wert summiert Verbindungskapazitäten über das Rack (ungefähr 72 × 1,8 TB/s). Er ist weder die Bandbreite einer einzelnen GPU noch der gemessene Durchsatz einer Kollektivoperation.
Für Vera Rubin NVL72 nennt NVIDIA 3,6 TB/s bidirektional je GPU und 260 TB/s aggregiert. NVIDIA kennzeichnet die Rubin-Spezifikationen selbst als vorläufig. Aussagen über größere künftige Domänen müssen sich auf ein konkretes angekündigtes System und dessen Entwicklungsstand beziehen.
Ein Linux-System untersuchen
Die Dokumentation zu nvidia-smi enthält Abfragen für Topologie und NVLink:
nvidia-smi topo -m
nvidia-smi topo -p2p n
nvidia-smi nvlink -stopo -m zeigt GPU/NIC-Topologie und Pfadbezeichnungen. topo -p2p n prüft die NVLink-Peer-to-Peer-Fähigkeit zwischen GPU-Paaren. nvlink -s meldet den Zustand und bei aktiven Links deren Bandbreite. Die Ausgabe hängt von Treiber, GPU und Systemarchitektur ab. Aus der Produktfamilie allein folgt nicht, dass alle GPU-Paare denselben Pfad verwenden.
Die tatsächlich erreichte GPU-Kommunikation muss gemessen werden. NVIDIAs nccl-tests prüfen Kollektivoperationen auf Korrektheit und Leistung; das CUDA-Beispiel p2pBandwidthLatencyTest prüft Peer-Transfers. GPU-Anzahl, Platzierung, Nachrichtengröße und Einheiten gehören zum Ergebnis. Ein Peer-Transfer-Test sagt für sich genommen noch nichts Verlässliches über die Geschwindigkeit des gesamten Trainings oder der Inferenz aus.
Wann NVLink hilft
Tensor- und Expert-Parallelismus können so häufig Daten austauschen, dass eine schnelle lokale Domäne nützt. Datenparallelismus kommuniziert unter Umständen in anderen Abständen; bei wenig GPU-zu-GPU-Verkehr kann der Vorteil gering sein. Kommunikationsbibliotheken können je nach Nachrichtengröße und Topologie verschiedene Algorithmen wählen.
GPU-Leistungsgrenzen, Treiberzweige oder Kerneleinstellungen sollten nicht allein zum „Aktivieren von NVLink“ verändert werden. Zuerst Hardwareunterstützung und Topologie prüfen und die reale Aufgabe messen. Den Unterschied zwischen Bandbreite innerhalb und zwischen Racks erläutert Scale-up vs. Scale-out.