Eine Kollektivoperation zahlt für den tatsächlichen Byte-Pfad
Verfolge Ring-All-Reduce von der Platzierung durch beide Phasen mit konsistenten Bandbreiteneinheiten und Annahmen.
KI-gestützte Lernvisualisierung · schematische Erklärung zum Artikel
Scale-up verbindet GPUs lokal; Scale-out überschreitet Systemgrenzen. Vergleiche Bytes pro Sekunde mit Bytes pro Sekunde und Einwegkapazität mit Einwegkapazität; geteilte Ports und Netzwerkschnitte zählen mit.
Ein GPU-Cluster über mehrere Racks hat meist eine schnelle Scale-up-Verbindung zwischen nahen GPUs und ein Scale-out-Netzwerk zwischen Systemen oder Racks. Für GB200 NVL72 nennt NVIDIA eine NVLink-Domäne mit 72 GPUs, 1,8 TB/s bidirektional je GPU und 130 TB/s aggregiert über das Rack. Dies sind Kapazitäten der Verbindungen, keine Geschwindigkeiten einer bestimmten Kollektivoperation oder Anwendung. NVIDIAs Tuning-Anleitung nennt 900 GB/s theoretisch in einer Richtung je GPU.
Ein 800-Gb/s-XDR-InfiniBand-Port überträgt nominell 100 GB/s in einer Richtung, wenn Bit in Byte umgerechnet werden. Daraus ergibt sich ein Verhältnis von 9:1 zwischen theoretischer NVLink-Kapazität je GPU und einem ideal exklusiven 800-Gb/s-Port. Das bedeutet keinen allgemeinen neunfachen Geschwindigkeitsgewinn für Anwendungen: Eine GPU kann mehrere Netzwerkverbindungen haben, ein Port kann geteilt sein, und Topologie, Software und Nachrichtengröße verändern die tatsächlich erreichte Bandbreite.
Modell für Ring-All-Reduce
Bei Ring-All-Reduce über GPUs mit je GPU beigetragenen Byte und nachhaltiger Übertragungsbandbreite je GPU ergibt sich als reiner Bandbreitenterm:
Der Faktor umfasst Reduce-Scatter und All-Gather. Die Dokumentation von NVIDIAs nccl-tests verwendet denselben Faktor , um die Algorithmus- mit der Busbandbreite bei All-Reduce zu verknüpfen. Anlauflatenz, Topologiekonflikte und Überlappung mit Berechnungen fehlen in der Formel. Für ist die erreichte Bandbreite des tatsächlichen Pfads nötig, nicht automatisch der Nennwert eines Ports.
Als bewusst idealisiertes Beispiel seien und dezimale GB je GPU angenommen. Der Ringfaktor ist 1,75. Bei angenommenen 900 GB/s beträgt der Bandbreitenterm ms; bei angenommenen 100 GB/s sind es ms. Das sind theoretische Untergrenzen, keine gemessenen NVLink-gegen-InfiniBand-Benchmarkwerte. In einem realen Cluster kann der Pfad NVLink und Netzwerk enthalten; NCCL kann zudem einen anderen Algorithmus wählen.
Welche Netzwerkgrenze zählt?
Bei Tensor-Parallelismus können häufige Kollektivoperationen über Aktivierungen eine schnelle lokale GPU-Verbindung wertvoll machen. Bei Datenparallelismus werden Gradienten oft seltener ausgetauscht; im großen Cluster kann auch dieser Verkehr dominieren. Pipeline-Parallelismus überträgt Aktivierungen zwischen Stufen. Expert-Parallelismus fügt All-to-All-Verkehr hinzu, dessen Lastverteilung vom Routing abhängt. Für keines dieser Muster gibt es unabhängig von Tensorgrößen, Platzierung und Überlappung mit Berechnungen ein festes „bestes Netzwerk“.
Beim Scale-out zählt die verfügbare Bandbreite über den betreffenden Netzwerkschnitt, nicht nur die Portgeschwindigkeit. Überbuchung, Routing und Staus können den effektiven Durchsatz senken. Die 130 TB/s des NVL72 sind die Summe der GPU-Verbindungsraten (72 × 1,8 TB/s ≈ 129,6 TB/s), nicht die Bandbreite einer GPU oder einer Kollektivoperation. Ein sinnvoller Vergleich hält Einheiten und Bezugsgrößen gleich: eine Richtung gegen bidirektional, je GPU gegen je Rack und Nennwert gegen Messwert.
Für Beschaffung oder Platzierung sollte die Zielaufgabe mit der vorgesehenen Parallelisierung gemessen und ein Kollektivbenchmark wie nccl-tests ausgeführt werden. Systemtopologie, GPU-Anzahl, Nachrichtengrößen und erreichte Bandbreite gehören zum Ergebnis. Ein Datenblattverhältnis zeigt Kapazität, sagt aber die Anwendungsleistung nicht voraus.