Die Transformer-Engine der zweiten Generation nutzt die benutzerdefinierte Blackwell Tensor Core-Technologie in Kombination mit den Innovationen von NVIDIA TensorRT™-LLM und NeMo™ Framework, um Inferenzen und Trainings für große Sprachmodelle (LLMs) und MoE-Modelle (Mixture-of-Experts) zu beschleunigen. Blackwell Tensor-Recheneinheiten fügen neue Präzisionen hinzu, einschließlich neuer von der Community definierter Mikroskalierungsformate, die eine hohe Genauigkeit und einfache Ersetzbarkeit für größere Präzisionen bieten.

Blackwell Ultra Tensor-Recheneinheiten verfügen über eine 2-fache Beschleunigung der Aufmerksamkeitsebene und 1,5-fache AI-Compute-FLOPS im Vergleich zu Blackwell GPUs. Die Blackwell Transformer Engine nutzt feinkörnige Skalierungstechniken, die sogenannte Micro-Tensor-Skalierung, um Leistung und Genauigkeit zu optimieren und 4-Bit-Gleitkomma-KI (FP4) zu ermöglichen. Dadurch werden die Leistung und Größe von Modellen der nächsten Generation, die der Speicher bei gleichbleibender hoher Genauigkeit unterstützen kann, verdoppelt.

Die Erschließung des vollen Potenzials von Exascale-Computing und KI-Modellen mit Billionen Parametern hängt von der Notwendigkeit einer schnellen, nahtlosen Kommunikation zwischen allen Grafikprozessoren in einem Servercluster ab. Die fünfte Generation der NVIDIA NVLink-Schnittstelle kann auf bis zu 576 GPUs skaliert werden, um die beschleunigte Leistung für Billionen- und Multi-Billionen-Parameter-KI-Modelle freizusetzen. 

Der NVIDIA NVLink-Switch-Chip ermöglicht 130 TB/s GPU-Bandbreite in einer 72-GPU-NVLink-Domäne (NVL72) und bietet eine 4-fache Bandbreiteneffizienz mit Unterstützung von NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Der NVIDIA NVLink-Switch-Chip unterstützt Cluster mit mehr als einem einzelnen Server mit derselben beeindruckenden Verbindung von 1,8 TB/s. Multi-Server-Cluster mit NVLink skalieren die GPU-Kommunikation im Gleichklang mit verbessertem Computing, sodass NVL72 den 9-fachen GPU-Durchsatz im Vergleich zu einem einzelnen System mit acht GPUs unterstützen kann.

Blackwell fügt intelligente Ausfallsicherheit mit einer speziellen RAS-Engine (Reliability, Availability, and Serviceability) hinzu, um potenzielle Fehler frühzeitig zu erkennen und Ausfallzeiten zu minimieren.  Die KI-gestützten Funktionen für vorausschauendes Management von NVIDIA überwachen kontinuierlich Tausende von Datenpunkten über Hardware und Software hinweg, um den allgemeinen Zustand zu prüfen und Quellen von Ausfallzeiten und Ineffizienzen vorherzusagen und abzufangen. Dadurch wird eine intelligente Ausfallsicherheit geschaffen, die Zeit, Energie und Rechenkosten spart.

Die RAS-Engine von NVIDIA liefert detaillierte Diagnoseinformationen zur Identifizierung von Problembereichen und zur Planung von Wartungsmaßnahmen. Die RAS-Engine verkürzt die Durchlaufzeit durch schnelles Lokalisieren der Problemursache und minimiert Ausfallzeiten durch effektive Behebung.