La nuova GPU NVIDIA Blackwell B200 ha dimostrato un significativo aumento delle prestazioni rispetto alla precedente generazione Hopper nei recenti benchmark MLPerf Training. I risultati iniziali, presentati nella categoria preview, hanno evidenziato un miglioramento costante delle performance su tutti i benchmark, con un incremento di 2 volte per il pre-training di GPT-3 e di 2,2 volte per il fine-tuning di Llama 2 70B utilizzando la tecnica LoRA (low-rank adaptation) per GPU.
I sistemi di benchmarking erano equipaggiati con otto GPU Blackwell, ognuna con un TDP di 1.000 watt, interconnesse tramite la tecnologia NVLink di quinta generazione e il più recente NVLink Switch. La versione 4.1 di MLPerf Training ha permesso di valutare le capacità della piattaforma HGX B200 Blackwell, che ha mostrato un aumento delle prestazioni fino a 2,2 volte per GPU rispetto alla generazione precedente HGX H200 Hopper.
Le GPU Blackwell sono dotate di memoria ad alta larghezza di banda HBM3e e interconnessioni NVLink di quinta generazione, contribuendo al raddoppio delle prestazioni nel pre-training di GPT-3 e al miglioramento di 2,2 volte nel fine-tuning di Llama 2 70B rispetto alla generazione Hopper. L’infrastruttura di rete dei sistemi di benchmarking includeva NVIDIA ConnectX-7 SuperNICs e switch Quantum-2 InfiniBand, che facilitano la comunicazione ad alta velocità tra i nodi per i carichi di lavoro di training distribuito.
NVIDIA prevede di rilasciare il sistema GB200 NVL72, che dovrebbe superare il miglioramento delle prestazioni di 2,2 volte grazie a domini NVLink espansi, maggiore larghezza di banda della memoria e una più stretta integrazione con le CPU NVIDIA Grace, insieme alle tecnologie ConnectX-8 SuperNIC e Quantum-X800 switch.
