Un gruppo di ricerca decide di portare in casa l'addestramento dei propri modelli. Il budget c'è, e la scelta sembra semplice: acquistare la GPU più potente che le risorse permettono. Poi il modello non entra comodamente in memoria, oppure entra ma non scala quando viene distribuito su più schede. In altri casi la GPU resta in attesa perché storage, rete o CPU non riescono ad alimentarla. Il risultato è hardware costoso che lavora al di sotto delle possibilità. Il problema quasi mai è soltanto la potenza di calcolo grezza. È tutto il sistema intorno.
Nel 2026 RTX PRO 6000 Blackwell, NVIDIA HGX B200 e NVIDIA HGX B300 rappresentano tre fasce significative per AI, simulazione e calcolo accelerato on-premise. Sono piattaforme pensate per esigenze diverse: una scheda professionale PCIe per workstation e server, una soluzione data center multi-GPU ad alta banda e una piattaforma Blackwell Ultra progettata per modelli più grandi, reasoning e servizi ad alta concorrenza. Confrontarle soltanto sui teraflops porta facilmente a una scelta sbagliata.
La domanda giusta non è quale GPU, ma dov'è il collo di bottiglia
Confrontare le GPU sui FLOPS, cioè sulle operazioni di calcolo al secondo, è come scegliere un'auto guardando solo i cavalli. Conta quanto del modello e dei dati intermedi può risiedere nella memoria della scheda, quanto velocemente la memoria alimenta i core di calcolo, come comunicano più acceleratori, e quanta corrente e capacità di raffreddamento servono per mantenerli operativi. Nei progetti reali entrano poi in gioco CPU, RAM, rete, storage, librerie e scheduler.
Per questo la prima domanda non è quale scheda comprare, ma cosa deve fare il sistema: quali modelli o applicazioni verranno eseguiti, con quale precisione, quanti utenti lavoreranno contemporaneamente, quale throughput è richiesto, quante GPU dovranno collaborare e per quante ore al giorno. Da queste risposte si risale alla piattaforma corretta. Spesso non è la più costosa, ma quella che elimina il limite dominante senza creare nuovi squilibri.
I tre protagonisti, in breve
NVIDIA RTX PRO 6000 Blackwell
È la GPU professionale di fascia alta della famiglia RTX PRO Blackwell. Dispone di 96 GB di memoria GDDR7 con ECC e interfaccia PCIe 5.0 x16. La Workstation Edition raggiunge 1.792 GB/s di banda di memoria, mentre la Server Edition è indicata a 1.597 GB/s; entrambe arrivano fino a 600 W, ma adottano formati e sistemi di raffreddamento differenti. Non integra NVLink, quindi la comunicazione tra più schede passa attraverso PCIe.
È particolarmente adatta a sviluppo, prototipazione, inferenza locale, visualizzazione professionale, rendering, fine-tuning e carichi scientifici che beneficiano di molta VRAM ma non richiedono una fabric NVLink. In un server può essere installata in configurazioni multi-GPU, ma la scalabilità dipende maggiormente dalla topologia PCIe, dalla CPU e dal software. Per questo Workstation Edition e Server Edition non vanno considerate intercambiabili senza verificare chassis, airflow, alimentazione e certificazione del sistema.
NVIDIA B200
HGX B200 è una piattaforma data center progettata per sistemi a otto GPU. Ogni B200 dispone di 180 GB di memoria HBM3e, con banda fino a 8 TB/s. Le GPU sono collegate tramite NVLink di quinta generazione e NVSwitch, con fino a 1,8 TB/s di banda bidirezionale per GPU. Questa architettura riduce il costo delle comunicazioni collettive e rende più efficiente il training distribuito, l'inferenza ad alto throughput e il calcolo HPC su più acceleratori.
La potenza effettiva dipende dallo SKU e dal progetto OEM: molti sistemi HGX B200 ad aria sono configurati intorno a 1.000 W per GPU, mentre la piattaforma può arrivare a valori superiori. Non si tratta quindi di una scheda da inserire in una workstation, ma di una baseboard integrata in server progettati specificamente per alimentazione, raffreddamento, rete e manutenzione. La B200 è la scelta naturale quando la collaborazione tra GPU e la banda HBM sono più importanti della flessibilità di una scheda PCIe.
NVIDIA B300 (Blackwell Ultra)
HGX B300 porta la memoria a 288 GB HBM3e per GPU, mantenendo una banda fino a 8 TB/s e NVLink di quinta generazione fino a 1,8 TB/s per GPU. La capacità aggiuntiva permette di mantenere in memoria modelli, contesti, KV cache e dati intermedi più ampi, riducendo in alcuni casi la necessità di sharding aggressivo o offload. È progettata in particolare per AI reasoning, modelli di grandi dimensioni, servizi con molti utenti simultanei e training o inferenza ad alta intensità.
Il rovescio della medaglia è l'infrastruttura: la potenza può arrivare fino a circa 1.400 W per GPU e il progetto termico diventa determinante. La B300 ha senso quando la memoria aggiuntiva risolve un limite misurabile o quando un utilizzo elevato consente di valorizzare la maggiore densità di calcolo. Non è automaticamente la scelta migliore per ogni laboratorio: un sistema più piccolo, ma utilizzato bene e alimentato da dati senza interruzioni, può offrire un rapporto costo-risultato superiore.
VRAM e banda: quanto modello entra, e quanto in fretta
In breve. La memoria della GPU (VRAM) decide cosa puoi far girare: se il modello non entra, semplicemente non parte. Oggi tutte e tre le schede hanno molta memoria (96, 180 e 288 GB), quindi la domanda non è più solo "ci sta?", ma anche "con quanta banda viene alimentato il calcolo?".
Il primo aspetto è la capacità. I 96 GB della RTX PRO 6000 coprono molti modelli per inferenza, sviluppo e fine-tuning. I 180 GB della B200 e i 288 GB della B300 aumentano la quantità di dati che può restare vicino ai core di calcolo e possono ridurre la frammentazione del modello tra più GPU. Il vantaggio reale, però, dipende dal formato numerico, dal batch, dalla lunghezza del contesto e dal framework utilizzato.
Il secondo aspetto è la banda di memoria. La GDDR7 della RTX PRO 6000 raggiunge circa 1,6-1,8 TB/s in base all'edizione; B200 e B300 arrivano fino a 8 TB/s grazie alla HBM3e. Nei carichi memory-bound, tipici di molti modelli linguistici e di alcune applicazioni scientifiche, questa differenza può pesare più del picco teorico di calcolo. Nei carichi compute-bound, invece, assumono maggiore importanza precisione, Tensor Core, kernel e livello di ottimizzazione del software.
Interconnessione: perché NVLink conta quando le GPU diventano molte
Molti carichi funzionano perfettamente su una singola GPU. L'interconnessione diventa critica quando il modello, il dataset o l'obiettivo di throughput richiedono più acceleratori. In quel momento le GPU devono scambiarsi gradienti, attivazioni o parti del modello, e la quantità di comunicazione dipende dal tipo di parallelismo adottato: data parallel, tensor parallel, pipeline parallel o combinazioni delle tre tecniche.
La RTX PRO 6000 comunica attraverso PCIe. È una soluzione valida per una o poche GPU e per workload con un rapporto favorevole tra calcolo e comunicazione, ma può diventare un limite nei training fortemente distribuiti. HGX B200 e HGX B300 utilizzano NVLink di quinta generazione e NVSwitch, creando una fabric ad alta banda tra le otto GPU del nodo. Questo non garantisce una scalabilità lineare: servono comunque framework ottimizzato, topologia corretta, rete veloce tra nodi e un bilanciamento adeguato del lavoro.
Potenza e raffreddamento: il vincolo che si sottovaluta
Una RTX PRO 6000 può arrivare a 600 W; B200 e B300 richiedono potenze nettamente superiori e vengono installate in sistemi con otto GPU. Il limite del progetto può quindi essere la capacità elettrica del rack, il numero di prese disponibili, la distribuzione delle fasi, la ridondanza delle PDU o la quantità di calore che la sala riesce a rimuovere. Una GPU che viene limitata termicamente o configurata a potenza ridotta non offre le prestazioni previste sulla carta.
Il raffreddamento a liquido è particolarmente vantaggioso quando si cerca la massima densità per rack e un recupero efficiente del calore, ma non è l'unica opzione. Esistono sistemi HGX B200 raffreddati ad aria in chassis da 8U o 10U e piattaforme a liquido più compatte. La scelta dipende da temperatura e portata dell'aria, pressione statica, temperatura dell'acqua, CDU, ridondanza, manutenzione e standard del data center. Va definita prima dell'ordine, non quando il server è già arrivato.
I numeri di targa e quelli reali
Le GPU vengono spesso presentate con cifre espresse in PFLOPS o AI TOPS. Sono valori di picco riferiti a precisioni e condizioni specifiche, spesso FP4 o FP8, e non descrivono automaticamente la velocità di un training scientifico, di una simulazione o di un servizio di inferenza. Cambiando precisione, sparsità, batch, libreria o struttura del modello, cambia anche la parte dell'hardware che determina il risultato.
Per un confronto serio servono benchmark riproducibili: modello o applicazione, versione del framework, precisione, batch, contesto, numero di GPU, topologia, driver, CUDA, rete e storage. Il dato più utile non è soltanto il tempo di esecuzione, ma il rapporto tra prestazione, consumo, costo del sistema e grado di utilizzo. Anche i benchmark del produttore sono preziosi, purché vengano letti nel loro scenario e non trasformati in una promessa universale.
Training e inferenza: profili d'uso diversi
Il training costruisce o aggiorna il modello e richiede memoria per pesi, gradienti, attivazioni e ottimizzatore. Di solito beneficia molto della banda HBM e dell'interconnessione tra GPU. L'inferenza utilizza un modello già addestrato, ma non è sempre un carico leggero: contesti lunghi, reasoning, KV cache, molti utenti concorrenti e requisiti di latenza possono saturare memoria e calcolo quanto un'attività di training.
La RTX PRO 6000 è spesso efficace per prototipazione, inferenza locale e fine-tuning mirato. La B200 diventa più adatta quando servono training multi-GPU, alta banda e throughput sostenuto. La B300 aggiunge valore quando memoria e concorrenza sono i limiti principali. Molti gruppi adottano un'architettura a livelli: risorse professionali per sviluppo e visualizzazione, nodi HGX condivisi per i carichi più intensi e uno scheduler che assegna le GPU in base a priorità e dimensione del job.
La ricerca non è soltanto LLM
Un server GPU universitario può eseguire computer vision, imaging medico, dinamica molecolare, CFD, analisi sismica, bioinformatica, digital twin, rendering e simulazioni numeriche. In questi ambiti la scelta deve considerare anche precisione FP32/FP64, librerie CUDA utilizzate, compatibilità con il software scientifico, affidabilità ECC e RAS, supporto vendor, certificazioni e modalità di condivisione tra utenti. La GPU migliore per un modello generativo non è necessariamente la migliore per ogni codice HPC.
È inoltre importante distinguere una workstation usata da un singolo ricercatore da un'infrastruttura condivisa. Nel secondo caso diventano centrali autenticazione, quote, container, Slurm o Kubernetes, monitoraggio, aggiornamenti dei driver, isolamento dei job e gestione degli errori. Il valore di un server data center non è soltanto il chip: è la capacità di erogare il servizio in modo prevedibile, documentato e continuo.
Le tre GPU a confronto
| Caratteristica | RTX PRO 6000 Blackwell | B200 | B300 (Blackwell Ultra) |
|---|---|---|---|
| Destinazione | Workstation / server | Data center | Data center |
| Memoria (VRAM) | 96 GB GDDR7 (ECC) | 180 GB HBM3e | 288 GB HBM3e |
| Banda memoria | 1,597-1,792 TB/s secondo edizione | Fino a 8 TB/s | Fino a 8 TB/s |
| Interconnessione GPU | PCIe 5.0, senza NVLink | NVLink 5 + NVSwitch, fino a 1,8 TB/s | NVLink 5 + NVSwitch, fino a 1,8 TB/s |
| Potenza indicativa | Fino a 600 W | Circa 1.000 W nei sistemi OEM; fino a 1.200 W di piattaforma | Fino a circa 1.400 W |
| Uso ideale | Sviluppo, inferenza, fine-tuning, rendering e visualizzazione | Training e inferenza multi-GPU, HPC, throughput elevato | Modelli più grandi, reasoning, contesti e concorrenza elevati |
| Punto di attenzione | Scalabilità multi-GPU legata a PCIe e topologia del server | Infrastruttura elettrica, termica e di rete dedicata | TCO e requisiti di potenza/raffreddamento ancora più elevati |
Specifiche, TGP, memoria disponibile e configurazioni termiche possono variare in base a SKU e sistema OEM.
Dal chip al server: la GPU è solo un pezzo
Una GPU da sola non crea un sistema di calcolo. Va inserita in un server progettato per alimentarla e raffreddarla, collegato a uno storage capace di fornire i dati con continuità e a una rete adeguata alla comunicazione tra nodi. CPU e RAM devono gestire preprocessing, data loading e orchestrazione senza diventare il nuovo collo di bottiglia. Anche firmware, BIOS, driver e librerie devono essere validati come un insieme.
Un GPU server ben progettato bilancia quindi acceleratori, alimentazione, raffreddamento, CPU, memoria, storage, rete e stack software. Il costo corretto è il TCO dell'intera soluzione: hardware, energia, adeguamento della sala, supporto, manutenzione e tempo degli amministratori. Mactronics.IT progetta e configura sistemi GPU su nodi Supermicro con tecnologia NVIDIA, consegnando piattaforme testate. La GPU è la parte più visibile; il valore sta nel sistema che permette di usarla bene.
Domande frequenti
Cos'è un GPU server?
Un GPU server è un sistema dotato di una o più GPU per accelerare AI, simulazione, analisi scientifica e rendering. Rispetto a una workstation può offrire più acceleratori, alimentazione e raffreddamento ridondati, gestione remota, rete ad alta velocità e integrazione con scheduler o cluster per l'uso condiviso.
La RTX PRO 6000 Blackwell va bene per addestrare modelli AI?
Sì, soprattutto per fine-tuning, prototipazione e modelli che rientrano nei 96 GB di VRAM. Può essere usata anche in configurazioni multi-GPU, ma l'assenza di NVLink rende la topologia PCIe e il software più importanti. Per training distribuiti e molto comunicativi, HGX B200 o B300 sono generalmente più adatte.
Quanto costa un server GPU per la ricerca?
Il costo varia radicalmente tra un sistema professionale con una RTX PRO 6000 e un nodo HGX con otto B200 o B300. Vanno inclusi server, rete, storage, potenza, raffreddamento, supporto e software. Per questo un preventivo utile parte dal workload e dal TCO, non dal solo prezzo della GPU.
B200 o B300: quale scegliere?
La B200 è adatta alla maggior parte dei progetti multi-GPU che richiedono alta banda e 180 GB per acceleratore. La B300 conviene quando i 288 GB risolvono un limite concreto, per esempio modelli, contesti o KV cache più grandi, oppure quando l'elevata concorrenza giustifica potenza e costo superiori.
Devi dimensionare un GPU server per il tuo gruppo o dipartimento?
La piattaforma giusta dipende da modelli, applicazioni, precisione, utenti concorrenti e vincoli della sala. Richiedi una configurazione dimensionata sul carico reale: ti aiutiamo a evitare sia il sottodimensionamento sia una spesa che non produce prestazioni utilizzabili.