Mentre proseguiamo la nostra serie dedicata al "Building to Suit" nell'era dell'IA, vediamo come le implementazioni di IA siano più dense rispetto a quelle tradizionali nel cloud o in ambito aziendale, e come stiano determinando cambiamenti significativi nella progettazione dei data center. Tra il 2011 e il 2020 — prima che l'IA prendesse piede —la densità media dei rack è passata da 2,4 kW a 8,4 kW. L'architettura delle GPU NVIDIA di attuale generazione, Blackwell, è progettata per 120 kW per rack, rispetto ai 41 kW per rack della generazione precedente (Hopper). E le architetture continuano a diventare sempre più dense; a marzo, il CEO di NVIDIA Jensen Huang ha annunciato una roadmap per rack da 600 kW entro la fine del 2027.
Le implementazioni di IA sono così dense perché le GPU utilizzate per addestrare i modelli di IA consumano molta più energia rispetto alle CPU impiegate per i carichi di lavoro tradizionali. Mantenere i processori vicini tra loro consente di realizzare cluster di dimensioni maggiori, e cluster più grandi consentono di utilizzare modelli più potenti. (Per saperne di più, consulta Progettare in base alla posizione.)
A tali livelli di densità, le implementazioni di IA generano troppo calore perché il raffreddamento ad aria possa gestirlo; richiedono quindi il raffreddamento a liquido. Allo stesso tempo, la maggior parte dei data center che oggi supportano l’IA gestiscono anche carichi di lavoro tradizionali, che sono molto meno densi e possono essere raffreddati efficacemente con l’aria. Pertanto, i data center devono essere in grado di supportare sia il raffreddamento ad aria che quello a liquido. Dato che lo sviluppo e l’adozione dell’IA sono ancora agli albori, con molte innovazioni ancora da venire, è probabile che le densità continuino ad aumentare. I data center devono essere in grado di supportare le densità odierne ed essere flessibili per supportare anche quelle future.
Costruire in modo da soddisfare i requisiti di densità
Un data center dedicato all'intelligenza artificiale non solo è progettato in modo diverso, ma viene anche gestito in modo diverso. La realizzazione di una soluzione per data center basata sull'intelligenza artificiale riguarda la tecnologia, l'implementazione e la gestione quotidiana. La nostra offerta di prodotti per data center basati sull'intelligenza artificiale, Ingegnosità, dispone di procedure operative standard (SOP), procedure operative minime (MOP) e procedure di emergenza (EOP) all’avanguardia nel settore per garantire un’esperienza di prim’ordine. In qualità di nostro Direttore Marketing e Prodotto Phillip Marangella spiegato in un articolo riguardo all'adeguamento dell'infrastruttura dei data center all'era dell'IA: «Con il passaggio dal raffreddamento ad aria a quello a liquido, abbiamo anche completamente riorganizzato le nostre procedure operative, la formazione e la preparazione per garantire un ambiente sicuro, protetto e sostenibile per le implementazioni di IA e HPC».
Un data center moderno deve essere in grado di gestire sia carichi di lavoro di IA ad alta densità sia carichi di lavoro tradizionali a densità inferiore. Ingenuity è flessibile e supporta densità di rack da 10 kW a oltre 500 kW. Adattandosi a una varietà di requisiti di densità di potenza e raffreddamento per GPU, CPU, storage e networking, Ingenuity supporta carichi di lavoro dedicati all'IA così come carichi di lavoro misti, il tutto all'interno dello stesso data center. Abbiamo la flessibilità necessaria per bilanciare carichi IT variabili all'interno della stessa sala dati, sfruttando l'accumulo termico integrato per garantire capacità di raffreddamento continuo.
I data center progettati per gestire i carichi di lavoro di IA odierni devono essere sufficientemente flessibili da supportare anche quelli futuri. In qualità di partner certificato NVIDIA DGX, collaboriamo strettamente con il produttore di chip per garantire la disponibilità di soluzioni tecniche in grado di soddisfare i requisiti di alimentazione e raffreddamento delle future generazioni di chip AI. Proprio come un backplane nei circuiti, il nostro data center abilitato all'AI funge da base su cui possono funzionare le implementazioni di AI. Il design è flessibile per supportare una vasta gamma di tecnologie di raffreddamento e adattabile per supportare le future densità in modo economicamente vantaggioso man mano che le architetture di AI si evolvono.
I data center devono essere sostenibili, nonostante il loro fabbisogno energetico sia in aumento. L'IA presenta sia sfide che opportunità. Le sfide includono i requisiti tecnologici legati alle maggiori esigenze di densità di potenza dovute all'IA e all'HPC; le opportunità includono la rapida crescita e l'adozione delle tecnologie di IA. Mentre affrontiamo queste sfide e opportunità, continuiamo a impegnarci per mitigare l'impatto sul clima attraverso la nostra strategia di sostenibilità sia a breve che a lungo termine. Ad esempio, i nostri progetti di raffreddamento efficienti per applicazioni ad alta densità contribuiscono a ottimizzare l'efficienza energetica (PUE).
In conclusione
L'aumento vertiginoso della densità associato ai carichi di lavoro di IA sta determinando cambiamenti significativi nella progettazione dei data center. Per avere successo occorre un operatore impegnato nell'eccellenza operativa e nella sostenibilità, con un modello progettuale sufficientemente flessibile da supportare sia i carichi di lavoro di IA ad alta densità sia quelli tradizionali a densità inferiore, oltre ai carichi di lavoro futuri man mano che l'IA evolve. Un operatore come EdgeConneX.
Nella puntata precedente di Costruire su misura in un mondo dominato dall'intelligenza artificiale :