Ospitata dal 17 al 19 giugno 2024, HPE Discover 2024 aggiorna lo stato della collaborazione tra Nvidia ed Hpe, estendendola ai nuovi superchip e agli sviluppi nel software e nella sostenibilità. Le aziende hanno ora a disposizione basi operative e supporto al livello richiesto dalle nuove sfide.
Le offerte di infrastruttura e servizi dei due colossi si fondono nella Hpe Private Cloud AI, una soluzione turnkey, full-stack, con una esperienza cloud differenziata e servizi di gestione, osservabilità e sostenibilità. Su questa s’innesta l’hardware per l’AI.
“Nvidia AI Computing by Hpe rappresenta una significativa espansione della nostra partnership, con soluzioni co-sviluppate per accelerare l’adozione dell’AI nelle aziende – ha detto Fidelma Russo, EVP e GM dell’Hybrid Cloud e Chief Technology Officer di Hpe; – collaboriamo con Nvidia per la sostenibilità e l’innovazione con nuove piattaforme di computing e soluzioni di raffreddamento avanzato”.
“Non si tratta di un’architettura di riferimento – ha sottolineato Neil McDonald, EVP e GM di Compute, HPC e AI in Hpe – noi e Nvidia abbiamo fatto il lavoro duro per i nostri clienti”.
Hpe Private Cloud AI
Hpe Private Cloud AI è il primo sistema full-stack sviluppato congiuntamente dai due protagonisti dell’IT.
“Abbiamo progettato e messo a disposizione il primo private cloud turnkey per l’AI – ha spiegato Manuvir Das, VP dell’Enterprise Computing di Nvidia -. A differenza di altre soluzioni guidate dai servizi, questo private cloud AI è pronto all’uso: lo colleghi, lo connetti al cloud GreenLake e in 3 clic i tuoi team di data science e IT operations sono al lavoro sullo stack software Nvidia”.
Tra le due aziende c’è quindi una profonda integrazione hardware e software: il software Nvidia AI enterprise Suite offre capacità per la messa a punto dei modelli e la valutazione durante il ciclo di vita dell’AI.
Nvidia Nim, il runtime ospite dei modelli AI, ottimizza l’esecuzione indipendentemente dalla provenienza dei modelli. Le configurazioni hardware e software sono aggiornate regolarmente per massimizzarne l’efficienza.
“Inoltre garantiamo sempre l’ultima versione del software Hpe, del software enterprise Nvidia AI e dei microservices Nim con un solo clic”, ha concluso Das.
Produttività aumentata con Private Cloud AI
I dati sono al centro dell’AI: con il private cloud per l’AI, la produttività è notevolmente aumentata fino al 90% per ingegneri dei dati, data scientists e team IT.
“Nvidia AI computing by Hpe fornisce un data lakehouse integrato, permettendo un facile accesso agli archivi di dati strutturati e non strutturati, siano essi on-prem o nel cloud pubblico, permettendo di ottimizzare i modelli”, ha ripreso MacDonald.
Secondo Hpe, distribuire on-prem è 4-5 volte più conveniente per i carichi di lavoro di inferenza, offrendo un’esperienza cloud e mantenendo i dati privati. Inoltre Hpe fornisce lo storage all’interno del private cloud stesso: GreenLake per file storage è ora certificato per l’uso ottimizzato delle GPU, supporta le connessioni InfiniBand e fornisce maggiore flessibilità per questi sistemi.
Tre nuove configurazioni hardware
L’offerta Nvidia nel portafoglio Hpe è stata arricchita notevolmente. “Annunciamo tre nuove aggiunte al nostro portafoglio di computing, sviluppate con Nvidia: ProLiant DL384 Gen 12, ProLiant DL380a Gen 12 e Cray XD670 – ha ripreso il general manager dell’area Compute, HPC e AI – ogni configurazione è modulare e permette di espandere o aggiungere capacità nel tempo, mantenendo un’esperienza cloud coerente con il cloud Hpe GreenLake”.
Il ProLiant DL384 Gen 12 usa il superchip Nvidia GH200 per prestazioni di livello superiore per modelli linguistici di grandi dimensioni, mentre il ProLiant DL380a Gen 12 supporta fino a 8 GPU Nvidia H200 per scalare i carichi AI. Il Cray XD670 supporta 8 GPU Nvidia H200 Tensor Core, essenziali per le alte prestazioni necessarie nell’addestramento e nella messa a punto dei modelli AI.
“Offriamo una gamma di supporti, dal self-managed service al fully managed service: si può iniziare con un sistema basato su l40s e scalare fino al GH200”.
Il cloud control plane
La nuova tecnologia offre anche un notevole livello di semplificazione nella gestione del controllo. Basato sul cloud GreenLake, il private cloud control plane di Hpe permette di configurare e misurare le prestazioni dell’ambiente, gestire l’inventario, hardware e software. Le dashboard per il monitoraggio e l’osservabilità gestiscono i carichi di lavoro e automatizzano il ciclo di vita di tutti gli aspetti del sistema.
In questo obiettivo è rilevante la stretta integrazione con Hpe AI Essentials, un set curato di strumenti di AI e dati che migliora il ciclo di vita del software Nvidia.
Certamente c’è da chiedersi anche come evolverà la situazione quando diventerà operativa l’acquisizione con Juniper Networks, già impostata e in via di completamento.
Sostenibilità e cooling
Inoltre, Hpe lavorerà per supportare le architetture Nvidia Blackwell e altre, offrendo modelli con raffreddamento a liquido diretto.
Questa scelta dimostra quindi una grande attenzione anche agli aspetti verdi dei datacenter del futuro, spinti dall’AI e dai suoi consumi. Grazie a un runtime ottimizzato, i microservizi Nvidia Nim riducono l’energia necessaria per eseguire i modelli già nella fase di esecuzione.
Enorme importanza assumono i sistemi di raffreddamento, liquid-to-air, 70% direct liquid e 100% direct liquid. “Il sistema Hpe OpsRamp fornisce capacità di monitoraggio e controllo dell’infrastruttura anche in termini di sostenibilità – ha ripreso Russo -. Il raffreddamento a liquido gestisce le alte prestazioni delle GPU, riducendo il consumo energetico complessivo”.
Il controllo è ampliato anche in questo specifico settore. OpsRamp, che è integrata nel cloud Hpe GreenLake, offre anche una AI chat per dialogare con il sistema in linguaggio naturale, con frasi tipo mostrami tutte le risorse con alert critici. “L’assistente conversazionale trasforma i dati in intuizioni azionabili, migliorando la produttività e l’efficienza del team IT su ambienti ibridi e multi-vendor”.
LEGGI ANCHE
HPE: quali sono le criticità dovute all’eccesso di fiducia nell’IA