Ogni giorno i modelli AI evolvono e necessitano di maggiore capacità – arrivando a utilizzare anche oltre 1.000 miliardi di parametri per migliorare accuratezza, fluidità, efficienza, funzionalità multimodali e altri aspetti; esigenze così estreme richiedono GPU sempre più veloci, organizzate in cluster molto ampi.
Per rispondere a questa richiesta, Oracle continua a migliorare la sua offerta di Infrastruttura as-a-Service (IaaS) per i carichi di lavoro AI con Oracle Cloud Infrastructure (OCI) Supercluster che utilizza le GPU NVIDIA H200 Tensor Core.
Il nuovo OCI Supercluster è scalabile fino a ben 65.536 GPU. Al massimo del suo potenziale, può offrire performance di picco FP8 di fino a 260 ExaFLOP – oltre quattro volte maggiori rispetto alla precedente generazione.
Ogni istanza di calcolo OCI Compute nel Supercluster ha il 76% in più di capacità di memoria a larga banda e il 40% di banda di memoria rispetto all’istanza con CPU Nvidia H100: ciò migliora fino a 1,9 volte le prestazioni di inferenza per i large language model (LLM).
Inoltre, con una capacità doppia di throughput di rete front-end per l’ingestione e il recupero dei dati (200 Gbps per istanza), si migliora in modo molto significativo anche il trasferimento dei dati da e verso il cluster, così da accelerare ulteriormente le attività di allenamento dei modelli AI e la loro implementazione.
Tutto ciò è fornito in una configurazione hardware e software specificamente pensata per l’AI e allo stesso prezzo di utilizzo (10 dollari per ora per ogni GPU) dell’istanza della generazione precedente con le GPU NVIDIA H100.