L’architettura dei data center per l’AI richiede che chip potenti e memorie veloci si parlino in tempo reale quasi come se fossero un unico, enorme chip. Jensen Huang, Ceo di Nvidia, non mette neanche il “quasi” nelle sue prolusioni, ultima delle quali il recente keynote del californiano GTC2024.
Certo Nvidia parla di chip, diremo noi. Che siano evolutivi come B100 e B200 dell’architettura Blackwell, o i combo GB200, o ancora gli straordinari NVlink, sempre chip sono. Inoltre le nuove generazioni di Nvidia convivono con le precedenti, insieme alle varie famiglie con core x86, per sviluppare data center specifici per l’AI degli LLM e dei digital twin.
Ma non sono solo chip, bensì complessi sistemi di elaborazione completi di connessioni interne ed esterne. Si tratta di soluzioni hardware che complessivamente prendono il nome di superpod, un’isola computazionale.
L’esecuzione richiede un esecutore che accetti bit e li converta in azioni. Senza un esecutore fisico, in questo caso elettronico, il software serve a poco. Ma vale anche il contrario: senza software, l’hardware cicla il nulla all’infinito. Di software dell’AI a livello pre-esecutivo non sempre si parla, preferendo riempirci la bocca di contenuti e di dati, che potrebbe non essere una buona idea. “Nel futuro, per la maggior parte i contenuti non saranno ritrovati”, ha detto proprio Huang nel suo keynote, probabilmente intendendo che le singole componenti diventeranno sintesi ed aggregati nel motore degli LLM. Questo richiede quindi una diversa attenzione all’archiviazione, quindi ai database, nel futuro del software.
A(P)I, microservizi e kubernetes
Ma non basta: lo sviluppo sta sempre di più passando ai container, unità di esecuzione elementari, e ai relativi gestori. Non è un caso se l’annuale Kubecon, la manifestazione parigina dedicata a Kubernetes subito dopo il GTC, sia stata dedicata per grandissima parte proprio all’AI.
E microservizi eseguiti in container sono una delle offerte più seguite da Nvidia. Questi microservizi, detti Nim (Nvidia Inference Microservices) o Cuda-X, si integrano nella piattaforma full-stack AI Enterprise 5.0.
In particolare, i microservizi Cuda-X forniscono gli strumenti per la preparazione, personalizzazione e formazione dei dati, accelerando lo sviluppo dell’AI in produzione in tanti settori. Tra questi, si segnalano Riva per AI vocale e traduzione, cuOpt per l’ottimizzazione del routing ed Earth-2 (digital twin della Terra) per simulazioni climatiche e meteorologiche. Questi microservizi su varie piattaforme per infrastruttura (VMware, Red Hat OpenShift e Canonical) e dati (Box, Cloudera, Snowflake), in particolare per ottimizzare le pipeline Rag (Retrieval-Augmented Generation) necessarie per rendere private ed aggiornate le basi di dati per il training dell’IA.
In altri casi la soluzione principale è un bel set di Api, sulle quali costruire altri microservizi.
Al GTC sono state annunciate cinque nuove API per l’Omniverse Cloud, il multiverso di Nvidia. Sono tutti basati sulla specifica dati OpenUSD, Universal Scene Description. Render (ray-tracing), Write (modifica), Query (su scene e scenari interattivi), Notifica (per modifiche e aggiornamenti) ed infine Omniverse Channel, che collega utenti, strumenti e mondi nella collaborazione tra scene.
Chi programmerà il programmatore?
Mentre assistiamo a tutti questi miglioramenti per i programmatori non possiamo non ricordare che pochissimo tempo fa, al World Economic Summit, proprio Huang ha detto che la maggioranza delle persone non dovrà più imparare a programmare, perché alcune aziende metteranno a disposizione di tutti un sistema che ascolta le necessità e le mette in esecuzione.
Per ora siamo certamente in una fase intermedia: Microsoft sta lavorando su AutoDev, un framework guidato dall’intelligenza artificiale che automatizza compiti complessi attraverso agenti AI autonomi per modifica, la compilazione, il test e la gestione delle operazioni git, rendendo obsoleto l’attuale GitHub Copilot. Eliminando il ruolo degli sviluppatori a vantaggio di posizioni di supervisione, il controllore deve quindi essere comunque un programmatore, per cui la categoria avanzerà ma il numero complessivo di esperti crollerà.
