Per le imprese e gli utenti italiani che utilizzano servizi basati sull’intelligenza artificiale, la nuova sfida tra AMD e Nvidia riguarda soprattutto il modo in cui verranno elaborati costi e tempi di risposta. Giovedì l’amministratrice delegata di AMD, Lisa Su, ha annunciato una collaborazione con la startup Cerebras per sviluppare l’inferenza AI disaggregata: invece di affidare l’intero processo allo stesso hardware, le diverse fasi saranno distribuite tra chip specializzati. Il sistema server Helios di AMD sarà introdotto nei data center di Cerebras entro la fine dell’anno.
- AMD e Cerebras divideranno l’elaborazione delle richieste AI tra differenti tipi di hardware.
- Helios gestirà grandi volumi di richieste, mentre il chip di Cerebras si concentrerà sulla generazione delle risposte.
- AMD sostiene che Helios offra fino al 30% in più di token di inferenza per dollaro rispetto a Vera Rubin NVL72 di Nvidia.
- Anche Nvidia e Amazon Web Services stanno lavorando su configurazioni disaggregate, secondo UBS.
Helios e Cerebras separano due fasi dell’inferenza
L’inferenza è il processo con cui un modello già addestrato riceve una richiesta e produce una risposta. Nell’impostazione tradizionale, lo stesso hardware può occuparsi sia dell’elaborazione iniziale del prompt sia della generazione del risultato. AMD ritiene invece che le due operazioni abbiano caratteristiche sufficientemente diverse da giustificare l’impiego di componenti distinti.
In questo schema, Helios è progettato per processare grandi quantità di richieste. Il chip di Cerebras, costruito su scala wafer, è invece specializzato nella produzione di risposte quasi istantanee. La collaborazione punta quindi a far lavorare insieme le due piattaforme, assegnando a ciascuna il compito per cui è stata concepita.
La scommessa di AMD è che, nella prossima fase dell’intelligenza artificiale, non sarà necessariamente un solo chip a dover svolgere ogni operazione.
Helios, presentato durante l’evento Advancing AI, combina diversi tipi di chip per l’intelligenza artificiale ed è la risposta di AMD al rack Vera Rubin NVL72 di Nvidia. Secondo Su, il sistema può offrire maggiori prestazioni per i modelli più grandi, più capacità per contesti lunghi e la larghezza di banda necessaria a collegare migliaia di rack.
La concorrenza si sposta dall’addestramento all’uso dei modelli
Nvidia domina la progettazione dei chip destinati all’addestramento dell’AI, ma la competizione si sta ampliando mentre le aziende passano dalla costruzione dei modelli al loro impiego quotidiano. AMD, Nvidia e Broadcom stanno beneficiando della crescente domanda di componenti legati all’intelligenza artificiale, mentre la rivalità tra i produttori si estende anche alle CPU per server.
Tra i laboratori di AI e i gruppi cloud che utilizzano infrastrutture AMD figurano OpenAI, Meta, Microsoft, Oracle e Anthropic. Con quest’ultima AMD ha inoltre annunciato mercoledì un accordo infrastrutturale da diversi miliardi di dollari.
UBS aveva scritto a giugno che i limiti delle architetture attuali stanno favorendo il passaggio verso l’inferenza disaggregata. Secondo la banca, configurazioni simili sono perseguite anche da Nvidia, attraverso l’integrazione della startup Groq, e da Amazon Web Services.
Coordinare chip diversi resta il nodo tecnico
La suddivisione del lavoro promette maggiore efficienza e costi inferiori, ma introduce un problema di orchestrazione: hardware differenti devono scambiarsi dati e operare senza interruzioni percepibili. Un eventuale vantaggio ottenuto da un singolo componente potrebbe infatti ridursi se il coordinamento dell’intero sistema producesse ritardi o complessità aggiuntive.
Per chi acquista capacità cloud, anche in Italia, questa evoluzione potrebbe tradursi in una scelta più ampia di infrastrutture e in una maggiore pressione competitiva sui costi dell’inferenza, senza che tali effetti siano ancora garantiti.
Il confronto non riguarda quindi soltanto quale GPU sia più potente. AMD prova a competere con Nvidia proponendo un’architettura completa, nella quale CPU, acceleratori e chip specializzati vengono combinati in base al carico di lavoro. Il risultato dipenderà sia dalle prestazioni delle singole parti sia dalla capacità di farle funzionare come un unico sistema.
Secondo voi, l’inferenza disaggregata potrà ridurre davvero i costi dei servizi AI utilizzati anche in Italia?
