“Ridurre i Costi Opachi del Noleggio di GPU per l’Intelligenza Artificiale: Il Nuovo Indice dei Prezzi SDH100RT”

Un Indice dei Prezzi Potrebbe Chiarire i Costi Opachi del Noleggio di GPU per l’Intelligenza Artificiale

Chiedi cosa, se c’è qualcosa, sta frenando l’industria dell’IA e la risposta dipende molto da chi stai parlando. Ho chiesto a uno degli ex capi dei dati di Bloomberg, Carmen Li, e la sua risposta è stata “trasparenza dei prezzi”.

Secondo Li, l’incapacità della maggior parte delle piccole aziende di IA di prevedere quanto dovranno spendere per il privilegio di noleggiare del tempo su una GPU per addestrare i loro modelli rende le loro attività imprevedibili e ha reso le aziende di finanziamento dell’IA inutilmente costose. Ha fondato la startup Silicon Data per creare una soluzione: il primo indice dei prezzi di noleggio a livello mondiale per una GPU.

Quell’indice dei prezzi di noleggio, chiamato SDH100RT, è stato lanciato oggi. Ogni giorno, elaborerà 3,5 milioni di punti dati da più di 30 fonti in tutto il mondo per fornire un prezzo medio di noleggio spot per l’utilizzo di una GPU Nvidia H100 per un’ora. (“Prezzo spot” è ciò che una merce da consegnare immediatamente viene venduta in quel momento.)

“Credo davvero che il calcolo sarà la risorsa più grande per l’umanità nei prossimi anni”, dice Li. “Se la mia tesi è corretta, allora sarà necessaria una gestione del rischio più sofisticata.”

Secondo Li, un tale indice porterà a strumenti di intelligenza artificiale più economici e più opportunità per un numero più ampio di attori che vogliono entrare nell’industria dell’IA. Come si passa da un indice a tutto questo? La storia di origine di Silicon Data aiuta a spiegarlo.

US $1.04: Vantaggio di prezzo di noleggio per le GPU Nvidia H100 sulla costa orientale degli Stati Uniti rispetto a quelle sulla costa occidentale.

Fino all’inizio dell’anno scorso, Li era responsabile dell’integrazione globale dei dati presso Bloomberg. In quella posizione ha incontrato diverse piccole aziende che stavano cercando di offrire prodotti dati alimentati dall’IA, e molte di esse stavano lottando con lo stesso problema. Potevano offrire il loro prodotto solo a una tariffa fissa, ma il costo del tempo della GPU di cui avevano bisogno era imprevedibile. Di conseguenza, anche i margini di profitto lo erano.

Con materie prime tipiche come l’energia, le aziende possono pianificare queste oscillazioni conoscendo le tendenze storiche e coprendosi con prodotti finanziari come i contratti futures. Ma questo non esisteva per la principale materia prima dell’IA, il tempo su una GPU. Quindi Li si è impegnata a creare le basi per quei prodotti, e il risultato è l’indice dei prezzi SDH100RT.

Ha scelto di indicizzare la Nvidia H100, perché è la GPU più diffusa ed è utilizzata per addestrare nuovi modelli di IA. Tuttavia, è in fase di sviluppo anche un indice dei prezzi per le Nvidia A100, che affrontano molte attività di inferenza. E ha sviluppato un metodo che determinerà quando ha senso indicizzare i prezzi per altre chip di IA, come quelli di AMD e della serie Blackwell di Nvidia.

Insights e Curiosità dai Dati

Anche se è stato lanciato oggi, Silicon Data ha monitorato i prezzi di noleggio delle GPU per mesi. Come ci si potrebbe aspettare, avere una finestra sul prezzo dell’addestramento dell’IA ha rivelato alcuni interessanti spunti. Quello che segue sono alcune cose che Li ha scoperto. (Ha pubblicato queste analisi regolarmente da settembre scorso.)

La costa orientale domina! La costa occidentale sbava: Il prezzo di noleggio H100 è molto stabile negli Stati Uniti, ma c’è un persistente vantaggio sulla costa orientale. A marzo si poteva ottenere un’ora di lavoro da un H100 sulla costa orientale per 5,76 dollari. Ma quella stessa ora ti costerebbe 6,80 dollari sulla costa occidentale.

I chip degli iperscalatori aiutano: L’incursione di Amazon Web Service nella progettazione dei propri chip e server ha abbassato i prezzi per i clienti del gigante del cloud. Secondo Silicon Data, a circa 4,80 dollari l’ora il prezzo medio per unità per GPU per il Trainium2 di AWS è inferiore alla metà del prezzo per l’utilizzo di una Nvidia H100. I chip di prima generazione Inferentia e Trainium si attestano entrambi a meno di 1,50 dollari l’ora, che è inferiore alla metà del prezzo del cavallo di battaglia dell’inferenza di oggi, la Nvidia A100. Tuttavia, si ritiene che gli H100 siano l’unica opzione per l’addestramento di modelli all’avanguardia, quindi le loro prestazioni potrebbero giustificare il costo aggiuntivo.

L’effetto modesto di DeepSeek: Lo shock di Deepseek di gennaio ha fatto poco al prezzo di noleggio spot. Forse ricorderete che le prestazioni e il basso costo di addestramento segnalati degli LLM di DeepSeek di Hangzhou hanno sorpreso molti e hanno mandato in fibrillazione le azioni correlate all’IA. “Quando è uscito DeepSeek, il mercato è impazzito”, dice Li. “Ma il prezzo spot non è cambiato molto.” Al debutto di DeepSeek il prezzo dell’H100 è salito leggermente a 2,50 dollari l’ora, ma era comunque nell’intervallo di 2,40-2,60 dollari l’ora dei mesi precedenti. Poi è sceso a 2,30 dollari l’ora per gran parte di febbraio prima di iniziare a salire di nuovo.

Intel è più esclusivo di AMD: Le GPU sono sempre sotto il controllo delle CPU, di solito in un rapporto 4:1. E il mercato per quel posto CPU è conteso tra Intel e AMD. (Nvidia fa anche la propria CPU, chiamata Grace.) Ma sembra che i clienti siano disposti a pagare un po’ di più per i sistemi alimentati da Intel. Per i sistemi Nvidia A100, quelli con CPU Intel hanno raggiunto circa il 40 percento in più rispetto a quelli con processori AMD. Per l’H100, l’effetto dipendeva dalla tecnologia di interconnessione coinvolta. Se un computer utilizzava SXM o PCIe come collegamenti, Intel otteneva un prezzo più alto. Ma per quelli che utilizzavano lo schema di interconnessione NVLink di Nvidia, AMD otteneva il premio.

La Commodity dell’IA

Si può davvero ridurre il prezzo dell’IA a un singolo numero? Dopotutto, ci sono così tanti fattori coinvolti nelle prestazioni di un computer e nella sua utilità per un cliente specifico. Ad esempio, un cliente potrebbe essere in fase di addestramento con dati che, per motivi legali, non possono attraversare i confini internazionali. Quindi perché dovrebbero preoccuparsi del prezzo in un altro paese? E, come chiunque abbia esaminato i principali risultati di riferimento del machine learning, MLPerf, può vedere, le prestazioni della stessa GPU Nvidia possono variare ampiamente a seconda del sistema in cui si trova e del software in esecuzione.

Secondo Li, la visione della merce può funzionare. L’indice di Silicon Data normalizza tutte queste differenze e attribuisce diversi pesi a cose come quanto un data center partecipa al mercato del noleggio, la sua posizione, le sue fonti di dati e molte altre cose.

La più grande approvazione dell’idea dell’IA come merce arriva dal CEO di Nvidia Jensen Huang. Al grande evento per sviluppatori dell’azienda, GTC, ha spinto a pensare ai data center come “fabbriche di IA” il cui output sarebbe misurato in quanti token, la più piccola unità di informazione che un LLM utilizza, possono produrre al secondo.