Cerebras Dettaglia il Deployment di Modelli AI con Trilioni di Parametri su Chip su Scala di Wafer

Cerebras Dettaglia il Deployment di Modelli AI con Trilioni di Parametri

Il 22 ottobre 2026, Cerebras ha pubblicato un'analisi tecnica dettagliata di come implementa modelli AI con trilioni di parametri sui suoi chip su scala di wafer. L'azienda, recentemente quotata al Nasdaq, afferma che i suoi wafer WSE-3T possono eseguire modelli con 3 trilioni di parametri a velocità comprese tra 1.000 e 2.000+ token al secondo, superando di gran lunga i sistemi basati su GPU.

Il post sul blog, scritto da Sarah Chieng, utilizza il modello open-source Kimi K3 come esempio funzionante. Con 3 trilioni di parametri, 69 strati di attenzione lineare e 24 strati densi, Kimi K3 costituisce un'illustrazione ideale dell'approccio di Cerebras alla gestione di modelli che richiedono terabyte di memoria solo per i pesi.

La Sfida: Memoria e Scala

Un singolo wafer Cerebras WSE-3T contiene 44 GB di SRAM on-chip. Sebbene impressionante per un singolo chip, i modelli con trilioni di parametri necessitano di molto più spazio. Con una quantizzazione dei pesi a 4 bit, i 3 trilioni di parametri di Kimi K3 si traducono in circa 1,5 TB di dati grezzi dei pesi, richiedendo circa 35 wafer solo per memorizzare i pesi del modello.

La soluzione di Cerebras consiste nel distribuire il modello su più wafer, collegandoli in una pipeline ad alta velocità. Il compilatore dell'azienda mappa gli strati del modello in regioni specifiche del wafer, e il runtime stabilisce percorsi per il flusso dei token tra i wafer tramite RDMA su Ethernet, con una latenza di circa 2 microsecondi per salto.

Analisi del Deployment

Per Kimi K3, ogni strato richiede circa 16 GB di archiviazione. Gli strati densi, che utilizzano l'attenzione completa e richiedono cache chiave-valore (KV), vengono posizionati uno per wafer, lasciando 28 GB per la cache. Gli strati di attenzione lineare, che mantengono piccoli stati a dimensione fissa, possono essere inseriti due per wafer (32 GB totali). Ciò si traduce in 35 wafer per i 69 strati lineari e 24 wafer per gli strati densi, per un totale di 59 wafer.

Fondamentalmente, poiché ogni strato si adatta completamente a un singolo wafer, i pesi del modello non devono mai essere spostati durante l'inferenza. Solo le attivazioni attraversano i wafer, riducendo al minimo la latenza e massimizzando la produttività.

Pipelining per Alta Produttività

Cerebras affronta un equivoco comune sulla sua architettura: che un token che viaggia attraverso 59 wafer sequenziali lascerebbe la maggior parte del sistema inattivo. In realtà, il sistema opera come una catena di montaggio, con ogni wafer che elabora una richiesta diversa simultaneamente.

Come spiega Sarah Chieng, ogni wafer può gestire un micro-batch di richieste, e il numero di richieste in volo è approssimativamente il numero di fasi della pipeline moltiplicato per la dimensione del micro-batch. Questo approccio di pipelining consente una produttività sostenuta elevata senza le limitazioni della dimensione del batch dell'inferenza tradizionale su GPU.

Concorrenza e Limiti della Cache KV

Il numero massimo di richieste concorrenti è determinato dalla memoria della cache KV sui wafer degli strati densi. Con una cache KV a 8 bit e una finestra di contesto di 256.000 token, ogni richiesta consuma una quantità significativa di memoria. Dopo aver memorizzato uno strato denso per wafer, i restanti 28 GB di SRAM limitano il numero di richieste che possono essere elaborate simultaneamente.

Sebbene la concorrenza sia importante, Cerebras sottolinea che la metrica più significativa è la produttività dei token per unità di potenza. L'azienda afferma che i suoi sistemi offrono prestazioni 6,7 volte più veloci rispetto al successivo provider cloud GPU più veloce, sulla base di benchmark indipendenti di Artificial Analysis.

Contesto di Mercato e Convalida

L'approccio di Cerebras ha guadagnato una trazione significativa. Nel gennaio 2026, OpenAI ha firmato un accordo pluriennale del valore di oltre 20 miliardi di dollari per implementare 750 megawatt di sistemi su scala di wafer Cerebras dal 2026 al 2028. Le due aziende hanno collaborato a Codex-Spark, un modello di codifica a bassa latenza che supera 1.000 token al secondo.

Test indipendenti hanno convalidato queste affermazioni. Artificial Analysis ha misurato Cerebras nell'esecuzione di Kimi K2.6 di Moonshot AI a 981 token di output al secondo, 23 volte più veloce del provider di inferenza mediano. Su una richiesta di codifica rappresentativa, Cerebras ha completato l'attività in 5,6 secondi contro 163,7 secondi sull'endpoint ufficiale di Kimi.

Scalabilità Oltre i 3 Trilioni di Parametri

L'approccio di Cerebras si ridimensiona linearmente: ogni wafer aggiuntivo aggiunge potenza di calcolo e memoria on-chip. Lo stesso quadro matematico (calcolo della memoria dei pesi, distribuzione degli strati e collegamento dei wafer) si applica a modelli con più di 3 trilioni di parametri.

Questa scalabilità, combinata con il modello di vendita diretta dell'hardware dell'azienda, posiziona Cerebras come un'alternativa valida all'inferenza basata su GPU, specialmente con la riduzione della disponibilità di GPU e l'aumento dei costi. Con la sua quotazione al Nasdaq e la partnership con OpenAI, Cerebras sta dimostrando che l'architettura su scala di wafer può competere all'avanguardia dell'inferenza AI.