Il flash Huawei da 2PB alimenta il modello AI sovrano per la lingua norvegese

L'ambizione dell'AI sovrana norvegese: costruire un modello linguistico su flash Huawei

In una mossa che sottolinea la corsa globale alla sovranità linguistica nell'AI, la Biblioteca Nazionale norvegese sta intraprendendo un progetto storico: lo sviluppo di un modello linguistico di grandi dimensioni (LLM) che comprenda veramente il norvegese. Questa iniziativa, guidata dal capo della piattaforma IT della biblioteca, Marius Husnes, non è solo un esercizio accademico. È uno sforzo nazionale strategico, voluto dal Ministero della Cultura, per garantire che la storia, le notizie e la cultura della Norvegia - documentate nella sua lingua madre - siano rappresentate nell'era dell'AI.

La biblioteca è nella posizione ideale per questo compito. Dal 2005, sta digitalizzando il patrimonio culturale della nazione in base al suo mandato di deposito legale, accumulando un colossale dataset di 20 petabyte di dati unici archiviati in un robusto formato 3-2-1 (per un totale di 60 PB). Questa collezione include libri, giornali, pagine web, registrazioni audio e immagini - un tesoro per l'addestramento di un LLM. Un accordo con i giornali norvegesi consente addirittura l'addestramento su contenuti protetti da copyright, un privilegio che Husnes nota non essere posseduto da alcuna società privata.

Tuttavia, possedere i dati è solo il primo passo. La vera sfida, come ha spiegato Husnes all'ID Forum 2026 di Huawei a Parigi, è costruire una pipeline ad alte prestazioni per preparare questi dati per l'addestramento dell'AI. Il collo di bottiglia, ha rivelato, non è la potenza di calcolo ma la qualità dei dati, la pulizia e la velocità di trasferimento della pipeline. È qui che entra in gioco una significativa implementazione da 2 petabyte della tecnologia Huawei.

La pipeline dell'AI: dall'archivio al supercomputer

L'infrastruttura AI della biblioteca è un sistema a due stadi progettato per affrontare sfide distinte. Il primo stadio prevede la computazione in-house per la preparazione dei dati. Questo stadio è alimentato da un sistema Nvidia DGX H200, un cluster CPU a 384 core e - criticamente - da più array di archiviazione flash Huawei OceanStor Dorado. Questi 2 PB di capacità flash a bassa latenza sono il cavallo di battaglia per la pipeline di dati, gestendo l'acquisizione, la pulizia, la deduplicazione, la normalizzazione del formato, la convalida e la preparazione.

Una volta elaborati, i dati preparati vengono inviati al secondo stadio: il supercomputer nazionale norvegese, il sistema Sigma2 Olivia. Questo è un supercomputer HPE Cray EX dotato di 448 GPU e 64.512 core CPU, supportato da un sistema di archiviazione Cray ClusterStor E1000 da 5,3 PB per le effettive esecuzioni di addestramento del LLM.

L'ostacolo tecnico fondamentale, come descritto da Husnes, è colmare due paradigmi di archiviazione fondamentalmente diversi. L'archivio di conservazione da 60 PB è ottimizzato per durata, costo e accesso infrequente, con conseguente elevata latenza di lettura. Al contrario, la pipeline dell'AI richiede throughput elevato, bassa latenza e I/O parallelo. Spostare dataset di scala petabyte tra questi sistemi è un problema complesso che Husnes afferma pochi discutono pubblicamente, costringendo il suo team a sviluppare soluzioni in-house.

La presenza strategica di Huawei nella tecnologia europea

Questo progetto serve come testimonianza di alto profilo del ruolo crescente di Huawei nel mercato tecnologico europeo, in particolare nell'AI sovrana e nell'infrastruttura di calcolo ad alte prestazioni. Nonostante le tensioni geopolitiche e le sanzioni statunitensi che hanno limitato l'accesso alla tecnologia avanzata di produzione di chip, Huawei sta perseguendo aggressivamente l'indipendenza tecnologica.

La fonte 2 evidenzia la spinta della Cina verso l'autosufficienza dei chip, un contesto in cui i progressi di Huawei sono cruciali. La fonte 5 descrive ulteriormente questa ambizione, riportando che Huawei ha presentato una nuova legge di scaling e un'architettura di chip, denominata LogicFolding, volta a raggiungere una densità di transistor equivalente ai processi di produzione a 1,4 nanometri entro il 2031. L'azienda sta inoltre ampliando le sue linee di chip AI Ascend e processori Kunpeng per soddisfare la domanda interna, con nuovi modelli come la serie Ascend 950 previsti per il 2026.

Al di là dell'hardware, Huawei sta costruendo soluzioni full-stack. La fonte 4 illustra come Huawei Cloud sta promuovendo il suo framework "One Data, One Lake, One Pipeline" per l'intelligenza dei dati convergenti nel settore finanziario ("Fintelligence"), rivendicando significativi guadagni di efficienza per le banche. Questa attenzione alla gestione unificata dei dati è direttamente parallela alle sfide della pipeline di dati affrontate dalla biblioteca norvegese.

Le implicazioni più ampie: l'AI ha bisogno di custodi

Il progetto norvegese è un microcosmo di un problema globale. Come ha affermato Husnes, "La Norvegia è un piccolo paese che sta risolvendo un problema che ogni nazione non anglofona affronterà: come si costruisce un'AI che rifletta la propria lingua, la propria cultura e la propria storia?" Fare affidamento su modelli globalmente addestrati e dominanti in inglese rischia di cancellare il contesto e la sfumatura locali.

Questa iniziativa dimostra che l'AI sovrana è tanto una sfida infrastrutturale quanto linguistica. Richiede:

• Dataset massicci e legalmente ripuliti: Solo le istituzioni nazionali come le biblioteche spesso dispongono di questo.
• Pipeline di dati ad alte prestazioni: Spostare e pulire petabyte dai sistemi di archiviazione non è banale.
• Livelli di archiviazione specializzati: Dagli archivi economicamente vantaggiosi al flash a bassa latenza per l'elaborazione attiva.
• Risorse di calcolo significative: Sfruttare in ultima analisi le strutture di supercalcolo nazionali.

Il progetto evidenzia anche l'evoluzione del mercato dell'archiviazione, dove le prestazioni e la sostenibilità sono sempre più intrecciate. La fonte 3, discutendo gli annunci di COMPUTEX 2026, mostra come i protagonisti del settore come PROMISE Technology e Toshiba stiano enfatizzando una maggiore densità con un minor consumo energetico per i carichi di lavoro AI - una considerazione che scalerà con tali progetti nazionali.

Conclusione: un modello per la sovranità linguistica dell'AI

La Biblioteca Nazionale norvegese, sfruttando il suo mandato unico sui dati e affrontando i difficili problemi ingegneristici dello spostamento di dati su scala petabyte, sta creando un modello per altre nazioni. L'uso del flash Huawei OceanStor Dorado sottolinea l'approccio pratico e agnostico rispetto al fornitore necessario: selezionare la tecnologia che risolve il problema specifico della velocità di trasferimento della pipeline.

La lezione chiave, come ha concluso Husnes, è che "l'AI ha bisogno di custodi, non solo di costruttori". L'AI sovrana e culturalmente consapevole dipende dalle istituzioni che possono gestire i dati e navigare nel complesso viaggio dal patrimonio preservato al modello intelligente. Man mano che più paesi intraprendono percorsi simili, le lezioni apprese a Oslo - sulla logistica dei dati, sull'architettura dell'archiviazione e sulla progettazione della pipeline - diventeranno preziose.