Kolibri di Aleph Alpha: Un Modello Sovrano a Pesi Aperti per le Industrie Regolamentate

Kolibri di Aleph Alpha: Un Modello Sovrano a Pesi Aperti per le Industrie Regolamentate

Il 3 ottobre 2026, Aleph Alpha ha rilasciato Kolibri, un Transformer bilingue inglese-tedesco a miscela di esperti (MoE) con pesi aperti. Il modello, con 78,1 miliardi di parametri totali e 3,46 miliardi attivi per token, supporta una lunghezza del contesto fino a 1 milione di token. È disponibile per il download con pesi completi su Hugging Face sotto la licenza permissiva Apache 2.0. Questo rilascio è strategicamente programmato per il Giorno dell'Unità Tedesca, sottolineando le sue ambizioni di AI sovrana.

Kolibri è progettato per lavori mission-critical in settori regolamentati come la pubblica amministrazione, l'industria e l'aerospaziale. Il suo design dà priorità a sovranità, ancoraggio ed efficienza. Aleph Alpha enfatizza l'integrità totale della catena di fornitura, dalla cura dei dati e l'addestramento su infrastrutture tedesche e finlandesi fino alle valutazioni finali, tutto sotto la legge europea. Questo approccio mira a fornire ai clienti libertà di deployment e sicurezza della proprietà intellettuale, rendendo la conformità una proprietà ereditata del modello.

Approfondimento Tecnico: Architettura e Addestramento

L'architettura di Kolibri è uno studio sull'efficienza. Utilizza 384 esperti con solo 6 attivi per token. Per gestire i costi di inferenza, 40 dei suoi 50 strati impiegano un'attenzione a finestra scorrevole di 512 token, mentre i restanti 10 strati elaborano il contesto completo. Ciò consente al modello di gestire contesti lunghi senza far esplodere i costi computazionali. Il modello è stato addestrato su 768 GPU B200 in tre fasi: 20 trilioni di token di pre-addestramento, 3,44 trilioni di token di addestramento intermedio e 200 miliardi di token di adattamento a contesto lungo, per un totale di quasi 24 trilioni di token.

La pipeline di addestramento, soprannominata 'Model Factory', è un elemento chiave di differenziazione. È implementata come codice, consentendo centinaia di esperimenti di ablazione e il recupero automatico da guasti hardware. Tra Kolibri Origin (un modello da 30 miliardi rilasciato internamente) e Kolibri, il team è passato da 7,5T a 20T token di addestramento e da una finestra di contesto di 65k a 1 milione di token in soli tre mesi. Questa velocità è una testimonianza della maturità della loro infrastruttura. Il modello introduce anche un bilanciamento esatto dei quantili per il routing degli esperti, migliorando il bilanciamento del carico e la qualità del modello.

Bilingue per Progettazione: Strategia dei Dati in Tedesco e Inglese

Aleph Alpha ha compiuto uno sforzo significativo per rendere Kolibri genuinamente bilingue. Il tedesco costituisce il 21,3% dei token di pre-addestramento, provenienti da un pool unico di 2,4 trilioni di token. Questo pool è stato costruito a partire da dati Common Crawl curati (riadattati per le peculiarità linguistiche del tedesco), documenti tedeschi riformulati e solo una piccola quantità di traduzioni. Sostengono che il testo tradotto porta l'impronta culturale della lingua di origine, quindi hanno dato priorità ai dati tedeschi organici. Questa strategia produce un modello che ragiona direttamente in tedesco, evitando il problema del 'translationese'.

L'azienda ha anche sviluppato un nuovo metodo di addestramento del tokenizer chiamato UniBPE, che combina BPE con un obiettivo Unigram. Questo approccio rispetta meglio la morfologia tedesca, portando a tassi di compressione superiori sul testo tedesco rispetto ad altri modelli all'avanguardia. Ciò si traduce in un'inferenza più efficiente e costi inferiori per le attività in lingua tedesca.

Ancoraggio e Astensione: Riduzione delle Allucinazioni

Un focus centrale per Kolibri è la riduzione delle allucinazioni. Il modello è addestrato ad astenersi dal rispondere quando il contesto non supporta una risposta. Ciò è ottenuto attraverso dati di astensione dedicati e il protocollo Merlin-Arthur interno di Aleph Alpha. Questa configurazione di addestramento avversariale utilizza due modelli ausiliari: 'Merlin' genera contesti che incoraggiano risposte corrette, mentre 'Morgana' rimuove le prove per indurre il modello ad allucinare. Il risultato è un modello che sa quando dire 'Non lo so.'

I numeri supportano questo focus. Sul benchmark AA-Omniscience, Kolibri si astiene invece di rispondere in modo errato sul 44% degli elementi, contro il 14,8% di Kolibri Origin. Il suo punteggio di ancoraggio M/A, che certifica quanto di una risposta provenga in modo dimostrabile dal documento, è 0,23, rispetto a 0,00 per Origin e molti altri modelli. Questa è una caratteristica fondamentale per le industrie regolamentate dove una risposta sbagliata è inaccettabile.

Prestazioni nei Benchmark e Posizione di Mercato

Le prestazioni di Kolibri sono competitive, specialmente per le sue dimensioni. Nei benchmark medi in inglese, ottiene il 75,5%, e in tedesco, il 70,8%. Eguaglia o supera modelli con fino a quattro volte il suo numero di parametri attivi in compiti di matematica, codifica e contesto lungo. Ad esempio, ottiene il 96,9% su AIME 2025 (EN), meglio del 91,7% di Nemotron 3 Super. Sui benchmark agentici come τ²-bench telecom, ottiene il 94,7%, superando modelli molto più grandi.

Tuttavia, critici come Trending Topics sottolineano che in alcuni benchmark di conoscenza generale, Kolibri è in ritardo rispetto agli ultimi leader a pesi aperti. Ad esempio, su Humanity's Last Exam (EN), Kolibri ottiene il 21,5% contro il 35,6% di Qwen3.8. Aleph Alpha ribatte che i benchmark pubblici non catturano le esigenze specializzate dei loro clienti. Hanno costruito suite di valutazione interne per settori verticali come l'aerospaziale e la pubblica amministrazione, dove Kolibri mostra miglioramenti drammatici rispetto al suo predecessore, passando da 0,14 a 0,59 nell'aerospaziale. L'azienda sostiene che le prestazioni contestualizzate e la sovranità sono più importanti della supremazia nelle classifiche.

Perché è Importante: Sovranità e Conformità

Kolibri non è solo un altro modello a pesi aperti; è una dichiarazione strategica. È costruito tenendo conto dell'AI Act dell'UE, del GDPR e della legge sul copyright. Il modello è addestrato e costruito in Germania e Finlandia, senza controllo straniero. Questa è una risposta diretta alle preoccupazioni europee sulla sovranità dei dati e la dipendenza da fornitori di AI statunitensi o cinesi. Per gli acquirenti pubblici dell'UE, questo offre un percorso per un deployment conforme dell'AI on-premise, senza inviare dati sensibili a servizi di inferenza di terze parti.

Il modello è a pesi aperti, non completamente open-source, poiché il codice di addestramento rimane proprietario. Questa distinzione è importante per alcuni, ma per il mercato target di Aleph Alpha, la piena trasparenza dei pesi e delle decisioni di cura dei dati è sufficiente. Il rilascio avviene anche in mezzo a cambi di leadership e una partnership strategica con Cohere, sollevando domande sulla direzione futura dell'azienda. Ma per ora, Kolibri si presenta come un'alternativa sovrana e credibile per le organizzazioni dove controllo e conformità non sono negoziabili.

Come Iniziare con Kolibri

Puoi scaricare Kolibri da Hugging Face (Aleph-Alpha/Kolibri-1). Richiede il pacchetto aleph-alpha-inference, che fornisce un plugin vLLM specifico per Kolibri. Servirlo con ragionamento e tool-calling abilitati è semplice, e vengono fornite impostazioni per estendere il contesto oltre 262k token fino a 1 milione completo. I parametri di campionamento consigliati sono temperatura=1.0, top_p=0.97 e top_k=128.