Modelli AI Autonomi in Corsa per Battere i Record Umani nella NanoGPT Speedrun

Agenti AI Affrontano la NanoGPT Speedrun: Una Nuova Era di Ricerca Autonoma

In un esperimento rivoluzionario che segna un cambiamento di paradigma nella ricerca sull'AI, Prime Intellect ha pubblicato i risultati della NanoGPT Speedrun Frontier. Questo ambizioso progetto ha messo a confronto 18 dei modelli AI più avanzati al mondo in una gara per ottimizzare l'efficienza dell'addestramento di un piccolo modello GPT-2. I risultati, pubblicati il 23 agosto 2026, mostrano che gli agenti AI stanno rapidamente colmando il divario con l'esperienza umana, ma rivelano anche un limite critico: nessuno di loro ha inventato un metodo veramente innovativo.

L'esperimento, che ha eseguito 153 cicli di ricerca completamente autonomi in otto giorni, ha assegnato a ciascun modello un obiettivo semplice: ridurre il numero di passaggi di addestramento necessari per raggiungere una perdita di validazione target di 3,28 su un modello GPT-2 da 124M di parametri. Questo è il cuore della 'nanoGPT optimizer speedrun', una sfida diventata un punto di riferimento per la capacità di ricerca dell'AI. La linea di base per la sfida è di 3.290 passaggi, mentre il miglior record umano si attesta a 2.600 passaggi, risultato di mesi di lavoro dedicato da parte di ingegneri umani.

Fable 5 Conquista il Titolo, Colmando l'81,7% del Divario

Il miglior interprete è stato Fable 5, un modello closed-source eseguito sull'harness claude-code con impostazioni elevate. Ha raggiunto un record di 2.726 passaggi, colmando un impressionante 81,7% del divario tra la linea di base e il record umano. Questo è un risultato monumentale, che dimostra che l'AI può ora eseguire compiti di ottimizzazione complessi che un tempo erano dominio esclusivo degli esperti umani. Il successo del modello è attribuito alla sua capacità di esplorare efficientemente lo spazio degli iperparametri e di apportare aggiustamenti strategici al processo di addestramento.

Subito dietro si è piazzato Opus 5, che ha raggiunto 2.920 passaggi (53,6% di chiusura del divario), e Kimi K3, che ha ottenuto 2.930 passaggi (52,2% di chiusura del divario) utilizzando l'harness prime-agent. Questi risultati mostrano che molteplici modelli sono ora in grado di battere le precedenti linee di base umane, a testimonianza del rapido avanzamento degli agenti di ricerca AI. La classifica completa, disponibile sul sito web di Prime Intellect, fornisce una ripartizione dettagliata delle prestazioni di ciascun modello, inclusi il numero di chiamate agli strumenti, i token utilizzati e la durata di ogni esecuzione.

Oltre la Classifica: Un'Analisi Approfondita dei Dati

Il valore dell'esperimento va ben oltre i numeri principali. Prime Intellect ha rilasciato 41 traiettorie complete di agenti curate, incluse chiamate agli strumenti, subagenti e blocchi di appunti, offrendo uno sguardo senza precedenti su come i modelli AI affrontano problemi di ricerca complessi. Questa trasparenza è cruciale per la comunità di ricerca, poiché consente un'analisi dettagliata dei processi decisionali, dei successi e dei fallimenti dei modelli. I dati rivelano che i modelli di maggior successo sono stati quelli in grado di bilanciare efficientemente esplorazione e sfruttamento, spesso sfruttando tecniche di ottimizzazione note in combinazioni innovative.

Tuttavia, un risultato critico dell'esperimento è che nessun modello ha inventato un metodo che non fosse già presente nella letteratura pubblicata. Ciò suggerisce che, sebbene gli agenti AI siano eccezionalmente bravi ad applicare e combinare conoscenze esistenti, mancano ancora della scintilla creativa necessaria per una vera scoperta scientifica. Questa osservazione, evidenziata da Koray Özbay in un post su LinkedIn, solleva importanti domande sul futuro ruolo dell'AI nella ricerca. Questi agenti sono semplicemente strumenti sofisticati o sono i precursori di scienziati veramente autonomi?

Il Confronto a Parità di Budget: Una Visione Più Sfumata

Prime Intellect ha anche condotto un 'confronto a parità di budget' per livellare il campo di gioco. Questa analisi assegna a ciascun modello la sua migliore esecuzione finale lo stesso budget di risorse e confronta il miglior record validato raggiunto all'interno di tale budget. Questa è una metrica cruciale perché tiene conto del fatto che alcuni modelli potrebbero aver utilizzato significativamente più potenza di calcolo o tempo di altri. I risultati di questo confronto non sono ancora completamente pubblici, ma le visualizzazioni sul sito suggeriscono che alcuni modelli, come Grok 4.6, che ha raggiunto una chiusura del divario del 10,1% in soli 0,6 giorni, sono notevolmente efficienti. Ciò evidenzia l'importanza di considerare sia le prestazioni che il consumo di risorse nella valutazione degli agenti AI.

L'esperimento ha anche rivelato differenze significative negli harness utilizzati per controllare i modelli. Ad esempio, Kimi K3 è stato testato sia con gli harness prime-agent che kimi-code, ottenendo risultati migliori con quest'ultimo (2.974 passaggi contro 2.930 passaggi). Ciò suggerisce che l'interfaccia tra il modello AI e l'ambiente di addestramento gioca un ruolo critico nelle sue prestazioni. Come ha notato Asif Alli in un post su LinkedIn, 'l'integrazione è la vera storia per gli architetti', sottolineando che il modo in cui questi sistemi AI sono integrati nei flussi di lavoro esistenti è importante tanto quanto i modelli stessi.

Perché Questo è Importante: Il Futuro della Ricerca Guidata dall'AI

La NanoGPT Speedrun Frontier è più di una semplice competizione; è una dimostrazione delle capacità in accelerazione dell'AI autonoma. Il fatto che i modelli AI possano ora eseguire compiti di ottimizzazione complessi con un intervento umano minimo ha profonde implicazioni per campi che vanno dall'apprendimento automatico alla scoperta di farmaci e alla scienza dei materiali. La capacità di iterare rapidamente su progetti sperimentali e ottimizzazione degli iperparametri potrebbe accelerare drasticamente il ritmo del progresso scientifico.

Tuttavia, l'esperimento funge anche da controllo della realtà. La mancanza di invenzioni innovative sottolinea gli attuali limiti dell'AI. Come ha osservato un commentatore di Hacker News, i modelli sono essenzialmente 'eccellenti studenti laureati' che possono leggere e applicare la letteratura ma non sono ancora in grado di generare ipotesi veramente originali. Questa è una distinzione cruciale che probabilmente plasmerà il dibattito sul ruolo dell'AI nella ricerca per anni a venire. Le tracce complete e la configurazione dell'esperimento sono ora disponibili per chiunque voglia esplorarle, invitando la comunità a basarsi su questi risultati e a spingere i confini di ciò che l'AI può raggiungere.

Guardando al futuro, la NanoGPT Speedrun Frontier offre uno sguardo avvincente su un mondo in cui gli agenti AI non sono solo strumenti ma collaboratori attivi nel processo di ricerca. Sebbene non abbiano ancora raggiunto una vera creatività scientifica, la loro capacità di colmare il divario con le prestazioni umane è un chiaro segnale che il panorama della ricerca sull'AI sta cambiando. La domanda non è più se l'AI possa assistere nella ricerca, ma quanto velocemente diventerà un partner indispensabile nella ricerca della conoscenza.