Gzip può essere un modello linguistico? Un'analisi approfondita della generazione di testo basata sulla compressione

La compressione incontra la modellazione linguistica

Nel mondo dell'intelligenza artificiale, i modelli linguistici sono sinonimo di enormi reti neurali, miliardi di parametri e costi computazionali sbalorditivi. Ma cosa accadrebbe se uno strumento di compressione standard—quello fornito con il tuo sistema operativo—potesse anch'esso eseguire la modellazione linguistica? È questa la domanda provocatoria che lo sviluppatore Nathan Barry esplora in un recente progetto chiamato gzipt, che utilizza l'algoritmo DEFLATE di gzip per generare testo.

L'esperimento, descritto nel blog di Barry e successivamente discusso su Hacker News e Reddit, non è solo un trucco da salotto. È una dimostrazione pratica di un profondo principio teorico: la compressione è predizione. Ogni compressore assegna probabilità ai simboli, e ogni modello predittivo comprime i dati. I due sono matematicamente equivalenti, un concetto formalizzato nell'articolo Language Modeling is Compression.

L'equivalenza compressione-predizione

Per capire come gzip possa generare testo, devi prima afferrare l'idea centrale. Un compressore spende pochi byte per dati che 'si aspetta' e molti byte per dati che non si aspetta. Un file con un milione di caratteri 'A' ripetuti si comprime quasi a nulla, mentre un milione di byte casuali si comprime a malapena. Non è una coincidenza: è radicato nella teoria dell'informazione.

Il numero di bit necessari per codificare un simbolo è -log2(p), dove p è la probabilità che il modello gli assegna. Alta probabilità significa pochi bit. Quindi, ogni compressore ha un modello di probabilità nascosto al suo interno, che qualcuno lo abbia scritto o meno. Per gzip, quel modello è DEFLATE, che trova corrispondenze con il testo recente in una finestra scorrevole di 32 KiB.

Se una continuazione riecheggia qualcosa già nella finestra, DEFLATE la codifica come un back-reference economico invece di byte letterali. Questo fornisce un meccanismo di punteggio: minore è la dimensione compressa del contesto più il candidato, più il candidato è 'predetto'. Lo strumento di Barry utilizza questo punteggio per generare testo.

Come funziona Gzipt: ricerca a fascio sui byte

Valutare i singoli byte fallisce perché gzip restituisce solo lunghezze intere di byte, creando rumore di quantizzazione—molti candidati sono pari. La soluzione è guardare avanti per un intero intervallo prima di impegnarsi. Gzipt esegue una ricerca a fascio su sequenze di byte, valutando le continuazioni parziali in base alla loro lunghezza compressa.

L'algoritmo funziona in un ciclo: inizia con un prompt, mostra a gzip il corpus più la coda recente del testo generato, quindi cerca le continuazioni più comprimibili. Ad ogni passo, estende le continuazioni parziali con ogni byte presente nel corpus, le valuta tutte e pota fino alla migliore larghezza del fascio. Dopo un orizzonte di byte, si impegna per l'intervallo completo migliore.

Un dettaglio critico: solo gli ultimi byte 'coda' dell'output generato rimangono nel contesto di valutazione. Se gzip potesse vedere tutta la sua storia, cadrebbe in cicli letterali, copiando all'infinito il testo appena emesso. Il vincolo della coda impedisce ciò, forzando un output più vario.

Output reale: Shakespeare attraverso un compressore

Barry ha alimentato gzipt con il piccolo corpus di Shakespeare e lo ha sollecitato con 'MENENIUS:'. L'output, sebbene non sia una prosa coerente, riecheggia chiaramente la distribuzione di addestramento:

MENENIUS: 'Though all at once canq

MARCIUS: Pray now, nocamest thou to a morsel .

LARTIUS: Hence, and I' the end admire, where G again; and after it ag .

Il testo cattura nomi di personaggi, schemi di dialogo e vocabolario—molto più di quanto ci si aspetterebbe da un compressore. Non vincerà premi letterari, ma dimostra che il meccanismo della finestra scorrevole di gzip codifica implicitamente un modello linguistico.

Oltre la generazione di testo: classificazione e altro

Le implicazioni vanno oltre la generazione di testo. Come notato in un commento su Hacker News, puoi classificare un file di test per argomento usando gzip: il file appartiene all'argomento con la dimensione compressa più piccola. Questa tecnica è stata utilizzata per la classificazione zero-shot del testo, sfruttando la stessa equivalenza compressione-predizione.

Non è inteso sostituire i modelli linguistici neurali. I modelli che gzip può catturare sono molto più semplici di quelli appresi dalla discesa del gradiente. Ma la dimostrazione solleva domande fondamentali su cosa costituisca un modello linguistico. Sia gzip che i modelli neurali predicono e comprimono—la differenza sta nella complessità dei modelli che ciascuno può catturare.

Perché è importante

L'esperimento gzipt è più di una curiosità. Evidenzia il confine sottile tra compressione e predizione, un concetto con profonde implicazioni per la ricerca sull'AI. Se la compressione è predizione, allora migliorare gli algoritmi di compressione potrebbe portare a migliori modelli linguistici, e viceversa.

Per i professionisti, è un promemoria che gli strumenti che diamo per scontati—come gzip fornito con ogni sistema operativo—contengono capacità nascoste. L'intero progetto è un singolo file di pura libreria standard Python (solo zlib), disponibile su GitHub per chiunque voglia sperimentare.

Come osserva Barry, il nome 'GziPT' era troppo bello per lasciarselo sfuggire, anche se il codice usa effettivamente zlib sotto il cofano. Entrambi usano lo stesso algoritmo DEFLATE, quindi lo spirito è intatto. L'esperimento non suggerisce che gzip debba sostituire i modelli linguistici neurali, ma illustra che il confine tra compressione e predizione è sempre stato più sottile di quanto sembri.