PS5LM esegue LLM nativamente su PS5 jailbroken: inferenza AI potenziata dalla GPU

PS5LM: eseguire LLM nativamente su una PlayStation 5 jailbroken

La PlayStation 5, una console progettata per il gaming, viene ora riutilizzata come macchina locale per l'inferenza AI. Il progetto open-source PS5LM ha portato llama.cpp su console PS5 jailbroken, consentendo agli utenti di eseguire qualsiasi modello linguistico in formato GGUF direttamente sull'hardware. Questo sviluppo trasforma la console in una potente e poco costosa workstation AI.

Il progetto, creato dallo sviluppatore Mert Cobanov, si è inizialmente concentrato sull'esecuzione basata su CPU. Ha eseguito con successo un modello Qwen 3.5 0.8B a 14 token al secondo su due dei core CPU Zen 2 della console. Tuttavia, un fork successivo chiamato PS5LM Plus ha spinto ulteriormente i confini abilitando l'inferenza accelerata dalla GPU, ottenendo prestazioni significativamente più elevate.

Dalla CPU alla GPU: un salto nelle prestazioni

L'implementazione originale di PS5LM ha dimostrato la fattibilità dell'esecuzione di LLM sulla console, ma le prestazioni erano limitate. Il fork PS5LM Plus basato su GPU, tuttavia, ha mostrato risultati notevoli. Esegue il modello Qwen 3.8 27B a oltre 20 token al secondo, un miglioramento sostanziale rispetto all'approccio basato solo su CPU.

La differenza tra esecuzione su CPU e GPU è netta. Quando trasmesso dall'archiviazione ed eseguito tramite la configurazione precedente basata su CPU, Qwen 3.8 27B ha apparentemente gestito solo circa un token al minuto. La versione accelerata dalla GPU raggiunge questa velocità con un utilizzo della GPU al 100% mantenendo basso l'uso della CPU, dimostrando che il carico di lavoro viene efficacemente scaricato sul processore grafico della console.

Durante i test, la PS5 ha consumato circa 86 W di potenza e ha raggiunto temperature di 54-55 °C, dimostrando che la console può gestire carichi di lavoro AI sostenuti senza problemi termici. Questa efficienza la rende un'opzione praticabile per l'inferenza locale.

PS5LM Plus: una soluzione server AI completa

PS5LM Plus è più di un semplice miglioramento delle prestazioni. Include un'applicazione nativa con una dashboard completa che mostra la velocità di generazione, l'utilizzo di GPU e CPU, il consumo di memoria, l'assorbimento di potenza e le temperature. Ciò fornisce agli utenti un monitoraggio in tempo reale del carico di lavoro AI.

L'applicazione può caricare modelli GGUF da memoria interna, archiviazione USB o un'unità M.2 installata, offrendo flessibilità nella gestione dei modelli. Espone anche un'API compatibile con OpenAI sulla rete locale, consentendo ad altri computer o telefoni di interagire con il modello AI mentre l'inferenza viene eseguita sulla PS5. Ciò trasforma effettivamente la console in un server AI locale dedicato.

Implementazione tecnica e compatibilità

Il progetto PS5LM è costruito su solide basi tecniche. Utilizza llama.cpp come sottomodulo, con patch minime per supportare l'ambiente unico della PS5. Il progetto fornisce livelli di compatibilità per le funzioni libc di cui la console è priva e include strumenti di analisi per comprendere le capacità di memoria e threading del sistema.

Il progetto supporta un'ampia gamma di architetture di modelli e quantizzazioni supportate da llama.cpp, tra cui Qwen, Llama, Mistral e Gemma, da quantizzazioni da 1 a 8 bit. Questa ampia compatibilità è un vantaggio chiave rispetto ai precedenti progetti LLM per PS5 che scrivevano kernel GPU a mano per modelli specifici.

Il processo di build richiede l'SDK ps5-payload-dev e un LLVM host. L'esecuzione dei modelli richiede una PS5 jailbroken con firmware 7.00-13.60, con un caricatore ELF in ascolto sulla porta 9021. Il progetto include anche script per la configurazione dell'SDK, la cross-compilazione di llama.cpp e l'invio dei payload alla console.

Benchmark delle prestazioni tra i modelli

Le prestazioni variano significativamente a seconda delle dimensioni del modello. Mentre il modello Qwen 27B raggiunge circa 20 token al secondo, i modelli più piccoli sono molto più veloci. Gemma 4 E4B ha raggiunto circa 61 token al secondo, mentre Llama 3.2 3B ha raggiunto fino a 124 token al secondo.

• Qwen 3.8 27B: ~20 token/s (GPU)
• Qwen 3.5 0.8B: 14 token/s (CPU)
• Gemma 4 E4B: ~61 token/s
• Llama 3.2 3B: ~124 token/s

Questi numeri evidenziano il potenziale della PS5 come dispositivo di inferenza ad alte prestazioni, specialmente per modelli più piccoli che possono funzionare a velocità interattive.

Perché questo è importante per la comunità AI

Questo sviluppo è significativo per diversi motivi. In primo luogo, democratizza l'accesso all'inferenza AI locale riutilizzando l'hardware di gioco esistente. Una PS5, che molte persone già possiedono, può ora fungere da server AI privato senza la necessità di costoso hardware dedicato.

In secondo luogo, mostra la versatilità dell'hardware della PS5. La GPU della console, basata sull'architettura RDNA 2 di AMD, dimostra di essere in grado di gestire carichi di lavoro AI complessi in modo efficiente. Ciò potrebbe ispirare ulteriori ottimizzazioni e sviluppi per altre console di gioco.

Infine, il progetto dimostra il potere della collaborazione open-source. PS5LM si basa sul lavoro delle comunità llama.cpp e ps5-payload-dev, e la sua licenza GPL-3.0 garantisce che i miglioramenti vengano condivisi. Il progetto non è affiliato a Sony o Alibaba e non contiene file SDK proprietari o pesi di modelli.

Come iniziare con PS5LM

Per coloro che sono interessati a provare PS5LM, il progetto fornisce una documentazione completa. Il repository GitHub include una roadmap, un elenco di modelli compatibili, note di porting e risultati di ricerca. Il video demo e la pagina chat interattiva sono accessibili su ps5lm.cobanov.dev.

Gli utenti necessitano di una PS5 jailbroken con firmware supportato, un caricatore ELF e la capacità di trasferire modelli tramite FTP o USB. Gli script del progetto gestiscono la maggior parte del lavoro, dalla compilazione di llama.cpp al caricamento e all'esecuzione degli strumenti di inferenza.

Sebbene il progetto sia ancora nelle sue fasi iniziali, con una roadmap per modelli più grandi e ulteriori ottimizzazioni, rappresenta un passo avanti significativo nella convergenza tra hardware di gioco e AI. Mentre la comunità continua a perfezionare l'implementazione, possiamo aspettarci prestazioni e capacità ancora più impressionanti da questa improbabile piattaforma AI.