Mesh LLM: Calcolo AI Distribuito su Iroh

Mesh LLM: Calcolo AI Distribuito su Iroh

Quando le persone immaginano l'esecuzione di un grande modello linguistico, immaginano un data center. Rack di GPU che appartengono a qualcun altro, un'API a consumo e una fattura che cresce ogni mese in cui si ha successo. Si inviano i propri prompt a una scatola nera e si spera che il prezzo, il modello e l'informativa sulla privacy rimangano come erano quando ci si è iscritti.

Per molti team, questo è un cattivo affare. Si perde il controllo su quando i modelli cambiano, dove vanno i tuoi dati e quale hardware esegue i tuoi carichi di lavoro. E con l'aumento dell'utilizzo, cresce anche la fattura, senza alcuna leva da tirare se non "paga di più".

Mesh LLM è una forma diversa. Aggrega le GPU e la memoria che già possiedi, su quante macchine vuoi aggiungere, ed espone il tutto come un'unica API compatibile con OpenAI. Avvia un nodo. Aggiungine altri in seguito. Lascia che la mesh decida se un modello viene eseguito sulla macchina di fronte a te, viene instradato a un peer o suddiviso tra più macchine.

Il Problema: L'AI è Costosa e di Qualcun Altro

I modelli popolari sono monoliti. La maggior parte delle persone vi accede tramite un'interfaccia utente o una chiave API e paga un grande fornitore per eseguire tutto. Questo è comodo, ed è anche una resa. Non controlli quando il modello viene aggiornato, in quale memoria viene eseguito o quale hardware c'è sotto.

Molte aziende e servizi che dipendono da questi modelli vogliono il contrario: più controllo, più flessibilità, costi inferiori. Hanno GPU in uffici, in ripostigli, sotto le scrivanie. Ciò che manca è un modo per far sì che quelle macchine agiscano come una sola.

Mesh LLM: Esegui i Modelli da Solo

La proposta è semplice. Esegui modelli più grandi senza acquistare GPU più grandi. Condividi il calcolo privatamente con il tuo team, o pubblicamente con il mondo, per alimentare agenti e chat. Punta qualsiasi client OpenAI a http://localhost:9337/v1 e smetti di preoccuparti di dove avviene effettivamente il lavoro.

Sotto il cofano, Mesh LLM distribuisce il calcolo del modello attraverso una mesh di endpoint iroh. Una richiesta può essere servita in tre modi:

• Esecuzione locale, sulla GPU di questa macchina.
• Instradamento a un peer che ha già caricato il modello.
• Suddivisione di un modello troppo grande per una singola macchina su più macchine, come pipeline.

Come Funziona

L'architettura è modulare. I plugin dichiarano ciò che forniscono in un manifesto, il runtime li avvia, instrada le chiamate ed espone le loro capacità tramite MCP, HTTP, inferenza ed eventi della mesh. Il catalogo include oltre 40 modelli, da modelli da mezzo miliardo di parametri che stanno su un laptop a giganti da 235 miliardi di parametri con miscela di esperti.

Per i giganti, Mesh LLM ha una modalità di suddivisione (internamente, "Skippy"). Un modello viene partizionato per intervalli di layer in stadi: layer da 0 a 15 su un nodo, da 16 a 31 sul successivo, e così via lungo la pipeline. Le attivazioni fluiscono da uno stadio all'altro, così diverse macchine modeste possono eseguire un modello che nessuna di loro potrebbe contenere da sola. Il client OpenAI non vede mai nulla di tutto ciò. Parla ancora solo con localhost.

Come Utilizza Iroh

Ogni nodo, che serva modelli o invii solo richieste, avvia un endpoint iroh. Tale endpoint è l'identità del nodo, una chiave pubblica, e la sua unica superficie di rete. Non esiste un server centrale. iroh gestisce l'hole-punching, l'attraversamento NAT e il fallback relay necessari per aprire una connessione QUIC diretta e autenticata tra due nodi qualsiasi, ovunque si trovino.

Per mantenere tutto ciò funzionante su Internet aperto, Mesh LLM esegue due relay iroh in regioni diverse, in modo che i nodi che non possono raggiungersi direttamente abbiano sempre un percorso di fallback nelle vicinanze.

L'intero protocollo si basa sulla negoziazione ALPN di QUIC. Ce ne sono tre:

• mesh-llm/1: Mesh principale per gossip, routing, tunnel HTTP e canali plugin.
• mesh-llm-control/1: Piano di controllo del proprietario per la sincronizzazione della configurazione e l'attestazione della proprietà.
• skippy-stage/2: Trasporto di attivazione sensibile alla latenza per modelli suddivisi.

All'interno della connessione principale mesh-llm/1, tutto è un flusso QUIC bidirezionale contrassegnato da un singolo byte iniziale che indica di che tipo di flusso si tratta. Una connessione trasporta gossip, inferenza, query di route ed eventi del ciclo di vita dei peer, tutti demultiplexati da quel primo byte.

La parte interessante è ciò che questo ti offre. iroh fornisce QUIC autenticato e con attraversamento NAT tra due macchine qualsiasi, indirizzate tramite chiave pubblica. Quindi "instrada a un peer" e "trasmetti attivazioni allo stadio successivo della pipeline" diventano la stessa primitiva di "parla con localhost", solo con un ID endpoint diverso. La rete smette di essere qualcosa a cui devi pensare.

iroh fornisce il trasporto sicuro. Mesh LLM costruisce il proprio livello di gossip sopra, così controlla esattamente chi viene ammesso nella mesh, quali versioni sono compatibili e di quali peer fidarsi.

Contesto di Mercato e Concorrenza

Mesh LLM entra in un campo affollato. La "corsa all'oro dell'inferenza" ha attratto ingenti investimenti, con aziende come Baseten recentemente valutate 13 miliardi di dollari, e Inferact dai creatori di vLLM. La startup francese ZML, sostenuta dal vincitore del Premio Turing Yann LeCun, ha recentemente rilasciato LLMD, un server di inferenza che esegue modelli su chip Nvidia, AMD, Google TPU, Apple Metal e Intel Arc alla massima velocità.

Nel frattempo, Prime Intellect ha raccolto 130 milioni di dollari in un round di Serie A guidato da Radical Ventures, con la partecipazione di Nvidia Ventures, Intel Capital e Dell Technologies Capital. La loro piattaforma parallelizza l'addestramento su grandi cluster di GPU utilizzando FSDP2 di PyTorch, puntando allo sviluppo di agenti aziendali. Il mercato si sta chiaramente muovendo verso un'infrastruttura distribuita e amichevole per l'open source.

Mesh LLM si differenzia concentrandosi sulla rete peer-to-peer piuttosto che sull'orchestrazione centralizzata. Non richiede un provider cloud o un cluster dedicato. Qualsiasi macchina con una GPU può unirsi alla mesh, e il sistema gestisce automaticamente l'attraversamento NAT, l'autenticazione e il routing tramite iroh.

Approfondimento Tecnico: Il Protocollo Iroh

Iroh è una libreria di rete per connettere qualsiasi dispositivo che fornisce connessioni QUIC autenticate e con attraversamento NAT tra due macchine qualsiasi, indirizzate tramite chiave pubblica. Mesh LLM lo utilizza come livello di trasporto, costruendo sopra un protocollo di gossip personalizzato per la scoperta dei peer e il controllo degli accessi.

Il protocollo utilizza tre ALPN per diversi tipi di traffico: mesh-llm/1 per le operazioni principali della mesh, mesh-llm-control/1 per il piano di controllo del proprietario e skippy-stage/2 per il trasporto di attivazione sensibile alla latenza. All'interno della connessione principale, un singolo byte iniziale demultiplexa i flussi per gossip, inferenza, query di route ed eventi del ciclo di vita dei peer.

Questo design significa che "instrada a un peer" e "trasmetti attivazioni allo stadio successivo della pipeline" diventano la stessa primitiva di "parla con localhost", solo con un ID endpoint diverso. La rete smette di essere qualcosa a cui devi pensare.

Contesto di Mercato e Concorrenza

Mesh LLM entra in un campo affollato. La "corsa all'oro dell'inferenza" ha attratto ingenti investimenti, con aziende come Baseten recentemente valutate 13 miliardi di dollari, e Inferact dai creatori di vLLM. La startup francese ZML, sostenuta dal vincitore del Premio Turing Yann LeCun, ha recentemente rilasciato LLMD, un server di inferenza che esegue modelli su chip Nvidia, AMD, Google TPU, Apple Metal e Intel Arc alla massima velocità.

Nel frattempo, Prime Intellect ha raccolto 130 milioni di dollari in un round di Serie A guidato da Radical Ventures, con la partecipazione di Nvidia Ventures, Intel Capital e Dell Technologies Capital. La loro piattaforma parallelizza l'addestramento su grandi cluster di GPU utilizzando FSDP2 di PyTorch, puntando allo sviluppo di agenti aziendali. Il mercato si sta chiaramente muovendo verso un'infrastruttura distribuita e amichevole per l'open source.

Mesh LLM si differenzia concentrandosi sulla rete peer-to-peer piuttosto che sull'orchestrazione centralizzata. Non richiede un provider cloud o un cluster dedicato. Qualsiasi macchina con una GPU può unirsi alla mesh, e il sistema gestisce automaticamente l'attraversamento NAT, l'autenticazione e il routing tramite iroh.

Approfondimento Tecnico: Il Protocollo Iroh

Iroh è una libreria di rete per connettere qualsiasi dispositivo che fornisce connessioni QUIC autenticate e con attraversamento NAT tra due macchine qualsiasi, indirizzate tramite chiave pubblica. Mesh LLM lo utilizza come livello di trasporto, costruendo sopra un protocollo di gossip personalizzato per la scoperta dei peer e il controllo degli accessi.

Il protocollo utilizza tre ALPN per diversi tipi di traffico: mesh-llm/1 per le operazioni principali della mesh, mesh-llm-control/1 per il piano di controllo del proprietario e skippy-stage/2 per il trasporto di attivazione sensibile alla latenza. All'interno della connessione principale, un singolo byte iniziale demultiplexa i flussi per gossip, inferenza, query di route ed eventi del ciclo di vita dei peer.

Questo design significa che "instrada a un peer" e "trasmetti attivazioni allo stadio successivo della pipeline" diventano la stessa primitiva di "parla con localhost", solo con un ID endpoint diverso. La rete smette di essere qualcosa a cui devi pensare.

Contesto di Mercato e Concorrenza

Mesh LLM entra in un campo affollato. La "corsa all'oro dell'inferenza" ha attratto ingenti investimenti, con aziende come Baseten recentemente valutate 13 miliardi di dollari, e Inferact dai creatori di vLLM. La startup francese ZML, sostenuta dal vincitore del Premio Turing Yann LeCun, ha recentemente rilasciato LLMD, un server di inferenza che esegue modelli su chip Nvidia, AMD, Google TPU, Apple Metal e Intel Arc alla massima velocità.

Nel frattempo, Prime Intellect ha raccolto 130 milioni di dollari in un round di Serie A guidato da Radical Ventures, con la partecipazione di Nvidia Ventures, Intel Capital e Dell Technologies Capital. La loro piattaforma parallelizza l'addestramento su grandi cluster di GPU utilizzando FSDP2 di PyTorch, puntando allo sviluppo di agenti aziendali. Il mercato si sta chiaramente muovendo verso un'infrastruttura distribuita e amichevole per l'open source.

Mesh LLM si differenzia concentrandosi sulla rete peer-to-peer piuttosto che sull'orchestrazione centralizzata. Non richiede un provider cloud o un cluster dedicato. Qualsiasi macchina con una GPU può unirsi alla mesh, e il sistema gestisce automaticamente l'attraversamento NAT, l'autenticazione e il routing tramite iroh.

Per Iniziare

Gli utenti possono installare il software leggero (circa 18 MB) e unirsi alla mesh pubblica o configurare distribuzioni private. Il sistema si presenta come localhost:9337/v1 a qualsiasi client OpenAI standard.

È in arrivo un'app mobile, costruita sull'SDK Swift di iroh. Il piano è di parlare ACP, lo standard emergente per agenti, in modo che anche altri client possano unirsi alla mesh. Il filo conduttore è lo stesso che ha motivato l'intero progetto: più peer-to-peer, meno server chiusi e nessun vincolo.

Iroh è una libreria di rete per connettere qualsiasi dispositivo che funziona e basta. Componi da un ecosistema di protocolli pronti all'uso per ottenere le funzionalità di cui hai bisogno, o vai completamente personalizzato su un'astrazione pulita su tubi stupidi. Iroh è open source ed è già in esecuzione in produzione su centinaia di migliaia di dispositivi.