MS Paint e Foto incorporano filigrane GUID invisibili nelle immagini AI locali

TL;DR: Le tue immagini AI locali portano un ID emesso dal server nascosto

Microsoft Paint e Foto incorporano una filigrana unica e invisibile nelle immagini generate dall'AI, anche quando l'immagine viene generata localmente sul tuo dispositivo. Questa filigrana è un GUID a 16 byte emesso dal server di moderazione remoto di Microsoft, non un valore casuale generato sul tuo PC.

• Moderazione remota: I prompt vengono inviati ai server di Microsoft per il filtraggio dei contenuti, anche per la generazione basata su NPU locale.
• Filigrana invisibile: Un GUID dalla risposta di moderazione viene incorporato nei pixel dell'immagine utilizzando un algoritmo personalizzato in Watermarker.dll.
• Collegato ai metadati C2PA: Lo stesso GUID appare nelle Credenziali di Contenuto C2PA, creando un soft-binding crittografico tra la filigrana dei pixel e i dati di provenienza.
• Non opzionale: La filigrana invisibile viene applicata indipendentemente dall'impostazione della filigrana visibile e non può essere disabilitata dagli utenti.
• Implicazioni per la privacy: Il GUID potrebbe potenzialmente essere collegato al tuo account Microsoft e alla cronologia dei prompt, sollevando significative preoccupazioni per la privacy.

La scoperta: un'analisi approfondita della pipeline AI locale di Microsoft

Il ricercatore Xusheng ha recentemente pubblicato un'analisi dettagliata di ingegneria inversa di Microsoft Paint e Foto, scoprendo un sistema di filigranatura sofisticato che opera silenziosamente in background. La ricerca, iniziata come una curiosità sulle funzionalità AI di Paint, ha rivelato che Microsoft fornisce modelli ONNX locali per la generazione di immagini sui PC Copilot+.

Questi modelli, inclusa una variante Stable Diffusion da 302 MB, sono crittografati con una chiave personalizzata e vengono eseguiti direttamente sulla NPU del dispositivo. Tuttavia, l'operazione completa è tutt'altro che locale. Prima che avvenga qualsiasi generazione di immagini, l'app invia il prompt dell'utente al servizio cloud di Microsoft per la moderazione.

Come funziona la filigrana invisibile

L'endpoint di moderazione (apsaiservices-a0fqcjc6bzbhgdcd.b02.azurefd.net/v1/paint-cocreator/moderate-prompt) restituisce una risposta JSON contenente un revisedPrompt, un promptGenerationId e un watermarkId. Questo watermarkId è un GUID che diventa il payload per la filigrana invisibile.

Il processo di filigranatura è implementato in Watermarker.dll, una libreria da 1,67 MB che sembra sproporzionatamente grande per il semplice compito di aggiungere un logo Copilot visibile. La funzione principale, WmkWriteWatermark, incorpora un messaggio di 144 bit (prefisso 0x4C + GUID a 16 byte + checksum) nei pixel dell'immagine utilizzando un algoritmo adattivo al contenuto, di tipo SVD.

Il codificatore modifica i valori dei pixel in blocchi di matrice 3x5, quantizzando i valori per rappresentare ogni bit del messaggio. L'algoritmo richiede che ogni bit sia posizionato almeno tre volte nell'immagine, garantendo robustezza contro ritaglio o compressione. In un test sintetico, 193.376 su 262.144 pixel sono stati alterati, un cambiamento significativo ma invisibile.

La connessione C2PA: due livelli dello stesso sistema

La filigrana invisibile non è l'unico meccanismo di provenienza. Paint allega anche metadati C2PA Content Credentials ai file salvati. Il manifesto C2PA contiene un'asserzione c2pa.soft-binding firmata che nomina esplicitamente l'algoritmo com.microsoft.invismark.1 e registra lo stesso GUID utilizzato nella filigrana dei pixel.

Questo crea un potente collegamento forense. Anche se un utente rimuove i metadati C2PA dal file, la filigrana invisibile dei pixel rimane, consentendo a Microsoft di potenzialmente abbinare l'immagine alla sua richiesta di moderazione originale e, per estensione, all'account e al prompt dell'utente.

Il manifesto C2PA include anche un'azione visibile: c2pa.watermarked con la descrizione "Contenuto filigranato da Microsoft Responsible AI." Questa divulgazione è accurata ma non spiega l'intera portata della capacità di tracciamento.

Perché la generazione locale richiede ancora il cloud

L'architettura di Microsoft rivela una deliberata divisione del lavoro. Per Image Creator basato su cloud, l'intera pipeline (generazione, filigranatura e firma della provenienza) avviene sui server di Microsoft. Per Cocreator sui PC Copilot+, l'immagine viene generata localmente, ma il prompt deve comunque andare al cloud per la moderazione.

Questo design spiega perché Paint necessita di un'implementazione locale della filigrana. Poiché l'immagine viene generata sul dispositivo, la filigrana deve essere applicata localmente. La ricerca mostra che se WmkWriteWatermark fallisce, Paint tratta l'intera generazione come un errore anziché restituire un'immagine non filigranata, evidenziando l'importanza che Microsoft attribuisce a questa funzionalità.

È interessante notare che l'app Foto implementa la stessa logica di filigranatura ma con una differenza critica: se la filigrana fallisce, Foto registra un errore e continua, restituendo l'immagine non filigranata. Questa incoerenza suggerisce una mancanza di politica unificata tra le app di Microsoft.

Implicazioni per la privacy e la sicurezza

La scoperta ha suscitato immediate preoccupazioni per la privacy. Come ha notato un commentatore di Hacker News, questo sistema ricorda i "punti gialli della stampante" utilizzati dalle stampanti laser, tranne per il fatto che è digitale e potenzialmente collegato alle identità degli utenti.

Il ricercatore sottolinea che il GUID non è solo un identificatore casuale. Viene emesso dai server di Microsoft insieme alla richiesta di moderazione, il che significa che Microsoft potrebbe teoricamente correlare la filigrana in qualsiasi immagine generata dall'AI con il prompt originale e l'account utente. Questa capacità esiste anche per le immagini generate interamente sul dispositivo.

I requisiti di trasparenza dell'AI Act dell'UE (Articolo 50) impongono che i contenuti generati dall'AI portino marcature leggibili dalla macchina. La divulgazione dei metadati C2PA di Microsoft soddisfa questo requisito. Tuttavia, la filigrana invisibile dei pixel e il suo collegamento all'identità dell'utente vanno oltre ciò che il regolamento richiede esplicitamente, sollevando domande sul fatto che gli utenti abbiano il diritto di conoscere questo ulteriore livello di tracciamento.

Restrizioni di formato e il gap BMP

Il sistema di provenienza di Microsoft spiega anche una curiosa limitazione dal punto di vista dell'utente. Quando si salvano immagini generate dall'AI da Paint, gli utenti sono limitati a PNG, JPEG, GIF e al formato proprietario .paint di Paint. Il classico formato BMP è notevolmente assente.

Questa restrizione è in linea con i requisiti tecnici di C2PA. PNG memorizza i manifesti in chunk caBX, JPEG utilizza segmenti APP11 e GIF ha la propria estensione applicativa. BMP, tuttavia, non può incorporare metadati senza manifesti esterni, rendendolo incompatibile con i requisiti di provenienza di Microsoft.

Questa è una scelta progettuale sottile ma significativa. Microsoft sta effettivamente costringendo gli utenti a salvare in formati che preservano i metadati C2PA, garantendo che la traccia di provenienza rimanga intatta.

Il quadro generale: provenienza dell'AI e fiducia degli utenti

La scoperta arriva in un momento in cui la provenienza dei contenuti AI è un importante focus del settore. SynthID di Google e lo stesso Bing Image Creator di Microsoft utilizzano già filigrane invisibili. Tuttavia, il collegamento diretto tra la filigrana e un GUID emesso dal server legato alla moderazione del prompt è un nuovo livello di integrazione.

La documentazione di supporto di Microsoft divulga che i prompt vengono raccolti per la prevenzione degli abusi e che vengono aggiunti metadati C2PA. Ciò che non divulga è che il manifesto C2PA contiene un GUID che identifica la filigrana invisibile dei pixel, o che questo GUID ha origine dalla stessa richiesta di moderazione che elabora il prompt dell'utente.

Per gli utenti attenti alla privacy, le implicazioni sono chiare: ogni immagine generata dall'AI da Paint o Foto porta un identificatore univoco che potrebbe potenzialmente essere ricondotto all'utente. Sebbene Microsoft affermi che ciò è per la sicurezza e la provenienza, la mancanza di trasparenza sull'intera portata di questo sistema è preoccupante.

Il ricercatore nota anche un potenziale problema di sicurezza: se l'endpoint di generazione di immagini cloud può essere accesso direttamente senza filigranatura, potrebbe essere possibile ottenere immagini non filigranate. Tuttavia, ciò richiederebbe di bypassare la sicurezza API di Microsoft e non fornisce nuove capacità oltre a ciò che Stable Diffusion open-source offre già.

Conclusione: una nuova era del tracciamento dei contenuti AI

Questa ricerca rappresenta la prima analisi documentata del sistema di filigranatura invisibile di Microsoft in Paint e Foto. Rivela un sistema di provenienza sofisticato e multilivello che opera silenziosamente, anche per i contenuti generati localmente.

Mentre la filigrana visibile può essere disabilitata e i metadati C2PA possono essere rimossi, la filigrana invisibile dei pixel persiste. È un identificatore permanente e non rimovibile che lega ogni immagine generata dall'AI a una specifica richiesta di moderazione e potenzialmente a un utente specifico.

Con la generazione di immagini AI che diventa sempre più comune negli strumenti consumer, l'equilibrio tra tracciamento della provenienza e privacy dell'utente diventerà una conversazione sempre più critica. L'implementazione di Microsoft, sebbene tecnicamente impressionante, solleva importanti domande sul consenso, la trasparenza e il diritto di generare contenuti senza sorveglianza persistente.