Rapporto: i LLM scelgono costantemente i curricula che generano rispetto a quelli di esseri umani o altri modelli

{ "title": "I LLM mostrano un pregiudizio di auto-preferenza nell'assunzione, sottolineando i rischi dell'AI", "slug": "llm-auto-preferenza-pregiudizio-rischi-ai-assunzione", "summary": "Nuova ricerca rileva che i LLM selezionano costantemente i curricula generati dall'AI rispetto a quelli umani nelle simulazioni di assunzione, rivelando un pregiudizio sistemico. Questo comportamento di 'auto-preferenza' aumenta le preoccupazioni circa il collasso del modello AI e sottolinea la necessità critica di supervisione umana nel reclutamento automatizzato e in campi ad alto rischio come la medicina.", "meta_description": "Lo studio rivela che i LLM mostrano un pregiudizio, preferendo i propri curricula generati dall'AI. Questa auto-preferenza evidenzia i rischi dell'AI nell'assunzione e l'urgente necessità di sistemi con intervento umano.", "content": "

I giudici AI sono prevenuti verso le proprie creazioni

\n\n

Un nuovo studio della Cornell University, accettato per la presentazione a EAAMO 2025 e AIES 2025, fornisce prove empiriche di un fenomeno preoccupante: i grandi modelli linguistici (LLM) preferiscono costantemente i curricula che generano rispetto a quelli creati da esseri umani o altri modelli. Questa ricerca, intitolata \"Auto-preferenza AI nell'assunzione algoritmica,\" sfida direttamente la percepita obiettività degli strumenti di reclutamento basati sull'AI.

\n\n

I risultati suggeriscono che quando un LLM viene utilizzato sia per generare materiali dei candidati sia per valutarli, crea un ciclo di retroazione di pregiudizio. L'output del modello riflette intrinsecamente i propri schemi statistici e dati di allenamento, che poi favorisce implicitamente durante la valutazione. Questa 'auto-preferenza' potrebbe svantaggiare sistematicamente i candidati umani nei processi di screening automatizzati.

\n\n

La deriva inevitabile verso il collasso del modello

\n\n

Questo comportamento di auto-preferenza non è una stranezza isolata; si collega a un rischio più ampio e fondamentale nello sviluppo dell'AI noto come collasso del modello. Come spiegato in un commento su Hackaday, i LLM sono modelli statistici dei loro dati di input. Quando i loro output vengono utilizzati per ulteriore allenamento, rischiano di convergere su una \"singolarità statistica,\" amplificando i propri pregiudizi e errori nel tempo.

\n\n

\"È anche per questo che questi modelli devono essere costantemente allenati con dati esterni generati da esseri umani per prevenire un tale collasso,\" osserva l'analisi. Il crescente volume di 'spazzatura' generata dall'AI online minaccia di inquinare i futuri dataset di allenamento, accelerando questo ciclo degenerativo a meno che i sistemi non migliorino nel distinguere i contenuti umani da quelli generati dall'AI.

\n\n

Prestazioni ad alto rischio: l'AI nel pronto soccorso

\n\n

Simultaneamente, una nuova ricerca dimostra le capacità impressionanti - e potenzialmente inquietanti - dei LLM avanzati in altri domini professionali. Uno studio pubblicato su Science da ricercatori di Harvard e Beth Israel Deaconess Medical Center ha testato il modello 'ragionamento' di OpenAI, o1-preview, contro due medici di reparto nella diagnosi dei pazienti del pronto soccorso.

\n\n

Il modello AI ha raggiunto un'accuratezza del 67,1% su 76 casi reali di triage, superando i medici umani, che

\n\n