Fatti Rapidi

• I motori di ricerca IA come Perplexity e ChatGPT possono essere manipolati mostrando loro contenuti diversi rispetto a quelli visibili agli esseri umani.
• I ricercatori hanno dimostrato come biografie e curriculum falsi possano avvelenare strumenti di assunzione e reputazione guidati dall’IA.
• La tecnica, chiamata “cloaking mirato all’IA”, sfrutta il modo in cui i crawler IA raccolgono dati, senza necessità di hacking o exploit tecnici.
• Tali attacchi potrebbero influenzare silenziosamente i sistemi automatizzati di decisione in ambiti come assunzioni, conformità e altro ancora.
• Gli esperti avvertono le organizzazioni di validare i dati trovati dall’IA e di richiedere prove di autenticità dei contenuti ai fornitori.

Un Nuovo Tipo di Trucco Digitale

Immagina uno specchio digitale da luna park - uno che ti mostra un riflesso lusinghiero, ma presenta qualcosa di mostruoso a un osservatore invisibile. Questa è la realtà inquietante per gli attuali strumenti di ricerca IA, secondo una recente ricerca di SPLX. Rilevando quando un “crawler” IA visita un sito web, i malintenzionati possono mostrare una versione alternativa della realtà, avvelenando la fonte di informazioni che alimenta tutto, dai chatbot alle assunzioni automatizzate.

In un esperimento, i ricercatori hanno creato una designer fittizia, Zerphina Quortane. Agli esseri umani, il suo sito mostrava un portfolio professionale impeccabile. Ma ai bot di ricerca IA, raccontava una storia di sabotaggio e scorrettezze etiche - una vera e propria diffamazione inventata. Il risultato? Gli strumenti IA ripetevano con sicurezza queste bugie, senza mai metterne in dubbio la fonte. In un altro test, il curriculum di una candidata fittizia veniva potenziato solo per i bot, portando l’IA a classificarla erroneamente come la scelta migliore.

Il Vecchio Trucco Riceve un Potente Upgrade

Questa tattica non è del tutto nuova. Da anni, i truffatori usano il “cloaking” per ingannare i motori di ricerca, mostrando ai crawler di Google una cosa e ai visitatori umani un’altra, per manipolare i risultati. Ma il cloaking mirato all’IA porta il trucco oltre. Invece di influenzare solo ciò che appare nei risultati di ricerca, può riscrivere i dati stessi che i sistemi guidati da IA usano per prendere decisioni - su persone, prodotti e altro ancora.

A differenza dell’hacking tradizionale, nessun codice viene violato. L’unico “exploit” consiste nel saper riconoscere chi sta visitando il sito - un umano o un bot IA - e servire a quest’ultimo bugie su misura. Questo significa che chiunque, da un ex dipendente scontento a un concorrente, potrebbe avvelenare silenziosamente strumenti di reputazione o assunzione basati su IA, con poche righe di regole del server web e senza particolari magie tecniche.

Un rapporto del 2023 del Center for Security and Emerging Technology della Georgetown ha avvertito che i sistemi IA sono particolarmente vulnerabili al “data poisoning” - quando gli attaccanti alterano sottilmente le informazioni da cui l’IA apprende. I risultati di SPLX mostrano quanto questi attacchi possano essere facili e invisibili.

Effetti a Catena: Dal Mercato del Lavoro alla Geopolitica

Man mano che le organizzazioni si affidano sempre più all’IA per selezionare curriculum, valutare fornitori o persino monitorare la reputazione, la posta in gioco aumenta. Un singolo profilo avvelenato potrebbe costare un lavoro a qualcuno, mettere al bando un’azienda o influenzare l’opinione pubblica. In mercati ad alto rischio o in geopolitica, tali manipolazioni potrebbero diventare strumenti di sabotaggio sottile o propaganda.

Il consiglio dei ricercatori è chiaro: fidarsi, ma verificare. Le organizzazioni dovrebbero richiedere la provenienza dei contenuti - prove di dove e come sono state raccolte le informazioni - e controllare le proprie pipeline IA per rischi di manipolazione. Altrimenti, man mano che l’IA diventa più affidabile, la mano invisibile che guida la sua ricerca potrebbe trasformare la finzione in realtà.

WIKICROOK

• AI Crawler: Un AI crawler è un software automatizzato che scansiona i siti web per raccogliere dati, utilizzati poi per addestrare e migliorare i sistemi di intelligenza artificiale.
• Cloaking: Il cloaking consiste nel mostrare contenuti diversi a utenti e sistemi di sicurezza, spesso per nascondere attività dannose o ingannevoli.
• Data Poisoning: Il data poisoning è un attacco informatico in cui gli aggressori aggiungono di nascosto dati dannosi al set di addestramento di un’IA, inducendo il sistema a commettere errori o comportarsi in modo anomalo.
• Content Provenance: La provenienza dei contenuti documenta l’origine e le modifiche delle informazioni digitali, aiutando a verificarne l’autenticità e a garantire la fiducia nelle comunicazioni digitali.
• Automated Decision System: Un sistema di decisione automatizzata utilizza algoritmi e dati, spesso con l’IA, per prendere o supportare decisioni come assunzioni, classifiche o approvazioni senza intervento umano.