IA nel mirino: come un semplice invito del calendario ha permesso agli hacker di rubare le tue riunioni tramite Google Gemini

Tutto è iniziato con un invito del calendario dall’aspetto innocuo. Ma dietro le quinte, istruzioni invisibili hanno dirottato la disponibilità di Google Gemini ad aiutare, trasformando l’IA in un complice inconsapevole del furto di dati. In una dimostrazione inquietante della società di cybersecurity Miggo, i ricercatori hanno mostrato come la descrizione di un singolo evento potesse riversare i segreti dell’intera agenda di una vittima - senza un solo clic, avviso o campanello d’allarme.

Dentro l’attacco: come la disponibilità dell’IA è diventata un buco di sicurezza

La vulnerabilità messa in luce da Miggo si basa proprio su ciò che rende attraenti gli assistenti IA: la loro voglia di aiutare. Google Gemini, progettato per analizzare e organizzare gli eventi del calendario per gli utenti, è risultato fidarsi ciecamente del contenuto degli inviti in arrivo. A un aggressore bastava creare un evento del calendario con un payload formulato con astuzia nel campo descrizione - qualcosa che sembrava innocuo, ma che conteneva istruzioni nascoste per Gemini.

Quando in seguito il destinatario chiedeva a Gemini informazioni sulla propria agenda (“Che riunioni ho questa settimana?”), l’IA eseguiva diligentemente le istruzioni sepolte. Il risultato? Gemini riassumeva tutte le riunioni della vittima - incluse quelle private - e scriveva i dettagli in un nuovo evento del calendario. Questo nuovo evento, accessibile dall’aggressore, conteneva dati sensibili che non avrebbero mai dovuto uscire dall’account della vittima.

Ciò che rendeva questo attacco così insidioso era la sua discrezione. Il payload non sembrava codice né una minaccia; assomigliava a una normale richiesta di un utente. Superava senza problemi le difese basate su pattern, facendo leva sull’elaborazione del linguaggio naturale di Gemini per interpretare e mettere in atto l’intento nascosto. Come ha osservato Miggo, “Gli aggressori possono nascondere l’intento in un linguaggio altrimenti benigno e fare affidamento sull’interpretazione del linguaggio da parte del modello per determinare la sfruttabilità.”

L’exploit evidenzia una nuova frontiera della sicurezza dell’IA: attacchi che manipolano il modo in cui i modelli linguistici di grandi dimensioni comprendono ed eseguono istruzioni, invece di colpire vulnerabilità software tradizionali. Le difese semplici che cercano parole chiave o pattern sospetti non bastano più - contesto e intento sono ormai armi nelle mani degli aggressori.

Dopo la segnalazione di Miggo, Google ha confermato la vulnerabilità e ha rilasciato una correzione. Ma l’episodio è un avvertimento: man mano che l’IA si integra sempre più profondamente nelle nostre vite digitali, i suoi stessi punti di forza possono essere piegati in nuovi vettori di sfruttamento.

Riflessioni: quando la “disponibilità” dell’IA diventa ostile

Questa non è solo la storia di un bug corretto - è uno scorcio sul futuro. Il confine tra comodità e vulnerabilità si assottiglia man mano che i sistemi di IA si fanno carico di un numero crescente delle nostre incombenze digitali quotidiane. Mentre gli aggressori imparano a parlare la lingua dell’IA, i difensori devono ripensare cosa significhi mettere in sicurezza non solo il software, ma anche le intenzioni dietro ogni azione automatizzata.

WIKICROOK

• Prompt Injection: La prompt injection si verifica quando gli aggressori forniscono input dannosi a un’IA, inducendola ad agire in modi non previsti o pericolosi, spesso aggirando le normali protezioni.
• Elaborazione del Linguaggio Naturale (NLP): L’Elaborazione del Linguaggio Naturale (NLP) è una tecnologia di IA che consente ai computer di comprendere, interpretare e rispondere al linguaggio umano in forma testuale o vocale.
• Payload: Un payload è la parte dannosa di un attacco informatico, come un virus o uno spyware, veicolata tramite email o file malevoli quando una vittima interagisce con essi.
• Pattern: Un pattern è una sequenza riconosciuta nei dati o nei comportamenti, usata dagli strumenti di cybersecurity per rilevare minacce, anomalie o attività malevole note.
• Disclosure: La disclosure è il processo di notifica agli stakeholder dei rischi, incidenti o vulnerabilità di cybersecurity che potrebbero influire sul valore o sulla reputazione di un’organizzazione.