En Bref

• Le machine learning est au cœur de la défense cyber moderne, mais son efficacité dépend de la qualité des données et d’une adaptation continue.
• Les attaquants utilisent de plus en plus l’IA pour développer et affiner des logiciels malveillants, accélérant l’évolution des menaces.
• De grandes initiatives de recherche comme SERICS en Italie investissent des millions pour faire avancer la cybersécurité pilotée par l’IA.
• Les systèmes d’IA peuvent être trompés ou « empoisonnés » par des données manipulées, exposant des vulnérabilités critiques.
• Des outils comme AttackBench testent la robustesse des modèles d’IA face aux attaques adverses, mais la course aux armements continue.

Promesses et périls de l’IA en cybersécurité

Imaginez une sentinelle aux portes d’une forteresse numérique - infatigable, fulgurante, et toujours en apprentissage. Voilà la promesse du machine learning en cybersécurité : des systèmes capables de passer au crible des océans de données, repérant les traces subtiles d’intrus bien avant que l’œil humain ne les remarque. Mais, comme l’a souligné le professeur Giorgio Giacinto lors du 23e Forum ICT Security à Rome, cette sentinelle n’est aussi affûtée que la formation qu’elle reçoit - et les attaquants apprennent à échapper à sa vigilance.

Le machine learning trouve ses racines dans l’apprentissage de la reconnaissance de motifs dans les images, les sons et le langage. Aujourd’hui, cette même technologie est appliquée à la détection des tactiques complexes et changeantes des cybercriminels. Les attaques ne sont plus de simples virus - ce sont des mosaïques sophistiquées de composants à l’apparence bénigne, souvent cachés à la vue de tous, comme l’ont montré les récentes vulnérabilités de WhatsApp où du code malveillant était dissimulé dans des fichiers image.

Apprendre du passé - et de ses écueils

L’équipe de Giacinto à l’Université de Cagliari a plongé au cœur des malwares Android, décomposant les applications en leurs éléments essentiels - code et ressources comme les images - pour mieux comprendre ce qui rend un logiciel dangereux. Leurs modèles de machine learning pouvaient non seulement signaler des comportements suspects, mais aussi expliquer pourquoi, en pointant des signes révélateurs comme une activité GPS ou WiFi inhabituelle. Pourtant, une chute soudaine de la précision de détection en 2018 - provoquée par une mise à jour du framework de programmation Android - a révélé une faille critique : ces modèles d’IA sont prisonniers de leurs données d’entraînement. Quand le paysage numérique évolue, les connaissances d’hier peuvent vite devenir obsolètes.

Les grands modèles de langage (LLM), moteurs des chatbots et de l’analyse de texte, sont désormais utilisés pour automatiser les tests interactifs des applications, simulant le comportement réel des utilisateurs afin de déceler des menaces cachées. Cette approche dynamique aide à combler l’écart, mais rappelle aussi que, à mesure que les défenseurs deviennent plus intelligents, les attaquants le deviennent aussi.

L’arme à double tranchant : des attaquants dans la machine

L’IA n’est pas seulement un outil de défense ; c’est aussi une arme offensive. Les cybercriminels exploitent les LLM pour écrire et tester du code malveillant plus rapidement, comme l’ont documenté Google et d’autres. Si l’IA ne peut pas inventer de nouveaux types d’attaques, elle accélère considérablement le processus de découverte et d’exploitation des failles. En réponse, les défenseurs utilisent les mêmes outils pour sonder leurs propres systèmes à la recherche de vulnérabilités, créant une course aux armements numériques où l’avantage change à chaque nouvelle découverte.

Mais les systèmes de machine learning ont leur propre talon d’Achille. Si les attaquants parviennent à manipuler les données utilisées pour entraîner ces modèles - une tactique appelée « empoisonnement » - ils peuvent discrètement saper la sécurité de l’intérieur. Le cadre MITRE ATLAS cartographie désormais ces tactiques adverses, tandis que des outils comme AttackBench émergent pour aider les organisations à tester la résistance de leurs défenses IA avant que les véritables attaquants ne le fassent.

WIKICROOK

• Machine Learning : Le machine learning est une forme d’IA qui permet aux ordinateurs d’apprendre à partir de données, améliorant leurs prédictions ou actions sans programmation explicite.
• Attaque Adversaire : Une attaque adversaire trompe les modèles d’IA en modifiant subtilement les données d’entrée, les poussant à prendre des décisions incorrectes ou inattendues.
• Grand Modèle de Langage (LLM) : Un grand modèle de langage (LLM) est une IA entraînée à comprendre et générer du texte de type humain, souvent utilisée dans les chatbots, assistants et outils de contenu.
• Empoisonnement de Données : L’empoisonnement de données est une cyberattaque où des attaquants ajoutent secrètement des données nuisibles à l’ensemble d’entraînement d’une IA, poussant le système à commettre des erreurs ou à mal se comporter.
• Cyber Threat Intelligence : La cyber threat intelligence est l’information sur les attaques informatiques actuelles ou potentielles, incluant méthodes et cibles, utilisée pour aider les organisations à se défendre.