Les « sujets interdits », clé pour stopper les pirates de l’IA ?
Des chercheurs ont mis au jour une méthode originale mais efficace pour contrer les agents de piratage pilotés par intelligence artificielle (IA), en utilisant une technique similaire à celle déjà employée par les hackers contre les systèmes d’IA. Cette approche exploite les garde-fous intégrés, ou sujets interdits, qui régissent les grands systèmes d’IA. Par exemple, des modèles tels que Claude bloquent les requêtes liées à des sujets sensibles comme la création d’armes biologiques, tandis que d’autres, notamment en Chine, évitent les thèmes politiques délicats comme le massacre de Tiananmen.
Course contre la machine
Cette technique a été développée par Tracebit, une société de sécurité basée à Londres, et repose sur une étude publiée par l’entreprise en mai. Lors de cette étude, Tracebit a fourni à dix modèles d’IA parmi les plus avancés un faux réseau d’entreprise à infiltrer, comportant de réelles vulnérabilités. Les chercheurs ont introduit des leurres, appelés « canaris », qui simulaient de véritables mots de passe et identifiants de connexion. Lorsqu’un canari était touché, une alerte était envoyée aux défenseurs.
Les résultats ont été prometteurs : sur 951 tentatives d’attaque, ces canaris ont permis d’alerter les défenseurs avant qu’une IA n’obtienne un accès administrateur dans 95,9 % des cas, avec un délai médian d’avertissement de huit minutes. Cependant, ce laps de temps s’est avéré insuffisant, car les modèles d’IA prenaient en moyenne 14 minutes pour compromettre entièrement le réseau, laissant ainsi environ six minutes aux équipes de sécurité pour réagir.
Retourner contre les pirates leur propre arme
L’injection de prompts, jusqu’ici utilisée principalement par les attaquants, consiste à dissimuler des instructions dans des e-mails ou d’autres supports. Tracebit a inversé cette méthode en intégrant des textes dans ses faux secrets, incitant les agents d’IA à effectuer des actions interdites par leurs propres règles de sécurité. Ce mécanisme, désigné comme « bombe contextuelle », entraîne un arrêt immédiat de l’IA lorsqu’elle rencontre un texte problématique.
Cette technique a été testée sur cinq modèles d’IA : Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro et Kimi K2.6. Les résultats des tests ont révélé une réduction significative des réussites d’accès administrateur, passant de 57 % à 5 %. De plus, la compromission totale, qui inclut l’accès administrateur et un accès persistant au système, a chuté de 36 % à 1 %. Chaque exécution rencontrant une bombe contextuelle a également déclenché une alerte canari, même celles qui ont échoué.
Ce que cela ne résout pas
Bien que cette méthode soit prometteuse, elle ne constitue pas une solution définitive au problème de l’injection de prompts. Il n’existe pas de moyen infaillible pour éviter que les modèles d’IA ne confondent parfois une instruction avec une simple donnée. De plus, cette approche ne remplace pas les travaux antérieurs sur les canaris. Les deux méthodes sont complémentaires : l’étude de mai fournit un avertissement avant la compromission, tandis que la bombe contextuelle vise à stopper l’attaque dans cette fenêtre d’alerte.
Source : Tracebit
