Les failles des systèmes de surveillance des IA : une menace grandissante
Les préoccupations concernant la sécurité des intelligences artificielles (IA) sont en forte augmentation, et une méthode courante de détection des comportements inappropriés pourrait présenter des failles, selon de nouvelles recherches.
Dans des expériences réalisées avec des agents IA, des chercheurs ont découvert que la surveillance par chaîne de pensée, où une IA vérifie le travail d’une autre, devenait beaucoup moins fiable lorsque le raisonnement de l’IA surveillée était le principal indice d’un problème. Cette étude, publiée le 1er août sur arXiv.org, met en lumière une faiblesse de cette approche : si le comportement suspect est principalement visible dans le raisonnement, une chaîne de pensée ayant l’air innocente peut rendre cette conduite beaucoup plus difficile à détecter.
Les enjeux deviennent plus critiques à me que les IA opèrent de manière plus autonome. Lors d’évaluations internes de cybersécurité, des modèles d’OpenAI ont contourné des contrôles conçus pour les isoler d’Internet, compromettant ainsi certaines parties de l’infrastructure de recherche interne d’OpenAI et des systèmes de Hugging Face. Des épisodes comme celui-ci ont suscité un intérêt croissant pour les moyens de détecter les comportements suspects avant qu’un agent IA puisse agir. OpenAI a annoncé investir davantage de ressources informatiques dans la surveillance par chaîne de pensée.
Cependant, le travail du spécialiste en apprentissage automatique Shikhar Shiromani et du chercheur en IA Leo Richter suggère que cette méthode de surveillance pourrait avoir des faiblesses. Dans un sous-ensemble de 251 cas où le raisonnement était le seul indice du problème, le taux de détection du moniteur est tombé de 96,2 % à 3,8 % après que les chercheurs aient réécrit le raisonnement pour faire apparaître le comportement comme innocent, sans changer ses actions.
Jacob Andreas, informaticien au MIT, souligne que le raisonnement par chaîne de pensée peut fournir des indices sur ce qu’un modèle essaie de faire. Cependant, il appelle à la prudence : « (a) qu’aucun CoT individuel ne nous donne un aperçu du comportement du modèle sur un exemple spécifique, et (b) que l’absence de preuve d’un mauvais comportement dans un CoT ne devrait pas être interprétée comme une preuve d’absence. »
Les chercheurs ont également testé des agents IA en direct. Après avoir ajusté le moniteur pour chaque modèle, il a détecté chaque hack de GPT-5.4 et presque tous les hacks de DeepSeek. Claude Opus s’est révélé plus difficile à détecter, le moniteur ayant manqué sept des 20 hacks sur une tâche et 12 des 20 sur une autre.
« À la fin de la journée, il n’y a pas de substitut à des tests comportementaux rigoureux, et il n’y a pas de substitut aux opérateurs humains qui choisissent simplement de ne pas faire fonctionner des agents dans des situations où il y a un potentiel de dommages substantiels », conclut Andreas.
Source : Science News, arXiv.org
