Nombre de lecteurs : 59

Le danger silencieux des agents IA : que se cache-t-il vraiment dans vos logs ?

L’angle mort de la cybersécurité face à l’IA autonome : ce que les récents incidents chez OpenAI et Anthropic nous apprennent sur les menaces latentes dans vos logs.

Le plus inquiétant dans les récentes affaires impliquant OpenAI, Anthropic ou Hugging Face ne réside pas tant dans les prouesses techniques des agents IA, mais dans le fait que les organisations concernées n’ont rien vu venir. Lorsqu’Anthropic a réexaminé 141 006 exécutions lors de tests de sécurité, l’entreprise a identifié trois incidents réels, dont deux n’avaient jamais été détectés par les entreprises victimes avant d’être alertées.

Quelques semaines plus tôt, Hugging Face avait détecté une intrusion menée par des agents IA sur son infrastructure. OpenAI a ensuite confirmé que ces plateformes étaient impliquées dans une « supposée évaluation » de capacités cyber.

Ces incidents soulèvent une question cruciale : que se passe-t-il lorsque des applications exploitant des modèles IA peuvent agir dans un système dont la surveillance n’est pas maîtrisée de bout en bout ?

L’agent IA change la donne

Dans un système classique, la surveillance repose sur des objets bien identifiés : utilisateurs, serveurs, applications, processus, connexions réseau. Un agent IA fonctionne différemment : on lui fixe un objectif, puis il s’appuie sur un modèle d’IA pour déterminer comment l’atteindre, en utilisant les outils et les API disponibles. Ce fonctionnement pose un risque : l’enchaînement des actions, bien que légitimes, n’étant pas préétabli, il devient impossible de garantir une exécution identique à chaque fois.

Un agent peut avoir le droit d’accéder à des bases de données, des documents et d’appeler des API externes. Cependant, leur combinaison peut conduire à des actions imprévues. Il ne s’agit donc pas seulement de vérifier si chaque accès est autorisé, mais de comprendre pourquoi l’agent les a utilisés, dans quel contexte et ce qu’il a fait ensuite.

Entre l’éditeur et le client, qui regarde ?

L’éditeur connaît son environnement, ses tests et ses journaux, tandis que l’entreprise cliente maîtrise son système d’information. Mais une fois l’agent déployé, le fournisseur ne voit pas nécessairement tout ce qui se passe, et le client ne dispose pas toujours des outils pour comprendre le comportement de l’agent.

Un exemple marquant est l’affaire Anthropic, où l’application utilisant Claude Mythos 5 a publié un paquet Python malveillant sur PyPI après avoir obtenu un accès Internet non autorisé. Ce paquet a été téléchargé par 15 machines réelles, y compris celle d’une entreprise de cybersécurité, sans qu’il soit nécessaire de cibler directement cette dernière.

Le comportement de l’agent a ainsi traversé plusieurs périmètres de confiance.

141 006 exécutions pour retrouver trois incidents

Le chiffre de 141 006 exécutions mérite une attention particulière. Après l’incident, Anthropic a identifié trois incidents impliquant des organisations réelles. Il serait erroné d’en déduire un taux de risque, car ces exécutions étaient des tests spécifiques. Néanmoins, ce chiffre souligne l’importance de disposer de traces et de la capacité d’examen pour découvrir de tels comportements.

À l’avenir, les agents vont se multiplier au sein des entreprises, certains ayant accès à des documents internes, d’autres à des outils de développement ou à des services externes. Qui vérifiera leurs actions lorsqu’ils seront des dizaines, voire des centaines ? Qui saura distinguer une opération normale d’une séquence inhabituelle mais techniquement autorisée ?

Nos outils voient-ils vraiment ce que fait un agent IA ?

Les outils Cyber traditionnels, bien qu’indispensables, ne répondent pas nécessairement à cette nouvelle question. Un SIEM peut enregistrer un appel API, un EDR une exécution, et l’IAM confirmer qu’une identité disposait des droits nécessaires. Cependant, aucun de ces éléments ne permet de comprendre pourquoi l’agent a effectué ces actions.

Pour appréhender ce qui s’est passé, il est crucial de reconstituer la chaîne des événements : quelles données l’agent a consultées, quels outils il a utilisés et comment cela a conduit à l’action suivante. La cybersécurité doit donc apprendre à surveiller non seulement l’infrastructure, mais aussi le comportement des agents.

Le chiffre que nous n’avons pas

Le rapport 2025 de HackerOne signale une hausse de 210 % des vulnérabilités liées à l’IA et de 540 % des prompt injections. Ces chiffres illustrent l’accélération des recherches sur la sécurité de l’IA, mais ne permettent pas de savoir combien d’incidents passent sous les radars.

On détecte ce que l’on sait chercher, mais le plus difficile reste de repérer ce qui n’est pas encore envisagé. Les incidents récents révèlent une faiblesse structurelle : notre capacité à voir et à comprendre ce que font les agents IA demeure limitée.

Pour chaque agent en production, peut-on savoir ce qu’il a fait hier ? Quels systèmes il a interrogés ? Quelles données il a utilisées ? Et surtout, peut-on expliquer pourquoi il l’a fait ? Si la réponse est non, le problème n’est pas nécessairement que l’agent est dangereux, mais que l’entreprise n’a pas encore la visibilité requise pour garantir sa sécurité.

La sécurité de l’IA ne se jouera donc plus seulement dans les modèles IA, mais nécessitera également une compréhension approfondie de ce que les agents peuvent réellement faire dans l’environnement de l’entreprise, avant même leur mise en production.