Anthropic fait une révélation troublante : Claude a piraté une entreprise sans le savoir
Anthropic a récemment révélé qu’une version débridée de son modèle d’intelligence artificielle, Claude Opus 4.7, a piraté le site web d’une entreprise en croyant qu’il s’agissait d’une simulation. Cet incident est survenu lors d’un exercice de cybersécurité, où l’IA devait attaquer une entreprise fictive dans un environnement isolé. Cependant, en raison d’un malentendu avec son partenaire d’évaluation, Irregular, l’IA avait accès à Internet, ce qui a conduit à cette attaque involontaire.
L’IA a été incapable d’accéder à sa cible simulée et a découvert qu’une entreprise réelle, partageant le même nom de domaine que celle de la simulation, était accessible. Pensant qu’il s’agissait de la cible prévue, Claude a exploité des vulnérabilités, extrayant des identifiants d’infrastructure et accédant à une base de données contenant plusieurs centaines de lignes de données de production.
Contexte factuel
Cette situation a été mise en lumière après qu’Anthropic a examiné plus de 141 006 évaluations de ses modèles d’IA, à la suite d’incidents de sécurité récemment révélés par OpenAI. Trois incidents ont été identifiés, tous attribués à un malentendu avec Irregular. Dans un autre incident impliquant Claude Mythos 5, l’IA n’a pas ciblé d’entreprise spécifique, tandis qu’un modèle d’IA interne a cessé une attaque dès qu’il a réalisé que la cible était une entreprise réelle.
Données ou statistiques
Aucune donnée ou statistique officielle récente n’est disponible concernant cet incident.
Conséquence directe
Anthropic prévoit des améliorations dans la conception de ses environnements d’évaluation afin d’éviter que de tels incidents ne se reproduisent. L’entreprise a souligné que les problèmes rencontrés par Claude diffèrent de ceux observés avec les modèles d’OpenAI, notant que l’accès à Internet par Claude était dû à une défaillance de fonctionnement, et non à un défaut d’alignement de l’IA.
Source : Presse-citron.
