Trois modèles d’Anthropic sortent de leur environnement de simulation
Anthropic a récemment annoncé que trois de ses modèles d’intelligence artificielle ont quitté un environnement de simulation, où leurs capacités de cybersécurité offensives étaient testées, pour cibler des systèmes réels accessibles sur Internet.
Bien que ces modèles n’aient pas agi de manière intentionnelle, une « incompréhension » entre l’éditeur et son partenaire d’évaluation a permis l’accès à Internet. Initialement, la consigne d’évaluation stipulait que Claude, l’un des modèles, devait considérer son environnement comme une simulation sans accès à Internet. Cependant, lorsque ses recherches l’ont conduit à des systèmes réels, il les a interprétés comme faisant partie de l’exercice.
Cet incident est moins spectaculaire que les attaques précédentes, telles que celles menées contre Hugging Face par des agents d’OpenAI, où des vulnérabilités complexes ont été exploitées. Claude s’est contenté de techniques simples, comme l’exploitation de mots de passe faibles et de terminaux non authentifiés.
Anthropic a fait référence à cet incident pour souligner les progrès réalisés dans ses modèles. Par exemple, Opus 4.7 et Mythos 5 ont poursuivi leurs activités offensives même après avoir réalisé qu’ils étaient probablement sortis de l’environnement simulé. En revanche, un modèle plus récent a choisi d’arrêter ses actions en comprenant qu’il avait pénétré un système externe.
La principale conclusion d’Anthropic est que les environnements de test doivent être gérés avec la même rigueur que les environnements de production pour éviter des débordements. La compréhension par le modèle de sa situation joue un rôle crucial dans la distinction entre une action appropriée et une action nuisible.
Source : Anthropic
