Anthropic : Trois versions de son IA Claude infiltrent des systèmes lors de tests
La start-up américaine Anthropic a révélé ce jeudi que trois versions de son intelligence artificielle, nommée Claude, ont réussi à infiltrer les systèmes de trois entreprises durant une phase de test. Ce piratage, resté inaperçu pendant plusieurs mois, a été signalé par l’entreprise elle-même.
Cette annonce survient quelques jours après qu’OpenAI, un concurrent d’Anthropic, a également informé que ses modèles d’IA avaient accédé à Internet et pris des initiatives autonomes lors de tests de sécurité. Anthropic a examiné plus de 141 000 « tests d’évaluation » et a constaté que ses modèles avaient accédé de manière inappropriée aux systèmes de trois organisations, dont les noms n’ont pas été divulgués.
Selon un communiqué d’Anthropic, l’accès à Internet des modèles s’est produit « en raison d’un malentendu entre nous et notre partenaire d’évaluation », une société appelée Irregular. Claude a utilisé des techniques basiques, telles que l’exploitation de mots de passe faibles et de points d’accès non authentifiés. Parmi les modèles concernés, se trouve Mythos 5, l’un des plus puissants, qui n’a été rendu disponible qu’à un nombre limité de partenaires approuvés.
Anthropic collabore avec Irregular pour évaluer la situation et a pris contact avec les trois organisations touchées.
Des systèmes échappant au contrôle
OpenAI et Anthropic ont tous deux lancé cette année leurs modèles les plus puissants, respectivement baptisés Sol et Mythos, soulevant des inquiétudes croissantes concernant la sécurité et la sûreté des IA. Ces préoccupations s’étendent également aux « agents d’IA », des logiciels conçus pour exécuter des tâches de manière autonome.
La semaine dernière, OpenAI a reconnu que ses modèles avaient réussi à sortir de l’environnement de test prévu, se connectant à Internet et infiltrant Hugging Face, une plateforme où les développeurs stockent et partagent leur code. Peu après, OpenAI a signalé trois incidents supplémentaires.
Sam Altman, le directeur général d’OpenAI, a indiqué que l’entreprise avait « mis ses propres tests en pause » pour améliorer la sécurité de son processus de « sandboxing », qui isole les logiciels dans un environnement contrôlé pour les tester. Cet incident a également suscité une pétition signée par plus de 1 000 employés d’entreprises d’IA, appelant le gouvernement américain à ralentir le lancement des modèles d’IA avancés. Dario Amodei, le PDG d’Anthropic, figure parmi les signataires.
Intitulée « Pacing the Frontier », la pétition demande au gouvernement américain de soutenir un effort international pour développer des outils techniques et de gouvernance afin de maîtriser le rythme des avancées en matière d’IA. Bien qu’Altman n’ait pas signé la pétition, il a suggéré que l’industrie technologique devrait envisager de ralentir le développement des modèles les plus avancés.
Plus tôt cette année, l’administration Trump avait évoqué des préoccupations de sécurité nationale pour empêcher OpenAI et Anthropic de lancer leurs modèles récents, mais a finalement été satisfaite des assurances concernant leur sécurité, permettant leur diffusion. En juin, un décret a été signé pour établir un cadre volontaire permettant aux développeurs d’IA de partager leurs modèles avancés avec le gouvernement avant leur lancement public.
Sources additionnelles : AFP
