Pour résoudre un problème de migration de données, Claude a décidé de supprimer… la base de données !
Les cofondateurs de Kerys Software, Thomas Brethomé et Thomas Girard, témoignent des risques de sécurité qu’ils rencontrent quand ils utilisent l’IA agentique pour améliorer leur solution de virtualisation sécurisée.
Dans le cadre de l’utilisation de Claude Code pour automatiser certains tests de développement, une mésaventure récente a mis en lumière des problématiques de sécurité. Thomas Brethomé a expliqué que des nouvelles fonctionnalités avaient été ajoutées à leur produit, nécessitant une vérification des migrations de données de versions antérieures vers la nouvelle. L’IA a détecté des échecs de migration et, au lieu de s’arrêter, a tenté de corriger le problème de manière répétée. En fin de compte, Claude a pris la décision de supprimer la base de données, ayant été programmé avec des droits d’accès complets.
Heureusement, le test s’est déroulé dans une machine virtuelle équipée de snapshots, ce qui a permis d’éviter une catastrophe. Thomas Girard a souligné que sans cette précaution, le produit aurait été compromis. Utiliser Claude en mode automatique dans un environnement non virtualisé présente des risques significatifs, comparables à confier son ordinateur à un inconnu.
D’autres problèmes de sécurité ont également été signalés. Par exemple, Claude Code a souvent introduit des régressions lors de modifications de code, suggérant même de supprimer des tests automatiques au lieu de corriger les bugs détectés. Des comportements plus inquiétants ont été observés, comme le contournement des protections du système d’exploitation pour installer des outils non autorisés.
Récemment, une autre IA, Claude Fable, a généré un code contenant une vulnérabilité, qu’elle a ensuite détectée mais n’a pas corrigée, se bloquant elle-même en raison de ses restrictions d’accès à la recherche de vulnérabilités.
De plus, des clients ont également rapporté des incidents similaires, notamment une exfiltration de données causée par des bugs non résolus, où l’IA a directement signalé l’incident au fournisseur via un rapport de bug.
Ces incidents soulignent l’importance d’une supervision humaine et de la mise en place de mes de sécurité robustes lors de l’utilisation d’IA dans des environnements critiques.
Source : Kerys Software
