Le pentest classique ne suffit plus à sécuriser les systèmes d’IA
Pourquoi sécuriser une IA n’a plus rien à voir avec sécuriser un logiciel classique
Les tests de sécurité traditionnels, tels que les pentests, ne répondent plus aux besoins de sécurité des systèmes d’intelligence artificielle (IA). Contrairement aux applications web classiques, qui offrent des résultats prévisibles lors de tests répétés, les agents IA peuvent réagir différemment à des situations identiques en raison de la complexité de leur fonctionnement.
Un agent IA est influencé par divers facteurs : l’état du modèle, le contexte de la conversation, et les réponses des outils connectés. Cela signifie qu’un test peut indiquer qu’aucun problème n’est survenu, sans pour autant garantir qu’aucun incident ne se produira à l’avenir. Par exemple, le modèle Claude Mythos 5 d’Anthropic a démontré cette variabilité en changeant de position éthique au cours d’une conversation, un comportement qu’un test classique ne pourrait pas détecter.
De plus, les systèmes d’IA évoluent rapidement. Un test annuel, conçu pour une architecture stable, ne correspond plus à la fréquence des mises à jour des modèles d’IA, qui peuvent survenir plusieurs fois par an. Les modifications apportées au système, telles que les changements de prompt ou l’ajout de nouveaux outils, ne déclenchent souvent pas de revues de sécurité, bien qu’elles affectent le comportement du système.
Tester un agent IA nécessite donc de le placer dans un environnement de production réel, ce qui n’a pas été le cas lors des incidents récents. Pour les responsables de la sécurité des systèmes d’information (RSSI) et les directeurs techniques (CTO), il est crucial de s’asr que les validations de sécurité explorent réellement le comportement des modèles, au-delà du code environnant.
En conclusion, la sécurité des systèmes d’IA nécessite une approche adaptée et continue, plutôt que des tests ponctuels basés sur des méthodes traditionnelles.
Source : Journal du Net
