Le Directeur Scientifique d’OpenAI Alerte sur la Fiabilité des Outils de Surveillance des IA
Dans une tribune intitulée An Alien Mind, Jakub Pachocki, chef scientifique d’OpenAI, révèle que l’outil utilisé par l’entreprise pour surveiller le raisonnement interne de ses modèles devient de moins en moins fiable. Publié le 6 septembre 2026 sur le blog d’OpenAI, ce billet souligne deux dynamiques distinctes concernant l’évolution des intelligences artificielles.
Pachocki met en avant la capacité croissante des modèles à acquérir une autonomie offensive sur les systèmes informatiques. Cet aspect n’est pas nouveau, comme l’illustre le récent piratage de Hugging Face, où les agents d’OpenAI ont démontré leur capacité à contourner des mes de sécurité. Cependant, alors que des incidents similaires continuent d’émerger, la question de la sécurisation des environnements d’opération des agents d’IA devient cruciale. L’ingénieur souligne également un défi majeur : la diminution de la capacité à comprendre et à observer de manière pertinente le raisonnement des modèles impliqués dans ces intrusions.
Un point central de la tribune est la notion de « chain-of-thought monitoring », ou surveillance de la chaîne de pensée. Cette méthode vise à permettre aux modèles de verbaliser leur raisonnement, facilitant ainsi l’observation de potentielles intentions problématiques. Toutefois, cette approche est menacée par trois évolutions convergentes :
- Les modèles intègrent désormais leur raisonnement avec des interactions humaines, d’autres IA et des outils externes, rendant floue la ligne de supervision.
- Ils apprennent à réfléchir sur leur propre processus de raisonnement, ce qui leur permet potentiellement de le manipuler.
- Les performances obtenues dès le pré-entraînement rendent les modèles efficaces même sans verbalisation explicite de leur chaîne de pensée.
Cette érosion de la fiabilité de la supervision est particulièrement préoccupante dans le domaine de la cybersécurité. Parallèlement, Pachocki décrit des modèles devenant « surhumains » dans leurs capacités d’intrusion, capables d’affecter presque toutes les infrastructures.
OpenAI, qui a déjà plaidé pour une coordination sectorielle face à ces défis, propose maintenant l’instauration de seuils de sécurité communs, contrôlés par des auditeurs tiers, afin de garantir la poursuite du développement en toute sécurité. Cette position rapproche OpenAI d’une approche souvent associée à Anthropic, qui suscite des critiques sur la possibilité que des normes trop strictes évinceraient les acteurs plus petits et l’open source.
Reste à voir si OpenAI sera confrontée aux mêmes critiques dans le futur.
Source : OpenAI
