L’IA devient plus complexe à surveiller avec l’émergence de la « chaîne de pensée »

Elle rend l'IA plus intelligente, mais devient de plus en plus difficile à surveiller : c'est quoi la « chaîne de pensée » ?

Elle rend l’IA plus intelligente, mais devient de plus en plus difficile à surveiller : c’est quoi la « chaîne de pensée » ?

De sa formalisation par des chercheurs de Google en 2022 à son intégration native dans les modèles d’OpenAI, la chaîne de pensée (chain-of-thought ou CoT) a changé la manière dont l’IA raisonne. Mais cette fenêtre ouverte sur son fonctionnement interne pourrait bientôt se refermer.

Le 6 septembre 2026, dans un article de blog intitulé An Alien Mind (« un esprit alien »), Jakub Pachocki, chef scientifique d’OpenAI, revient sur les dernières années de développement de l’IA. Il y raconte notamment comment, en 2023, son équipe a obtenu des résultats suffisamment encourageants pour envisager de développer massivement l’apprentissage par renforcement appliqué à l’entraînement des modèles.

Cette avancée ouvrait une nouvelle voie : au lieu d’enseigner à l’IA comment raisonner étape par étape, cette méthode lui permet d’apprendre à le faire elle-même, par essais successifs, en étant récompensée lorsqu’elle trouve la bonne réponse.

Trois ans plus tard, les modèles de raisonnement pèsent de plus en plus lourd dans l’économie et repoussent désormais les limites de la recherche scientifique.

Un point essentiel de cette méthode est le chain-of-thought, souvent abrégé en CoT, qui permet à l’apprentissage par renforcement de fonctionner sur des tâches de raisonnement.

Le concept de chaîne de pensée ne vient pas de Jakub Pachocki, ni d’OpenAI. Il a été formalisé en 2022 par des chercheurs de Google, qui cherchaient à comprendre comment la génération d’une chaîne de pensée améliore significativement la capacité des grands modèles de langage à effectuer des raisonnements complexes.

Jusqu’alors, un grand modèle de langage fonctionnait principalement comme un système prédisant le mot suivant le plus probable. Cette approche perdait en efficacité sur des problèmes nécessitant plusieurs étapes de raisonnement. Le chain of thought consiste à forcer le modèle à dérouler son raisonnement étape par étape, en langage naturel, avant de produire sa réponse finale.

Dans leur travail de recherche, les chercheurs de Google ont prouvé qu’il suffisait de fournir à un grand modèle quelques exemples de raisonnements détaillés dans son prompt pour améliorer ses performances sur des tâches de logique, d’arithmétique ou de sens commun.

Dans un premier temps, le CoT repose sur une incitation via le prompt, qui pousse le modèle à simuler un raisonnement. Mais en septembre 2024, le lancement d’o1 par OpenAI a changé la donne. Pour la première fois, un modèle a été entraîné par apprentissage par renforcement à produire lui-même de longues chaînes de raisonnement avant de répondre, sans qu’on ait besoin de le lui demander.

OpenAI a alors choisi de cacher cette chaîne de pensée brute aux utilisateurs, pour la protéger de toute pression de supervision externe. Cependant, en juillet 2025, le chain of thought est devenu un enjeu de sécurité à part entière. Des chercheurs de l’industrie, incluant OpenAI, ont publié un article formalisant l’idée que, parce que les modèles de raisonnement « pensent » en langage humain, il est possible de lire leurs chaînes de pensée pour détecter une intention de mal agir avant que l’action ne soit commise.

Ce document a posé les bases de ce qu’on appelle la « surveillance du chain of thought » : des systèmes automatisés qui lisent en continu le raisonnement des modèles pour repérer des signaux de triche, de manipulation ou de contournement des règles.

Concrètement, ce sont les équipes de sécurité et d’alignement internes aux laboratoires qui exploitent ces traces au quotidien, complétées par des auditeurs externes, mandatés pour évaluer si un modèle « triche » sur des tests ou dissimule ses véritables intentions.

Cependant, Jakub Pachocki explique que cette fenêtre de surveillance se referme à me que l’IA agentique, ces systèmes capables d’agir de façon autonome sur plusieurs étapes, devient la norme. Il identifie trois raisons à cette dégradation. Premièrement, les modèles opèrent dans des environnements plus complexes, brouillant la frontière entre ce qui peut être supervisé sans risque et ce qui ne le peut pas. Deuxièmement, les modèles deviennent meilleurs pour raisonner sur leur propre processus de raisonnement, ce qui les rend potentiellement manipulables. Enfin, une partie croissante de leur intelligence s’exprime sans passer par un raisonnement verbalisé, échappant ainsi à toute lecture.

Dans son papier, Pachocki affirme qu’aucun laboratoire n’a résolu l’alignement et la surveillance à un niveau suffisant pour continuer à avancer indéfiniment en toute responsabilité. Il appelle à des ralentissements volontaires et à une coordination internationale sur le développement futur de l’IA.

OpenAI expérimente également une méthode complémentaire, baptisée « confessions », où après avoir répondu à l’utilisateur, le modèle produit une seconde réponse pour revenir sur sa propre copie. Ce mécanisme de contrôle interne pourrait être plus difficile à berner que la réponse principale.

Source : Numerama

Source

Comments

No comments yet. Why don’t you start the discussion?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *