Aidé par GPT-5, puis livré à lui-même : un essai randomisé me le coût d’apprentissage de l’assistance IA
Une étude récente publiée sur arXiv a exploré l’impact de l’assistance par intelligence artificielle sur l’apprentissage autonome. Les résultats indiquent que s’entraîner avec un assistant IA, comme GPT-5, peut réduire la persévérance et dégrader la performance autonome, même sur des tâches basiques telles que le calcul de fractions. Cette recherche, menée par Grace Liu (Carnegie Mellon) et ses collègues de plusieurs institutions, met en lumière des effets potentiellement préoccupants de l’assistance IA sur l’apprentissage.
Les chercheurs ont recruté 1 222 participants répartis aléatoirement sur trois expériences. Dans l’expérience principale, les participants ont travaillé sur 12 problèmes de fractions, avec ou sans l’aide d’un assistant IA. Ils ont ensuite passé un test final de 3 problèmes sans assistance, avec la possibilité d’abandonner à tout moment. Une réplication de l’étude, impliquant 667 participants, a durci le protocole avec un prétest, tandis qu’une troisième expérience a appliqué le même protocole à la compréhension de texte.
Les résultats révèlent des différences significatives. Dans l’expérience principale, le groupe ayant bénéficié de l’assistance IA a réussi 57 % des problèmes, contre 73 % pour le groupe sans assistance. Par ailleurs, le taux d’abandon a presque doublé, passant de 11 % à 20 %. La réplication a confirmé cet effet, avec des résultats de 71 % contre 77 % et des performances en compréhension de texte de 76 % contre 89 %, accompagnées d’un taux d’abandon huit fois plus élevé. Ces résultats suggèrent que l’assistance IA ne se contente pas de déplacer la compétence vers l’outil, mais qu’elle altère aussi la motivation à l’effort.
L’étude, bien que rigoureuse dans son approche, présente des limites notables. Elle est encore à l’état de preprint et n’a pas été validée par les pairs. De plus, les tâches examinées sont limitées à des problèmes de fractions et des textes courts, et les résultats sont basés sur un seul modèle d’IA. L’effet observé s’atténue également dans les répétitions avec des protocoles plus stricts.
Les implications de ces résultats sont significatives. Dans le domaine éducatif, ils soulignent un risque que les outils d’assistance améliorent la performance immédiate tout en diminuant la capacité à travailler de manière autonome. En entreprise, cela pourrait signifier que la performance assistée ne reflète pas nécessairement la compétence réelle des équipes. Pour les concepteurs d’assistants IA, ces résultats plaident en faveur d’un design qui inclut des frictions délibérées et des modes d’entraînement où l’IA guide sans résoudre entièrement les problèmes.
Cette étude soulève ainsi des questions cruciales sur l’utilisation des technologies d’assistance dans l’apprentissage et le travail, invitant à réfléchir sur ce qui reste lorsque l’assistance disparaît.
Source : arXiv
