Les agents IA pas encore prêts à remplacer les humains dans la recherche comportementale
Remplacer les sujets humains par des substituts IA, ou jumeaux numériques, figure sur la liste de souhaits de certains scientifiques sociaux. Les sujets humains sont coûteux, se fatiguent facilement et peuvent souffrir de détresses psychologiques lors de certaines études. Cependant, une étude publiée le 2 septembre dans Science Advances suggère que ces souhaits pourraient prendre plus de temps à se réaliser. Les jumeaux IA conçus pour imiter le comportement d’un individu donné semblent plutôt déformer les opinions de leur substitut, créant un effet de « miroir déformant », notent les chercheurs.
« Il y a un certain potentiel », déclare Olivier Toubia, scientifique social computationnel à la Columbia Business School à New York. « Mais la performance des jumeaux était globalement un peu décevante. »
Dans un travail rapporté l’année dernière dans Marketing Science, Toubia et ses collègues ont recruté plus de 2 000 individus à travers les États-Unis. Ces répondants ont répondu à plus de 500 questions sur des caractéristiques telles que l’âge, l’ethnicité, le revenu, l’éducation, les pratiques religieuses, les préférences politiques, les traits de personnalité, les habitudes de consommation, les capacités mathématiques et les compétences en vocabulaire. Beaucoup de ces questions proviennent d’échelles couramment utilisées en psychologie, en économie et en recherche commerciale. Les répondants ont également complété divers tests en ligne conçus pour évaluer les schémas de pensée et les biais.
Pour développer les jumeaux dans l’étude récemment publiée, les chercheurs ont alimenté toutes les informations de chaque individu dans un grand modèle de langage et ont invité le modèle à répondre comme s’il s’agissait de cette personne. À travers 19 expériences en sciences sociales, l’équipe a évalué comment les individus et leurs jumeaux réagissent aux dons faits à des candidats des partis républicain et démocrate, ainsi que ce qu’ils pensent de l’embauche algorithmique.
Les résultats montrent que ces jumeaux numériques ont mieux performé que le hasard, mais ont été incorrects en moyenne un quart du temps. Leur performance était comparable à celle de chatbots ayant uniquement reçu des informations démographiques.
Cependant, les jumeaux numériques ont mieux capturé la variation réelle dans les réponses des personnes par rapport aux modèles de langage qui ne connaissaient que des informations démographiques. Par exemple, une personne peut se noter 2 sur une échelle de contrôle de soi tandis qu’une autre se note 4. Un modèle de langage avec des informations limitées pourrait rapporter 3 pour chaque personne, effaçant toute différence. En revanche, le jumeau numérique pourrait rapporter 3 et 5, offrant une meilleure perception des différences potentielles au sein du groupe.
Les chercheurs attribuent la mauvaise performance globale des jumeaux numériques à plusieurs distorsions clés : les réponses des jumeaux avaient tendance à être plus homogènes que celles des individus et souvent biaisées par des stéréotypes démographiques. Leur précision augmentait avec des participants plus riches et plus éduqués. Ils affichaient également certains biais, comme une plus grande confiance envers les autres et moins d’inquiétude concernant les menaces technologiques. Comparés à leurs homologues humains, les jumeaux semblaient aussi plus rationnels.
Hadi Hosseini, chercheur en IA et économiste à l’Université d’État de Pennsylvanie, a observé un effet similaire dans ses propres recherches sur la prise de décision des agents IA dans le domaine de la santé lorsque les ressources sont rares. « Les modèles de langage déforment le jugement humain dans une direction très spécifique, vers quelque chose de très rationnel et plus raisonnable que ce que les gens sont réellement », précise-t-il.
Il souligne cependant qu’il existe des moyens d’améliorer les jumeaux numériques. Les chercheurs ont utilisé un ensemble de questions très statique. Ajouter des approches plus dynamiques, comme faire en sorte qu’un chatbot suive un individu tout au long de la journée ou converse régulièrement avec une personne, pourrait améliorer la qualité des données, selon lui.
Toubia souhaite essayer des méthodes d’entraînement plus complexes. Néanmoins, il estime qu’il existe des cas où même des jumeaux numériques du type testé dans cette étude pourraient être utiles. Par exemple, les chercheurs peuvent parfois avoir besoin d’une réponse détaillée à une question. Des humains fatigués pourraient fournir des réponses d’une phrase tandis que des jumeaux numériques infatigables produiraient des essais. De même, prétester une expérience avec des jumeaux numériques pourrait aider les chercheurs à s’asr que leur conception fonctionne avant de solliciter la bande passante limitée de leurs répondants humains.
Toubia appelle également à faire preuve d’humilité. Les scientifiques sociaux ont tendance à penser que les échelles et les enquêtes capturent toute la gamme de l’expérience humaine. Cependant, il est incroyablement difficile de prédire le comportement humain avec une machine. « Nous devons être réalistes quant aux attentes que nous avons vis-à-vis des données synthétiques », conclut-il.
Source : Science Advances
