Une étude américaine révèle que de courtes nouvelles produites par ChatGPT ont été jugées plus captivantes et de meilleure qualité que des textes humains. Mais cette préférence disparaît en partie dès que l’étiquette « écrit par une IA » apparaît.
Le texte est-il bon parce qu’il nous captive, ou parce que nous croyons qu’un être humain l’a écrit ? Une expérience menée par Sydney Sears et Deena Skolnick Weisberg, de l’université Villanova, montre que ces deux critères peuvent entrer en contradiction.
Dans leur étude, publiée dans la revue Judgment and Decision Making, les chercheuses constatent que des lecteurs évaluent plus favorablement de courtes nouvelles générées par que des textes humains comparables. Pourtant, les histoires présentées comme étant l’œuvre d’une personne sont elles aussi mieux notées — même lorsque cette information est fausse.
Autrement dit, le contenu produit par l’intelligence artificielle séduit davantage à la lecture, tandis que la signature humaine conserve une valeur symbolique.
Six histoires et une attribution parfois mensongère
Pour la première expérience, les chercheuses ont recruté 1 682 adultes américains par l’intermédiaire de la plateforme Prolific. Chaque participant a lu une nouvelle d’environ 1 000 mots. Trois textes provenaient d’auteurs humains et avaient déjà été publiés dans des revues ou des recueils littéraires. Trois autres avaient été générés par GPT-4. Chacun reprenait le thème et certains éléments narratifs de l’une des œuvres humaines, formant ainsi trois paires de textes comparables.
Avant la lecture, les participants étaient informés que leur histoire avait été écrite soit par une personne, soit par ChatGPT. Cette indication n’était toutefois exacte que dans la moitié des cas.
Les lecteurs devaient ensuite évaluer la qualité du texte et leur degré d’immersion : avaient-ils été absorbés par le récit ? S’étaient-ils représentés son univers ? Avaient-ils eu envie de poursuivre leur lecture ?
Les nouvelles générées par ChatGPT ont obtenu de meilleures évaluations que les textes humains : 1,42 contre 1,00 pour l’absorption, et 1,54 contre 0,97 pour la qualité perçue.
Mais l’étiquette influençait elle aussi le jugement. Quelle que soit l’origine réelle du texte, les histoires présentées comme humaines étaient jugées plus favorablement que celles attribuées à ChatGPT. L’effet était plus prononcé chez les participants ayant une opinion négative de l’intelligence artificielle.
Distinguer l’humain de la machine
Dans deux autres expériences réunissant 905 participants, chacun devait comparer une nouvelle humaine à une histoire générée par ChatGPT, puis identifier leur origine.
Lors du premier test, seuls 40 % des participants ont correctement identifié l’origine des deux histoires. Dans le second test, 52 % ont répondu correctement, un résultat trop proche de 50 % pour montrer une réelle capacité à faire la différence.
L’expertise littéraire autodéclarée ne les aidait pas davantage. Lire beaucoup de fiction, en écrire ou savoir l’analyser n’améliorait pas les résultats. Les personnes les plus familières des outils d’IA réussissaient en revanche légèrement mieux.
Ces résultats ne signifient donc pas que l’IA écrit « mieux » que les humains. L’étude ne portait que sur trois paires de nouvelles réalistes et relativement courtes, auprès d’un échantillon américain recruté en ligne. Les textes générés reprenaient en outre des thèmes et des éléments narratifs d’œuvres humaines existantes.
Reste que cette étude a le mérite de souligner deux points : dans cet échantillon, l’expertise littéraire autodéclarée n’a pas permis de mieux distinguer les textes humains des textes générés par IA, et l’accueil réservé à un texte dépend aussi de ce que l’on croit savoir de son auteur.
Source : Cambridge University Press
