Étude : Les histoires générées par ChatGPT obtiennent de meilleures notes auprès des lecteurs que celles écrites par des humains

Les nouvelles écrites par ChatGPT ont été jugées, en moyenne, plus immersives et de meilleure qualité par les lecteurs que celles rédigées par des auteurs humains. Selon une compilation d'Euronews Türkçe, les travaux des chercheurs de l'Université Villanova aux États-Unis ont été publiés dans la revue académique *Judgment and Decision Making*.

L'une des conclusions marquantes de l'étude est la difficulté des participants à identifier la source des textes. Lors des expériences, de nombreux participants n'ont pas réussi à déterminer de manière fiable quelle histoire avait été écrite par une intelligence artificielle.

QU'A-T-ON ANALYSÉ LORS DES EXPÉRIENCES ?

Dans la première expérience, 1 682 volontaires adultes ont lu l'une des six nouvelles proposées. Trois de ces histoires ont été écrites par des humains et trois par ChatGPT. Chaque texte produit par l'intelligence artificielle traitait du même thème que l'une des histoires écrites par des auteurs humains.

Les chercheurs ont indiqué aux participants si l'histoire qu'ils lisaient avait été écrite par un humain ou par une intelligence artificielle ; cependant, cette information n'était pas toujours exacte. Certains participants ont reçu délibérément de fausses informations. Ensuite, il a été demandé aux lecteurs d'évaluer le texte en termes d'immersion, d'intérêt et de qualité.

Selon les résultats, les histoires écrites par ChatGPT ont surpassé les textes des auteurs humains en termes de notes moyennes. Par ailleurs, il a été noté que les participants avaient tendance à attribuer une meilleure note à un texte lorsqu'on leur disait qu'il avait été écrit par un humain.

L'étude a également souligné que les attitudes personnelles envers l'intelligence artificielle pouvaient influencer l'évaluation. Les participants ayant une opinion plus positive de l'intelligence artificielle ont eu tendance à donner des notes plus élevées aux histoires présentées comme étant écrites par ChatGPT.

Les chercheurs ont ensuite mené deux expériences supplémentaires avec 905 personnes. À ce stade, deux histoires traitant du même thème ont été présentées aux participants : l'une écrite par un humain, l'autre par ChatGPT. Il a été demandé aux participants de deviner laquelle des deux appartenait à l'intelligence artificielle.

Lors de la première expérience supplémentaire, le taux de prédiction correcte est resté à 40 %. Dans la seconde expérience, ce taux a été mesuré à 52 %. Les chercheurs ont déclaré que ces résultats montraient que les humains ne pouvaient généralement pas distinguer de manière fiable les histoires écrites par une intelligence artificielle de celles écrites par des humains.

L'étude a également indiqué que l'auto-évaluation des participants concernant la littérature de fiction n'était pas liée au succès de leurs prédictions, tandis que ceux qui affirmaient avoir plus de connaissances sur les systèmes d'intelligence artificielle étaient plus aptes à identifier correctement les textes de ChatGPT.