72 linguistes démunis face à ChatGPT
Une expérience montée par deux chercheurs américains a montré que des experts en langage avaient du mal à identifier des textes écrits par une IA. Ces linguistes ont donné moins de 39% de bonnes réponses.
Si ChatGPT épate régulièrement ses utilisateurs par son aisance en langage naturel, qui mieux que des linguistes pour en juger ? Deux professeurs associés en linguistique des universités de Floride du Sud et de Memphis, aux Etats-Unis, ont fait l’expérience de confronter 72 experts à quatre extraits d’articles académiques pour leur demander de dire lesquels avaient été écrits par des auteurs humains et lesquels par le chatbot d’OpenAI.
Ce travail est paru dans la revue Research Methods in Applied Linguistics et le bilan est loin d’être brillant : si, parmi les linguistes sollicités, certains ont été capables d’identifier des textes générés par IA, aucun n’a réussi à juger correctement les quatre extraits qui leur étaient soumis. Leurs performances globales sont même assez médiocres : moins de 39% de bonnes réponses pour l’ensemble des participants. Pire : 12,5% d’entre eux se sont trompés sur l’origine des quatre extraits d’articles !
Des textes générés par IA à partir de vrais articles
L’équipe avait à disposition huit extraits d’articles. Quatre ont été réellement écrits par des chercheurs et publiés en 2021 ou 2022 dans deux revues à comité de lecture de linguistique appliquée. Les quatre autres ont été générés par ChatGPT à partir des articles complets d’où proviennent les extraits cités plus hauts. Pour chaque article les différentes parties (introduction, revue de la littérature, méthode, résultats, discussion) ont été clairement identifiées pour demander explicitement à l’agent conversationnel de résumer chacune d’elles. A partir de quoi, ChatGPT a créé son texte scientifique. Aucun des huit extraits n’a ensuite été retouché par l’équipe de recherche, mais les noms des auteurs ont été retirés.
Les textes ont été soumis aux linguistes de manière aléatoire "si ce n’est que nous avons fait en sorte qu’aucun d’entre eux ne reçoivent qu[...]
Lire la suite sur sciencesetavenir.fr
