Depuis son lancement au public en novembre 2022, il y a eu une augmentation significative de l’utilisation de ChatGPT, un système d’intelligence artificielle qui crée des histoires écrites, des graphiques, des œuvres d’art et bien plus encore avec juste une brève invite de l’utilisateur. Mais l’outil pourrait-il être utile lorsqu’il s’agit de recherches scientifiques évaluées par des pairs ?
“À l’heure actuelle, de nombreuses revues ne veulent pas que les gens utilisent ChatGPT pour rédiger leurs articles, mais beaucoup de gens essaient encore”, a déclaré Melissa Kacena, PhD, directrice associée de la recherche et professeur de chirurgie orthopédique à l’Indiana University School. de Médecine. “Nous voulions déterminer si ChatGPT est capable d’écrire un article scientifique et les différentes manières de l’utiliser avec succès.”
Les chercheurs ont pris trois sujets différents – les fractures et le système nerveux, la maladie d’Alzheimer et la santé des os, et le COVID-19 et la santé des os – et ont demandé à la version d’abonnement de ChatGPT (20 $/mois) de produire des articles scientifiques à leur sujet. Pour la version originale des articles, les chercheurs ont choisi trois approches différentes : entièrement humaine, entièrement ChatGPT ou une combinaison. L’étude est publiée sous la forme d’une compilation de 12 articles dans un nouveau numéro spécial de Rapports actuels sur l’ostéoporose.
“La méthode standard pour rédiger un article de synthèse consiste à effectuer une revue de la littérature, à rédiger un plan, à commencer à rédiger, puis à demander aux membres du corps professoral de réviser et de modifier le brouillon”, a déclaré Kacena. “Nous avons collecté des données sur le temps nécessaire à cette méthode humaine et sur le temps nécessaire à ChatGPT pour rédiger, puis aux professeurs pour éditer les différents articles.”
Dans les articles rédigés exclusivement par ChatGPT, jusqu’à 70 % des références étaient incorrectes. Cependant, en utilisant une approche basée sur l’IA avec une plus grande implication humaine, ils ont constaté davantage de plagiat, en particulier lorsque l’outil avait reçu plus de références au préalable. Dans l’ensemble, l’utilisation de l’IA a réduit le temps passé à rédiger l’article, mais a nécessité une vérification des faits plus approfondie.
Un autre problème concerne le style d’écriture utilisé par ChatGPT. Bien que l’outil ait été incité à utiliser un niveau de rédaction académique plus élevé, les mots et les phrases n’étaient pas nécessairement rédigés au niveau que l’on pourrait attendre d’un chercheur.
“C’était une écriture répétitive, et même si elle était structurée de la même manière qu’on apprend à écrire à l’école, c’était effrayant de savoir qu’il pouvait y avoir des références erronées ou de la désinformation”, a déclaré Lilian Plotkin, PhD, professeur d’anatomie, de biologie cellulaire et de physiologie à l’Université de Pennsylvanie à l’IU School of Medicine et co-auteur de cinq des articles.
Jill Fehrenbacher, PhD, professeure agrégée de pharmacologie et de toxicologie à l’école et co-auteur de neuf des articles, a déclaré qu’elle pense que même si de nombreuses revues scientifiques ne veulent pas que les auteurs utilisent ChatGPT, de nombreuses personnes le font encore – en particulier les non-natifs. Anglophones.
« Les gens peuvent toujours tout écrire eux-mêmes, mais ensuite l’ajouter à ChatGPT pour améliorer leur grammaire ou les aider à écrire. “Je pense donc que nous devons réfléchir à la manière d’aider les gens à l’utiliser correctement et même de les aider ?”, a déclaré Fehrenbacher. “Nous espérons fournir un guide à la communauté scientifique afin que les personnes souhaitant l’utiliser puissent trouver ici quelques astuces et conseils.”
“Je pense que c’est là pour rester, mais nous devons comprendre comment l’utiliser de manière appropriée sans mettre en péril la réputation de quelqu’un ni diffuser de fausses informations”, a déclaré Kacena.
Les participants comprenaient des professeurs et des étudiants de plusieurs départements et centres de l’École de médecine IU, y compris la chirurgie orthopédique ; anatomie, biologie cellulaire et physiologie ; pharmacologie et toxicologie; sciences de la radiologie et de l’imagerie; Anesthésie; l’Institut de recherche en neurosciences Stark ; le Centre de l’Indiana pour la santé musculo-squelettique ; et l’École de médecine dentaire IU. Les auteurs sont également affiliés au Richard L. Roudebush Veterans Affairs Medical Center à Indianapolis, à la Eastern Virginia Medical School à Norfolk, en Virginie, et au Mount Holyoke College à South Hadley, Massachusetts.