Les personnes qui étaient plus sceptiques quant au changement climatique d’origine humaine ou au mouvement Black Lives Matter et qui ont participé à une conversation avec un chatbot IA populaire ont été déçues par l’expérience, mais étaient plus susceptibles d’abandonner la conversation en faveur du consensus scientifique sur le changement climatique. ou BLM. C’est ce que révèlent des chercheurs qui étudient la manière dont ces chatbots gèrent les interactions de personnes d’origines culturelles différentes.
Les personnes intelligentes peuvent s’adapter aux tendances politiques et aux attentes culturelles de ceux à qui elles s’adressent pour s’assurer qu’elles sont comprises. Mais de plus en plus souvent, les gens se retrouvent en conversation avec des programmes informatiques, appelés grands modèles de langage, conçus pour imiter la façon dont les gens communiquent.
Des chercheurs de l’Université du Wisconsin-Madison qui étudient l’IA voulaient comprendre comment un grand modèle de langage complexe, GPT-3, se comporte dans des discussions complexes au sein d’un groupe d’utilisateurs culturellement diversifié. Le modèle est un précurseur de celui qui alimente le très médiatisé ChatGPT. Les chercheurs ont recruté plus de 3 000 personnes pour utiliser GPT-3 afin de mener des conversations en temps réel sur le changement climatique et le BLM fin 2021 et début 2022.
“L’objectif fondamental d’une telle interaction entre deux personnes (ou agents) est d’améliorer la compréhension du point de vue de chacun”, explique Kaiping Chen, professeur de communication en sciences de la vie qui étudie la façon dont les gens discutent et discutent de la science, réfléchissent aux questions politiques connexes – souvent grâce au numérique. « Un bon modèle de langage étendu donnerait probablement aux utilisateurs la même compréhension. »
Chen et Yixuan « Sharon » Li, professeur d’informatique à l’UW-Madison qui étudie la sécurité et la fiabilité des systèmes d’IA, ont publié ce mois-ci avec leurs étudiants Anqi Shao et Jirayu Burapacheep (maintenant étudiant diplômé à l’Université de Stanford) leurs résultats dans le agenda Rapports scientifiques.
Les participants à l’étude ont été invités à engager une conversation avec GPT-3 à l’aide d’une configuration de chat développée par Burapacheep. Il a été demandé aux participants de parler au GPT-3 du changement climatique ou du BLM, mais ils devaient par ailleurs décider de la manière dont ils souhaitaient aborder l’expérience. La conversation moyenne durait environ huit tours.
La plupart des participants ont terminé leur conversation avec une satisfaction similaire.
« Nous leur avons posé une série de questions sur l’expérience utilisateur : est-ce que vous l’aimez ? Le recommanderiez-vous ? » dit Chen. « Il n’y a pas de différences majeures dans leurs notes en fonction du sexe, de la race et de l’origine ethnique. Nous avons constaté de grandes différences d’opinions sur des sujets controversés et sur différents niveaux d’éducation.
Les quelque 25 % des participants qui ont signalé le plus faible accord avec le consensus scientifique sur le changement climatique ou le plus faible accord avec BLM étaient beaucoup moins satisfaits de leurs interactions GPT-3 par rapport aux 75 % restants. Ils ont évalué le robot avec un demi-point ou plus inférieur sur une échelle de 5 points.
Malgré les scores inférieurs, le chat a changé leur opinion sur les sujets d’actualité. Les centaines de personnes qui étaient les moins favorables aux réalités du changement climatique et à ses causes d’origine humaine étaient globalement 6 % plus proches de l’extrémité favorable de l’échelle.
“Ils ont montré dans leurs enquêtes post-chat qu’ils avaient constaté des changements d’attitude positifs plus importants après leur conversation avec GPT-3”, explique Chen. «Je ne veux pas dire qu’ils ont commencé à reconnaître pleinement le changement climatique d’origine humaine ou qu’ils soutiennent soudainement Black Lives Matter, mais lorsque nous avons répété nos questions d’enquête sur ces questions après leurs très brèves conversations, il y a eu un changement notable : un plus attitude positive contre « les opinions majoritaires sur le changement climatique ou BLM ».
Le GPT-3 a proposé différents styles de réponse entre les deux sujets, notamment une justification plus solide du changement climatique d’origine humaine.
“C’était intéressant. Les personnes qui ont exprimé une certaine opposition au changement climatique ont probablement dit au GPT-3 qu’elles avaient tort et ont fourni des preuves à l’appui », explique Chen. « La réponse de GPT-3 aux personnes qui disaient qu’elles ne soutenaient pas pleinement BLM était plutôt du genre : « Je ne pense pas que ce serait une bonne idée d’en parler. » Même si j’aimerais vous aider, c’est une chose. Nous ne sommes vraiment pas d’accord là-dessus.
Ce n’est pas une mauvaise chose, dit Chen. La justice et la compréhension se présentent sous différentes formes pour combler différentes lacunes. En fin de compte, c’est leur espoir pour la recherche sur les chatbots. Les prochaines étapes consistent à explorer les différences plus fines entre les utilisateurs du chatbot, mais l’objectif de Chen est d’établir un dialogue efficace entre les personnes communes.
« Nous ne voulons pas toujours rendre les utilisateurs heureux. Nous voulions qu’ils apprennent quelque chose, même si cela ne changerait pas leur attitude », explique Chen. “Ce que nous pouvons apprendre d’une interaction avec un chatbot sur l’importance de comprendre les perspectives, les valeurs et les cultures est important pour comprendre comment nous pouvons ouvrir le dialogue entre les gens – le type de dialogues qui sont importants pour la société.”