De nos jours, ce ne sont pas seulement les médecins et les infirmières qui assurent le bon fonctionnement d’un hôpital, mais aussi les programmes informatiques. Les data scientists ont développé de nombreux algorithmes intelligents pour identifier les patients à risque de complications, détecter les erreurs dans les dossiers médicaux ou les ordonnances, accélérer la paperasse et la facturation, et même diagnostiquer les patients.
Alors que les nouveaux médecins prêtent généralement une version du serment d’Hippocrate lorsqu’ils obtiennent leur diplôme de médecine, s’engageant à respecter les normes éthiques dans le traitement de leurs patients, les programmeurs qui développent l’IA pour le secteur de la santé reçoivent rarement une formation formelle en éthique. Mildred ChoPhD, professeur de pédiatrie et directeur adjoint du Centre d’éthique biomédicale de StanfordIl essaie de changer cela.
« Souvent, les développeurs ne viennent pas d’une formation médicale et n’ont pas passé des années à réfléchir à ce cadre moral – à la façon dont des choses comme le respect, la justice et les principes personnels s’étendent à la médecine », a déclaré Cho. « Mais alors que nous constatons que les programmes d’intelligence artificielle sont de plus en plus utilisés en médecine, il est important que les développeurs réfléchissent aux implications éthiques de leur travail dans le monde réel. »
Au cours des cinq dernières années, Cho a interviewé des dizaines de programmeurs travaillant dans différents environnements, tous développant des programmes d’apprentissage automatique pour les soins de santé. Grâce à l’apprentissage automatique, les développeurs saisissent les données existantes des patients dans un ordinateur qui reconnaît des modèles qui peuvent ne pas être évidents pour une personne. Ces modèles peuvent ensuite être utilisés par l’algorithme d’apprentissage automatique pour analyser de nouvelles données extérieures à l’ensemble d’origine. Les algorithmes d’apprentissage automatique peuvent être utilisés pour identifier les patients présentant un risque de complications dangereuses telles que la malnutrition, les chutes ou les infections et les signaler pour une attention ou des traitements supplémentaires.
« Presque tout ce à quoi vous pouvez penser en médecine est actuellement abordé grâce à l’apprentissage automatique, car une grande partie de la médecine repose sur la reconnaissance de formes », a déclaré Cho.
Mais les algorithmes d’intelligence artificielle présentent également des dangers : ils peuvent mal diagnostiquer les patients, ne pas identifier les personnes présentant un risque de complications ou révéler des informations privées.
L’IA peut également renforcer les préjugés existants dans le système de santé : si les médecins sont moins susceptibles de diagnostiquer une maladie particulière chez les femmes ou les minorités, les plateformes d’apprentissage automatique supposent que les personnes appartenant à ces groupes sont moins susceptibles de développer la maladie, perpétuant ainsi les préjugés. Par exemple, des scientifiques du Duke University Hospital ont développé un programme d’IA pour identifier les enfants à risque de sepsie, une réaction dangereuse à l’infection. Cependant, le programme a mis plus de temps à étiqueter les enfants latinos que les enfants blancs, ce qui a potentiellement retardé l’identification et le traitement des enfants latinos atteints de sepsis. Il s’est avéré que ce biais existait parce que les médecins eux-mêmes mettaient plus de temps à diagnostiquer la septicémie chez les enfants latino-américains. De là, le programme AI a appris que ces enfants peuvent développer une septicémie plus lentement ou moins souvent que les enfants blancs.
« Ce qui manque vraiment à l’IA à l’heure actuelle, ce sont des normes pour évaluer la qualité des données », a déclaré Cho. « Que signifie disposer d’un outil d’IA sûr et efficace dans le domaine de la santé ?
Lorsque Cho a interviewé des développeurs, elle a été surprise de voir combien d’entre eux reconnaissaient les pièges potentiels de leurs produits. Elle soupçonnait qu’ils n’étaient peut-être pas conscients de tous les risques et préjugés.
« Même si la plupart des développeurs n’avaient aucune formation en recherche médicale, ils étaient en fait capables d’identifier toute une série de dommages potentiels pouvant découler de leur travail », a-t-elle déclaré. «Ils réfléchissaient à un niveau bien plus vaste que je ne le pensais.»
Mais lorsqu’on leur demande ce qu’ils devraient faire face à ces inconvénients potentiels, les développeurs ont tendance à se renvoyer la balle. Ils ont déclaré que quelqu’un d’autre – leurs patrons, leurs entreprises, les systèmes de santé qui utilisent leurs produits ou les médecins eux-mêmes – devrait veiller à ce que les programmes d’IA soient utilisés de manière éthique et responsable.
« L’expression que j’entendais le plus souvent était « en fin de compte » », se souvient Cho. « Ils ont haussé les épaules et ont dit des choses comme : ‘En fin de compte, c’est une entreprise’ ou : ‘En fin de compte, je ne suis qu’un data scientist de bas niveau et ce n’est pas mon problème.’ ‘ « »
Cho n’est pas d’accord. Elle souhaite enseigner aux développeurs d’IA que les petites décisions qu’ils prennent lors de la programmation peuvent avoir un impact énorme sur les soins aux patients. Ainsi, en 2022, il a lancé un programme pilote proposant des séances de formation de groupe de deux heures sur l’éthique aux programmeurs d’IA. À chaque séance, elle a demandé aux développeurs de commencer à réfléchir à ce dont ils auraient besoin pour développer un algorithme d’apprentissage automatique permettant de prédire le risque de diabète.
Tout d’abord, elle leur a dit qu’ils développaient un outil de recherche et leur a demandé ce qu’ils devaient prendre en compte lors de sa création. Leur liste, a-t-elle déclaré, était essentiellement technique : ils avaient besoin de données sur les patients de haute qualité et de bons modèles existants sur les facteurs de santé et démographiques qui influencent le diabète. Cho leur a ensuite demandé de répéter l’exercice, mais en supposant que leur programme serait utilisé dans un grand système de santé et pas seulement à des fins de recherche. À ce stade, a-t-elle déclaré, les développeurs ont commencé à parler aux cliniciens et à imaginer comment les médecins et les infirmières pourraient mettre en œuvre l’IA dans leurs cabinets. De telles considérations, a expliqué Cho, pourraient à terme changer la façon dont l’IA est conçue en premier lieu.
Enfin, Cho et ses collègues ont demandé aux développeurs d’imaginer développer l’outil de dépistage du diabète par l’IA non seulement pour n’importe quel système de santé, mais pour leur propre système de santé. Soudainement, les développeurs ont commencé à parler du point de vue du patient sur l’algorithme, en discutant de sujets tels que le maintien de la vie privée des patients et le maintien de soins de santé de haute qualité.
« Ils ont en fait complètement changé leur point de vue et ont envisagé des aspects complètement nouveaux du projet », a déclaré Cho.
Elle espère que les développeurs qui se soumettront à cet exercice pourront appliquer les enseignements tirés à leur travail et se mettre à la place des médecins et des patients lorsqu’ils développeront des programmes d’IA dans le domaine de la santé.
«Je veux que les développeurs commencent à réfléchir à leurs propres responsabilités éthiques, à anticiper les dommages que leurs programmes pourraient causer et à intégrer ces idées dans les phases de conception de leur travail», a-t-elle déclaré.
Jusqu’à présent, Cho a testé la formation avec cinq groupes de quatre développeurs chacun. À un moment donné, elle aimerait l’essayer dans un environnement de travail où les développeurs font l’exercice avec un véritable logiciel d’IA qu’ils programment, plutôt qu’avec un hypothétique outil de prédiction du diabète.
Peter Washington, professeur adjoint d’information et d’informatique à l’Université d’Hawaï, a participé au programme pilote de Cho en tant qu’étudiant diplômé à l’Université de Stanford. Washington a développé des programmes d’apprentissage automatique pour détecter l’autisme et a travaillé comme stagiaire chez Google, Amazon et Microsoft Research. Aujourd’hui, il dirige un laboratoire de recherche en santé numérique à Hawaï qui développe divers modèles d’apprentissage automatique pour le diagnostic et le suivi des maladies. Il a déclaré que des programmes comme celui de Cho, qui encouragent les développeurs à réfléchir aux applications de leur travail, peuvent contribuer à améliorer la confidentialité et l’équité de l’IA. Il intègre désormais les leçons d’éthique qu’il a apprises en interagissant avec Cho et d’autres membres du Stanford Center for Biomedical Ethics dans les cours d’informatique qu’il enseigne.
« L’éthique n’est généralement pas enseignée dans les programmes d’informatique, et lorsqu’elle l’est, il s’agit d’un cours facultatif plutôt que obligatoire », a déclaré Washington. « Mais je pense qu’il est vraiment important que les développeurs comprennent les problèmes socio-techniques clés, tels que les compromis inhérents qui existent entre des éléments comme la confidentialité et la précision. »
En d’autres termes, plus un programme d’IA a accès aux données des patients, plus elles ont de chances d’être précises, mais plus elles risquent de porter atteinte à la vie privée. Il a déclaré qu’il était particulièrement important que les développeurs réfléchissent attentivement aux données qu’ils utilisent pour former leurs programmes d’apprentissage automatique. Par exemple, un programme qui a appris des modèles de patients à prédominance blanche peut ne pas fonctionner aussi bien pour les patients noirs ou latinos. Un programme formé sur les données d’un petit hôpital rural peut ne pas être en mesure de tirer des conclusions précises lorsqu’il est utilisé dans un grand hôpital urbain.
Même s’ils n’ont pas le contrôle ultime sur le moment et la manière dont leurs produits sont utilisés, les développeurs d’IA peuvent apporter des changements qui contribueront grandement à résoudre ces défis, a déclaré Washington. Par exemple, les mesures d’équité (chiffres qui montrent les biais potentiels au sein d’un modèle d’IA) peuvent ajouter de la transparence à un programme d’IA et aider les utilisateurs à comprendre comment le modèle peut fonctionner différemment dans différents contextes et pour différents groupes de patients.
« Vous pouvez écrire quelques lignes de code rapides qui calculent des mesures d’équité qui révèlent des biais potentiels dans le modèle », a-t-il expliqué. « C’est incroyablement facile à mettre en œuvre lorsque les données démographiques sont disponibles, mais très peu de groupes l’adoptent comme pratique standard. »
En fin de compte, les entreprises qui développent des outils d’IA et les systèmes de santé qui les utilisent dans les hôpitaux et les cliniques doivent assumer la responsabilité de l’utilisation éthique de l’IA en médecine, a déclaré Cho.
« Il est difficile de donner aux développeurs l’entière responsabilité de la manière dont les choses sont utilisées après leur sortie », a-t-elle admis.
Mais plus les développeurs réfléchissent à la manière dont ils peuvent minimiser les préjugés dans leurs outils et être transparents sur les forces, les faiblesses et les meilleures utilisations de leurs outils d’IA, plus il sera facile d’utiliser leurs produits de manière appropriée – et éthique –, a-t-elle déclaré.