Être humain à l’époque des neurosciences et de l’intelligence artificielle implique d’explorer soigneusement les nœuds de complexité où des idées valables sont néanmoins en tension, manifestant des subtilités et des défis qu’il ne faut pas négliger. Chaque page exprime la ou les tensions existantes entre des idées et dans chaque thème, apparues dans les discussions collectives, et sont ensuite complétées par un éclairage des chercheurs du réseau NHNAI.
Complexité sur la santé n°3 : Améliorer les soins de santé et la médecine sans compromettre l’agentivité et l’autonomie des professionnels
Les participants reconnaissent largement que les technologies de santé (y compris l’IA) peuvent aider les professionnels de la santé à prendre des décisions médicales (elles peuvent même être plus performantes dans certaines tâches). De même, ils soulignent que l’automatisation de certaines tâches peut permettre de consacrer plus de temps aux dimensions humaines des soins et des soins de santé (par exemple avec les robots soignants). Certains participants soulignent également que l’IA et les technologies numériques peuvent faciliter l’accès aux soins de santé et aux informations liées à la santé, notamment pour les soins préventifs et la prévention de la santé (en particulier dans les régions plus isolées ou plus pauvres). L’idée émerge également que les technologies numériques peuvent améliorer la formation médicale (par exemple avec la réalité virtuelle ou augmentée).
Toutefois, les discussions s’accordent largement sur le fait que l’IA et les technologies de la santé devraient contribuer à un système de soins de santé plus humain. D’une manière générale, les machines ne devraient pas remplacer les humains. En particulier, les tâches liées à la prise de décision médicale, à la communication et aux soins doivent rester humaines. S’il est vrai que les professionnels de la santé et les soignants manquent souvent de temps et sont épuisés, et que les systèmes de soins de santé sont soumis à une forte pression, les technologies de l’IA ne constituent peut-être pas la bonne ou la principale réponse à ces problèmes majeurs.
Les participants insistent également sur le fait que les professionnels de la santé et les soignants doivent rester en charge de la prise de décision et qu’une dépendance excessive à l’égard de ces technologies peut s’avérer préjudiciable à long terme (déqualification, perte de résilience en cas d’indisponibilité des technologies). Il est important que la responsabilité (morale) de la prise de décision médicale reste entre les mains des humains.
Eclairages par les chercheurs :
A. Coopération, indépendance, et responsabilité
Basé sur les apports de Fernand Doridot (enseignant-chercheur en éthique, philosophie des sciences et des technologies, ICAM – Université Catholique de Lille, ETHICS EA7440, France) et Brian P. Green (professeur en éthique de l’IA et directeur d’éthique des technologies au Markkula Center for Applied Ethics, Université de Santa Clara, USA)
Les dangers de l’automatisation et de la déqualification
Malgré ses avantages dans le domaine de la santé, l’IA comporte également des risques, comme la « déqualification » des professionnels. Trop habitués à s’appuyer sur l’IA, les médecins et les infirmières risquent de perdre des compétences importantes. Leur capacité à remettre en question les recommandations émanant de l’IA, même en cas de jugement clinique divergent, peut également être émoussée[1]. Cet excès de confiance dans les résultats produits par l’IA s’incarne plus généralement dans un « biais d’automatisation », selon lequel les recommandations émises par l’IA sont considérées comme plus fiables, même dans les cas où une intervention humaine serait plus pertinente[2]. Cette situation peut conduire les soignants à commettre de graves erreurs, en suivant des recommandations trompeuses ou en négligeant des éléments importants en raison du manque de conseils de la machine[3]. La résilience globale du système de santé pourrait ainsi être affaiblie par l’incapacité progressive des professionnels à faire face de manière autonome à des situations complexes ou inédites, telles que des pathologies rares, ou à des dysfonctionnements du système d’IA.
Les acteurs et les professionnels concernés devraient connaître les limites de la technologie qu’ils utilisent, et un scepticisme sain à l’égard de cette technologie devrait également être inclus (dans leur formation).
L’attribution de la responsabilité
Malgré les gains apportés par l’IA en termes d’analyse des données et de diagnostic, l’automatisation s’accompagne également de questions éthiques importantes, telles que la nécessité pour les professionnels humains de continuer à assumer la responsabilité des décisions médicales et de peser leurs implications morales, en particulier dans les cas d’impact direct sur la vie des patients[4].
Cependant, cette importance de préserver la responsabilité humaine ne va pas sans difficultés. Par exemple, les machines commettent des erreurs et les humains « responsables » de ces machines peuvent facilement devenir des boucs émissaires. « L’erreur de l’opérateur » est souvent l’excuse de premier recours lorsqu’une machine tombe en panne, même si la véritable responsabilité réside dans un système d’interactions extrêmement complexe qu’aucun individu ne peut raisonnablement comprendre ou dont il ne peut être tenu pour responsable. En outre, s’opposer aux machines peut signifier prendre un risque que les professionnels de la santé pourraient devenir de plus en plus réticents à prendre. D’autant plus que le biais d’automatisation susmentionné est susceptible de s’immiscer et de déresponsabiliser les prestataires de soins de santé, leurs patients et d’autres acteurs. Ces acteurs peuvent être amenés à considérer une recommandation informatique comme quelque chose qu’ils ne peuvent pas contester, et s’ils s’y opposent et ont tort, ils seront tenus pour responsables et éventuellement punis.
Il sera donc essentiel de reconnaître le travail réellement effectué par les machines. Il est problématique que les praticiens de la santé soient les seuls à porter le chapeau en cas de problème. Ils deviendraient les « boucs émissaires » de systèmes complexes dont aucun individu ne peut raisonnablement être tenu pour responsable.
L’indépendance du jugement et complémentarité de l’IA
Ce n’est qu’une question de temps avant que les systèmes d’IA ne deviennent une pratique courante dans de nombreux domaines de la médecine. L’utilisation d’un système inférieur à la norme médicale serait considérée comme rétrograde, voire comme un motif de faute professionnelle. Nous ne devrions pas penser que l’IA arrive comme une imposition étrangère dans le domaine médical, mais plutôt parce qu’il y a certains problèmes que l’IA peut résoudre mieux que les humains, et que ces outils devraient donc être utilisés à ces fins.
Nous devons donc insister sur la nécessité de former le personnel de santé à un jugement indépendant et à la capacité de s’écarter des décisions de l’IA si nécessaire. L’intégrité des soins de santé ne peut être maintenue que si l’IA complète, mais ne remplace pas complètement, l’expertise humaine.
B. Contact humain et mécanismes d’auto-soins
Dans les soins de santé, il y a une partie qui est en partie négligée, et ce sont les mécanismes d’auto soins que la relation cerveau-corps active lorsqu’une personne se sent prise en charge. Ces mécanismes, très souvent négligés, sont en jeu dans certains effets placebo qui, tout en minimisant l’importance et l’impact des traitements pharmacologiques, mettent en évidence l’incroyable capacité du corps humain à enclencher certains mécanismes d’autoréparation et de réduction de la douleur qui augmentent le bien-être de l’être humain. Cet effet placebo est souvent conditionné par la rencontre des croyances de la personne dans un certain contexte clinique ou par le contact avec un praticien humain, et il a été démontré qu’il engageait des systèmes cérébraux dans la population sensible au placebo.
Étant donné que cet effet fait appel aux processus de reconnaissance par les patients des praticiens humains bienveillants et médicaux (« c’est un humain comme moi qui m’aide »), il est important de maintenir le lien humain et l’interaction dans les soins de santé (y compris le toucher humain, comme lorsque le médecin ausculte le corps par contact corporel, le contact visuel avec le médecin, la conversation avec le praticien de la santé) : pour maintenir ces mécanismes placebo actifs dans le processus plus global d’amélioration du bien-être médical et psychologique.
[1] López, G., Valenzuela, O., Torres, J., Troncoso, A., Martínez-Álvarez, F., & Riquelme, J. C. (2020). A conceptual framework for intelligent decision support systems (iDSS) in medical decision making. Decision Support Systems, 130, 113232.
[2] Skitka, L. J., Mosier, K., & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991–1006.
[3] Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
[4] Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1).
