Focus sur les nœuds de complexité : Santé

Être humain à l’époque des neurosciences et de l’intelligence artificielle implique d’explorer soigneusement les nœuds de complexité où des idées valables sont néanmoins en tension, manifestant des subtilités et des défis qu’il ne faut pas négliger. Chaque page exprime la ou les tensions existantes entre des idées et dans chaque thème, apparues dans les discussions collectives, et sont ensuite complétées par un éclairage des chercheurs du réseau NHNAI.

Les participants reconnaissent largement que les technologies de santé (y compris l’IA) peuvent aider les professionnels de la santé à prendre des décisions médicales (elles peuvent même être plus performantes dans certaines tâches). De même, ils soulignent que l’automatisation de certaines tâches peut permettre de consacrer plus de temps aux dimensions humaines des soins et des soins de santé (par exemple avec les robots soignants). Certains participants soulignent également que l’IA et les technologies numériques peuvent faciliter l’accès aux soins de santé et aux informations liées à la santé, notamment pour les soins préventifs et la prévention de la santé (en particulier dans les régions plus isolées ou plus pauvres). L’idée émerge également que les technologies numériques peuvent améliorer la formation médicale (par exemple avec la réalité virtuelle ou augmentée).

Toutefois, les discussions s’accordent largement sur le fait que l’IA et les technologies de la santé devraient contribuer à un système de soins de santé plus humain. D’une manière générale, les machines ne devraient pas remplacer les humains. En particulier, les tâches liées à la prise de décision médicale, à la communication et aux soins doivent rester humaines. S’il est vrai que les professionnels de la santé et les soignants manquent souvent de temps et sont épuisés, et que les systèmes de soins de santé sont soumis à une forte pression, les technologies de l’IA ne constituent peut-être pas la bonne ou la principale réponse à ces problèmes majeurs.

Les participants insistent également sur le fait que les professionnels de la santé et les soignants doivent rester en charge de la prise de décision et qu’une dépendance excessive à l’égard de ces technologies peut s’avérer préjudiciable à long terme (déqualification, perte de résilience en cas d’indisponibilité des technologies). Il est important que la responsabilité (morale) de la prise de décision médicale reste entre les mains des humains.

Dans les soins de santé, il y a une partie qui est en partie négligée, et ce sont les mécanismes d’auto soins que la relation cerveau-corps active lorsqu’une personne se sent prise en charge. Ces mécanismes, très souvent négligés, sont en jeu dans certains effets placebo qui, tout en minimisant l’importance et l’impact des traitements pharmacologiques, mettent en évidence l’incroyable capacité du corps humain à enclencher certains mécanismes d’autoréparation et de réduction de la douleur qui augmentent le bien-être de l’être humain. Cet effet placebo est souvent conditionné par la rencontre des croyances de la personne dans un certain contexte clinique ou par le contact avec un praticien humain, et il a été démontré qu’il engageait des systèmes cérébraux dans la population sensible au placebo. Étant donné que cet effet fait appel aux processus de reconnaissance par les patients des praticiens humains bienveillants et médicaux (« c’est un humain comme moi qui m’aide »), il est important de maintenir le lien humain et l’interaction dans les soins de santé (y compris le toucher humain, comme lorsque le médecin ausculte le corps par contact corporel, le contact visuel avec le médecin, la conversation avec le praticien de la santé) : pour maintenir ces mécanismes placebo actifs dans le processus plus global d’amélioration du bien-être médical et psychologique.

Malgré ses avantages dans le domaine de la santé, l’IA comporte également des risques, comme la « déqualification » des professionnels. Trop habitués à s’appuyer sur l’IA, les médecins et les infirmières risquent de perdre des compétences importantes. Leur capacité à remettre en question les recommandations émanant de l’IA, même en cas de jugement clinique divergent, peut également être émoussée (López et al., 2020). Cet excès de confiance dans les résultats produits par l’IA s’incarne plus généralement dans un « biais d’automatisation », selon lequel les recommandations émises par l’IA sont considérées comme plus fiables, même dans les cas où une intervention humaine serait plus pertinente (Skitka, Mosier, & Burdick, 1999). Cette situation peut conduire les soignants à commettre de graves erreurs, en suivant des recommandations trompeuses ou en négligeant des éléments importants en raison du manque de conseils de la machine (Parasuraman & Riley, 1997). La résilience globale du système de santé pourrait ainsi être affaiblie par l’incapacité progressive des professionnels à faire face de manière autonome à des situations complexes ou inédites, telles que des pathologies rares, ou à des dysfonctionnements du système d’IA.

Malgré les gains apportés par l’IA en termes d’analyse des données et de diagnostic, l’automatisation s’accompagne également de questions éthiques importantes, telles que la nécessité pour les professionnels humains de continuer à assumer la responsabilité des décisions médicales et de peser leurs implications morales, en particulier dans les cas d’impact direct sur la vie des patients (Floridi & Cowls, 2019).

Nous devons donc insister sur la nécessité de former le personnel de santé à un jugement indépendant et à la capacité de s’écarter des décisions de l’IA si nécessaire. L’intégrité des soins de santé ne peut être maintenue que si l’IA complète, mais ne remplace pas complètement, l’expertise humaine.

Références :

• Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1).
• López, G., Valenzuela, O., Torres, J., Troncoso, A., Martínez-Álvarez, F., & Riquelme, J. C. (2020). A conceptual framework for intelligent decision support systems (iDSS) in medical decision making. Decision Support Systems, 130, 113232.
• Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
• Skitka, L. J., Mosier, K., & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991–1006.

Qu’est-ce qui justifie ce « devrait », l’idée que les professionnels de la santé « devraient » conserver leur agence et leur autonomie ? Que se passera-t-il si l’IA donne de meilleurs soins, de meilleurs résultats en matière de santé et se montre plus attentionnée à l’égard des patients ? Si l’on s’y prend mal, les machines feront tout le travail, mais les humains seront les seuls à être blâmés en cas de problème. Les humains deviennent les « boucs émissaires » de systèmes complexes dont aucun individu ne peut raisonnablement être tenu pour responsable.

La question des machines et de la responsabilité morale est très importante, car les machines commettent des erreurs et les humains « responsables » de ces machines peuvent facilement devenir des boucs émissaires. « L’erreur de l’opérateur » est souvent l’excuse de premier recours lorsqu’une machine tombe en panne, même si la véritable responsabilité réside dans un système d’interactions extrêmement complexe qu’aucun individu ne peut raisonnablement comprendre ou dont il ne peut être tenu pour responsable.

Les acteurs et les professionnels concernés devraient connaître les limites de la technologie qu’ils utilisent, et un scepticisme sain à l’égard de cette technologie devrait également être inclus. Malgré cela, le biais de l’automatisation est susceptible de s’immiscer et de déresponsabiliser les prestataires de soins de santé, leurs patients et d’autres personnes, qui considéreront simplement une recommandation informatique comme quelque chose qu’ils ne peuvent pas contester, et s’ils s’y opposent et ont tort, ils seront tenus pour responsables et éventuellement punis.

Ce n’est qu’une question de temps avant que les systèmes d’IA ne deviennent une pratique courante dans de nombreux domaines de la médecine. L’utilisation d’un système inférieur à la norme médicale serait considérée comme rétrograde, voire comme un motif de faute professionnelle. Nous ne devrions pas penser que l’IA arrive comme une imposition étrangère dans le domaine médical, mais plutôt parce qu’il y a certains problèmes que l’IA peut résoudre mieux que les humains, et que ces outils devraient donc être utilisés à ces fins.