Venez découvrir ce qui se dit autour de l’IA et de ses enjeux éthiques !

Doit-on former à la programmation dans l’éducation ? Qu’est-ce qui dans la médecine et le soin est intrinsèquement humain et qui ne devrait pas être délégué à des machines ? Faut-il interdire le profilage et les algorithmes de recommandation ? Voici les questions (et bien d’autres) qui ont été proposées lors de séances d’échanges et de débats autour des enjeux éthiques de l’IA aux étudiants de l’UNIVA de l’Université Catholique de Lyon.

Nous avons réalisé une synthèse des éléments de cette discussion dans trois domaines et en identifiant plusieurs idées marquantes exprimées par les participants à la discussion. Nous vous proposons ces idées marquantes ci-dessous accompagnées des contributions qui les expriment. Sur cette base, nous avons ouvert de nouveaux débats en ligne auxquels il est possible de participer dès à présent !

EDUCATION

Un des rôles de l’éducation serait de contribuer à former des futurs citoyens responsables et dotés d’un sens critique. L’esprit critique semble être une valeur et une capacité fondamentale et d’autant plus à l’ère de l’intelligence artificielle, où l’accès à l’IA et sa simplicité d’usage pourrait ne plus laisser de place à la réflexion et au recul critique.

  • On est bien d’accord là-dessus et le citoyen avec un sens critique, parce que je pense que la formation à l’éducation c’est aussi donner un sens critique et savoir prendre du recul par rapport à ce qu’on nous dit pour savoir justement quel est le faux du vrai, et peut-être que c’est vraiment ça l’essentiel, à mon avis.
  • Pour revenir un peu aux bases, aux fondamentaux, c’est être des citoyens. Qui serait quand même l’objectif final.
  • On se pose la question aussi de si les enseignants vont être formés à l’IA ? Parce que c’est important pour corriger les copies … pour le sens critique !
  • On comprends bien l’idée faire des citoyens et que chacun fasse son idée, simplement les outils risquent d’être tellement faciles à utiliser, c’est à l’image de l’informatique actuellement. On sait qu’on est vulnérables en commandant sur internet, et pourtant, on le fait parce que c’est très pratique. J’ai peur que des IA soient tellement faciles à utiliser qu’on en perd un peu l’esprit critique en les utilisant facilement.
  • La deuxième chose c’est comment tout ça peut (et c’est ça, le rôle principal je pense du prof) éveiller l’esprit critique des élèves ? C’est surtout ça, comment les enseignants pourront intégrer tout ça pour pouvoir dire « tu as dit ça oui, mais est-ce que c’est vraiment ce que tu penses ? » parce qu’à la limite, on peut aller sur chatGPT on a 18 point bar, et puis voilà. Mais l’éducation, ce n’est pas que ça.
  • La question qu’on s’est posée à deux ou trois, c’est même si l’IA est très adaptée à tout ce qui peut être technique, à tout ce qui peut être bien circonscrit autour d’un cadre défini, est-ce que ça laisse une place à la réflexion, à l’analyse et à apprendre aux jeunes, les étudiants notamment, à réfléchir et à se poser des questions ? Ca rejoint l’esprit critique.
  • Je voulais aussi préciser, on a discuté du mot éducation. Parce qu’on se dit qu’il y a parfois, pour nous, une différence entre éducation et apprentissage. L’éducation, elle commence avec la famille, avec les parents et ils ont des apprentissages à l’école. L’éducation, pour nous, elle a le but de pouvoir vivre en société, quelque part d’avoir « les codes » et de devenir responsable de sa vie ensuite.

Une utilisation intéressante de l’IA concerne l’organisation et l’accès à l’information, notamment dans la recherche bibliographique. Mais cela pourrait aussi concerner la gestion et l’identification des fake news pour nous aider à nous orienter dans le flux d’informations.

  • Moi je voulais poser une question justement sur la formation des étudiants, enfin de tout le monde, sur les fake news. Comment savoir si une news est fake ou pas ? Donc je pense que là, le rôle de l’IA pourrait être intéressant parce qu’on pourrait nous avoir des données, des sources différentes qui permettent de comparer les infos et apprendre que ce n’est pas parce qu’une info est passée dix millions de fois qu’elle est plus vraie qu’une info qui n’est passée qu’une fois. Donc voilà, comment se sortir de ces fakes news parce que là maintenant, on en est envahis, on fait dire ce qu’on veut aux gens sur des images, etc.
  • Je dirais que la démarche de la recherche bibliographique aujourd’hui est non seulement simplifiée mais elle va beaucoup plus vite. On pose une question à Google mais pas seulement, même dans des moteurs de recherche beaucoup plus scientifique, on a des textes ou des références à des auteurs qu’on n’aurait jamais trouvé tout seul même en passant des heures et des heures en bibliothèque, tout simplement parce qu’on a très rapidement un grand nombre de documents à compulser et à étudier avant de pouvoir avancer dans notre démarche. On sait bien que toute thèse commence d’abord par une recherche bibliographique et celle-là est très très rapide aujourd’hui et ça c’est quelque chose de fabuleux.
  • oui absolument. Et est-ce qu’on peut essayer de demander par exemple d’avoir des algorithmes qui nous aideraient à mieux nous orienter ?
  • Oui c’est un vrai défi quand on fait de la recherche de lire tout ce qu’on est censés lire (en fait on ne peut pas), après il y a des algorithmes qui font des résumés mais le problème c’est la confiance … il faut aller lire le truc quand même un minimum
  • On voit avec l’informatique et l’internet le développement du tuto qui a permis d’apprendre plein de choses, de divulguer de l’information. Pourquoi pas avec de l’IA mais pas tout remplacer.

La numérisation massive du contenu scolaire conduit les élèves et étudiants à utiliser de plus en plus les services numériques en ligne, les obligeant à laisser des traces de leur comportement, données récoltées très souvent à leur insu, ce qui soulève la question du consentement.

  • en fin de compte, ont-ils le choix de dire « non » sur l’utilisation par leurs enseignants des systèmes … on leur met des cours sur écrans, ils ont accès à différentes choses, mais ont-ils le choix de dire non, de ne pas donner leur consentement ? Je ne crois pas, donc c’est biaisé, on dit que c’est très important de pouvoir donner son consentement mais c’est comme quand on achète un produit ou un service, ce que la plupart des gens veulent, c’est avoir le produit ou le service, on ne va pas lire les petites lignes du contrat pour savoir à quoi on adhère et à quoi on dit oui à quoi on dit non parce que ce qui compte c’est qu’on ait commandé notre service ou notre produit et qu’en plus il arrive très vite donc je pense qu’il y a sûrement un gros problème au niveau du consentement éclairé et du choix de pouvoir dire non.
  • Je me posais la question est-ce que les jeunes générations sont aussi attentives à cette notion de consentement que l’on est nous ? Parce qu’on l’évoque beaucoup mais les jeunes savent très bien qu’ils sont tracés à tout bout de champ et ça ne leur pose pas de problèmes
  • Sans parler de flicage, ces données peuvent être utilisées derrière pour des parcours personnalisés, pour des programmes d’embauche, ça va loin donc la question du consentement se pose. Et en tant que prof ça peut vous faire une idée sur l’étudiant…
  • mais c’est prévu dans les conditions de vente et d’utilisation et qu’on signe quand on clique pour la première fois qu’on utilise le logiciel, et ça va être inclus dans les règlements intérieurs… mais le problème c’est comme pour toutes conditions de vente et d’utilisation, c’est tellement flou que qu’est-ce qui est vraiment permis et qu’est-ce qui est vraiment pas permis … est-ce qu’il s’agit vraiment d’un consentement éclairé ? C’est tout le problème, est-ce que c’est éclairé ou pas.
  • Je voudrais simplement revenir sur la question du consentement, que ce soit les facs, les écoles ou autres qui utilisent des logiciels qui permettent de fliquer les étudiants pour savoir s’ils consultent une fois, deux fois ou trois fois le cours etc, est-ce que ces étudiants-là sont au courant de ce qu’on consulte d’eux, de leur activité, du fait qu’on les trace ? Quelle est la législation à ce sujet ?
  • C’est une évidence, enfin, en mon sens. On parlait aussi du consentement des étudiants, est-ce que chaque étudiant a donné son accord sur le fait de suivre toute son activité sur internet, sur les réseaux, etc. Voilà, ça, c’est la première chose, le consentement éclairé.

L’intelligence artificielle peut accroître les inégalités d’accès notamment entre ceux qui utiliseraient l’IA et qui en aurait les moyens et ceux qui ne l’utiliseraient pas, soit par refus, soit par manque de moyens. De plus, la personnalisation induite par l’IA avec les algorithmes de recommandation ou encore avec la personnalisation de l’apprentissage peut aussi conduire à l’individualisation, ce qui constituerait une menace pour le vivre-ensemble.

  • quand les jeunes sur un téléphone qu’ils écoutent, qu’ils regardent une info, ils pensent qu’elle est réelle et ils ne se posent pas de questions. Donc, quand on est entre individus, on peut discuter.
  • On craint que l’utilisation, on ne va pas dire à outrance, mais très poussée de l’IA ou via, par exemple, de parcours très personnalisés renforce la bulle dans laquelle l’individu va apprendre au détriment du collectif et du groupe, d’où le rôle de l’enseignant pour mettre du lien et peut-être, contrebalancer cet aspect en faisant faire du travail de groupe
  • Notre groupe a fait remarquer que l’IA dans l’éducation n’augmenterait-il pas l’écart important entre générations et entre niveaux sociaux ? J’ai posé la question à chatGPT sur mon petit portable : « l’intégration de l’IA dans l’éducation peut potentiellement créer des disparités entre les générations et les niveaux sociaux, notamment si l’accès à ces technologies n’est pas équitable. Il est crucial de mettre en place des politiques pour garantir une utilisation équitable et inclusive de l’IA dans l’éducation afin de minimiser ces écarts. »
  • S’il y a besoin dans cet apport qu’il y ait des échanges entre l’équipe d’enseignants et les élèves via des ordinateurs, n’est-on pas limités par les moyens des familles à avoir internet, avoir un ordinateur par enfant

Le recours à l’IA dans l’éducation facilite souvent le travail des étudiants et élèves, c’est notamment le cas pour la personnalisation de l’apprentissage. Mais il semblerait important de chercher à préserver l’effort et la valeur de celui-ci.

  • je crois que ce qu’il faudrait éviter, et j’en ai très peur avec l’IA (c’est un peu une réflexion d’un vieux con), c’est l’effort, le gout de l’effort … on peut écrire comme Stendhal, on peut écrire comme Victor Hugo et c’est ça dont il faut faire attention, il faut conserver le gout de l’effort

L’humain semble avoir un rôle spécifique dans l’éducation, notamment à travers la relation prof-élève que l’IA ne peut remplacer.

  • il faut quand même un contact humain entre l’élève et l’enseignant
  • La relation humaine ne sera jamais remplacée par quoique ce soit, ne serait-ce que de rendre les aspects positifs à l’enfant de ce qu’il va faire, de ce qu’il va réussir, je pense qu’il n’y a que l’humain qui peut le faire.
  • on a tous fait la remarque qu’on a tous été marqués par un enseignant au cours de notre cursus, parce qu’il avait un aspect charismatique, il nous enthousiasmait dans ses cours et que souvent ça générait des vocations, ce qui est mon cas donc ça je pense que l’IA ne pourra pas le faire
  • Avant l’utilisation de l’IA, il y a d’abord, me semble-t-il, l’intention éducative du professeur à l’égard des élèves. Quel type d’humain souhaite-t-il promouvoir pour la société future ? Je ne suis pas sûre que l’IA va pouvoir répondre à ça.

La formation à l’IA passe aussi par une formation aux aspects techniques pour comprendre le fonctionnement des machines, mais la formation à la programmation peut s’avérer complexe et difficilement accessible pour tout le monde.

  • je vais donner un avis positif en ce qui concerne la formation de la programmation parce que je trouve que ça serait intéressant. Moi, j’aurais bien aimé être formée à ça parce que je pense que je m’amuserais bien et puis on peut faire des choses intéressantes. Je crois qu’on peut mieux comprendre, peut-être par la philosophie, mais la technologie qui est derrière. Quand on voit un programme, on se dit, ben voilà, il a fait comme ci, comme ça. Je trouve que ça donne une plus grande capacité à comprendre un peu le mode de fonctionnement d’un automate, comment fonctionne un programme.
  • Former à la programmation me semble être d’un autre âge. Parce que moi, j’ai connu les débuts dans les années 80 où on formait effectivement les élèves à la programmation. Mais l’apparition de logiciels beaucoup plus complexe et tout fait avec l’IA, je pense qu’on ne peut pas former à la programmation.
  • du coup, ce serait plus « qu’est-ce qu’on met dans « former à la programmation » ?

L’IA peut présenter un aspect d’uniformisation dans les informations que le système peut nous présenter, ce qui peut constituer un risque pour la diversité de la pensée.

  • On parle beaucoup d’éducation et d’apprentissage, d’études, mais il y a le problème de la culture et la culture fait pour moi partie de l’éducation, jusqu’où chatGPT ou l’IA ne va pas uniformiser ce qu’on va nous présenter, on voit qu’on peut faire à partir de chatGPT des dialogues, qu’on peut faire des pièces de petits films, qu’on peut faire des choses comme ça et est-ce que ce n’est pas un danger de manipulation aussi ?
  • On s’est posés la question de la pertinence et de l’origine des données qui vont alimenter en fait l’IA. Actuellement les systèmes éducatifs sont nationaux, les programmes sont définis au niveau du gouvernement, il y a un environnement culturel qui permet de former les étudiants, avec une IA qui serait mondialisée, qui va choisir les données qui vont alimenter cette IA et est-ce que ces données seront pertinentes ? Donc ça pose la question de l’uniformité, l’uniformisation au niveau mondial.
  • Je me pose la question des visées de l’IA, on est de plus en plus intrusif, c’est-à-dire qu’on va pouvoir contrôler tout le monde, et en plus l’IA va perturber le développement cognitif des enfants, donc on va pouvoir les trafiquer et au final, on va pouvoir manipuler les foules. Voilà la question, et c’est le danger.

La consommation des écrans peut être favorisée par l’IA notamment par des techniques de personnalisation de contenu, ce qui peut conduire à aggraver les impacts sur la santé.

  • Moi je voulais rebondir sur les discours qu’on entend aujourd’hui un peu alarmiste, sur les heures passées devant les écrans par les enfants et adolescents … ils vont passer 6 ou 7 heures bon ils ont perdu 6 heures de sommeil, 4 heures de sommeil etc… est-ce que le fait de devoir utiliser ces nouveaux moyens ne vont pas aggraver ces phénomènes de santé des jeunes qui passeront sans doute encore plus d’heures sur les écrans

Les données récoltées sur les élèves et étudiants (et même ailleurs) ne sont parfois pas toujours un bon indicateur de ce que l’on cherche à mesurer ou de l’information que l’on cherche à avoir. Même si la numérisation est massive, tous les aspects du comportement humain ne se laissent pas réduire à des données, ce qui limite la prédiction et conduit à être critique sur la fiabilité des données et ce qu’elles représentent.

  • Dans nos discussions, on trouve un peu dangereux tout ce qui est prédictif ou alors il faut rester très très modeste. Si on prend l’exemple de nos enfants, ce n’est pas forcément celui qui avait la meilleure note au bac, qui a le mieux réussi professionnellement et ce n’est pas dans la prédiction pendant ces trois/quatre ans qu’on peut voir ce qui va se passer derrière. L’être humain est assez complexe et évolue dans le temps. Donc l’éducation, pourquoi pas en faire mais garder de la modestie.
  • Nous on se posait la question par rapport à un aspect intrusif, c’est-à-dire qu’on voit à quel moment l’élève étudie, combien de temps et ça nous parait un peu dangereux parce qu’il peut aussi étudier dans un livre et là, à ce moment-là, c’est pas répertorié sur l’ordinateur.
  • Les usages de l’analyse prédictive, c’est le danger de prédire (quand on prédit l’avenir etc…) moi je préférerai ouvrir l’univers des possibles.

Les données récoltées sur les élèves et étudiants (et même ailleurs) ne sont parfois pas toujours un bon indicateur de ce que l’on cherche à mesurer ou de l’information que l’on cherche à avoir. Même si la numérisation est massive, tous les aspects du comportement humain ne se laissent pas réduire à des données, ce qui invite à être critique sur la fiabilité des données et ce qu’elles représentent.

  • S’ils sont imaginatifs ils vont faire eux-mêmes un petit programme d’IA qui trompera le prof en disant je l’ai regardé pendant trois quarts d’heures, pendant trois jours de suite, voilà !
  • Nous on se posait la question par rapport à un aspect intrusif, c’est-à-dire qu’on voit à quel moment l’élève étudie, combien de temps et ça nous parait un peu dangereux parce qu’il peut aussi étudier dans un livre et là, à ce moment-là, c’est pas répertorié sur l’ordinateur.
  • Dans nos discussions, on trouve un peu dangereux tout ce qui est prédictif ou alors il faut rester très très modeste. Si on prend l’exemple de nos enfants, ce n’est pas forcément celui qui avait la meilleure note au bac, qui a le mieux réussi professionnellement et ce n’est pas dans la prédiction pendant ces trois/quatre ans qu’on peut voir ce qui va se passer derrière. L’être humain est assez complexe et évolue dans le temps. Donc l’éducation, pourquoi pas en faire mais garder de la modestie.
  • on ne l’utilise pas pour l’instant je pense, enfin je ne sais pas je n’ai pas demandé à mes collègues mais je ne suis pas sûr qu’il y en a beaucoup qui soient au courant que ça existe et puis en plus on est pas à l’abri que les étudiants disent bon bah j’ai vu que ça a été traçable donc j’ouvre le cours une fois et puis je le lis pas, c’est pas grave, donc on peut vite avoir des choses pas fiables
  • Après il faut se méfier, ce n’est pas parce que c’est écrit « pas consulté » que les étudiants ne se sont pas procurer le cours par un autre canal …

SANTE

La solidarité semble être une valeur essentielle en société qui peut être menacée dans le système de santé notamment avec la médecine personnalisée que permet l’IA avec la capacité à prédire les maladies potentielles. Mais le partage des données pourrait être un moyen de préserver cette solidarité en envisageant un pot commun accessible à tous.

  • moi j’avais une question par rapport à la solidarité, parce que c’est vrai qu’on parle de personnalisation, mais du coup, enfin, moi j’ai entendu souvent autour de moi des remarques du style « j’ai plus envie de payer le mutuel, finalement pour les maladies graves, c’est la sécurité sociale, avec la sécurité sociale, on est remboursé à 100% ». Donc, justement, les gens se rendent compte que finalement s’ils ne prennent pas de risque, il y a peu de risque qu’ils tombent malades, et ils se demandent, mais finalement, pourquoi payer cher une mutuelle ? Donc, c’est vrai qu’il y a cet aspect solidarité, qu’est-ce que ça devient avec l’IA ?
  • Mais par contre, des choses qu’on pourrait faire en plus, on fait un appel aux gens à récupérer les données qu’ils ont données à n’importe qui, à les rendre accessibles dans un pot commun. Ça on pourrait le faire, il y aurait plein d’autres questions de sécurité, de protection de la vie privée, des choses comme ça, mais bon, personnellement tout ce que j’ai donné à Google, tout ce que Google a réussi à obtenir de moi, je ne serais pas contre que ça puisse au moins encourager d’autres à l’utiliser aussi pour créer un équilibre, c’est certain.
  • il était un temps où les gens qui avaient eu un cancer ne pouvaient plus prendre de crédit, parce qu’ils pensaient qu’ils allaient mourir dans les cinq ans, les assurances ne voulaient pas continuer à payer pour eux. Alors maintenant, il y a quand même une loi qui les oblige à accepter des gens qui ont eu un cancer, dont ils sont en rémission depuis au moins dix ans. Donc c’est un bien, mais alors là, on va revenir en arrière, puisque même sans l’avoir eu, si vous avez des marqueurs qui prédisent qu’à 40 ou 50 ans, ben on ne va plus rien vous donner du tout. Donc je ne sais pas quel projet de société.
  • parce que plus on a d’informations pour prédire ce qui va nous arriver, plus c’est tentant de dire « moi je ne suis pas concerné ».

L’utilisation de l’IA doit être accompagnée d’une réflexion sur les buts et les objectifs de son recours ainsi que d’un projet de société défini en amont permettant de guider son utilisation. L’IA doit être utilisée comme un moyen qui sert un projet de société et non comme une fin.

  • Ce qu’on discutait ici, c’était de se dire, c’est aussi valable pour l’éducation, pour la santé, il nous manque quelque part la vision du projet de société. Et là, c’est un outil, c’est une proposition privée, extérieure, qui est en train de structurer comment on va vivre demain. Il nous manque quelque chose en amont qui dit, voilà ce qu’on souhaite. Et après, cet outil ou un autre va nous aider à atteindre ce qu’on recherche. Et le risque qu’on peut voir, c’est qu’on est en train de courir derrière.
  • Alors nous, nous n’avons pas défini notre projet de société, mais eux oui, parce qu’il faut que les gens soient en bonne forme pour être performants, pour aller toujours plus loin, où ? On ne sait pas, mais il faut y aller, il faut avoir couru, il faut avoir mangé ci, faire ça, être au top, le jeune plein d’avenir et les vieux, d’abord, on n’en a plus besoin, donc voilà.

L’IA peut renforcer des inégalités notamment dans l’accès à ces technologies dans le domaine de la santé, mais également dans la composition de la base de données qui n’intègrerait pas certaines populations, ou encore dans l’entraînement des systèmes d’IA dont le travail répétitif est souvent réservé à des populations dans des pays sous-développés très peu rémunérées.

  • La question qu’on peut se poser aussi, c’est de se dire que c’est peut-être encore une médecine réservée aux pays riches. Quid dans les pays pauvres qui n’auront pas forcément les moyens de se payer des infrastructures de ce niveau-là, et des machines et des robots ?
  • Justement l’entraînement des machines, ça a créé un nouvel esclavage, il y a dans des espèces de caves, en Chine ou ailleurs, où il y a des jeunes qui entraînent les machines, toute la journée, ou H18 sur 24, donc ça aussi, ça pose un problème éthique.
  • parce que les données de data ne concernent pas des populations entières qui sont totalement ignorées par ces trucs-là. Donc je pense que c’est une dimension qu’il ne faut pas qu’on oublie, et pour laquelle il faudrait œuvrer quand même, parce qu’effectivement ils ne sont pas pris en ligne de compte.

L’humain doit toujours rester au cœur du soin, sa présence est en effet indispensable de par ses capacités uniques d’écoute, d’empathie et de compréhension qui s’avèrent essentielles au soin.

  • On nous avait parlé d’un autre monde, je crois qu’on y est, j’ai quand même du mal à imaginer à l’échelle d’un hôpital, d’un service hospitalier, comment ça va se passer pour tous les soins intimes. La toilette, c’est des robots qui vont faire les toilettes ? La distribution des repas ? Et plein de choses dans ce même sens. J’ai vraiment du mal, je n’ai pas l’imagination, ou alors il va falloir beaucoup de robots.
  • Le médecin rend normalement le patient acteur dans son traitement, donc bon, ça risque de changer. Qui fait l’annonce du diagnostic, de la maladie ? Comment l’IA gagne la confiance du patient ? Qui est intéressé ici pour aller consulter un médecin robot ?
  • Et comme on dit, appeler le SAMU quand c’est grave, mais quand on dit appeler le SAMU quand c’est grave, ça veut dire qu’on se tourne vers l’humain dans la deuxième étape. Donc effectivement, l’accueil humain pour approfondir et pour le diagnostic final. Et puis la personne qui a trop d’angoisse, elle se tournera vers l’humain mais dans une moindre grande urgence, mais elle ira toujours vers l’humain.
  • Les gens, ils sont anxieux, donc dans la qualité de la prise en charge médicale, l’écoute, c’est quelque chose de très important. Rassurer les gens aussi, en fonction de ce qu’on trouve, et même si on trouve une maladie plus sévère, leur expliquer et les rassurer. Et sinon, ça ne fait que générer des soucis supplémentaires, et reste aussi quand tu dois faire l’annonce du diagnostic par exemple d’un cancer, si tu la laisser à la machine, ça va être chouette.
  • D’autre part, je reste persuadé que pour prendre en charge un patient, on ne pourra pas remplacer l’homme par la machine. Il y a toute une partie interrogatoire, fonction des antécédents, fonction de ce que l’individu est aujourd’hui, de son job, de tout ce qu’il représente qui ne peut pas être mis sur machine. Et en fonction de tout ça, le médecin va avoir une orientation diagnostique.
  • effectivement, pour la psychologie et puis pour ce que vous venez de dire, le truc, c’est qu’il y a des gens, on peut leur laisser penser que la machine ressent. Et du coup, ça devient possible de l’humaniser. Mais il y a un enjeu à ne pas le faire justement.
  • Alors, pour ce qui concerne l’aide médicale avec les machines, tout ce qui est vraiment biologique, je pense que c’est devenu indispensable, mais ce qui me fait peur quand même, c’est pour les maladies psychologiques, psychiatriques, je trouve que la plupart des gens, enfin quand ils sont déprimés, ils ont besoin d’un contact avec quelqu’un pour s’exprimer. S’il faut qu’ils parlent devant une machine, d’abord, je ne sais pas s’ils le feront parce que c’est tellement déshumanisé, c’est des gens qui sont déjà isolés dans leurs problèmes. Si en plus on ne leur met personne en face qui tend une oreille pseudo amicale ouverte à ces problèmes, je pense que ça n’ira pas loin et tous les gens qui préfèrent quand même avoir à faire avec quelqu’un qui leur répond de manière humaine, je ne sais pas si cette expression est bonne, plutôt que quelque chose qui est automatique par rapport à « vous avez du diabète, il faut prendre ceci », ce n’est pas aussi direct qu’un traitement pour une maladie organique.
  • Pour l’aide à la personne, on aura beau avoir des robots qui aideront les personnes sur le plan matériel, la personne, elle aura besoin d’humains. Pour son autonomie psychologiquement, c’est impossible qu’on ne vive qu’avec des robots quand on est dépendant.
  • Nous, notre médecin de famille, il nous disait quand on allait le voir, ou quand il venait, il disait, je vous écoute, parce que la réponse est dans ce que me dit le patient.
  • Oui, alors moi, je suis médecin. Donc, si vous voulez, ce que je vois, c’est que les jeunes, ils ont les mêmes besoins d’écoute et de qualité de prise en charge par nous que les gens les plus âgés, ça ne change pas en fonction de l’âge.
  • Dans le même ordre d’idée, on a une question sur l’écoute, le rôle de l’écoute et on se dit en fait est-ce que la machine fait de la reformulation ? Souvent la reformulation amène à aller plus loin dans l’écoute de la maladie.
  • Donc, je pense que l’IA, moi, je la vois utile dans la radiologie, l’imagerie. Tout ce qui est effectivement anatomopathologie, c’est-à-dire dermatologie, peut être aussi l’interprétation des images endoscopiques en fonction de ce qu’on fait, c’est-à-dire dans sa partie technologique. Mais la partie prise en charge du patient globale, je ne vois pas comment.
  • La prise en charge du patient, la machine, c’est un outil, ça nous gagne du temps pour le diagnostic, mais le reste, la suite, c’est les médecins qui prennent la discussion. Si le médecin n’est pas d’accord, il peut avoir un collègue, mais en fait ça ne gêne pas du tout le soin, ça n’amène qu’un outil.
  • La machine ne remplacera jamais l’humain, de toute façon, on voit bien quand on va chercher des résultats d’analyse, la machine nous a sorti un beau papier des résultats, mais on n’a qu’une envie, c’est de voir le médecin pour qu’il nous analyse ce qu’on a vu sur le papier.

Face aux nombreux usages possibles de l’IA et en particulier des usages des données personnelles, il est important, en tant que citoyen informé, de pouvoir se mobiliser et de s’exprimer sur ce que nous souhaitons ou non afin d’influencer au mieux la régulation éthique de l’IA.

  • Après il faut de la donnée, il faut aussi de bonnes grosses pertes d’énergie dans tous les sens pour faire de l’apprentissage. Mais d’ailleurs, il y a toute une partie de ce que fait OpenAI qui est en accès libre. Je ne sais même pas si les bases de tchats de GPT ne sont pas en open source, simplement, avant de faire un équivalent de GPT avec ça, il faudra beaucoup de puissance de calcul et effectivement un accès aux données, et ça c’est un petit peu l’enjeu de demain. C’est pour ça qu’il faut qu’on se positionne aussi. C’est pour ça aussi qu’on ne peut pas laisser les gens penser que l’apprentissage machine c’est des machines qui apprennent toutes seules, comme ça, dans des trucs abstraits et tout, non, c’est des trucs très concrets et il faut qu’on le sache pour pouvoir se positionner intelligemment par rapport à ça. Parfois en étant très très radin sur nos données, parfois en étant plus libéral.
  • quand je vois la question pour utiliser les géants ou développer des solutions souveraines, il y a des cohortes qui existent en France, la cohorte Constance et là dès le début, si on y adhère ou pas, on sait exactement à quoi ça va servir, c’est pas en douce, certes c’est gratuit, mais moi j’y suis et j’avais fait confiance un peu à tout ce qui a été annoncé et je me méfie largement des géants où tout est gratuit et puis derrière on me pique les données. Donc il y a quand même des solutions et en tant que citoyen on peut agir en disant non je ne donne rien aux géants et puis quand il y a une solution souveraine d’un pays ou d’une institution politique ou même publique, on y adhère et ça donne du pouvoir.
  • Amélie nous pousse beaucoup à faire un dossier médical partagé. Et ça n’est absolument pas obligatoire. Plus vous renseignez à Amélie, plus vos données risquent justement d’être vendues, et vous n’êtes pas obligés de le faire.
  • c’est aussi pour ça que la régulation par nous, les gens informés, qui s’informeraient mieux et qui choisiraient en fonction de leurs réflexions, c’est aussi un levier essentiel. Si on n’a pas ça, c’est difficile
  • en Europe, on se donne des réglementations qui limitent un petit peu les choses. La question après, c’est est-ce qu’on trouve que les limites sont suffisantes, est-ce qu’on est prêt à sacrifier plus d’innovation pour que ça limite encore plus ? Est-ce qu’on est prêt aussi à faire pression ? Parce que c’est une question de volonté politique aussi. Juste sur un autre registre, pourquoi Microsoft paye ses impôts, enfin, fait financer toutes ses activités en Irlande ? C’est parce qu’il y a moins d’imposition en Irlande. Mais pourquoi nous, on laisse faire ça ? On n’est pas obligé de laisser faire ça.
  • Ce qu’on discutait ici, c’était de se dire, c’est aussi valable pour l’éducation, pour la santé, il nous manque quelque part la vision du projet de société. Et là, c’est un outil, c’est une proposition privée, extérieure, qui est en train de structurer comment on va vivre demain. Il nous manque quelque chose en amont qui dit, voilà ce qu’on souhaite. Et après, cet outil ou un autre va nous aider à atteindre ce qu’on recherche. Et le risque qu’on peut voir, c’est qu’on est en train de courir derrière.
  • c’est pour ça que la régulation juridique toute seule, c’est une coquille vide. Même si le texte, il était parfait, qu’il saisissait parfaitement tous les enjeux éthiques, encore faudrait-il que ce soit mis en application intelligemment. Ce n’est déjà pas vrai que ça capte comme il faut tous les problèmes. Vous voyez, là, en fait, le travail, il est devant nous. C’est très bien de se donner cette structuration-là, mais il faut maintenant qu’on réfléchisse sérieusement pour se dire dans quelle catégorie on met quel algorithme, ou est-ce qu’il y a des enjeux, ou est-ce qu’il n’y en a pas.
  • Parce que là, ce que ça a mis en place, c’est des cases avec des obligations pour chaque case. Mais qu’est ce qui tombe dans une case ou dans une autre ? Mais typiquement, là, il y a des trucs qui ne tiennent pas trop la route. Dans les trucs interdits, il y a tous les algorithmes de manipulation mentale. Tous les algorithmes qui font de la publicité ciblée et du nudging, pour moi, ça rentrerait dans la manipulation mentale. Donc, il va y avoir du rapport de force entre qui et qui, qui va porter la voie de l’intérêt général pour classer telle ou telle application, tel ou tel algorithme dans tel ou tel domaine ?

L’IA s’avère être un outil intéressant dans le domaine de la santé qui vient compléter le travail du médecin, notamment dans ses capacités à identifier rapidement des anomalies dans les imageries médicales, ou encore dans la robotique grâce aux prothèses permettant de pallier un handicap.

  • je voudrais simplement aborder plus le problème de la robotique, et notamment vis-à-vis des handicaps, où il y a quand même des recherches et des aboutissements de ces recherches en matière de prothèses, de prothèses directement reliées au cerveau pratiquement, qui peuvent rendre de très grands services aux handicapés. Et donc ça on ne l’a pas abordé, mais je pense que c’est très important et que ça peut être un avenir prometteur
  • Mais pour ce qui est de la vraie prise en charge médicale, je trouve que, par exemple, l’aide technologique apportée par les machines en campagne, c’est très bien. Dans la mesure où ça rassure les anxieux qui ont quelques palpitations, ils vont se faire faire un électrocardiogramme, la machine réponds c’est rien du tout, c’est de l’anxiété. Alors que le vrai patient qui aura des extras systoles ou un trouble du rythme grave va être en charge immédiatement, la machine va donner le diagnostic. Et le SAMU enverra une réponse adaptée immédiate, ce qui n’est pas toujours le cas avec le médecin de campagne. Donc, je suis désolée, mais par exemple, le traitement des images radiologiques de suspicion de mélanome que les dermatologues ne peuvent plus assurer, c’est un excellent moyen pour les dermatologues de dépister les vraies et non pas le petit grain de beauté qui affole l’éternel anxieux qui voudrait être chez le dermatologue tous les six mois. Donc moi, je suis pour cette évolution.
  • il y a peut-être des choses intéressantes sur quelle personne va réagir à quel médicament et pourquoi. On sait qu’il y a eu aussi des problèmes de structure de protéines qui ont été, je ne sais pas exactement le détail, mais ce sont des problèmes qui résistaient aux chercheurs et qui ont été résolus par des algorithmes de traitement de grand volume de données.
  • Donc, je pense que l’IA, moi, je la vois utile dans la radiologie, l’imagerie. Tout ce qui est effectivement anatomopathologie, c’est-à-dire dermatologie, peut être aussi l’interprétation des images endoscopiques en fonction de ce qu’on fait, c’est-à-dire dans sa partie technologique. Mais la partie prise en charge du patient globale, je ne vois pas comment.

Il y a de nombreux systèmes d’IA avec de nombreux algorithmes différents qui ne fonctionnent donc pas de la même façon suivant ce pour quoi on l’utilise. Il semble donc important de sensibiliser aux différents types d’algorithmes afin de garantir une utilisation appropriée et adéquate de l’IA dans le système de la santé.

  • Mais justement, il y a plein de programmes et on peut faire plein de choses différentes. Si vous êtes sérieux avec tel vaccin, telle étude et on fait des vraies études sérieuses à partir des données, on collecte des données sérieuses sur qui a récupéré, qui a eu des problèmes à partir de tel vaccin ou de tel médicament, là le résultat a des chances d’être intéressant. Si on demande à un algorithme qui n’est pas fait pour ça ou qu’on l’a mis pour faire ça mais il n’est pas conçu pour ça, ça va répondre n’importe quoi. Mais là il y a un enjeu aussi d’acculturation aux types d’algorithmes qu’on pourrait utiliser et pourquoi ? Encore une fois, si vous donnez des images de radiologie à GPT, il va sûrement vous répondre des trucs. Est-ce que ça sera fiable ? Probablement pas. Par contre, si vous donnez des images de radiologie à un algorithme qui a été entraîné pour ça, les réponses qu’il va donner ont beaucoup plus de chances d’être très fiables. Et donc on a vraiment un enjeu comme ça à ne pas laisser tout filer en mode on va tout faire tout et n’importe quoi comme ça.
  • dans le cas des thèses en médecine ou en sciences qui peuvent être très divergentes, et je pense en particulier aux deux thèses très divergentes au moment du Covid, celle de Raoult et celle de l’OMS ou celle d’autres plus sérieux. Alors à ce moment-là, qu’est-ce qu’elle va chercher, l’intelligence artificielle ? Qu’est-ce qu’on lui a donné si je pose la question à une machine qui serait de l’intelligence artificielle ? J’ai le Covid, quel traitement tu me proposes ? Qu’est-ce qu’elle va me proposer ? Du Raoult ou quelque chose d’un petit peu mieux ?
  • De toute façon, la machine va toujours être circonscrite sur le poll de données qu’on lui a donné. Et le problème, c’est que plus les données sont variées, plus ça a tendance à être de la soupe. Plus les données sont cadrées, c’est pour ça que l’imagerie médicale, ça fonctionne bien, c’est parce qu’on donne des données très cadrées. Du coup, on a des diagnostics fiables sur des données cadrées et là, ça reste bien dans le champ. Et du coup, par contre, ce n’est pas très innovateur. Et puis après, pour ChatGPT, pour l’IA générative, ça fait du nouveau, pas forcément du nouveau intéressant, pas forcément du nouveau fiable. Et avoir les deux en même temps avec les technologies qu’on a maintenant, ça ne paraît pas possible.

DEMOCRATIE

En matière de justice, le processus de prise de décision est réservé à l’humain et ne peut être remplacé par la machine, même si celle-ci peut être un outil servant à la décision pour faciliter des recherches par exemple.

  • La décision, bien évidemment, il y a un rôle de l’humain et en matière de justice, on ne peut pas faire n’importe quoi, on est dans un état de droit, donc il faut une infraction caractérisée avec une sanction qui est prévue par un texte et le rôle de l’humain c’est de savoir si la sanction est appropriée à l’infraction et à l’humain, mais ça peut être, je trouve, un excellent outil qui permet d’arriver à une décision beaucoup plus rapide et c’est vrai dans tout un tas de domaines.
  • est-ce qu’on ne peut pas considérer que c’est un outil et non pas une finalité, c’est-à-dire pour reprendre le domaine de la justice que je connais un peu, pour faire des recherches, vous parlez de la jurisprudence, pour qui a fait du droit, c’est fascinant de faire des recherches, des décisions. Donc même à la limite, même Google, quand vous voulez savoir le dernier arrêt de la cour de cassation, on peut savoir. Donc moi je vois plus comme une aide, mais pas une aide à la décision.
  • il y a une importance dans toutes les questions posées, c’est la vitesse ou la rapidité de l’information et de la réaction. Quand on regarde sur Google, on veut avoir la réponse tout de suite. La justice, tout le monde vous dira, les magistrats vous le disent, il faut donner du temps au temps de façon à ce que la décision de justice soit beaucoup plus réfléchie, calme, qu’elle prenne du temps parce que c’est indispensable.
  • Et c’est vrai pour les décisions politiques, il faut du temps de la réflexion, de l’analyse. Alors, en réalité, cette place du temps à aucun endroit, vous ne l’avez souligné, par rapport à la réponse, c’est-à-dire que la réponse, on la veut tout de suite. Et c’est l’algorithme qui vous le donne. À l’inverse, pour faire de l’administration, pour faire de la justice, pour faire de l’éducation, pour faire de la santé, il y a besoin réellement d’un peu plus de profondeur, d’analyse, voire même, j’allais dire, d’avoir les idées larges.

Contrairement à la machine, l’humain possède des capacités essentielles aux relations et dans le domaine de la justice, comme par exemple l’empathie, l’écoute et la compréhension qui peuvent permettre de résoudre un litige, par un autre moyen que la logique inhérente aux systèmes d’IA.

  • Nous, on a abordé le thème aussi de l’automatisation et on a vraiment pensé qu’automatiser pour accélérer, pour gagner du temps, oui, mais à condition que la maîtrise de l’homme reste sur le sujet. D’abord pour qu’il ait un esprit critique, s’il reprend un dossier, qu’il soit capable de voir si le dossier est bon ou pas, et puis qu’il sache répondre à quelqu’un qui pense qu’il y a une erreur ou qu’il sache traiter des cas particuliers que l’automatisation n’a pas forcément prévu parce qu’il peut exister des tas de cas particuliers. Donc l’homme, l’humain reste fondamental et doit garder la compétence de son métier même s’il est aidé
  • on a abordé le problème de la justice en disant que c’était quand même difficile aujourd’hui de tout gérer avec de l’intelligence artificielle. Si vous avez par exemple un litige qui peut être réglé via une médiation, l’intelligence artificielle ne fera rien. Donc il ne faut pas déshumaniser l’ensemble, sachant qu’il y a des litiges qui peuvent vraiment être réglés avec de l’humain et de l’écoute évidemment.
  • Mais là moi ça me pose plein d’autres questions : qu’est-ce qu’on va devenir comme pays avec la suppression de l’humain, son ressenti, son empathie, qu’est-ce qu’on va faire de tout ça, à un moment donné on est un pays démocratique dit-on, mais quand on voit ce qui se passe à l’assemblée nationale, et à la police, quand on y va pour dire des choses relativement intimes qui sont arrivés à de nombreuses femmes etc, quand on va dans l’éducation nationale, le monde de la santé, ce dont on crève c’est pas de manque de papier, c’est du manque d’humains et donc d’humanité.

Les systèmes d’IA étant de plus en plus utilisés pour automatiser les procédures, ceux-ci doivent rester accessibles à tous et toutes. De plus, il est important de veiller à ce que leurs programmes aident véritablement les organisations et les citoyens en répondant aux objectifs auxquels ils sont censés répondre.

  • Mais après il y a des gens qui n’ont pas accès à internet, donc c’est très difficile pour eux de manipuler ça. Et puis il y a aussi des logiciels qui sont très mal faits, notamment pour la CAF. Moi je n’ai pas eu ce cas personnellement mais je l’ai vu. Si vous avancez dans les réponses page par page et que vous vous apercevez que vous vous êtes trompé, vous ne pouvez pas revenir en arrière. Donc comme ça, vous êtes sur une voie de garage, qui ne correspond pas à votre problème, et il faut refaire une autre demande. Donc la CAF, au lieu d’avoir un dossier, elle en a deux ou trois

Le partage des données en masse pose de véritables questions et inquiétudes en matière de vie privée et il est important d’en avoir conscience aujourd’hui afin de pouvoir agir et décider ce qui est le mieux quant à l’utilisation de l’IA.

  • Il existe déjà des outils comme le dossier médical partagé ou des choses comme ça. On peut se poser la question effectivement de l’usage de ces données médicales qui sont très riches en informations. Et je vais me faire l’avocat du diable mais est-ce que ça peut pas servir par exemple à des sociétés d’assurance ou autres ? Voilà donc le risque c’est ça aussi.

  • ça dépend des usages, mais en fait, plus c’est gratuit, plus ça part n’importe où. Et le problème, la tentation, c’est qu’un logiciel solide pour gérer tous les dossiers médicaux des patients, ça coûte des centaines de millions d’euros. Mais par contre, il y avait eu IQvia pour les pharmaciens, et on leur donnait des systèmes de gestion de leurs stocks plus ou moins gratuitement. Et en fait, il s’est avéré que ce système-là il exfiltrait toutes les prescriptions. Pas avec les noms, ce n’était pas des données personnelles, mais quand même. Du coup, on pouvait savoir en moyenne à Lyon 2e combien il y a d’antidépresseurs de tel type etc. Donc c’est sûr que ça pose question.

  • Je crois qu’il ne faut pas se leurrer. Elles sont toutes transmises, ces données. Toutes ces données sont systématiquement transmises à Big Data, par exemple, qui ont tout. Puis ça part aux Etats-Unis, ça part partout. On n’a plus de secret maintenant. Le secret médical n’existe plus, donc il ne faut pas se leurrer du tout.

  • Sur le principe, tout ce qui peut être un gain de temps dans tout ce qui est défini ici, pourquoi pas. Ceci dit, je prends le premier point, automatisation dans les services publics. Effectivement, ça peut permettre d’aller beaucoup plus vite, mais si on introduit l’intelligence artificielle ou tout logiciel qui va aller chercher dans les bases de données, qu’est-ce qui est fait de ces données ? Si ensuite ces bases de données deviennent accessibles à ceux qui contrôlent les logiciels d’IA, ça devient beaucoup plus gênant. Donc oui sur le gain de temps, mais quelle limite on met ?

Les enjeux éthiques de l’intelligence artificielle soulèvent des questionnements et problématiques qui ne semblent pas être résolubles par démocratie directe (en sollicitant les citoyens), comme ce peut être le cas pour la question de l’équilibre entre la sécurité et protection de la vie privée.

  • Humblement, moi j’ai du mal à répondre à la dernière question. Par exemple, je ne me sens pas du tout compétent et j’ai l’impression qu’il faut avoir, ou alors il faut étudier ça pendant des années. Il est clair que l’équilibre entre sécurité et protection de vie privée, c’est un sujet crucial permanent dans la vie démocratique. Et est-ce que, alors ça me renvoie plutôt à la question référendaire où on a toujours envie de dire, on va demander au peuple, qu’est-ce que le peuple est capable de définir ça, par, à mon avis, d’où l’intérêt est de préserver ce système comment dire représentatif et de confier à des gens qui après rendent compte, évidemment. Mais on demande trop aux gens, on croit qu’on va tout savoir et ce n’est pas vrai. Humblement, moi je ne vais pas répondre à ça.

L’utilisation de l’IA semble être souhaitable en ce qui concerne l’automatisation de certaines procédures administratives pour gagner du temps. En revanche, cette possibilité soulève des défis et ne doit pas évacuer l’humain car ce dernier doit pouvoir garder le contrôle d’une situation.

  • Oui, si ça peut nous éviter d’aller dans les archives pour tout gratter et passer trois jours dans la poussière!
  • La décision, bien évidemment, il y a un rôle de l’humain et en matière de justice, on ne peut pas faire n’importe quoi, on est dans un état de droit, donc il faut une infraction caractérisée avec une sanction qui est prévue par un texte et le rôle de l’humain c’est de savoir si la sanction est appropriée à l’infraction et à l’humain, mais ça peut être, je trouve, un excellent outil qui permet d’arriver à une décision beaucoup plus rapide et c’est vrai dans tout un tas de domaines.
  • Nous, on a abordé le thème aussi de l’automatisation et on a vraiment pensé qu’automatiser pour accélérer, pour gagner du temps, oui, mais à condition que la maîtrise de l’homme reste sur le sujet. D’abord pour qu’il ait un esprit critique, s’il reprend un dossier, qu’il soit capable de voir si le dossier est bon ou pas, et puis qu’il sache répondre à quelqu’un qui pense qu’il y a une erreur ou qu’il sache traiter des cas particuliers que l’automatisation n’a pas forcément prévu parce qu’il peut exister des tas de cas particuliers. Donc l’homme, l’humain reste fondamental et doit garder la compétence de son métier même s’il est aidé
  • L’automatisation dans les services publics, je trouve que ça peut être pratique, comme disait madame, pour aller plus vite, etc, pour les trucs de base, nom, prénom, adresse etc.
  • Sur le principe, tout ce qui peut être un gain de temps dans tout ce qui est défini ici, pourquoi pas. Ceci dit, je prends le premier point, automatisation dans les services publics. Effectivement, ça peut permettre d’aller beaucoup plus vite, mais si on introduit l’intelligence artificielle ou tout logiciel qui va aller chercher dans les bases de données, qu’est-ce qui est fait de ces données ? Si ensuite ces bases de données deviennent accessibles à ceux qui contrôlent les logiciels d’IA, ça devient beaucoup plus gênant. Donc oui sur le gain de temps, mais quelle limite on met ?

Le processus de décision et de réflexion humaine sont des activités cognitives nécessitant du temps et sont essentielles dans le domaine de la justice. La préservation de ce temps cognitif ou biologique semble être de prime importance face à l’automatisation et à l’accélération du temps qu’engendre l’écosystème technologique.

  • il y a une importance dans toutes les questions posées, c’est la vitesse ou la rapidité de l’information et de la réaction. Quand on regarde sur Google, on veut avoir la réponse tout de suite. La justice, tout le monde vous dira, les magistrats vous le disent, il faut donner du temps au temps de façon à ce que la décision de justice soit beaucoup plus réfléchie, calme, qu’elle prenne du temps parce que c’est indispensable.
  • Et c’est vrai pour les décisions politiques, il faut du temps de la réflexion, de l’analyse. Alors, en réalité, cette place du temps à aucun endroit, vous ne l’avez souligné, par rapport à la réponse, c’est-à-dire que la réponse, on la veut tout de suite. Et c’est l’algorithme qui vous le donne. À l’inverse, pour faire de l’administration, pour faire de la justice, pour faire de l’éducation, pour faire de la santé, il y a besoin réellement d’un peu plus de profondeur, d’analyse, voire même, j’allais dire, d’avoir les idées larges.