在神经科学和人工智能时代,作为人类,需要仔细探索复杂性的联系,其中有效的想法仍然处于紧张状态,表现出不容忽视的微妙之处和挑战。每一页都表达了集体讨论中出现的思想之间和每个主题内部现有的紧张关系,然后得到了 NHNAI 网络研究人员的见解的补充。

健康复杂性#3:在不损害专业人员的自主性和自主性的情况下改善医疗保健和医学

参与者普遍承认,卫生技术（包括人工智能）可以支持卫生专业人员进行医疗决策（他们甚至可能在某些任务中表现得更好）。同样,他们强调,自动化某些任务可能会为人类层面的护理和医疗保健提供更多时间（例如使用护理机器人）。一些与会者还指出,人工智能和数字技术可以促进人们获取医疗保健和健康相关信息,特别是用于预防性护理和健康预防（特别是在较为偏远或较贫困的地区）。数字技术还可以改善医疗培训（例如虚拟或增强现实）,这一观点也出现了。

然而,在讨论中,人们也基本一致认为,人工智能和健康技术应该为更加人性化的医疗保健系统做出贡献。一般来说,机器不应该取代人类。特别是,与医疗决策、沟通和护理有关的任务应该仍然是人类的。尽管医疗专业人员和护理人员确实经常缺乏时间、精疲力竭,而且医疗保健系统承受着巨大的压力,但人工智能技术可能并不是解决这些重大问题的正确或主要答案。

与会者还坚持认为,卫生专业人员和护理人员应继续负责决策,过度依赖此类技术从长远来看可能是有害的（去技能化、在技术不可用时失去弹性）。重要的是,医疗决策的（道德）责任应该仍然掌握在人类手中。

The following ideas can be found in the global and local syntheses downloadable here

  • AI and health technologies can improve medicine and health care:
    • (Global – Health) Acknowledging the positive contribution of health technologies to healthcare
  • AI and health technologies should not lead to dehumanization of healthcare and medicine:
    • (Global – Health) Privileging AI cooperation and support instead of human replacement
  • Risk of overdependence and of problems with responsibility:
    • (Global – Health) Preserving human agency and autonomy (in healthcare)
    • (Global – Health) Never believing we can delegate (moral) responsibility to machines
    • (Global – Health) Fostering literacy and critical thinking
NHNAI学术网络的见解:
A。合作、独立和责任

基于 Fernand Doridot（法国里尔天主教大学伦理、科学与技术哲学副教授,法国伦理 EA7440)和 Brian P。Green（美国圣克拉拉大学 Markkula 应用伦理中心人工智能伦理教授、技术伦理主任）的见解

自动化偏见和去技能化的危险

尽管人工智能在医疗保健领域具有优势,但它也存在风险,例如专业人员的“去技能化”。由于过于习惯于依赖人工智能,医生和护士面临着失去重要技能的风险。Natali 等人 (2025) 强调,临床医生可能会从独立的临床判断转向验证算法输出的监督角色,从而导致技术和认知技能的侵蚀,并削弱他们挑战人工智能建议的信心和能力[1]。这种对人工智能结果的过度自信更普遍地体现在“自动化偏差”中,即人工智能提出的建议被认为更可靠,即使在人类干预更相关的情况下也是如此。[2] 这种情况可能会导致护理人员犯下严重错误,遵循误导性的建议,或由于缺乏机器的指导而忽视重要因素。[3] 因此,专业人员逐渐无法自主处理复杂或新颖的情况（例如罕见病症或人工智能系统故障）,这可能会削弱医疗保健系统的整体弹性。

因此,关心的参与者和专业人士应该知道他们正在使用的技术的局限性,并且应该对该技术抱有健康的怀疑态度（在他们的培训中）。

责任归属

尽管人工智能在数据分析和诊断方面取得了进步,但自动化也带来了重要的伦理问题,例如人类专业人员需要继续承担医疗决策的责任并权衡其道德影响,特别是在直接影响患者生活的情况下。[4]

然而,维护人类责任的重要性并非没有困难。例如,自动化系统会犯错误,而这些机器的人类“责任人”很容易成为替罪羊。“操作员错误”通常是机器故障时首先采取的借口,即使真正的责任在于极其复杂的交互系统,任何个人都无法合理地理解或负责。此外,对立的机器可能意味着承担医疗专业人员可能越来越不愿意承担的风险。尤其是上述自动化偏见可能会侵入和剥夺医疗保健提供者、其患者和其他人的权力。这些行为者可能会简单地将计算机推荐视为他们无法提出异议的东西,如果他们确实反对并且错了,他们将被追究责任并可能受到惩罚。

因此,承认机器真正执行的工作将是关键。如果出现任何问题,医疗从业者都要承担全部责任,那就有问题了。他们将成为复杂系统的“替罪羊”,任何个人都不能合理地对这些系统负责。

判断独立性和人工智能作为补充

人工智能系统成为许多医学领域的标准实践只是时间问题。使用不符合医疗标准的东西会被视为倒退,甚至是医疗事故的理由。我们不应该认为人工智能的出现是医疗领域的一个外来负担。相反,它应该到来,因为人工智能可以更好地解决某些问题。但这要从医疗保健实践内部、从业者本身来判断。

因此,我们必须强调医护人员需要接受独立判断培训,并在必要时能够偏离人工智能决策。只有人工智能补充但不能完全取代人类的专业知识,医疗保健的完整性才能得到维持。

[1] Natali, C., Marconi, L., Dias Duran, L.D. et al. AI-induced Deskilling in Medicine: A Mixed-Method Review and Research Agenda for Healthcare and Beyond. Artif Intell Rev 58, 356 (2025). https://doi.org/10.1007/s10462-025-11352-1

[2] Skitka, L. J., Mosier, K., & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991–1006.

[3] Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.

[4] Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1).