Ser humano en la era de las neurociencias y la inteligencia artificial significa explorar las profundidades de la complejidad, donde las ideas válidas sin embargo se encuentran bajo tensión, destacando matices y desafíos que no deben pasarse por alto. Cada página refleja las tensiones existentes entre ideas y dentro de cada tema, que surgieron en discusiones colectivas, y que se complementan con contribuciones de investigadores de la red NHNAI.
Complejidad en la salud n.°3: Mejorar la atención médica y la medicina sin socavar la agencia y la autonomía de los profesionales
Los participantes reconocen en gran medida que las tecnologías de la salud (incluida la IA) pueden apoyar a los profesionales de la salud en la toma de decisiones médicas (incluso pueden tener un mejor desempeño en algunas tareas). De manera similar, destacan que la automatización de ciertas tareas puede dar más tiempo a las dimensiones humanas del cuidado y la atención médica (por ejemplo, con robots para el cuidado). Algunos participantes también señalan que la IA y las tecnologías digitales pueden facilitar el acceso a la información relacionada con la salud, en particular para la atención preventiva y la prevención de la salud (especialmente en zonas más aisladas o pobres). También surge la idea de que las tecnologías digitales pueden mejorar la formación médica (por ejemplo, con realidad virtual o aumentada).
Sin embargo, también es ampliamente consensual en las discusiones que la IA y la tecnología sanitaria deberían contribuir a un sistema de salud más humanizado. En general, las máquinas no deberían reemplazar a los seres humanos. En particular, las tareas relacionadas con la toma de decisiones médicas, la comunicación y la atención deben seguir siendo humanas. Si bien es cierto que los profesionales de la salud y los cuidadores a menudo carecen de tiempo y están exhaustos, y que los sistemas de atención médica se encuentran bajo alta presión, las tecnologías de IA pueden no constituir la respuesta correcta o principal a estos problemas importantes.
Los participantes también insisten en el hecho de que los profesionales de la salud y los cuidadores deben seguir siendo responsables de la toma de decisiones y que la dependencia excesiva de esas tecnologías puede resultar perjudicial a largo plazo (descalificación, pérdida de resiliencia en caso de indisponibilidad de las tecnologías). Es importante destacar que la responsabilidad (moral) de las decisiones médicas debe permanecer en manos humanas.
Conclusiones de la red académica de la NHNAI:
A. Cooperación, independencia y responsabilidad
Basado en las ideas de Fernand Doridot (profesor asociado de ética, filosofía de las ciencias y tecnologías (ICAM – Universidad Católica de Lille, ETHICS EA7440, Francia) y Brian P. Green (profesor de Ética en IA, director de ética tecnológica del Centro Markkula para la Ética Aplicada (Universidad de Santa Clara, EE.UU.)
Los peligros del sesgo de automatización y la descalificación
A pesar de sus ventajas en la atención médica, la IA también conlleva riesgos, como la “descalificación” de los profesionales. Demasiado acostumbrados a depender de la IA, los médicos y las enfermeras corren el riesgo de perder habilidades importantes. Natali et al. (2025) destacan que los clínicos pueden pasar de un juicio clínico independiente a un papel de supervisión en la validación de resultados algorítmicos, lo que conduce a una erosión de las habilidades técnicas y cognitivas y disminuye su confianza y capacidad para desafiar las recomendaciones de la IA[1]. Esta confianza excesiva en los resultados producidos por la IA se encarna más generalmente en un “sesgo de automatización”, según el cual las recomendaciones emitidas por la IA se consideran más confiables, incluso en casos en que la intervención humana sería más relevante. [2] Esta situación puede llevar a los cuidadores a cometer errores graves, siguiendo recomendaciones engañosas o desatendiendo elementos importantes debido a la falta de orientación de la máquina. [3] La resiliencia general del sistema de salud podría debilitarse por la incapacidad progresiva de los profesionales para hacer frente de manera autónoma a situaciones complejas o novedosas, como patologías raras o fallos en el sistema de IA.
Los actores y profesionales preocupados deberían, por lo tanto, conocer los límites de la tecnología que están utilizando, y un escepticismo saludable sobre esa tecnología debería incluirse (en su capacitación).
Atribución de la responsabilidad
A pesar de los beneficios que la IA aporta en términos de análisis y diagnóstico de datos, la automatización también conlleva importantes cuestiones éticas, como la necesidad de que los profesionales humanos sigan asumiendo la responsabilidad por las decisiones médicas y sopesen sus implicaciones morales. especialmente en casos de impacto directo en la vida de los pacientes. [4]
Sin embargo, esta importancia de preservar la responsabilidad humana no viene sin dificultades. Por ejemplo, los sistemas automatizados cometerán errores y los seres humanos “responsables” de esas máquinas podrían fácilmente convertirse en chivos expiatorios. El “error del operador” es a menudo la excusa de primera instancia cuando una máquina falla, incluso si la verdadera culpa radica en un sistema extremadamente complejo de interacciones que no se podría esperar razonablemente que ningún individuo entendiera o fuera responsable. Además, las máquinas opuestas pueden significar asumir un riesgo que los profesionales de la salud podrían volverse cada vez más reacios a tomar. Especialmente con el sesgo de automatización antes mencionado que probablemente interfiera y desaliente a los proveedores de atención médica, sus pacientes y otros. Estos actores pueden verse obligados a ver simplemente una recomendación informática como algo que no pueden impugnar, y si se oponen a ella y están equivocados serán considerados responsables y posiblemente castigados.
Por lo tanto, será fundamental reconocer el trabajo que realmente realizan las máquinas. Es problemático que los profesionales de la salud carguen con toda la culpa cuando algo sale mal. Se convertirían en “los caídos” para sistemas complejos de los que ningún individuo puede ser razonablemente responsable.
Independencia de juicio y IA como complemento
Es sólo una cuestión de tiempo antes de que los sistemas de IA se conviertan en práctica estándar en muchas áreas de la medicina. Usar algo menos que el estándar médico sería visto como un retroceso o incluso una causa de mala praxis. No deberíamos pensar que la IA está llegando como una imposición extranjera en el campo médico. En cambio, debería llegar porque hay ciertos problemas que la IA puede resolver mejor. Pero esto se debe juzgar desde dentro de las prácticas de atención médica, con los propios profesionales.
Por lo tanto, debemos enfatizar la necesidad de que el personal sanitario esté capacitado para tener un juicio independiente y la capacidad de desviarse de las decisiones de la IA si fuera necesario. La integridad de la atención médica sólo puede mantenerse si la IA complementa, pero no sustituye por completo, a la experiencia humana.
[1] Natali, C., Marconi, L., Dias Duran, L.D. et al. AI-induced Deskilling in Medicine: A Mixed-Method Review and Research Agenda for Healthcare and Beyond. Artif Intell Rev 58, 356 (2025). https://doi.org/10.1007/s10462-025-11352-1
[2] Skitka, L. J., Mosier, K., & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991–1006.
[3] Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
[4] Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1).
