Ser humano en la era de la neurociencia y la inteligencia artificial implica explorar con detenimiento los entresijos de la complejidad, donde ideas válidas se encuentran, no obstante, en tensión, poniendo de manifiesto matices y retos que no deben pasarse por alto. Cada página refleja las tensiones existentes entre las ideas y dentro de cada tema, que surgieron en los debates colectivos, y que se complementan con las aportaciones de los investigadores de la red NHNAI.
Complejidad y democracia n.º 1: ¿Qué papel desempeñan los datos y la inteligencia artificial en los servicios públicos y en la gestión de la vida en sociedad?
El contenido de los debates pone de manifiesto que muchos participantes reconocen el interés de las tecnologías de IA para aumentar la eficiencia de los servicios públicos, haciéndolos más accesibles (mediante la digitalización) y más eficaces (gracias a la automatización de determinadas tareas, por ejemplo, las administrativas). La IA y las tecnologías digitales también parecen considerarse interesantes para facilitar la vida democrática y la toma de decisiones políticas (en particular, mediante el análisis de datos para comprender mejor las corrientes de la opinión pública).
No obstante, muchos participantes también señalan la importancia de no relegar a los seres humanos a un segundo plano ni someterlos por completo a los algoritmos. Se debatió ampliamente sobre la importancia de mantener los algoritmos en su lugar, como herramientas al servicio de los seres humanos y en cooperación con ellos (pero no para sustituirlos por completo). La vida colectiva (democrática) requiere preservar (o incluso aumentar) la empatía y las relaciones entre los seres humanos. La automatización y la digitalización de los servicios públicos no son, en sí mismas, necesariamente beneficiosas para todos. A algunas poblaciones les puede resultar difícil acceder a las herramientas digitales, y los algoritmos pueden contener sesgos y automatizar ciertas formas de discriminación. La dependencia de las tecnologías digitales también puede generar problemas de confianza en relación con los Estados. Las tecnologías de IA pueden incluso utilizarse para ejercer una forma de control sobre los ciudadanos, socavando su libertad de elección, de expresión y de pensamiento. Por lo tanto, es importante para los participantes que la toma de decisiones (tanto a nivel político como de la administración pública) siga estando bajo control humano.
La automatización y el uso de datos en la gestión de los asuntos públicos pueden, por lo tanto, ser una fuente de grandes avances, pero no deben ir en detrimento de las personas (o de determinados grupos más vulnerables). Las tecnologías de IA utilizadas deben ser fiables (las falsas esperanzas suscitadas por el anuncio de la digitalización pueden socavar aún más la confianza en los gobiernos) y mostrar altos niveles de equidad, rendición de cuentas y transparencia (para garantizar la generación de confianza y la aceptación social).
En un nivel más fundamental, muchos participantes reclaman una especie de derecho a no ser reducidos a sus datos digitales.
Conclusiones de la red académica de la NHNAI:
Basándose en las ideas de Brian P. Green (profesor de Ética de la IA y director de Ética Tecnológica en el Centro Markkula de Ética Aplicada de la Universidad de Santa Clara, EE. UU.), Mathieu Guillermin (profesor asociado de Ética de las Nuevas Tecnologías en la UCLy (Universidad Católica de Lyon), UR CONFLUENCE: Ciencias y Humanidades (EA 1598), Lyon, Francia), Nathanaël Laurent (profesor asociado de Filosofía de la Biología (Universidad de Namur, ESPHIN, Bélgica) e Yves Poullet (profesor de Derecho de las Nuevas Tecnologías de la Información y la Comunicación (Universidad de Namur, ESPHIN – CRIDS, Bélgica)
A. Mejorar la eficiencia de los procesos democráticos sin menoscabar la singularidad de las personas
La IA puede ayudarnos en muchos ámbitos. Queremos utilizar la IA para ser más eficientes en las cosas buenas y, al mismo tiempo, emplearla para que las cosas malas sean menos eficientes. ¿Puede la IA facilitar la ayuda a las personas? ¿Se puede utilizar la IA para detectar la corrupción? ¿En qué otras cosas buenas puede ayudar la IA y qué cosas malas puede ayudar a detener? El uso de la IA para reforzar los procesos democráticos es interesante, aunque probablemente también controvertido, pero tal vez capaz de lograr cosas nunca antes posibles en democracia, como realizar encuestas a poblaciones enteras y averiguar lo que «el pueblo» piensa realmente sobre muchas cuestiones políticas, con márgenes de incertidumbre, etc. Podría ser posible una nueva forma de democracia. Eso no significa que vaya a ser mejor, pero podría valer la pena realizar un estudio piloto y experimentar con ella.
No obstante, cualquier esfuerzo en este sentido nunca debería socavar la centralidad de la persona humana (y de otros seres vivos). Un primer principio fundamental que debemos reivindicar es el derecho de todas las personas a participar en la sociedad de la información. Este derecho debe ampliarse progresivamente, ya que el uso de las infraestructuras y de determinados servicios digitales es hoy en día cada vez más esencial para el desarrollo de nuestra personalidad. Este derecho implica el derecho a la educación en materia de alfabetización digital [1] así como el derecho a los «servicios básicos de las plataformas», como las comunicaciones, las redes sociales y los motores de búsqueda.
Preservar la centralidad de la persona humana implica también respetar el principio de la supervisión humana (el control por parte de personas humanas del funcionamiento de los sistemas de IA). Además, las personas nunca deben quedar totalmente sometidas a las decisiones tomadas por sistemas automatizados. Las explicaciones de las decisiones deben ser proporcionadas por personas humanas y debe garantizarse el derecho de recurso.
Este respeto por la centralidad de la persona humana se vincula con uno de los ejes fundamentales de la postura del papa Francisco sobre la IA en relación con la resistencia contra lo que él denomina el «paradigma tecnocrático»: «El respeto fundamental por la dignidad humana implica negarse a permitir que la singularidad de la persona sea identificada por un conjunto de datos. No se debe permitir que los algoritmos determinen cómo entendemos los derechos humanos, que dejen de lado los valores esenciales de la compasión, la misericordia y el perdón, o que eliminen la posibilidad de que un individuo cambie y deje atrás el pasado» [2]
| An analysis from the Kenyan perspective: How Artificial Intelligence is Shaping Governance in Africa?
Prof. Samuel Nyanchoga*, Catholic University of Eastern Africa (CUEA) *Professor and expert in the Department of History, and Director of the Directorate of Research at the Catholic University of Eastern Africa (CUEA) Artificial Intelligence (AI) is transforming governance in Africa by improving efficiency, transparency, and service delivery. It enhances electoral systems through better voter registration and verification, supports policy communication via digital tools like audio conferencing, and bolsters national security by tracking illicit activities. AI also reduces prison overcrowding through alternative monitoring methods, boosts revenue collection by reducing corruption, and promotes rural development by exposing communities to urban innovations. Furthermore, it improves healthcare, strengthens engagement with vulnerable groups such as refugees and pastoralists, and supports environmental monitoring and digital micro-economies. Despite these benefits, AI poses significant threats that must be addressed. These include algorithmic bias, especially in facial recognition; risks to data privacy and transparency; and potential misuse in elections and cybersecurity breaches. AI adoption also raises concerns about job displacement, erosion of cultural values, overreliance on foreign technologies, and weakened human-centered governance. Technical vulnerabilities such as power outages and increased financial crimes like money laundering further complicate its use. To mitigate these risks, Africa must adopt context-specific AI policies, invest in infrastructure and public education, integrate AI into the school curriculum, and collaborate with traditional and religious leaders to build trust. Emphasizing African values like Ubuntu, promoting inclusive design, and demystifying AI are crucial for public acceptance. Ultimately, AI should enhance not replace human empathy, dialogue, and community-centered leadership in governance. |
B. ¿Son los algoritmos más imparciales que las personas?
Teniendo esto en cuenta, es importante consolidar nuestra aculturación colectiva a la tecnología digital. De hecho, el concepto de algoritmo puede transmitir fácilmente la idea de una ausencia de sesgos y la de una mayor racionalidad u objetividad en comparación con el juicio humano (al fin y al cabo, los algoritmos son procedimientos lógico-matemáticos que no dejan lugar a la arbitrariedad ni a la subjetividad humana). Sin embargo, esta connotación oculta una realidad muy diferente.
La intuición básica es válida: si una discriminación está programada explícitamente, «aparecerá» en el programa y se podrá pedir cuentas al programador. Sin embargo, esta transparencia no es necesariamente el caso de los programas de IA obtenidos a través del llamado aprendizaje automático. Sin
querer sumarnos a las filas de los comentaristas que presentan estos programas como cajas negras (podemos ver los cálculos que se realizan, nada está oculto o es invisible por principio), es importante comprender que pueden incluir sesgos muy fácilmente y dar lugar a una discriminación difícil de detectar al examinar directamente el contenido del programa.
De hecho, la idea general que subyace al aprendizaje automático es intentar sortear las limitaciones de nuestra capacidad para escribir programas de forma explícita para tareas complejas. Por ejemplo, podemos escribir fácilmente un programa para distinguir entre imágenes monocromáticas en blanco y negro… solo se necesitan unos pocos cálculos sencillos sobre los números que codifican el color de los píxeles en dichas imágenes… pero ¿qué cálculos podemos realizar sobre esos mismos números para obtener un programa capaz de distinguir entre múltiples imágenes de objetos cotidianos? En esta etapa, podemos intentar ir un paso más allá escribiendo un programa con «huecos», o más bien «parámetros libres», es decir, un esbozo de un programa capaz de realizar muchas operaciones lógico-matemáticas diferentes (multiplicación por coeficientes, sumas, otras operaciones más complejas) y encadenarlas de múltiples maneras. Los detalles de las operaciones se determinarán estableciendo los parámetros en un valor determinado. La idea del aprendizaje automático es que, con un poco de suerte (y, sobre todo, mucha habilidad y perspicacia por parte de los desarrolladores), existe un conjunto de parámetros que producirá un programa eficiente para la tarea que hasta ahora resultaba difícil (por ejemplo, clasificar imágenes de objetos cotidianos). A continuación, intentaremos encontrar automáticamente este famoso conjunto de parámetros (o, al menos, un conjunto satisfactorio de parámetros), mediante otro programa que probará un gran número de posibilidades de configuración de parámetros comparando su rendimiento a la hora de completar la tarea prevista. Una forma muy eficaz de guiar este programa de configuración automática de parámetros es proporcionarle numerosos ejemplos de la tarea en cuestión (es decir, numerosos ejemplos de imágenes ya clasificadas según lo que representan). Si todo va bien, el resultado es un programa correctamente parametrizado que reproduce los ejemplos (decimos que hemos aprendido un modelo o entrenado un algoritmo… pero sigue siendo una parametrización automática).
C. Los algoritmos incorporan los objetivos y las tendencias (intencionadas e involuntarias) de los seres humanos
Con estos conocimientos básicos sobre el aprendizaje automático, resulta más fácil comprender cómo un proceso de aprendizaje «exitoso» puede dar lugar, aun así, a un programa muy problemático. Si guiamos una parametrización automática a partir de datos sesgados desde el principio (que reflejen, por ejemplo, discriminación sexista o racial), un aprendizaje exitoso dará lugar a un programa que reproduzca esos sesgos o discriminaciones.[3] Del mismo modo, si «entrenamos» un programa con bases de datos de ejemplos no representativas (por ejemplo, porque ciertos grupos o minorías no están representados en los datos), es muy probable que el programa no funcione igual de bien para todas las personas que lo utilicen o que se vean sometidas a él.
En general, es muy importante desmontar la ilusión de que la tecnología digital es una mera herramienta neutral que los humanos creamos, guardamos a un lado y movilizamos solo cuando es necesario. Más bien, la tecnología digital, como cualquier tecnología, se concibe mejor como redes de actores humanos interrelacionados (informáticos, diseñadores, programadores, ingenieros, usuarios, etc.) y componentes no humanos (servidores, minas de tierras raras y litio, recursos hídricos movilizados para la refrigeración de los centros de datos, etc.). En consecuencia, el comportamiento y los resultados de los sistemas de IA (y, en términos más generales, de las tecnologías digitales) siempre serán el resultado de (y reflejarán) aquello con lo que los humanos, voluntaria o involuntariamente, los han creado (programación, ejemplos en conjuntos de datos de entrenamiento, impactos socioecológicos, etc.).
En concreto, la IA reflejará, propagará y, posiblemente, reforzará las asimetrías de poder en la sociedad. Dado que la IA es una tecnología centralizadora (que centraliza los datos, la potencia de cálculo y el talento humano), resta poder a quienes quedan excluidos del centro. En este sentido, la IA es antidemocrática. Sin embargo, las sociedades democráticas pueden controlar las influencias antidemocráticas si son lo suficientemente inteligentes como para detectarlas y determinar cómo mantenerlas bajo el «control» democrático. Quienes controlan la IA (ya sean empresarios, funcionarios públicos, ingenieros, etc.) deben ser receptivos con quienes están sujetos a su poder.
Esto significa que delegar algunas tareas de gobernanza en algoritmos (de aprendizaje automático) y sistemas de IA solo puede resultar beneficioso si se lleva a cabo con extrema precaución. El punto de vista de Antoinette Rouvroy (filósofa y abogada belga) resulta especialmente esclarecedor a este respecto:[4]
El aprendizaje automático y, en términos más generales, la capacidad de las máquinas para hacernos conscientes de las regularidades del mundo que solo pueden detectarse a gran escala, tiene como objetivo aumentar nuestra inteligencia individual y colectiva al proporcionarnos acceso a una «realidad estéreo» que es a la vez analógica y digital, y que puede mejorar la forma en que nos gobernamos y coordinamos nuestro comportamiento de manera sostenible (siempre y cuando, sin embargo, reconozcamos que los algoritmos, al igual que los responsables humanos de la toma de decisiones, siempre están «sesgados» a su manera, aunque estos «sesgos» no sean fáciles de detectar porque parecen «reabsorberse» en las capas ocultas de las redes neuronales).
En su crítica a la «gubernamentalidad algorítmica», Antoinette Rouvroy advierte del riesgo de una delegación demasiado amplia e indiscriminada de la toma de decisiones a las máquinas, lo que llevaría a sustituir nuestras formas humanas y vivas de enunciar, verificar y justificar nuestras convicciones por «un régimen de optimización y prevención»:[5]
Las categorías o formas (ideológicamente discutibles, subjetivamente sesgadas, siempre un poco «inadecuadas», etc.) a través de las cuales estamos social, cultural, política o ideológicamente predispuestos a percibir y evaluar los acontecimientos del mundo y a sus habitantes quedan así sustituidas por la detección de señales en «tiempo real» y una evaluación anticipatoria no de lo que las personas o los acontecimientos «son», sino, en el modo del «crédito», de las oportunidades, propensiones, riesgos, etc. que sus formas de vida «conllevan». El objetivo del modelado algorítmico ya no es producir «conocimiento», sino proporcionar información operativa que no sea ni verdadera ni falsa, pero que sea lo suficientemente fiable como para justificar estrategias de acción preventivas.
Además, como ya se ha mencionado, los algoritmos no deben entenderse como un procesamiento neutral de los hechos. Los hechos en sí mismos nunca son neutrales. Los seres humanos siempre están investidos de la responsabilidad de establecer los hechos, interpretarlos y dar sentido a la realidad. Se trata, por supuesto, de una tarea falible que puede ser pervertida. Pero los algoritmos hacen menos (y no más) que esto:[6]
En el caso de los algoritmos, los únicos «hechos» son los datos, que parecen haber olvidado las condiciones en las que se generaron. Sin embargo, los hechos —o los datos— no son más que el reflejo o las consecuencias de las relaciones de poder, la dominación, las prácticas discriminatorias o la estigmatización que salpican la realidad social.
[1] As a striking illustration of this issue of inequalities of access to basic digital services, a recent Belgian survey pointed out that, in 2023, “40% of Belgians remain in a situation of digital vulnerability, due to poor digital skills or non-use of the internet. The acceleration in the digitization of our society is therefore not leading to a proportional increase in digital skills” (https://kbs-frb.be/fr/quatre-belges-sur-dix-toujours-risque-dexclusion-numerique).
[2] Message of his Holiness Pope Francis for the 57th World Day of Peace, 1st january 2024, https://www.vatican.va/content/francesco/en/messages/peace/documents/20231208-messaggio-57giornatamondiale-pace2024.html
[3] One example among many others (here with generative AI): https://restofworld.org/2023/ai-image-stereotypes/
[4] Interview of Antoinette Rouvroy on the topic of “algorithmic governmentality” (2 December 2019 by Catherine De Poortere) (our translation): https://www.pointculture.be/articles/focus/gouvernementalite-algorithmique-3-questions-antoinette-rouvroy-et-hugues-bersini/.
[5] Ibid. (our translation).
[6] Ibid. (our translation).
