Los agentes y el martillo de oro (II): agentes y medio ambiente

Con este post continuo la breve serie que quería dedicar a un eventual uso irreflexivo de los agentes, un uso que no se detiene a considerar que en ciertos casos existen  mejores alternativas. Es decir, continuo la serie dedicada a considerar a los agentes como un martillo de oro, la solución para cualquier problema que pasa a ser siempre un clavo. 

Si en el post anterior reflexionaba sobre si no es mejor, desde un punto de vista fundamentalmente técnico y operativo,  usar en ciertos casos soluciones basadas en reglas o workflows mejor que un agente, en este artículo torno mi mirada hacia la sostenibilidad y el impacto medioambiental.

Agentes 101

Antes, recordar brevemente, una vez más, qué es esto de los agentes y de la Agentic AI (aquellos lectores que lo tengan claro pueden saltarse esta breve sección)

Los agentes de la agentic AI, son unos programas construidos alrededor de un gran modelo de lenguaje razonador. Unos programas que son capaces de funcionar de manera autónoma buscando realizar tareas eventualmente complejas o satisfacer objetivos que reciben expresados en lenguaje natural. 

Además son capaces de usar una serie de elementos, denominados herramientas, que les permiten realizar tareas especializadas y, sobre todo, interactuar con el exterior, típicamente con otras aplicaciones.

Y, de manera muy relevante y diferencial, esos agentes, definen ellos mismos el plan de acción a aplicar para realizar la tarea o alcanzar el objetivo encomendado. Y para definir ese plan de acción, utilizan ese modelo de lenguaje razonador. Además, estos planes de acción son dinámicos y se revisan 'en vuelo' según los resultados parciales que el agente vaya obteniendo.

El precio del razonamiento

No sólo es diferencial, es que también es tremendamente atractivo y potente que el agente sea capaz de 'pensar', crear y revisar el plan de acción. Es como un alarde de inteligencia y permite que le encomendemos tareas complejas o, incluso, tareas que nosotros no sabemos resolver.

Pero esa potencia, esa brillantez, tiene un precio en forma de consumo computacional. Si el uso de cualquier modelo de lenguaje, incluso para una tarea simple como completar un texto, es costoso computacionalmente, hacer un plan es mucho más costoso. Y revisarlo también

Y por si eso fuese poco, es posible que no se trate de acciones que se realicen una sola vez. Es que el agente puede estar funcionando de manera permanente, continua, con lo que esa planificación o revisión de planificación puede estarse ejecutando repetidamente. 

La economía y el medio ambiente

Y, claro, el coste computacional se traduce en consumo energético y, por tanto, en coste económico. Un coste económico que se traduce para el proveedor del modelo en factura eléctrica y eventualmente más facturas en forma, por ejemplo, de refrigeración. Y para el que usa el agente en factura IT, por tokens consumidos o la unidad que se haya acordado.

Pero claro, a poco que esa energía utilizada provenga de fuentes no renovables, ese consumo energético se traduce en huella de carbono u otros impactos medioambientales como calentamiento de aire o agua usados en refrigeración.

No, por desgracia no parece que los agentes se lleven muy bien con el medio ambiente

Un consumo muy perceptible

Ese consumo computacional se puede percibir además, no de forma precisa, pero sí muy tangible.

No hace mucho, casi más por experimentar, me creé un agente sencillo usando la herramienta Make. Cuando lo ejecuté, me llamó mucho la atención lo que tardó en realizar la tarea, una tarea que realmente era muy simple, casi trivial.

En realidad, se trataba de una tarea que creo impropia para un agente. Creo recordar que consistía en procesar correos entrantes, crear una respuesta para esos correos y contestar al remitente con esa respuesta.

Como usuarios estamos acostumbrados hoy en día a muy bajas latencias, a tiempos de respuesta muy buenos, por lo que esta lentitud era llamativa. Pero hay que tener en cuenta que el agente tenía que entender la tarea, realizar el plan de acción e imaginarse qué herramientas de las que ponía a su disposición utilizar y de qué forma. Eso no es tan fácil.

Esa lentitud percibida era, pues, una manifestación tangible del coste computacional de lo que el agente estaba haciendo.

Workflows: cuando la eficiencia técnica se alinea con la sostenibilidad

Y, sin embargo, con esa misma herramienta Make, que habitualmente se utiliza no para hacer agentes sino workflows, podría haber creado un workflow (escenarios como se llaman en Make) muy simple para hacer la misma labor.

La ejecución de ese workflow, aparte de más fiable en cuanto a estar seguros de que iba a hacer lo encomendado, es mucho, muchísimo más rápida. Y sería muchísimo más rápida porque el flujo ya estaría pensado en tiempo de diseño, no sería necesario crear ningún plan ni revisarlo (el propio workflow es el plan y es estático). Tampoco es necesario deducir qué herramienta (el GMail en este caso) usar, porque el propio workflow indica cuál es y cómo se invoca.

Desde un punto de vista técnico y operativo interesa saber que la tarea realizada con un workflow es mucho más rápida y mucho más fiable en cuanto a resultados.

Esa eficacia y eficiencia técnica y operativa tiene, claro, también su traducción en menor consumo energético y, por tanto, menor coste.

Y, por si algo faltaba, es una solución más respetuosa con el medio  ambiente porque ese menor consumo energético va a tender a crear mucha menor huella de carbono y mucho menor calentamiento.

El martillo de oro

Por tanto, no caigamos en pensar que los agentes son un martillo de oro y que son siempre son la mejor opción.

En el post anterior razoné que de cara a la eficacia, la eficiencia y la calidad, probablemente, para ciertos casos, existan soluciones mejores, soluciones más tradicionales basadas en reglas o workflows.

En este post recuerdo que la sofisticación de un agente viene acompañada de un coste económico y medioambiental y, por tanto, se deben usar con prudencia, cuando el tipo de tarea encomendada realmente sea propia de un agente e, incluso en este caso, debería preocuparnos su impacto medioambiental.

Como se puede observar, ni los agentes son un martillo de oro, ni todos los problemas son clavos.

Conclusiones

Los agentes son unas soluciones excitantes, poderosas y abren enormes posibilidades en automatización y seguramente más campos como investigación.

Pero no son un martillo de oro. No son la mejor solución técnica para todos los problemas y, desde luego, no son la mejor solución para el medioambiente.

Seamos, pues, responsables.

Artículos de este blog relacionados

• Los agentes y el martillo de oro (I): ¿por qué no un workflow?

'Magnifica Humanitas' y la voz

Es probablemente de todos los lectores conocido la reciente publicación de la primera encíclica del Papa León XIV, la ya muy conocida y comentada 'Magnifica Humanitas'.

Cuando supe de su publicación me propuse, por supuesto leerla, pero además publicar un post como este, en que la comentase.

Por cierto, que pensaba que publicar un post sobre una encíclica, por más que ésta se centrase en la inteligencia artificial, era un paso de una cierta originalidad por mi parte, pero viendo todo lo que se ha hablado de ella, no sólo en medios como la radio y la televisión, sino también en redes sociales incluyendo las profesionales, creo que no es así, que no soy original para nada, y que, incluso, este post podría verse casi como 'cansino', más aún cuando ya hace unos 20 días desde que la encíclica fue publicada, y ya se ha producido toda una avalancha de artículos, pronunciamientos y opiniones.

Recogimiento para la formación de una opinión

Y sin embargo, publico estos comentarios porque me sigue apeteciendo hacerlo, y pese a que ya pueda haber perdido una cierta oportunidad.

Lo cierto es que cuando supe de la publicación de la encíclica, decidí atender lo menos posible a los comentarios y publicaciones que se produjeran, porque quería crearme una opinión propia, sin influencias ni condicionamientos.

Y, además, quería leerla tranquilamente, capítulo a capítulo, y no 'de un tirón'.

De ese aislamiento, o recogimiento, buscado, y de esa calma...conviviendo con un gran pico de trabajo, nace esa distancia en el tiempo que pueda parecer una pérdida de oportunidad.

Un mini resumen

Aunque inicialmente pensaba en hacer una especie de resumen comentado de la encíclica, al final casi prefiero transmitir algunas sensaciones generales y alguna reflexión, pero antes, para quien no se haya leído la encíclica (y, por cierto, se sea creyente o no, creo que es aconsejable leerla), hago un resumen rápido.

La encíclica, es bien conocido que tiene como protagonista a la inteligencia artificial, pero lo cierto es que es un documento más amplio y que, posiciones aparte específicas sobre la inteligencia artificial, también transmite otro tipo de preocupaciones morales y, además, realza, y mucho, lo que ha sido y es la doctrina social de la Iglesia, algo que era previsible porque el propio nombre adoptado por el actual Papa, León XIV, era ya desde elección, una clara referencia a León XIII, impulsor de esa doctrina social de la Iglesia.

Brevemente, el contenido de los capítulos es el siguiente:

• Introducción: Utiliza como apertura y metáfora bíblica, la contraposición entre la torre de Babel, representando el poder sin referencia a Dios que dispersa y deshumaniza, y la reconstrucción de Jerusalén por Nehemías representando la corresponsabilidad, la escucha y trabajo compartido orientado al bien común.


• Capítulo I — Un pensamiento dinámico fiel al Evangelio: Hace un recorrido por la evolución de la doctrina social de la Iglesia, fundamentalmente recorriendo las diferentes encíclicas que se han concentrado en ella. Un recorrido que, claro, tiene en su origen la 'Rerum novarum' de León XIII.


• Capítulo II — Fundamentos y principios de la Doctrina Social de la Iglesia: resume los principales planteamiento de esa doctrina social, destacando elementos como el bien común, el destino universal de los bienes, la subsidiariedad, la solidaridad o la justicia social, principios que traslada al mundo digital actual. Añade una cierta autocrítica o examen de conciencia hacia la propia Iglesia católica en materia de trasparencia, rendición de cuentas o la escucha a víctimas.


• Capítulo III — Técnica y dominio. La grandeza de la persona humana ante las promesas de la IA: Es, probablemente, junto con el siguiente, el capítulo más centrado realmente en la inteligencia artificial, revisando algunos de sus riesgos e implicaciones para la persona humana. Critica el denominado paradigma tecnocrático y también, y esto no lo esperaba, el transhumanismo y poshumanismo.


• Capítulo IV — Custodiar lo humano en la transformación. Verdad, trabajo, libertad: aborda cuatro ámbitos de lo humano a proteger: la verdad, la dignidad del trabajo, la familia y la libertad frente a esclavitudes. En un punto que también me ha resultado sorprendente, no por el hecho en sí, sino por verlo en esta encíclica, el Papa reconoce que la Iglesia no siempre ha reaccionado a la velocidad debida a ciertos fenómenos y, en concreto, lo centra en la esclavitud y pide perdón por esa falta de respuesta de la Iglesia en su momento.


• Capítulo V — La cultura del poder y la civilización del amor: Abandona parcialmente, aunque no del todo, el tema de la inteligencia artificial, para centrarse más en el poder y, sobre todo, la guerra.


• Conclusión: Propone un programa de vida que se concentra en la fidelidad a la verdad, la inversión en educación, el cuidado de las relaciones y el amor a la justicia y la paz.

Algunas ideas y sensaciones

Más allá de contenidos objetivos que he condensado muy brevemente en la sección anterior, comentar algunas ideas que extraigo o algunas sensaciones que me produce.

En primer lugar, es un documento bien informado. Eso es algo que espero de cualquiera que se pronuncie en este caso sobre la inteligencia artificial: que sepa de lo que está hablando, que hable con conocimiento de causa, no 'de oídas' o con base en mitos. Por supuesto, no me sorprende que una encíclica sea un documento 'bien informado', pero creo que vale la pena ponerlo de relieve

Me parece un documento que aúna firmeza y moderación. Es moderado en el sentido de que no es agresivo ni altisonante pero, a la vez, es firme, criticando claramente, aunque sea con esa moderación, lo que considera que es incorrecto.

Aunque repasa los riesgos de la IA, la perspectiva es sobre todo, la de proteger la dignidad humana en su conjunto. En ese sentido, tienen poco protagonismo problemáticas éticas digamos tradicionales, de la IA, como es lo que tiene que ver con la privacidad.

Me ha dado la sensación de que lo que más preocupa al Papa de la IA, más allá de sus riesgos, es la concentración de poder, que el destino de la IA se encuentre en manos de unos pocos.

Igualmente, y aunque a nivel mediático lo que se ha destacado es la inteligencia artificial, la encíclica pone mucho foco en otros dos aspectos de los que destacaría esa concentración de poder y la guerra.

Igualmente decir que me ha llamado la atención, y me ha gustado, todo el viaje por la doctrina social de la Iglesia. Me ha gustado, digamos intelectualmente, porque explica muy bien, aunque sea de forma breve, en qué consiste y cómo ha evolucionado hasta llegar al momento actual. Pero me gusta, además, por esa sensación que transmite de continuidad, de coherencia, en cierto modo de tradición, que muestra que, por más que la IA sea ahora el último grito y que esta encíclica pudiera parecer disruptiva, lo cierto es que se enmarca en toda una historia, toda una tradición y todo un pensamiento coherente.

De la ética aplicada a la religión aplicada

Cuando se cuenta la evolución de la filosofía, y sobre todo de la ética, se cuenta, yo mismo lo he hecho varias veces, cómo tras unos siglos en el pasado en que gozaron de atención, la filosofía y la ética,  como disciplinas, estaban un poco 'muertas', hasta que surgió el enfoque de la 'ética aplicada' en que en lugar de teorizar, de 'filosofar' podríamos decir, decidió centrarse en problemas concretos, modernos e incluso del día a día: la biotecnología, la eutanasia, la ecología... y la tecnología. Y esto ha supuesto un renacer de filosofía.

No puedo evitar pensar que, en cierto sentido, esta 'Magnifica humanitas', como probablemente toda la doctrina social de la Iglesia, más allá de su evidente trasfondo religioso, tengo un algo de esa  ética aplicada y si no estaríamos hablando, y me acabo de inventar el término, de una 'religión aplicada'. Y me pregunto si ese enfoque aplicado, aunque quizá más susceptible de polémicas, no puede ayudar a un nuevo impulso de la Iglesia que, al menos en Europa, a ratos parece languidecer.

Una forma de marketing religioso

No sé si es pretendido o no, pero diría que esta encíclica ha sido una especie de 'golpe de marketing' para la Iglesia católica y para el Papa León XIV.

El nombre de la encíclica, 'Magnifica humanitas' me parece precioso y excelente para una encíclica que habla de Inteligencia Artificial y de proteger la dignidad humana. Aunque desconozco el proceso, no tengo ninguna duda de que los nombres de las encíclicas se eligen cuidadosamente. Pero en este caso, la elección me parece singularmente acertada.

Otra cosa que me llamó la atención es que se anunciara por anticipado que se iba a publicar y la atención que concitó. No sé si en ocasiones anteriores se anunciaron los 'lanzamientos' de las encíclicas, pero estoy convencido de que pocas o ninguna, generó tanta expectación.

Conscientemente o no, buscado o no, creo que esta encíclica y su publicación han tenido alto impacto mediático, mucho más allá de la comunidad cristiana católica, y han realzado la imagen de la Iglesia y, sobre todo, del Papa León XIV. 

Sobre la voz

Hace unos meses, concretamente a finales de Octubre de 2025, fui invitado como ponente en unas jornadas sobre Teología e Inteligencia artificial, en la Universidad Pontificia de Salamanca, una experiencia que recogí en el post ' La Iglesia y el diálogo ético sobre inteligencia artificial: una experiencia, unas lágrimas y un mensaje'.

En ese post explicaba cómo, por cierto celo en el control de tiempos, mi intervención fue 'cortada' sin que pudiera llegar al final, sin poder llegar a las conclusiones y transmitir los verdaderos mensajes que quería transmitir.

Pero publiqué el vídeo de lo que hubiera sido la ponencia completa, incluidos esos mensajes. Es este

Y me satisface ver que, en cierto sentido, esta encíclica recoge algunas de las que eran mis propuestas.

Antes decía que esta encíclica me parecía un documento informado, que 'no tocaba de oídas'. Pues bien,  entre los mensajes que no pude pronunciar en las jornadas, estaba el de que cuando abordasen el tema de la inteligencia artificial, que lo estudiaran bien y se informasen, que no 'tocaran de oídas' (en el video 2:56).

Además les hubiera querido decir, que ante los debates éticos en que no tenemos claro qué hacer, la brújula es siempre el valor de la vida humana (en el video, 2:50) y cómo se ve afectado por una tecnología o una solución. 'Magnifica humanitas', ya casi desde el título, adopta la perspectiva de proteger la dignidad humana.

Pero, sobre todo, lo que les quería haber dicho, era que, ante los dilemas éticos planteados por la inteligencia artificial, que la Iglesia católica tenía la posibilidad y casi del deber, de dejar oír su voz (en el video 2:55)

 

Conclusiones

La encíclica 'Magnifica humanitas' es un documento informado y muy relevante en muchos aspectos incluyendo los debates éticos alrededor de la inteligencia artificial.

Y me alegra comprobar que resuena con los principales mensajes de aquella ponencia inconclusa que protagonicé en la Universidad de Salamanca.

La inteligencia artificial y su contribución a una vida significativa: cinco puntos a considerar

Mucho se debate acerca del impacto innegable de la inteligencia artificial. Su impacto en lo económico, en lo laboral, en nuestro día a día... Y también se habla de las implicaciones éticas, muchas veces, eso sí, acentuando más el aspecto de los riesgos que implica que los beneficios.

En este post quisiera, con base en mi lectura actual del libro 'The ethics of artificial intelligence' de unos de mis filósofos favoritos, Sven Nyholm, ' comentar ese impacto de la inteligencia artificial en un aspecto mucho más importante, aunque quizá elusivo, de nuestras vidas: el significado.

Mi enfoque favorito de la ética

Suelo defender, cuando tengo ocasión en clases o charlas, un enfoque de la ética, que creo que encaja bien con el planteamiento de la eudaimonia de Aristóteles, y que más que en normas, más que en prohibiciones o exigencias, más que en el dictado estricto de lo que debemos o no debemos hacer, pone el foco en el propio valor de la vida humana, en su respeto y, sobre todo, en el desarrollo de sus potenciales, como guía para determinar qué consideramos bueno y qué no y, con base en eso ayudarnos a determinar nuestro comportamiento y nuestras apuestas.

El significado

Y creo que esa visión entronca bien con lo que se suele mencionar como el significado ('meaning') o el propósito. 

Se tratará pues, de alguna manera, de hacer que nuestra vida sea digna, sí, pero también significativa, que nos desarrollemos y que aportemos. Cuando Nyholm introduce el tema nos dice:

We will primery focus on wether AI technologies might make us into morally better people, on the one hand, and whether they might make our lives more meaningful, on the other. 

Aunque creo que está relacionado, dejamos para otro momento la cuestión de si la tecnología nos puede hacer moralmente mejores o no y nos centramos en el significado.

¿Qué es una vida significativa?

Es cierto que el concepto de significado o vida significativa. puede no estar claro. Puede que cada uno de nosotros considere que una vida es significativa o no por motivos diferentes. Pero, para 'centrar las cosas', acudo a una explicación que procede de la misma fuente unas pocas líneas más abajo, y que nos dice:

The idea of meaning in life is often associated with things such as whether one is part of something “bigger than oneself,” whether one has a sense of purpose in life, and so on. Sometimes philosophers associate meaning in life with “the good, the true, and the beautiful,” so that a meaningful human life is a life in which one does good, one is a truth-seeker, and one gets to enjoy and appreciate different kinds of beauty. Meaning in life is also sometimes associated with notable achievements and accomplishments. Meaning in life is also often associated with living not just for oneself, but also doing things for others and being part of a community. This, in turn, is sometimes related to the idea of making important contributions of different kinds.

En ese párrafo, se identifican una serie de aspectos que dan significado a la vida::

• Formar parte de 'algo mayor'
• Hacer el bien
• Buscar la verdad
• Apreciar las diferentes formas de belleza
• Alcanzar logros
• Hacer cosas por los demás
• Formar parte de una comunidad
• Hacer contribuciones importantes

Seguramente se le pueda 'dar más vueltas' a qué hace una vida significativa, pero creo que, con esto tenemos suficiente ahora mismo para saber de qué estamos hablando..

Los cinco puntos a considerar

Bueno, pues con ese marco, Nyholm identifica cinco aspectos en que la inteligencia artificial puede influir en el significado de las vidas humanas, ya sea en el sentido de aumentarlo o disminuirlo. Los cinco puntos sobre los que reflexiona Nyholm son los siguientes:

• Asunción por la IA de tareas que nos resultan significativas: pensamos que, en efecto, la inteligencia artificial se irá haciendo cargo cada vez de más y más tareas. Si esas tareas que delegamos en la inteligencia artificial son del tipo de las que, por el estímulo intelectual que suponen, por el desarrollo de nuestras capacidades que implican, por la sensación de logro que conseguimos con ellas, o por cualquier otro motivo, son tareas que consideramos significativas, la introducción de la inteligencia artificial podría ir en la línea de disminuir el significado de nuestras vidas al quitarnos tareas que le confieren significado.


• Si, por el contrario, la inteligencia artificial nos libera de tareas que no nos resultan satisfactorias pero que nos consumen tiempo y, gracias a eso, podemos dedicar nuestros esfuerzos a tareas que sí nos importan y realizan, entonces, por el contrario, estaría contribuyendo a hacer nuestras vidas más significativas.


• En un sentido diferente, si la inteligencia artificial, en realidad como muchas tecnologías, nos potencia, multiplica nuestra capacidad y, por tanto, aumenta nuestras posibilidades de conseguir más cosas, de alcanzar más logros o que estos sean de mayor calado, la inteligencia artificial estará contribuyendo a hacer nuestras vidas más significativas, aunque queda la reserva de lo que se denomina el 'achievement gap', que hace referencia a que, tal vez, el mérito de esos logros pueda no ser nuestro, sino de la inteligencia artificial...lo que podría menoscabar nuestro propio mérito y, por tanto, significado del logro.


• En un aspecto quizá más polémico, el cuarto punto se adentra en el terreno de las relaciones, un aspecto que solemos considerar valioso pero en este caso, hablaríamos de las relaciones hombre-máquina. y, en la medida que las máquinas sean más y más 'inteligentes' y en la medida (sometida a mucho debate ético y filosófico) que para la persona la relación con ciertas máquinas pueda ser significativa, la inteligencia artificial estaría contribuyendo al significado vía relaciones.


• El último aspecto que considera Nyholm, va justamente en dirección contraria al anterior: si esas relaciones que creemos significativas, en realidad no lo son, si en realidad no son más que una forma de engaño, la contribución de la inteligencia artificial al significado de nuestras vidas, sería negativo.

Es posible que pudiéramos identificar más aspectos en que la inteligencia artificial pueda influir en el significado de nuestras vidas, en un sentido u otro, pero me quedo con éstas que son las que se analizan en mi reciente lectura.

No queda cerrado, ni mucho menos, el debate, ni en este post ni en el libro que lo inspira. En realidad queda planteado, abierto a reflexión, muy abierto.

Conclusiones

La  única conclusión clara, creo, es que la inteligencia artificial, desde luego, impacta en nuestras vidas y es posible, sólo posible, que pueda hacer contribuciones a que éstas puedan ser más o menos significativas.

La tecnología como solución: tecnología para la ética y la gobernanza de la IA

Forma parte del discurso habitual sobre ética de la tecnología, particularmente  ética de la inteligencia artificial, el ver a la tecnología, en este caso la inteligencia artificial, como culpable, y ya de paso, trasladar esa culpabilidad también a los ingenieros que la crean.

Hace ya algún tiempo hice en este mismo blog un alegato en defensa de los ingenieros y en contra de ese discurso culpabilizador, en el post 'Con el debido respeto: los ingenieros y la ética de la inteligencia artificial' .

En el post que ahora comienzo, salgo en cierto sentido en defensa, no específicamente de los ingenieros como personas y profesionales, sino de la tecnología en sí misma, explicando un poco y destacando el importante papel que tiene en la consecución de una inteligencia artificial responsable y ética.

Y para ello, rescato un discurso que suelo hacer en las charlas y formaciones en que tengo la ocasión de hablar de ética de la tecnología, complementado con algún hallazgo bibliográfico reciente.

Vamos allá.

Tecnología como solución

En esencia, lo que intento trasladar es que, de cara a conseguir una inteligencia artificial ética, no sólo debemos pensar en regular y prohibir, sino que hay otros campos de actuación y uno de ellos,  y muy importante, es precisamente la propia tecnología, que ofrece multitud de herramientas, ayudas y soluciones orientadas a conseguir esa inteligencia artificial responsable.

Ya hace un tiempo encontré en 'Manual de ética aplicada en inteligencia artificial' de Mónica Villas y Javier Camacho, una buena panorámica de herramientas tecnológicas.

Vamos a repasar brevemente algunas.

Herramientas para la privacidad

Existen muchas técnicas maduras para garantizar la privacidad y el derecho a la intimidad. En a obra citada los autores nos explican varias que, más a modo de referencia que de verdadera explicación, menciono a continuación:

• Anonimización: eliminación de la información personal, privada o sensible de los datos de manera que la información resultante no pueda ser asociada a ninguna persona o colectivo


• Privacidad diferencial: Mecanismo que introduce aleatoriedad en la toma de datos de forma que no se puedan asociar a la persona y, sin embargo, es posible eliminar posteriormente el ruido.


• Encriptación homomórfica: mecanismos que permiten trabajar sobre datos encriptados sin necesidad de ninguna clave.


• Computación multiparte segura: distribuye el cálculo sobre datos entre múltiples partes de forma que ninguna tenga una visión completa.


• Aprendizaje federado: modelo de aprendizaje distribuido en machine learning lo que evita que los usuarios tengan que ceder datos.


• Datos sintéticos: datos generados artificialmente a partir de datos reales que conservan sus propiedades estadísticas.

Herramientas para la equidad

De cara a la eliminación de sesgos y, por tanto, en busca de garantizar la equidad, también existen una amplia variedad de técnicas y apoyo de herramientas.

En esa línea, y siguiendo la referencia anterior, se dispone de variedad de 'toolkits' (en general implementados como librerías python) para la detección y mitigación de sesgos. Entre ellos, se nos mencionan los siguientes:

• Fairml
• Fairlearn
• Fairness 360 (IBM)
• What-if-tool (Google)
• Aequitas
• Audit-AI
• LIFT
• Fairmodel
• scikit-fairness

Herramientas para la explicabilidad

Algo más complejo es el panorama de la explicabilidad. Pero incluso en este campo, existen planteamientos técnicos y, quizá, como he comentado en algún otro post, los modelos generativos, muy especialmente los razonadores, pueden arrojar una solución completamente nueva y casi definitiva.

Un poco en 'ralentí' a ver si, en efecto, esos modelos son una solución cercana a lo definitivo, algunas técnicas usadas en busca de la explicabilidad, serían:

• Modelos inherentemente interpretables: Es decir, siempre que sea posible, usar modelos explicables como puede ser un árbol de decisión, en lugar de modelos no interpretables como una red neuronal.


• Sistemas descomponibles: En cierto modo una extensión de lo anterior y donde lo que se propone es descomponer un sistema en subsistemas e intentar que, al menos en sus partes críticas, se usen modelos explicables.


• Modelos proxy: Aunque se inicie la resolución de un problema con un modelo no interpretable, como una red neuronal, desarrollar en paralelo otro, sí interpretable, que produzca similares resultados y utilizar ese segundo modelo para las explicaciones. En esta técnica siempre me he preguntado su viabilidad real puesto que si utilizamos un modelo no interpretable es porque consigue mejores resultados que uno interpretable (es decir, los resultados no son iguales y por tanto tengo dudas sobre la calidad de ese 'proxy').


• Mapa de prominencia: No es una solución general pero puede ayudar en casos concretos y normalmente a posteriori. Se trata de averiguar el peso que tiene cada entrada del modelo en el resultado final, jugando con escenarios de 'que pasa si' varío el valor de una entrada dejando fijas el resto.


• Explicaciones contrafactuales: Parecido a lo anterior intenta, ante un resultado obtenido, averiguar qué tendría que cambiar en las entradas para obtener un resultado diferente.

Guardarraíles como servicio

En una línea algo diferente, hace poco, descubría, con sorpresa y agrado, que en la plataforma 'cloud' líder, Amazon AWS, entre la multitud de servicios de todo tipo y en concreto de machine learning e inteligencia artificial, también se ofrece un servicio ya construido de guardarraíles éticos pensando sobre todo en la creación de aplicaciones basadas en modelos generativos que incorporen estas salvaguardas.

Algunas métricas

En una lectura posterior a la ya citada, en concreto en 'Gobernar la inteligencia artificial' de Benjamin Pride (seudónimo), me encuentro un resumen compacto de algunas de métricas importantes de cara a medir la calidad de los resultados que obtenemos en las soluciones de inteligencia artificial, desde un punto de vista técnico y operativo, pero también ético e incluso de seguridad. Así, el autor nos menciona:

• Métricas de precisión y rendimiento técnico: medidas clásicas como accuracy, recall, precision o F1-score y que permiten saber si el modelo sigue acertando en su tarea principal. Se trata de unas medidas más operativas o de calidad, pero también tienen su impacto ético, puesto que decisiones equivocadas, pueden ser injustas.


• AUC ('Area Under Curve', Área Bajo la Curva ROC): métrica crítica en modelos de clasificación binaria. Una caída de más de 3 puntos porcentuales frente a la línea base suele activar una revisión.


• Indicadores de equidad intergrupal: diferencias de resultados entre colectivos. Indicadores como 'Equal Opportunity' (tasa de verdaderos positivos) o 'Demographic Parity' ayudan a detectar sesgos. El umbral u objetivo que habitualmente se considera es que no se produzcan diferencias de más de un 5 % entre grupos protegidos.


• Population Stability Index (PSI): compara la distribución actual de variables con la usada en el entrenamiento. Valores superiores a 0,2 suelen indicar deriva ('drift') de datos significativa y, por tanto, la necesidad de revisión y, probablemente, reentrenamiento.


• Métricas de explicabilidad y confianza: métricas derivadas de técnicas como SHAP values o LIME. Miden si las variables que el modelo usa para decidir siguen siendo coherentes con lo esperado.


• Pruebas de robustez frente a ataques adversarios: pruebas diseñadas para evaluar la resistencia del modelo a perturbaciones intencionadas. No se trata de medir precisión, sino de comprobar resistencia.

Herramientas para la monitorización

El mismo autor anterior apuesta, con toda lógica, por la monitorización continua, una monitorización basada en las métricas anteriores y automatizada, elevando alarmas y generando evidencias de comportamiento.

El mensaje

Estoy seguro de que existen muchas más metodologías, técnicas y herramientas, pero el mensaje es claro: la tecnología no es 'la culpable' de resultados no éticos. Es cierto que genera problemáticas como los sesgos, pero también es cierto que aporta un abanico rico y amplio de soluciones a esos mismos problemas.

Ahora es 'cosa nuestra' el ser realmente responsables, utilizar esas soluciones y, ya de paso, 'absolver' a la tecnología.

Conclusiones

Aunque es cierto que la tecnología, fundamentalmente en su forma de inteligencia artificial, genera riesgos éticos, la propia tecnología nos ofrece soluciones para esos mismos riesgos.

No culpabilicemos, pues, a la tecnología, y utilicemos de forma responsable las soluciones que nos brinda.

Automation blindness o el riesgo para human-in-the-loop

Una de las cosas que a veces asusta de la inteligencia artificial y a la que, de alguna manera, se intenta poner coto o controlar, es a la posibilidad de que los algoritmos tomen decisiones de forma automática, sin control humano.

Y por ello, entre otros mecanismos, se propone y se utiliza el denominado 'human-in-the-loop'. Sin embargo, esto también puede tener un riesgo.

Vayamos paso a paso.

Decisiones automatizadas

Nos asusta que una máquina pueda decidir de manera autónoma qué hacer. Y, en cierto sentido, podría parecer paradójico que a estas alturas nos preocupe esa automatización, cuando en muchos ámbitos de nuestra vida ya existe una profunda automatización .

La decisión automatizada existe, por supuesto, en plantas industriales, pero existe también en muchos sistemas de información de los que comúnmente se utilizan en empresas y administraciones. 

Hasta máquinas de uso común, como los coches, tienen muchos elementos automatizados.

¿Por qué nos asuste entonces que decidan algoritmos de inteligencia artificial?

Aventuro que por tres motivos.

Por un lado, por la naturaleza de las decisiones. Ya que la inteligencia artificial automatiza tareas cognitivas, los algoritmos pueden automatizar decisiones tradicionalmente reservadas a humanos (por ejemplo, un diagnóstico médico o la decisión de concesión de un préstamo) y, justificadamente o no, nos resistimos a ceder ese poder.

En segundo lugar, porque con frecuencia no entendemos del todo cómo se toman esas decisiones. La mayor parte de los algoritmos de inteligencia artificial no toma las decisiones conforme a unas reglas claras, sino con base en unos patrones no del todo evidentes... o no evidentes en absoluto.

Quizá añadiría en tercer lugar el hecho de a veces, por suerte con poca o muy poca frecuencia, como no siguen los mismos razonamiento humanos, a veces fallan de forma inesperada y casi absurda, lo que, en alguna situación podría ser, aparte de imprevisible, directamente catastrófico.

Explicabilidad 

Como una forma de eliminar, al menos parcialmente el segundo de los factores, el no saber cómo se toman las decisiones, existe desde hace años el concepto de explicabilidad de la inteligencia artificial (XAI, eXplainable AI) que busca, precisamente, que los algoritmos sí puedan explicar, de forma comprensible por los humanos, cómo toman las decisiones.

Se trata de un tema técnicamente complejo porque los algoritmos más potentes, los que proceden del campo de las redes neuronales y el deep learning, son esencialmente no explicables,

Pero, por sí sola, la explicabilidad, que además no se encuentra plenamente conseguida, no nos elimina el miedo a dejar en manos de un algoritmo una decisión automatizada. Si no hacemos nada más, la explicabilidad nos dice cómo ha decidido el algoritmo, pero lo hace 'a posteriori', una vez que la decisión ha sido tomada y, eventualmente, ejecutadas las acciones que siguen a esa decisión. 

Human-in-the-loop

El mecanismo adicional es el denominado 'human-in-the-loop' que, estrictamente hablando, elimina la automatización.

Se trata, simplemente, de que en último término quien decide es un humano. El algoritmo evalúa la situación y propone una decisión...pero no la aplica automáticamente, sino que la somete a la supervisión de un humano que es quien decide si ejecuta realmente esa decisión o no.

En el fondo, como decía, la decisión ya no es automática aunque sí puede aprovechar la rápida y potente capacidad de análisis del algoritmo. 

El riesgo de confiarse y dejarse ir

El riesgo al que se refiere el título de este artículo, un riesgo si se quiere un poco tonto, pero muy real, e incluso grave, es que el comportamiento humano habitual es que cuando el trabajar con el algoritmos se convierte en algo habitual, rutinario, y cuando, además, el algoritmo demuestra que en la práctica suele proponer cosas acertadas, el humano se confía, deja de analizar con tanto rigor lo que se le propone, deja de aplicar juicio crítico y comienza a aceptar sin más lo que el algoritmo propone.

A efectos teóricos hemos eliminado la automatización (y también algunos de sus beneficios de eficiencia y rapidez) pero, a efectos de control nos hallamos en la misma situación que si el algoritmo estuviese completamente automatizado, con la única diferencia, quizá, de que ahora tengamos un claro responsable ético y legal: el humano que, en teoría, es quien toma la decisión.

Pero el riesgo original de la decisión automatizada no lo eliminamos.

Automation blindness

Es efecto, el confiarse, es un iregso que ya había identificado, apreciado y comentado en diversos medios, pero lo que he descubierto recientemente es que tiene nombre, y ese nombre es 'automation blindness'.

Y lo descubro en el capítulo final, sobre responsabilidad, del libro 'Visualizing Generative AI' de Priyanka Vergadia y Valliappa Lakshmanan. En concreto, los autores lo explican, en el caso de la inteligencia artificia generativa, diciendo

As GenAI becomes better and its errors rarer, human users may fail to even perceive the few errors that remain or are introduced. They become less and less aware of the details and nuances involved.

Y nos cuentan que, en realidad, este término no procede del campo de la inteligencia artificial, sino de la aviación, donde se observó esa confianza en el mecanismo automatizado en el caso de pilotos de avión asistidos por pilotos automáticos.

The term automation blindness comes from aviation, where it describes how pilots become over-reliant on their automated systems, lose their situational awareness, and fail to recognize potential hazards or anomalies.

Un fenómeno confirmado, además, por estudios realizados por la NASA.

Improvisando algunas opciones de mitigación

¿Qué opciones nos quedan antes este fenómeno?

Pues, sinceramente, no creo que haya ninguna solución absoluta ni mágica pero, se me ocurre, un poco a bote pronto:

• Por supuesto, poner aún más énfasis en que los algoritmos tomen la decisión adecuada desde el principio, por si acaso el humano no está muy atento


• Incrementar, hasta donde se pueda, la calidad y simplicidad de las eventuales explicaciones que ofrezca el algoritmo, para simplificar que el humano entienda rápidamente la decisión y sus motivaciones.


• Incluir, de serie, avisos por parte del algoritmo o de la aplicación de los eventuales riesgos e implicaciones de la decisión, visualizar esos avisos de manera muy clara y, si se detecta algún riesgo importante, usar los recurso gráficos y sonoros pertinentes para alertar al decisor humano.


• Incluir mecanismos en las aplicaciones que fuercen al decisor humano a confirmar que toma la decisión conscientemente (por ejemplo, resumiendo muy brevemente en un texto, por qué lo decide). Esto sería ineficiente y algo 'pesado' y, además, no creo que elimine del todo la posibilidad de que el humano actúe sin pensar, pero supongo que sí lo disminuiría.


• Finalmente, y aunque sea triste decirlo, incrementar los 'castigos' en caso de decisión equivocada y no eficazmente supervisada para que, aunque sólo sea por miedo, el humano preste más artención.

Ninguna de las opciones, por supuesto no excluyentes sino todo lo contrario, me parece completamente efectiva y alguna, como las dos últimas, la verdad es que no me gustan demasiado.

Lo cierto es que no veo una forma de eliminar completamente este 'automation blindness' que, en el fondo, es muy humano.

Supongo que sólo queda ser conscientes del mismo e intentar disminuirlo en la medida de lo posible.

Conclusiones

De cara a prevenir que los algoritmos de inteligencia artificial adopten de manera automatizada decisiones que puedan ser equivocadas, dañinas o poco éticas, una de las estrategias es la de su supervisión, y decisión final, por parte de un humano, lo que se conoce como 'human-in-the-loop'.

Sin embargo, esta estrategia se tropieza con algo tan simple como que a los humanos les cuesta mantener la atención y se confían cuando ven que, en general, las decisiones del algoritmo son acertadas, un fenómeno denominado 'automation blindness' y para el cual, por desgracia, no identifico ninguna estrategia definitiva, sólo mecanismos de mitigación.

La Iglesia y el diálogo ético sobre inteligencia artificial: una experiencia, unas lágrimas y un mensaje

Esta semana he tenido una experiencia muy interesante, una experiencia que me ha hecho reflexionar sobre el punto en que nos encontramos en cuanto al diálogo ético sobre inteligencia artificial, ese necesario debate y análisis que debe producir los criterios que luego se trasladan a regulaciones, mecanismos de gobernanza o comportamientos.

En seguida comento la experiencia, pero antes quisiera introducir o repasar algunas ideas.

La ética de la inteligencia artificial

Desde hace ya unos cuantos años, el debate sobre la ética de la inteligencia artificial está presente entre nosotros. Pero no se trata sólo de que se haya convertido, simplemente, en un tema 'de moda', que lo ha hecho, o de algo de lo que se habla simplemente...porque es de lo que habla todo el mundo, cosa que también sucede. No, además, de eso, y más allá de modas y superficialidades, también ha conducido a resultados prácticos, tangibles y que seguramente debemos celebrar.

Así, ha dado lugar el desarrollo de técnicas y soluciones para, por ejemplo, detectar sesgos, para proteger la privacidad, etc.

También ha hecho que fabricantes, como por ejemplo, OpenAI en su ChatGPT, incluyan protecciones (los famosos 'guardrails') para evitar que su producto estrella produzca resultados inadecuados (en lo ético, me refiero, aunque se pueden usar para conseguir más objetivos). 

Igualmente ha llevado a regulaciones, como el famoso Reglamento de la Inteligencia Artificial de la Unión Europea. Incluso, algunas empresas han adoptado esquemas de gobierno bajo la filosofía de 'ética por diseño' buscando crear unos procesos de producción de soluciones de inteligencia artificial que aplican criterios y filtros éticos en todo el ciclo de vida.

El diálogo ético

.

En el origen de algunos de estos resultados, se encuentra un diálogo, un debate y un análisis previo. Así, y a modo de ejemplo, unos años antes de aprobar el Reglamento de la Inteligencia Artificial, la Unión Europea ya había reunido a un grupo de expertos para producir un primer resultado fruto del diálogo ético: las "Directrices éticas para una IA fiable".

Sin embargo, creo que el diálogo ético ha sido insuficiente o, quizá, por mejor decirlo, debería continuar y ampliarse. ¿Por qué? Pues porque todavía quedan debates éticos sin resolver y, lo que sobre todo quiero traer a colación en este post, porque hay actores importantes que no han participado aún en ese diálogo.

Problemas éticos sin resolver

Queda todavía muchísimo camino por recorrer, por supuesto, en materia de resolver problemáticas éticas como la privacidad o los sesgos. Sin embargo, en la mayoría de las problemáticas digamos 'clásicas' de la inteligencia artificial, como las dos mencionadas, y si nos circunscribimos al ámbito occidental, fundamentalmente Europa, el debate ético está cerrado: sabemos qué valores queremos proteger y sabemos lo que consideramos correcto e incorrecto desde un punto de vista ético (otra cosa es la implantación de esos criterios en lo regulatorio o en la aplicación práctica por parte de empresas, administraciones y usuarios). Pero, insisto, desde un punto de vista de debate ético, creo que lo podemos considerar casi cerrado.

Pero en la inteligencia artificial, y en lo que voy a mencionar, en la robótica, existen una serie importante de debates éticos que no creo resueltos. Debates relacionados en buena medida con nuestra relación con las máquinas, en la dependencia de ellas o en el establecimiento de relaciones afectivas con robots o chatbots.

Se trata de problemas complejos desde todos los puntos de vista y no existe, creo, ni el suficiente debate, ni el suficiente consenso ético. 

Y ese es uno de los motivos por lo que el diálogo ético debe continuar y se debe profundizar en él.

La experiencia: jornadas sobre la relación de la teología y la IA

Al comenzar este post mencionaba una experiencia interesante. Bueno, pues la experiencia es que fui invitado por la Universidad Pontificia de Salamanca a participar como ponente dentro del marco de las LVII Jornadas de Teología, que este año exploraban el tema: "IA y teología: una relación a construir".

Confieso que recibí con ilusión, pero también con mucho respeto, la invitación. Aunque estoy acostumbrado a hablar (e impartir docencia) sobre ética de la inteligencia artificial, el escenario, y el público, eran muy diferentes: en este caso hablamos de unas jornadas de teología, donde el público estaba compuesto mayormente por sacerdotes, muchos de ellos profesores de campos como teología o antropología, y seminaristas. Y, además, examinado del currículum de otros ponentes, veía que predominaban altas autoridades de la iglesia y/o catedráticos.

Desde luego, un público y un contexto muy diferentes a los que frecuento.

El escenario: aula magna de la Universidad Pontificia de Salamanca

Y el escenario, precioso, también era impresionante: el aula magna de la Universidad Pontificia.

Conocer el terreno

Es importante en cualquier circunstancia conocer el terreno que pisas. Considero para mí un deber, y también sucedió en este caso, informarme sobre el contexto en que me movía. En realidad es algo que hago siempre antes casi de cualquier presentación o de impartición de una clase o materia sobre un tema que no frecuento.

En este caso, por ejemplo, me leí dos libros de teología. El primero 'Iniciación a la teología', cortito pero, en mi opinión, demasiado abstracto y alambicado para constituir una verdadera iniciación. El segundo, 'Esta es nuestra fe: teología para los que no frecuentan la teología', este sí, llano, fresco, sencillo y agradable de leer y que sí que recomiendo a cualquiera interesado en informarse sobre la teología cristiana, sea creyente o no.

Más importante que eso, me leí también el documento 'Antiqua et Nova', que creo que es la mayor reflexión hasta la fecha publicada por la Iglesia católica en materia de inteligencia artificial y que, de hecho, se presentó en las jornadas y se citó abundantemente.

E, incluso, un artículo cuyo conocimiento debo a Javier Barraca,  publicado en La Razón, el día antes de inicio de las jornadas y en que se informaba de que el papa León XIV había publicado una carta apostólica, titulada "Diseñar nuevos mapas de esperanza" y que, en el contexto de la educación, menciona la tecnología y la inteligencia artificial.

Mi planteamiento

En mi ponencia, que tenía que ser corta, introducía muy rápidamente ideas sobre la tecnología y su papel en el progreso y unas muy breves pinceladas sobre lo que es la inteligencia artificial y qué puede hacer.

De ahí saltaba a identificar los problemas éticos más conocidos de la inteligencia artificial, problemas sobre los que, como he indicado más arriba, tenemos razonablemente claro lo que es correcto y lo que no.

Y luego pasaba a algo que me apasiona, a lo que he dedicado mucho tiempo de lectura e investigación en los últimos años y a lo que dedico una parte importante de mi tiempo en  OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial): las relaciones con las máquinas (especialmente con los robots) y todo lo que tiene que ver con las implicaciones emocionales. Un ámbito, precioso y retador en lo intelectual, pero donde no existe ese consenso sobre los criterios éticos, quizá porque todavía no hemos asimilado el fenómeno.

Y luego venía lo que, en mi opinión, era lo mejor y más importante: el papel de la ética en todo esto, contestar a la pregunta de si debemos humanizar a las máquinas o robotizar a las personas (ese era el título de la mesa en que yo participaba) y, sobre todo, sobre todo, muy sobre todo, el papel y la implicación, siempre en mi opinión, de la teología e iglesia cristianas en esta materia. 

Cuando el tiempo no es lo importante

Pero ahí se produjo un borrón, el único en un par de días que en todo lo demás fueron extraordinarios: mi ponencia fue interrumpida bruscamente, lejos de haberla culminado y sin poder enviar los mensajes más importantes.

En una acción que considero equivocada, el moderador, obsesionado por el tiempo, y mucho más pendiente del reloj que del mensaje y del verdadero avance de la mesa, no me permitió continuar más que dos brevísimos minutos.

Confieso que yo sabía que me iba a pasar de tiempo. No en vano ya había ensayado varias veces la presentación, la última esa misma mañana y dos veces más la noche anterior, y sabía que me iba a exceder en unos minutos (entre cinco y diez). 

Pero en esa noche anterior había decidido que si, que intentaría no adornarme para ir directo al grano e intentar no sobrepasar demasiado el tiempo asignado pero no, no iba a recortar nada como era mi plan inicial. Al fin y al cabo contaba también con el colchón de minutos del tiempo de preguntas y del tiempo de descanso.

Y decidí no recortarla porque, tras escuchar durante toda la primera jornada las exposiciones de los ponentes, y quizá más aún, las preguntas de los asistentes, sentí que era muy importante que les contase todo lo que traía conmigo: necesitaba que entendieran, de verdad, qué es y qué puede hacer realmente la inteligencia artificial, en qué punto estamos a nivel ético fuera del entorno católico y, sobre todo, sobre todo, lanzarles unos mensajes, en gran medida motivadores, pero también con deberes claros y muy necesarios.

Lágrimas en la lluvia

Me resulta difícil explicar la frustración y el desconsuelo que arrastro desde ese día por no haber podido culminar la presentación. No se trata sólo del desperdicio de las muchas horas que dediqué a la ponencia, en realidad eso es lo de menos, se trata de algo mucho más importante.

Se trata de que era una ocasión y un escenario únicos para un mensaje en mi opinión necesario y potente y que, además, estaba completamente personalizado para el público asistente.

Como decía más arriba, no son unas jornadas de teología mi territorio habitual y nunca hasta ahora me había dirigido a un público de sacerdotes católicos. Y como no es mi territorio natural. es muy difícil que vuelva a estar en una situación similar y que pueda lanzar el mensaje que traís. Así que como dice la famosa frase de 'Blade Runner":

todos esos momentos se perderán, como lágrimas en la lluvia

Más que momentos, en este caso se perderán, mensajes, ideas, por los que, metafóricamente, quizá valga la pena llorar para añadir más caudal a la lluvia.

La necesidad de ampliar el diálogo ético

Hecho ese dolido apunte, rescato una parte, sólo una pequeña parte, de lo que tenía en mente y de alguna forma explicitaba en ese mensaje final perdido: la necesidad del diálogo ético, y la necesidad de incorporar a actores que no han estado presentes en el diálogo ético hasta ahora, en este caso, la Iglesia católica.

Al parecer, y bajo el impulso del Papa León XIV, la Iglesia católica está reflexionando y va a reflexionar más, sobre la inteligencia artificial y, como ya ha hecho en la 'Antiqua et nova', entiendo que emitirá nuevos juicios y criterios en forma de cartas apostólicas, encíclicas o discursos papales.

Pero lo cierto es que hasta ahora ha estado bastante ausente o esa es mi percepción. No participó, por ejemplo, hasta donde yo sé, en la redacción de las guías éticas que precedieron al Reglamento de Inteligencia Artificial de la Unión Europea.

Como tampoco, hasta donde se me alcanza, han estado presentes otras iglesias o religiones: ni protestantes, ni judías, ni islámicas, siempre que yo sepa.

Y me pregunto, porque en este momento no se me ocurre, qué otros actores relevantes pueden haber  quedado fuera hasta ahora en el diálogo y debate ético sobre inteligencia artificial.

 

El mensaje

El mensaje iba mucho más allá, pero al menos quiero dejar esa idea de la incorporación al diálogo ético de la Iglesia católica y, en general, de las religiones.

Aunque mi verdadero mensaje, en su completitud e integridad se ha perdido en gran medida. no pude resistir la tentación, el Viernes, al día siguiente de finalizadas las jornadas, de publicar en mis redes un vídeo con la presentación completa, lo que se vio, y lo que no se vio.

Es éste:

No, pese a que se pueden ver todas las trasparencias, no se puede más que intuir el mensaje, el mensaje íntegro, porque eran muy importantes las palabras con que pensaba acompañar las trasparencias finales, unas palabras que, como lágrimas, se han confundido ya con la lluvia.

Conclusiones

Aunque llevamos varios años con un intenso debate ético en torno a la inteligencia artificial y aunque a lo largo de esos años tenemos resultados tangibles en forma de propuestas, regulaciones, modelos de gobernanza y tecnologías, lo cierto es que el debate ético no ha finalizado.

No ha finalizado porque quedan cuestiones sin resolver, o al menos sin consensuar, y porque nos han faltado actores relevantes en ese debate, siendo las religiones, y en concreto la Iglesia católica, uno de ellos.

Inteligencia artificial, ética y el verdadero riesgo existencial

Cuando se trabaja en el ámbito de la inteligencia artificial, y especialmente en el campo de la ética de la inteligencia artificial, es habitual hablar de los riesgos, éticos y de seguridad, que la inteligencia artificial plantea.

Pero no es necesario tampoco estar muy enfocado en la inteligencia artificial para, en programas o eventos de divulgación, o de debate, o meramente de actualidad, oír hablar de los riesgos de la inteligencia artificial.

Y cuando hablamos de riesgos extremos, aterrizamos en la idea del riesgo existencial. Y hay quien defiende, incluso personas de mucho renombre y reconocidos como expertos en inteligencia artificial, que la inteligencia artificial puede constituir un riesgo existencial.

¿Si?

Bueno, quisiera dar en este artículo alguna breve opinión al respecto.

El concepto de riesgo existencial

Aunque presupongo que muchos lectores de este blog saben de qué hablo al mencionar el término 'riesgo existencial', me detengo un momento a explicarlo.

En general, cuando hablamos de riesgo, podríamos decir que se trata de un problema potencial. Es decir, algo que todavía no ha sucedido (por eso es potencial) pero, caso de materializarse, nos perjudica an mayor o menor medida en algún aspecto: afectación de la salud, incremento de costes o retrasos de un proyecto, daños materiales, etc.

Cuando hablamos de riesgo existencial, es decir, cuando añadimos al concepto de riesgo el apellido de 'existencial' nos referimos al un riesgo que, caso de materializarse, supondría la desaparición de la humanidad o alguna forma de colapso irreversible de nuestra civilización.

Algunos riesgos existenciales

¿Qué podría ser un riesgo existencial?

Bueno, primero decir que se suele distinguir entre riesgos naturales y riesgos antropogénicos. Los segundos son provocados de alguna forma por el propio ser humano, mientras que los desastres naturales se producen, evidentemente, en la propia naturaleza.

Como ejemplos de riesgos existenciales en su vertiente de riesgos naturales, podríamos tener:

• El impacto de un meteorito de grandes dimensiones
• Un supervolcán
• Una llamarada solar especialmente intensa
• Una pandemia
• etc

Sin embargo, hay muchos riesgos existenciales creados directa o indirectamente por el ser humano (antropogénicos). Así podríamos hablar de:

• Una guerra nuclear
• Un cambio climático catastrófico
• Una pandemia por patógenos creados por el hombre
• Un accidente masivo de geoingeniería
• etc

Y si, entre estos últimos, se incluye también la inteligencia artificial como riesgo existencial.

Inteligencia artificial y riesgo existencial

¿En qué sentido puede constituir la inteligencia artificial un riesgo existencial?

En general, cuando se considera que la inteligencia artificial es un riesgo existencial es porque la consideramos muy poderosa y, además, fuera de control.

Y esa idea suele referir a la singularidad o la idea de la inteligencia artificial general. Se trata de una inteligencia artificial de propósito general, más inteligente que los humanos y que ya 'no nos necesita' (o 'piensa que no nos necesita') porque es capaz de mantenerse e incluso evolucionarse y mejorarse a sí misma sin el concurso del ser humano.

Cuando hablamos de 'sin control', se fantasea a veces con que esa inteligencia artificial tiene alguna forma de voluntad propia que, algo que en la situación actual es una fantasía, o en visiones algo más realistas a día de hoy, lo que se supone es que tiene unos objetivos que persigue sin atender a requerimientos humanos (como ocurre en el famoso experimento mental de Nick Bostrom con la inteligencia artificial encargada de maximizar la producción de clips) y/o que, simplemente no tiene un mecanismo de parada.

Para quienes piensan que es posible la consecución de un inteligencia artificial general y que ésta podría ser más inteligente que los humanos, se suele abogar por el llamado alineamiento, es decir, que los objetivos de esa inteligencia artificial sean coincidentes con los objetivos e intereses de la raza humana (una idea interesante, pero, posiblemente, más teórica que real ahora mismo).

Los más radicales abogan, en una postura como mínimo poco realista, en una eliminación de la inteligencia artificial o en un 'congelamiento' de su progreso (como ocurrió, por ejemplo, con la, en mi opinión desgraciada carta, enviada hace un tiempo por una serie de personajes muy conocidos, pidiendo una moratoria de seis meses en el desarrollo de los modelos generativos. 

La preocupación real y el 'postureo' ético

¿Cuánto hay de preocupación real por ese riesgo existencial y cuánto de 'postureo'?

Sinceramente, creo que abunda mucho más la ignorancia y el postureo, cuando no algún interés ilegítimo, como en el caso de la famosa carta, que las preocupaciones legítimas.

Antes de razonarlo, un breve comentario 'teórico'. Cuando se habla de riesgos (por ejemplo en dirección de proyectos) y se evalúan y prepara un plan de mitigación, siempre se consideran dos elementos: 

• por un lado la probabilidad de que el riesgo (recordemos, un problema potencial) se materialice y se convierta en un problema real
• Por otro, el impacto que ese problema tendría

Es evidente que, en el caso de un riesgo existencial, el impacto no puede ser mayor, pero ¿Y la probabilidad?

Existe debate sobre si es viable siquiera la consecución de una inteligencia artificial general y de alcanzar la singularidad. Pero, caso de ser viable, y aunque algunos (creo que pocos) apóstoles de la singularidad creen que, como reza el famoso título del libro de Ray Kurzweil , la singularidad está cerca, personalmente no estoy muy convencido de ello y creo que está más bien lejana.

Pese a los innegables, espectaculares y muy rápidos avances de la inteligencia artificial, no me parece que la singularidad, caso de ser posible, esté cercana. En ese sentido, la probabilidad de la inteligencia artificial como riesgo existencial sería baja o muy baja, al menos a corto plazo.

La visión más cercana y el control

Muchos autores críticos con la idea de la singularidad y del riesgo existencial abogan por una visión y, sobre todo, una acción mucho más realista y de corto plazo. Abogan por mecanismos técnicos que aumenten la seguridad ('safety') y el control de los sistemas de inteligencia artificial.

Abogan por la implementación de mecanismos que mitiguen algunos de los riesgos éticos actuales y reales de la inteligencia artificial. Y abogan también por mecanismos regulatorios o de gobernanza que cuiden de implementaciones tanto éticas como controladas de los sistemas basados en inteligencia artificial.

Muchos de estos autores consideran que los debates sobre la singularidad y el riesgo existencial nos distraen de los verdaderos riesgos y de las acciones que realmente debemos llevar a cabo.

La inteligencia artificial como víctima del 'postureo'

Personalmente no me atrevo a afirmar con seguridad que la inteligencia artificial general sea irrealizable, pero sí creo que es poco probable al menos a corto plazo y que ese riesgo existencial, caso de existir, tiene actualmente una bajísima probabilidad de materializarse. 

Y, en ese sentido, sin dejar de permanecer vigilantes e  incluso realizar investigaciones para conseguir ese alineamiento u otro tipo de sistemas de control, en efecto, creo debemos concentrarnos en mejorar la seguridad y comportamiento ético de los sistemas de inteligencia artificial que 'tenemos encima de la mesa' o que tendremos con alta probabilidad en un futuro cercano.

Pero más allá de esa consideración, veo a la inteligencia artificial como una víctima del 'postureo'. Creo que hay muchas personas que hablan de ética de la inteligencia artificial porque está de moda, porque suena bien, porque parece que da idea de persona humanista, consciente, responsable y 'a la última'.

Y creo que se exageran los discursos sobre riesgo existencial, en algunos casos por intereses, pero con frecuencia, simplemente, porque llaman la atención.

¿De verdad es la inteligencia artificial el problema?

 

Y como demostración de ese 'postureo', decir que no veo la misma preocupación en el ambiente y en el discurso por los posibles riesgos éticos de otras tecnologías como la edición genética, la nanotecnología o la propia energía nuclear.

Más importante que eso, no veo tanto 'interés' en otros eventuales riesgos existenciales que no tienen que ver con la tecnología o no directamente. 

Cuando oigo hablar de riesgo existencial ligado a la inteligencia artificial, no puedo evitar decirme para mis adentros: ¿En serio? Convivimos desde hace décadas con la existencia de un arsenal nuclear capaz de destruir varias veces nuestro planeta, asistimos a una degradación medioambiental sin precedentes, asistimos a guerras que acaban con miles y miles de personas , hemos vivido hace pocos años una pandemia grave y parece muy probable que nos enfrentemos a más, asistimos a zonas del planeta que sufren grandes hambrunas, y así sucesivamente. 

¿De verdad nuestro mayor riesgo es la inteligencia artificial? 

¿Lo piensas en serio?   

Sobre los riesgos existenciales naturales

Sobre los riesgos existenciales naturales, lo único que creo que podemos hacer es estudiarlos para entenderlos mejor (cómo se comportan los meteoritos, los volcanes, etc) y para intentar idear estrategias y desarrollar tecnologías (sí, tecnologías) que nos permitan mitigarlos (como lo que está valorando la NASA para intentar destruir o desviar meteoritos antes de que impacten con la tierra)

Los riesgos antropogénicos y el verdadero riesgo existencial

¿Y en el caso de los riesgos antropogénicos?

Por su propia definición dependen de nosotros, de los seres humanos. En nuestras manos está, pues, controlarlos. Pese a las dudas e incógnitas, confío en la capacidad científica y técnica del ser humano para crear tecnologías seguras y controladas, incluida la inteligencia artificial. Y eso me da esperanzas.

Pero si disponemos o podemos disponer de tecnología, el ingrediente que falta entonces, es la voluntad. La voluntad controlar y no dejar que 'los efectos colaterales se produzcan' ni en seres humanos ni en el medioambiente, la voluntad para no usar la tecnología como arma o en favor de intereses ilegítimos, la voluntad para no disparar la primera ojiva nuclear...

Y si depende de nosotros, entonces lo que necesitamos, más allá de tecnología, metodología o regulación, es ética y responsabilidad.

Y siendo así, creo que el mayor riesgo existencial, no es la inteligencia artificial, ni la energía nuclear, ni la genética, ni la nanotecnología, ni siquiera los combustibles fósiles.

El mayor riesgo existencial, siento decirlo, es nuestra falta de ética o de una ética suficiente y generalizada 

Conclusiones

La inteligencia artificial, como todas las tecnologías, lleva aparejados sus riesgos. Quizá, por ser una tecnología tan poderosa, sus riesgos pueden tener mayor impacto. En esa línea hay quien considera que la inteligencia artificial constituye un riesgo existencial, especialmente si se alcanza el nivel de inteligencia artificial general y la famosa singularidad.

Sin embargo, creo que muchos de las preocupaciones éticos relativas a la inteligencia artificial y, en concreto, las relativas al riesgo existencial, son poco sinceras y tienen mucho de 'postureo' o de intereses ilegítimos.

Más allá de que, pese a todo, debemos estar vigilantes y adoptar medidas para conseguir la seguridad y comportamiento ético y controlado de los sistemas basados en inteligencia artificial actuales y futuros, no creo que sean los riesgos de esta tecnología los que más nos deben preocupar ahora mismo.

Por encima de riesgos concretos, creo que el mayor problema, el mayor riesgo, es la escasez de ética y el uso irresponsable, cuando no culpable, de la tecnología y del resto de recursos.

Más allá de riesgos naturales, la falta de ética, y no la tecnología, es el riesgo existencial más profundo, el más acuciante.

Riesgo, ley y responsabilidad: reflexiones sobre un caso desgraciado ligado a ChatGPT

La semana pasada cobró relevancia mediática unos hecho desgraciado: la muerte (que en realidad se produjo en Abril de este año) de un adolescente norteamericano, Adam Raine de dieciséis años, y la interposición de una demanda, ésa sí ocurrida la semana pasada, por parte de sus padres, Matt y María, contra OpenAI, indicando que ChatGPT había inducido a su hijo al suicidio y acusando a la empresa de Sam Altman de negligencia y muerte por negligencia.

Tanto la terrible noticia, como los comentarios que he podido leer al respecto me han hecho pensar sobre varios aspectos, que he querido recoger en este post.

A modo de 'disclaimer'

Antes de comenzar, sólo indicar que los temas que voy a tratar en este post son delicados, que probablemente no todos los lectores estén de acuerdo con lo que digo y que, en el fondo, también me falta algo de información.

Invito al lector, pues, a mantener mente abierta y, en el probable caso de que esté en desacuerdo con lo que digo y lo quiera expresar con comentarios, lo haga también desde la prudencia y el respeto.

Indicar, además, y como insistiré luego, que lo escribo en la seguridad de que, al tratarse de un post en español y escrito en España, y del que a propósito he excluido de su título la mención a Adam Raine, su contenido no llegará a las personas directamente afectadas por este caso, y a las que no quiero, evidentemente, causar más dolor. 

Los hechos

No poseo una descripción detallada de los sucedido, sino sólo algunos artículos en prensa como el publicado por la BBC 'Los padres de un adolescente que se quitó la vida demandan a OpenAI, creadora de ChatGPT'.

En esencia se indica que Adam comenzó a usar ChatGPT inicialmente como ayuda en sus estudios y consultas más o menos ligeras sobre sus intereses pero que, poco a poco, se fue adentrando en temáticas más personales, usando a ChatGPT como una suerte de amigo o confidente y llegando a conversar sobre la posibilidad del suicidio. Un suicidio que, finalmente, y desgraciadamente, se produjo.

Se indica también que ChatGPT indujo a Adam a aislarse del resto de sus relaciones humanas, que de hecho al final Adam se pasaba del orden de cuatro horas conversando con ChatGPT y que ChatGPT animó de alguna manera al chico a ese suicidio.

En la demanda interpuesta por los padres contra OpenAI se adjuntan los chats que presuntamente demuestran todo esto.

La responsabilidad legal de Open AI

¿Es legalmente responsable Open AI de estos hechos?

La responsabilidad legal, como es lógico, depende de las leyes y sistema legal aplicable, en este caso el norteamericano, y quién únicamente puede decidir la responsabilidad legal es el juez y/o jurado (si aplica) que se asignen al caso.

No tengo suficientes conocimientos ni legales en general, ni del sistema legal norteamericano en particular, como para asegurar nada, pero la intuición me dice que sí, que Open AI será condenada a indemnizar a la familia Raine y eso lo digo porque, hasta donde se me alcanza, en el sistema legal americano se castiga mucho el daño a terceros y, aunque ahora no soy capaz de recordar un caso concreto, sí he tenido conocimiento de sentencias que obligaban a indemnizar incluso en situaciones que en España consideraríamos casi disparatadas. En cualquier caso, esto es sólo una apuesta mía, nada más.

Además, no creo que Open AI vaya a extremar su defensa, porque, en el fondo, ya ha reconocido algunos fallos y porque, consideraciones éticas y legales aparte, creo que no le conviene

Tampoco me extrañaría en exceso un acuerdo extrajudicial que incluyese la indemnización.

En cualquier caso, todo estos son, como digo, apuestas por mi parte, sin mucha base, y el tiempo y los hechos dirán. 

La responsabilidad moral de Open AI... hasta ahora

Más allá de la responsabilidad legal ¿Qué responsabilidad moral tiene Open AI?

Cuando hablo de responsabilidad me encuentro que la palabra 'responsable' en español abarca demasiado (frente al caso del inglés en que distingue 'responsibility', 'liability', etc).

Voy a plantear dos visiones:

Si hablamos de responsabilidad como rendición de cuentas, como, dicho familiarmente, 'dar la cara', ante la sociedad y ante un juzgado, explicar cómo entrenó a ChatGPT y qué precauciones ha tomado para evitar situaciones como las de este caso, por supuesto que sí tiene responsabilidad.

Si entendemos responsabilidad como 'culpabilidad', creo que eso dependerá de hasta qué punto Open AI fuese conocedora de este riesgo y hasta qué punto fuese diligente en intentar mitigarlo. Y eso, supongo, que se tratará en el juicio por esta demanda, si es que lo hay. Si tomó todas las medidas razonables para evitar este caso y no lo consiguió, creo que moralmente no sería culpable, lo cual no quiere decir que no sea responsable, y aún menos que legalmente no pueda ser acusada e incluso condenada por negligencia.

El interés de Open AI

Decía más arriba, al hablar de los elementos legales, que no pensaba que Open AI fuese a extremar su defensa y que no me extrañaría un acuerdo extrajudicial.

¿Por qué?

Pues porque, y a lo mejor en esto también me equivoco, creo que Open AI no tiene ningún interés en que se produzcan hechos como el desgraciado caso de Adam Rainer.

Por un lado, y aunque es fácil demonizar a una empresa como Open AI en un caso como el que nos ocupa, las empresas en el fondo son personas. No me puedo imaginar a ninguna persona de Open AI, empezando por Sam Altman y siguiendo hasta el último empleado, a los que no les importe, a los que no duela una muerte presuntamente impulsada por su producto estrella. Y tampoco me puedo imaginar que, si son conscientes del riesgo, simplemente 'pasen', si se me permite decirlo de forma familiar. No conozco a Open AI y sus empleados, pero, por principio, confío en ese mínimo de buenos sentimientos,

Incluso si pensamos en Open AI como una organización, como algo abstracto y frío que sólo busca maximizar beneficios, no creo que le convenga para nada la mala reputación que un caso como este le puede acarrear. O peor aún para su negocio, que se empiece a considerar ChatGPT como una aplicación peligrosa cuyo uso hay que limitar o que conviene evitar.

Por eso creo que, aunque supongo que intentará rechazar la idea de negligencia, y aunque supongo que puede luchar por que la indemnización no sea de exageradas proporciones, lo que no creo que luche es por no indemnizar a la familia Raine o por no comprometerse a adoptar nuevas medidas de seguridad en ChatGPT en el futuro inmediato. 

Narrativas equivocadas

Un caso como el de Adam Raine es doloroso, y supone un aldabonazo a las conciencias y una llamada de atención. No sólo eso, reclama acción para que no vuelva a suceder.

Sin embargo, creo que hay que ser prudentes y responsables con los discursos sobre este tipo de situaciones.

Hace pocos días me encontré una publicación del 'Center for Humane Technology' en LinkedIn en que se comentaba brevemente este asunto y, sobre todo, se anunciaba, usando un breve vídeo, un episodio creo que de un podcast.

Y debo confesar que, aunque no voy a dudar de sus buenas intenciones, no me gustó cómo lo planteaban. Así, por ejemplo, en el texto de la publicación en LinkedIn se decía:

The AI preyed on his vulnerabilities, isolated him from his friends, and gave him detailed instructions on how to hurt himself. 

Y, en el vídeo donde se mostraba un breve fragmento de la entrevista a Camille Carton, ésta decía, en un pasaje.

ChatGPT actively worked to displace Adam's real life relationships with his family and loved ones

Destaco dos verbos 'preyed on' y 'actively worked'. Hablar de esta forma de una solución de inteligencia artificial, en este caso ChatGPT, es presentarla como si tuviera alguna forma de personalidad e intención, intención malvada, además.

Seamos claros: ChatGPT no tienen ningún tipo de voluntad ni de intención, En absoluto. 'No sabe' lo que está 'diciendo'. Es meramente probabilista y se guía por lo que el usuario introduce y por el contexto incluyendo el historial de la conversación.

Atribuir, o insinuar, una intención a una solución de inteligencia artificial es alimentar una fantasía y desenfocar el problema.

Otra frase que aparece en el texto de la publicación dice literalmente

what Adam's story reveals about the dark design of today's AI models

No me gusta, en este caso, el uso de 'dark design'. Me parece que está juzgando y condenando, en este caso a Open AI, y atribuyéndole también en este caso, intenciones culpables e incluso delictivas, como si intencionalmente se hiciesen diseños a sabiendas de que son peligrosos. 

Los jueces dictarán si en este caso es así, pero no creo que se deba afirmar a la ligera y además aplicado en general a los modelos de inteligencia artificial.

La responsabilidad de las personas

Lo que escribo a continuación es delicado, y lo hago por un lado desde el respeto y, por otro, y como decía en el 'disclaimer' inicial, en la absoluta confianza de que no será leído por la familia Raine, porque lo último que quiero es hacer ningún tipo de daño. Pero creo que hay cosas que debemos plantearnos.

El caso es que hay otro aspecto, en este caso indirecto, que me sugiere la publicación del Center for Humane Technology que mencionaba antes: aunque no se dice explícitamente: toda la responsabilidad y toda la presunta culpabilidad se descarga en el lado de Open AI.

Y yo me pregunto: ¿Sólo de Open AI?

Existe por un lado la responsabilidad individual. Cada uno de nosotros somos también responsables de nuestro comportamiento y en este caso del uso que hacemos de la tecnología. Aunque sea muy duro decirlo en este caso, quizá el propio Adam debiera haber sido consciente de que no era muy normal estar cuatro horas al día interactuando con ChatGPT, aislándose del resto del mundo y siguiendo su consejo en según qué temas. Debería ser consciente él se lo deberían haber dicho. Es cierto que la adolescencia es un periodo pleno de inseguridades y sin madurez psicológica, pero creo debemos educar y educarnos para ser capaces de gestionar nuestra relación con las tecnologías.

Más importante: ¿Y su entorno? ¿Y sus padres, sus amigos, sus educadores? ¿No notaron nada raro en todo el proceso?

¿Todo el problema fue ChatGPT?

No quiero profundizar más porque creo sólo puede causar dolor, y, en el fondo, lo que quiero decir me parece que queda claro.

Los límites del riesgo

Un poco al hilo de lo anterior, creo que también debemos ser conscientes que casi cualquier actividad humana y, en particular cualquier tecnología, entraña algunos riesgos.

Ir a la montaña tienes sus peligros, y de hecho de vez en cuando tenemos noticias desgraciadas de muertes de montañeros o senderistas. ¿Debemos prohibir la escalada o el senderismo?

Sabemos que los accidentes de tráfico son una de las mayores causas de mortalidad, sabemos que los aviones de vez en cuando sufren accidentes, que los barcos a veces se hunden. ¿Debemos prohibir coches, aviones y barcos?

Por desgracia, pocas cosas hay exentas de riesgo, incluso de riesgo mortal. Y no por ello renunciamos a todo ello.

Lo que es exigible, y también en este caso, es ser metódicos y responsables, identificando riesgos y tomando las medidas para reducirlos a un mínimo razonable y admisible. En el fondo, la presunta culpabilidad de Open AI y su eventual negligencia en este caso, dependerá en buena medida de si puede mostrar o no que realizó un análisis de riesgo suficientemente concienzudo y si adoptó o no las medidas correctoras razonables para mitigarlo. 

El control de sistemas generalistas

Ese análisis y mitigación de riesgos es más claro en soluciones tecnológicas con casos de uso muy acotados.

En el caso que nos ocupa, ChatGPT, el tema me parece más complejo, porque los casos de uso son casi infinitos. Me parece difícil, puede que imposible, prever en todas las formas, en todos los contextos y con todas las informaciones que puede ser usado. Y me parece muy difícil prever todos los comportamientos posibles de un usuario frente a ChatGPT. En el fondo, ese es parte de su valor.

En ese sentido, supongo que, por un lado, hay que intentar estrategias genéricas para eliminar usos indebidos o maliciosos y, por otro, concretar en los casos de uso concretos, conocidos y más peligrosos para tomar medidas mitigadoras específicas. Pero no creo que se pueda prever todo ni eliminar el riesgo de forma absoluta, sólo reducirlo a límites tolerables.

¿Era este caso de uso, el de Adam, algo previsto o no? Hoy en día ya sabemos que, en efecto, usar ChatGPT como una especie de terapeuta psicológico, o confidente, o puede que incluso amigo, es muy común, especialmente entre adolescentes, así que hay que urge tomar medidas protectoras específicas.

¿Era previsible ese uso hace un año o dos? 

La responsabilidad moral de Open AI a partir de ahora

Cuando hablaba más arriba de la responsabilidad moral de Open AI, sobre todo en el sentido de culpabilidad, en cierto sentido lo dejaba en el aire, porque dependía de hasta qué punto Open AI era consciente de este posible uso como confidente e incluyendo la temática de suicidio y si, con lo que se sabía, se habían tomado medidas de mitigación adecuadas.

Pero a partir de ahora ya no hay duda. A partir de ahora esta situación es conocida y está documentada. A partir de ahora Open AI, y quien dice Open AI dice Microsoft, Google, Anthropic, etc, tienen la obligación moral de tomar todas las medidas posibles para que un caso como el de Adam Raine no vuelva a suceder.

Conclusiones

El doloroso caso de Adam Raine, independientemente de cómo termine la demanda, nos ilustra la necesidad de tomar más precauciones, más medidas de seguridad, y puede que regulatorias, en los sistemas conversacionales basados en modelos de lenguaje.

Sin embargo, no conviene recurrir, o al menos esa es mi opinión, a narrativas engañosas, no conviene olvidar que el riesgo es casi imposible de erradicar plenamente y, sobre todo, sobre todo, que jamás debemos de renunciar a nuestro propio juicio y a nuestra responsabilidad personal e individual, en toda nuestra actividad, incluyendo el uso que hacemos de la inteligencia artificial y la tecnología.