La humanidad como metáfora (II): el caso de la robótica

En el post anterior de este blog introduje la reflexión sobre el uso de la metáfora humana en lo que tiene que ver con la inteligencia artificial.

Esa metáfora se manifiesta fundamentalmente en lo que tiene que ver con el vocabulario usado para referirnos a las capacidades de la inteligencia artificial, comenzando por el propio término inteligencia, y siguiendo por otras términos como reflexión, introspección, memoria, visión, etc

Pero también vimos que, más allá del lenguaje usado, hay aspectos más profundos que una mera metáfora, como el uso del ser humano, en este caso su cerebro, como fuente de inspiración científica para diseñar sistemas de inteligencia artificial y quizá, sólo quizá, o sólo para algunas personas y colectivos, su emulación y superación, como objetivo final de la inteligencia artificial,   

En este segundo artículo, voy a saltar al campo de la robótica, una disciplina bastante diferente pero cada vez más entremezclada con la inteligencia artificial.

El cuerpo como diferencia

Aunque el debate tendrá elementos comunes con el caso de la inteligencia artificial, la gran diferencia que se plantea en el caso de los robots, es que éstos, al menos en su mayoría (y digo esto de la mayoría para evitar el debate de si los robots software son robots), poseen un 'cuerpo' ('embodyment') una realidad física tangible con lo que la metáfora no se traslada sólo a lenguaje o funcionamiento, sino también a la forma, a la apariencia.

Robots y humanos digitales

Hay, sin embargo, un punto intermedio que conviene resaltar, y es el de los avatares o humanos digitales, es decir, una forma de chatbots que se presentan en pantalla con una forma humana, en algunos casos bastante fiel y detallada.

Por tanto, una buena parte, aunque no todo, de lo que digamos respecto a los robots 'con cuerpo', se aplica a los humanos digitales 

Las capacidades cognitivas y relacionales

Antes advertir que en el caso de los robots más avanzados, en el fondo en los que me estoy centrando, vienen dotados de capacidades cognitivas de la inteligencia artificial. Esto quiere decir que todo lo que dijimos en el post anterior de esta serie tanto sobre nomenclatura de tintes humanos, como sobre inspiración científica en el cerebro humano o posible objetivo final de la inteligencia artificial se traslada completamente al caso de estos robots cognitivos.

La forma: robots sociales y humanoides

Enlazando con lo que decíamos anteriormente sobre el cuerpo, en el caso de los robots la metáfora humana afecta muy directamente a su forma, a su cuerpo.

Muchos robots, como los manipuladores industriales, los robots móviles o los robots para reparto, adoptan formas plenamente funcionales, adaptadas a su labor y que nada tienen que ver con los humanos.

Pero existen dos importantes clases de robots, con algún solape entre ellos, en que la metáfora humana es evidente en cuanto a la forma. Me refiero a los robots sociales y a los robots humanoides.

Robot Neo

Los primeros, los robots sociales, son la contrapartida física de los chatbots, es decir, se trata de robots cuya misión principal es la de relacionarse con humanos. En ese sentido, no sólo utilizan el lenguaje natural y la voz como forma de comunicación, sino también elementos de lenguaje no verbal como la mirada, la distancia social o los gestos. Aunque no todos los robots sociales son antropomórficos, una buena parte de ellos sí que lo son. Entre los representantes más conocidos de los robots sociales podríamos mencionar a Pepper y Neo, aunque existen otros, quizá más experimentales, como la famosa Sophia o Amecca... y muchos más. Aunque son antropomórficos, y en algún caso como los geminoids imitan profundamente la forma humana, la mayoría tienen un aspecto indudablemente robótico.

Robot Optimus

El otro caso, es el de los robot humanoides. Siendo rigurosos con los términos, los robots sociales antropomórficos serían también humanoides, pero en esta categoría me refiero a robots más orientados a ámbitos industriales o a realizar tareas, incluso en el hogar y, por tanto, algo menos relacionales en su objetivo. Estaría hablando de robots como Optimus o Figure, por poner un ejemplo. Son robots técnicamente mucho más sofisticados que los robots sociales, más entrenados en la realización de trabajos y con mucha mayor destreza 'manual'.  

El papel de la forma humana en los robots

Aunque podamos pensar que el dotar a robots de forma humana es una forma de fantasía, de ser capaces de crear seres como nosotros, no es ésta la motivación verdadera, al menos no en la mayor parte de los casos.

Creo que se pueden identificar dos grandes motivaciones para el uso de la forma humana, una de naturaleza operativa y otra relacional (que, en el fondo, también acaba siendo operativa).

La motivación operativa

La primera naturaleza operativa tiene que ver sobre todo con los robots humanoides. En el post 'Especulando sobre un mercado para robots humanoides (I): proposición de valor', argumentaba que unos de los elementos de la proposición de valor de los robots humanoides es su versatilidad.

¿Qué quiere decir esto?

Otro tipo de robots, como los manipuladores industriales, pese a estar dotados de cierta flexibilidad, en el fondo están circunscritos a un conjunto acotado de tareas posibles. Sin embargo un robot humanoide puede acometer muchas más tareas y muy diferentes.

Pensemos que la anatomía del ser humano es fruto de milenios de evolución y capacita al ser humano para realizar todo tipo de tareas, incluyendo el desplazamiento por todo tipo de terrenos. Imitar la forma humana, no deja de ser una forma de biomímesis que hereda todo lo que de bueno tiene el cuerpo humano para acometer tareas de todo tipo y que posibilita a su vez a robots con esta morfología el acometer una gran variedad de tareas.

Esta flexibilidad, tiene indudable valor de negocio e ingeniería y facilita la producción masiva y las economías de escala que se derivan.

Además, en muchas de las tareas que queremos confiar a los robots humanoides, sustituirían a los humanos y parece que el que los robots estén dotados de una morfología similar a la del ser humano contribuye a que puedan realizar tareas similares a éste. 

La motivación relacional

La motivación relacional, aunque afecta también a los robots humanoides, tiene mas que ver con los robots sociales e incluso los humanos digitales.

Parece lógico pensar que el uso de mecanismos 'humanos' en la relación, no sólo el lenguaje verbal (procesamiento de voz y lenguaje natural), sino también el lenguaje no verbal con sus gestos, miradas, entonaciones etc facilita la comunicación entre personas y robots.

Dado que las características relacionales humanas se desarrollaron evolutivamente, fundamentalmente para engrasar las relaciones entre personas, si los robots son capaces de utilizar o emular los mismos mecanismos verbales y no verbales, la comunicación persona-robot fluirá de manera natural y sin necesidad de adaptación o aprendizaje por parte del humano.

En el fondo se trata de una manera algo particular y especializada de biomímesis.

Y esa comunicación, especialmente en sus aspectos no verbales, se beneficia también de una forma más o menos humana del robot, no sólo porque le permite al robot hacer gestos o usar miradas de forma más similar a un humano sino porque, en el fondo, lo vamos a aceptar mucho mejor.

Decía más arriba que esta motivación relacional en el fondo es también operativa porque es el robot el que se adapta al humano y por tanto para éste, para el humano, es muy sencillo, casi trivial, relacionarse con el robot, lo que elimina la necesidad de entrenamiento, aprendizaje o adaptación por parte del humano y facilita la adopción de la tecnología y su uso e interacción en el día a día.

El valle inquietante

Sin embargo, existe una limitación, no demostrada pero claramente admitida en esa imitación a la morfología humana: el valle inquietante ('uncanny valley').

Está bastante admitido que los humanos acogemos mejor a un robot cuanto más se va pareciendo a nosotros...pero eso tiene un límite. Si se parece 'demasiado' a un humano, si es casi igual (aunque sin llegar a ser igual) lo que era aceptación se convierte de repente en un profundo rechazo.

Dicho de manera familiar, queremos que los robots se parezcan a los humanos pero 'que no se pasen', que no dejen de seguir teniendo un aspecto razonablemente robótico.

El aprendizaje de los robots y la inspiración humana

Hay otro aspecto menos conocido de los robots en que se experimenta con mecanismos de clara inspiración humana: el aprendizaje.

Pese a que los robots avanzados, los robots cognitivos, obtienen sus capacidades cognitivas de la inteligencia artificial, presentan en ocasiones particularidades en cuanto a su entrenamiento que difieren de los mecanismos usados en la inteligencia artificial generalista.

Algunas de las dificultades del aprendizaje, que podrían considerarse generales pero que afectan sobre todo a robots cognitivos son el 'grounding', es decir, que sepan ligar los conceptos a las realidades físicas del mundo y la adquisición de conocimientos de naturaleza más cultural.

Aunque es posible que mecanismos como los VLAM (Vison-Language-Action Models) y los World Models a ellos asociados, resuelvan de una forma algo más algorítmica y similar al entrenamiento de otros modelos generativos, esos problemas, ya desde hace un tiempo se experimenta con formas de aprendizaje inspiradas en el aprendizaje humano, como son el aprendizaje por imitación ('imitation learning') o toda la propuesta de la robótica del desarrollo ('developmental robotics') en que se imita en cierto modo el aprendizaje en niños.

Estaríamos hablando en este caso, pues, de la metáfora humana como inspiración científica. De nuevo, una forma especial de biomímesis.

Personalidad y empatía

Un punto en que se comienza a extremar la metáfora humana es lo que tiene que ver con personalidad y empatía. 

Ya desde hace años, con chatbots relativamente básicos, uno de los primeros pasos del diseño del chatbot es la decisión de la personalidad que deseamos que exhiba. En general, cualquier chatbot moderno y robot social, salvo que por algún motivo se decida lo contrario, va ser amable y servicial. Pero lo importante es que la metáfora no afecta sólo a la forma y a procesos cognitivos más intelectuales, sino también a la dotación a chatbots y robots de personalidad propia, una personalidad, por supuesto, perceptible por los humanos con que dialoga.

No sólo eso, se dota a este tipo de soluciones de una cierta empatía. Por supuesto, se trata de una empatía impostada, no sentida, pero a efectos prácticos y relacionales eso es casi irrelevante: el robot o el chatbot se muestran empáticos y las personas los perciben como tales.

Y, por cierto, no estoy hablando de una metáfora sólo como terminología, sino como comportamiento absolutamente real.

Las emociones

En la misma línea, pero yendo un poco más allá, la metáfora se extiende hasta las emociones. Los chatbots y robots avanzados son capaces en algunos casos de percibir las emociones del humano tanto por su lenguaje verbal como, en los casos más avanzados, por el lenguaje no verbal.

Y, claro, no es sólo que sepan percibir las emociones de los humanos, es que pueden tener  capacidad para simular, de forma consistente, sus propias emociones.

De nuevo, no se trata de una metáfora meramente terminológica, sino plenamente operativa y perceptible.

El problema de la vinculación afectiva

No voy a profundizar mucho en esto ahora, pero sí mencionar que entre las problemáticas éticas que generan estos robots sociales o humanos digitales avanzados, varios de los más representativas tienen que ver con la vinculación afectiva que se puede producir, tiende a producirse de hecho, entre el humano y el robot o chatbot.

Un tema delicado, sin duda, y que conduce a otros riesgos relacionados con la influencia y la autonomía.

El problema del engaño

En los casos más avanzados, y quizá implicando a humanos poco advertidos o poco maduros, se puede producir un engaño, una confusión, en que el humano piense que realmente el robot o chatbot con que se relaciona, es más o menos consciente y tiene verdadera inteligencia, verdadera personalidad, verdaderos sentimientos.

En este caso, la metáfora casi, casi, dejaría de ser tal, porque algunas personas se la tomarían no como metáfora, sino como realidad.

Esto, aparte de falso, es peligroso y, de hecho, el reglamento europeo de inteligencia artificial pide explícitamente que estos artefactos se identifiquen claramente como tales, evitando o intentando evitar el engaño.

De todas formas, evitar el engaño creo que, más allá de leyes, depende también de cierta divulgación correcta de lo que son este tipo de ingenios, y casi diría también de cierto sentido común por parte de las personas. 

Conclusiones

La metáfora humana en el caso de los robots o ingenios con ciertas características similares, adopta características diferenciales respecto a las que vimos de la pura inteligencia artificial en gran medida porque los robots incluyen un cuerpo físico, que también en su forma adopta la metáfora

Pero además, tiende, con mas intensidad que en el caso de la pura inteligencia artificial, a extenderse a elementos relacionales que implican personalidad, empatía y emociones. 

Y eso conlleva algunos riesgos, incluyendo que la metáfora deje de ser reconocida como tal y se convierta en un engaño, quizá un auto-engaño.

Artículos de este blog relacionados

• La humanidad como metáfora (I): El caso de la inteligencia artificial

La humanidad como metáfora (I): El caso de la inteligencia artificial

En ciertos campos tecnológicos, muy en especial con lo que tiene que ver con inteligencia artificial, se utiliza un lenguaje que  mimetiza las características y aportaciones de esa tecnología con características con capacidades humanas. Así, hablamos de capacidades cognitivas, de razonamiento, de reflexión, etc.

Y la cosa no creo que se reduzca al lenguaje, existen dudas y debates sobre si lo que estamos haciendo va mucho más allá de la terminología, y si la verdadera aspiración, como así se afirma, sin duda, es alcanzar o incluso sustituir a la inteligencia humana.

Me encuentro inmerso en la lectura del libro 'Agentic Mesh: The GenAI-Powered Autonomous Agent Ecosystem' de Eric Broda y Davis Broda, un libro eminentemente técnico, pero en el cual, en el tercer capítulo, 'Agents basics', se dedica completamente a poner en paralelo y comparar a los agentes con los seres humanos, a mostrar capacidades humanas, tanto individuales como grupales, y cómo éstas se trasladan puntualmente al caso de agentes. De hecho, los autores afirman que esa analogía con las personas es una excelente forma de entender cómo funcionan los agentes, como exponen en la primera sección de ese capítulo 'Agent analogy: agents as people'.

Y es precisamente la lectura de ese capítulo la que me ha hecho preguntarme hasta qué punto es beneficiosa, y hasta qué punto real, esa analogía, esa metáfora. Y, también, si esa analogía va más allá de un paralelismo para convertirse en una aspiración.

Con ello tengo material para una 'miniserie' de dos o tres posts, de la cual éste es el primero, y en él me centro en el caso concreto de la inteligencia artificial.

Inteligencia artificial y metáfora

Lo cierto es que desde su mismo nacimiento, la inteligencia artificial sostiene, en su nomenclatura y en algo más, ese paralelismo con la humanidad o con la cognición humana.

El propio nombre de inteligencia hace pensar en seres vivos y, sobre todo, en humanos, y la propia declaración de visión, en la conferencia de Darmouth, 'hacer que las máquinas se comporten de una forma que consideraríamos inteligente si un humano se comportase de esa forma', pone de alguna manera al ser humano como medida y casi como aspiración de la inteligencia artificial.

Y ese paralelismo, esa analogía, esa nomenclatura y esa aspiración, siguen entre nosotros e inundan el discurso y en parte la actividad en materia de inteligencia artificial.

Pero, en realidad, esa forma de hablar acerca de la inteligencia artificial, esa insistencia en términos provenientes de la psicología o la neurociencia como razonamiento, reflexión, introspección, memorias de corto y largo plazo, etc va más allá de una pura metáfora, de un puro paralelismo.

También es una inspiración, inspiración en el doble sentido científico y aspiracional y, puede, sólo puede, que constituya un objetivo.

Más allá de la metáfora: el cerebro como inspiración científica

En efecto, el ser humano, y en concreto su cerebro y su sistema nervioso, han funcionado y funcionan como fuente de inspiración desde un punto de vista científico y técnico, es decir, como un elemento que podemos estudiar y que las conclusiones nos pueden servir en el diseño técnico de las soluciones de inteligencia artificial.

En la época en que estaba en boga la inteligencia artificial simbólica, se estudió e intento aplicar, con regular éxito, los mecanismos de pensamiento consciente del ser humano. Se trabajó con las leyes de la lógica y con la representación del conocimiento y se atendía a los procesos cognitivos del ser humano.

Y cuando la orientación viró hacia el machine learning, hacia el reconocimiento de patrones y el aprendizaje basado en datos, las muy exitosas actualmente redes neuronales se inspiraron, y de qué manera, en el cerebro humano. Los perceptrones, las primeras neuronas artificiales, abstraían (y abstraen) el funcionamiento de una neurona humana, y la distribución en capas emula, creo que de forma ya algo menos fiel, la profunda interconexión entre neuronas que existe en el cerebro humano.

He leído, aunque tengo alguna duda al respecto, que las redes neuronales de convolución, que permitieron un enorme salto en materia de visión artificial, también emulaban el funcionamiento de las neuronas dedicadas a visión.

En el fondo no se trata de nada nuevo ni de nada ilógico. Dado que muchas de las características que aspira a conseguir la inteligencia artificial las exhiben con notable éxito los seres vivos y en especial los humanos, parece muy razonable estudiar a esos seres vivos e intentar trasladar lo aprendido a diseños técnicos. Es lo que se denomina biomímesis y es algo que se ha hecho durante décadas e incluso siglos y tiene toda la lógica del mundo.

Pero es preciso ser conscientes de que con frecuencia se trata solo de un punto de partida inicial. El diseño fino  de esas redes neuronales, o de cualquier artefacto basado en biomímesis, se suele apartar luego en parte de su inspiración original, y se guía luego más por resultados y técnicas de ingeniería que por una verdadera copia del mecanismo biológico que, además, con frecuencia, y este es el caso del cerebro, no se conoce del todo.

El cerebro como objeto 

A veces se afirma, y es una afirmación de base científica, que lo que aprendemos del funcionamiento de algoritmos de inteligencia artificial, lo que experimentamos con ella, puede ser un mecanismo para ayudarnos a comprender nuestro propio cerebro.

En este caso, en el fondo, el objeto es el propio cerebro, o su conocimiento, más que la tecnología de inteligencia artificial en sí misma que sería un medio para experimentar.

Es una afirmación razonable e inspiradora, pero no estoy seguro de cuántos resultados se han producido en esta orientación.

El cerebro como aspiración

Lo que de alguna forma es técnicamente más retador, y también éticamente más problemático, es si la aspiración real es el cerebro humano, o por mejor decir, conseguir hacer un cerebro artificial que emule, e incluso supere, al cerebro humano.

Esto tendería a llevarnos al campo de la AGI ('Artificial General Intelligence') o de la superinteligencia y nos pudiera dejar en los umbrales de la famosa singularidad. 

A pesar de discursos sensacionalistas y catastrofistas, no creo que este objetivo domine hoy en día el desarrollo de la inteligencia artificial, pero tampoco diría que no está presente y que no tiene su peso. De hecho, un objetivo declarado de OpenAI es conseguir esa AGI. Así que, cuidado.

Si esto se consiguiera, o si la AGI o la super-inteligencia son el verdadero objetivo, estamos hablando no de una metáfora, sino de una imitación e incluso una sustitución y con muchas y serias implicaciones.

Ingeniería versus utopía

Lo cierto es que, al menos eso creo yo, una gran parte del trabajo en materia de inteligencia artificial, tanto en los diseñadores y fabricantes de los algoritmos y los grandes modelos, como en las empresas que adoptan soluciones, creo que está mucho, muchísimo más guiado por objetivos de negocio e ingeniería, por la aplicación de tecnología para conseguir unos objetivos más concretos, más prácticos y, en cierto sentido, más inmediatos, acercándose o usando la inspiración humana sólo cuándo éste sea un recurso prometedor.

Y la metáfora humana con frecuencia creo que se queda más en eso, metáfora, más usada en términos de comunicación y marketing o a veces, sólo a veces, se orienta hacia la venta de una utopía (puede que en realidad una distopía)

La conveniencia de la metáfora humana

Personalmente, no me parece mal del todo el uso de la metáfora humana hasta cierto punto.

En el fondo, es cierto que con frecuencia la inteligencia artificial imita capacidades cognitivas humanas, y no está mal reconocerlo, explicarlo e, incluso, con prudencia, adoptar nombres que se reutilicen de la neurociencia o la psicología para denominar capacidades más o menos equivalentes de la inteligencia artificial.

Además, la metáfora bien usada y explicada, puede ayudar a entender de una forma más sencilla qué mecanismos implementa la inteligencia artificial.

Pero tampoco creo que haya que extremar la metáfora.

En primer lugar, no se debe exagerar, no se deben usar palabras que hagan pensar que la inteligencia artificial hace más de lo que realmente hace. Y también se debe emplear con cierta contención y prudencia, porque un uso poco explicado, o peor, mal explicado de la metáfora humana, puede despistar al público, puede, en lugar de ayudar, confundir e incluso puede generar rechazo. Hace unos pocos meses pude asistir, por ejemplo, al rechazo que generaba el mero uso del término agente, en una comunidad orientada hacia la filosofía e incluso la teología donde el término agente tiene un significado propio y de connotaciones morales.

Y, por supuesto, si el objetivo es realmente crear un cerebro artificial, una super-inteligencia que nos supere, lo cual ya no es metáfora en absoluto, eso tiene muchas otras implicaciones éticas, humanísticas e, incluso de seguridad, pero eso es ya harina de otro costal.

Conclusiones

La metáfora humana se ha usado y se usa con frecuencia en el campo de la inteligencia artificial. Su empleo es justo y razonable en la medida en que realmente la inteligencia artificial implemente mecanismos similares o paralelos a los de la cognición humana, pero un uso incorrecto o exagerado de esa metáfora puede generar rechazo y puede confundir, y creo que confunde, de hecho.

Cuatro patrones para la monitorización de agentes IA en producción

Probablemente, una de las áreas en que más se trabaje, o al menos que, digamos, más 'preocupación' genere en el tema de los agentes IA sea la gobernanza de éstos y, más específicamente, como gestionarlos adecuadamente en producción, cómo hacer que sean seguros, cómo vigilar que tengan un comportamiento correcto, cómo asegurar que funcionan como esperamos que funcionen.

 

Inteligentes pero imprevisibles

Y esta labor no es trivial en absoluto pese a la cantidad de años que llevamos monitorizando todo tipo de sistemas, garantizando su seguridad, sus prestaciones y su escalabilidad, y a pesar de la abundancia de soluciones y herramientas que existen para ello.

Y la dificultad surge, no del hecho de que los agentes sean un tipo de software novedoso, sino de la naturaleza misma de este tipo de solución basada en IA, de lo que les diferencia y les da valor.

Los agentes son un tipo de software autónomo, pero eso no es nada nuevo. Existen desde hace décadas sistemas que se comportan de manera autónoma. Y sabemos monitorizarlos y operarlos.

Los agentes, como su propio nombre indica, son también capaces de actuar, esto es, de realizar acciones sobre sistemas de ficheros, sobre bases de datos o sobre otras aplicaciones. Pero esto no es tampoco nada nuevo y nada que en general no sepamos controlar. Esa misma capacidad de actuación, además de una forma bastante parecida, la tienen también muchos otros sistemas autónomos, como los robots RPA que describía en mi libro 'Robots en la sombra' o los modernos workflows en la nube que construimos con plataformas como Make, N8N, Zapier o Power Automate Cloud.

No, la verdadera dificultad no está ahí, no está en la autonomía y ni en la capacidad de actuación. sino en la forma en que estos sistemas autónomos 'deciden' que hay que hacer. Todos los demás sistemas autónomos que les han precedido y con los que conviven, tienen marcada, de una forma rigurosa y cerrada, la lógica que deben seguir para llevar a cabo la tarea que tienen encomendada y automatizarla. Esta lógica se establece en tiempo de desarrollo por el propio desarrollador y suele adoptar la forma de un flujo, un workflow, aunque pueden existir otras formas de fijar reglas de comportamiento.

El caso de los agentes es muy diferente. No tienen una lógica pre-establecida, sino un objetivo o tarea, unas reglas de comportamiento muy generales expresadas en lenguaje natural y una serie de capacidades de actuación mediante las denominadas herramientas ('tools'). Pero la verdadera lógica de solución la decide el agente usando sus capacidades razonadoras basadas en un gran modelo de lenguaje, y lo hace en tiempo de ejecución, no de desarrollo.

Eso nos lleva a un comportamiento sin duda más inteligente, más flexible y más adaptativo, pero precisamente por eso, hasta cierto punto imprevisible. No quiero decir con ello que sean completamente imprevisibles, pero sí que no existen unas reglas exactas y que el agente tiene, digamos, grados de libertad.

Difíciles de probar, difíciles de monitorizar

Esa imprevisibilidad los hace difíciles de probar, porque no podemos establecer un catálogo exhaustivo y cerrado de casos de prueba que garanticen haber ejercitado con éxito todas los escenarios posibles. Ni siquiera es siempre posible definir con claridad cuál es el resultado que consideraríamos correcto para dar por bueno el caso.

Esas mismas dificultades se trasladan a a la monitorización en producción. Podemos monitorizar, claro, ciertas manifestaciones externas de su comportamiento como, por ejemplo, invocaciones de cada herramienta a su disposición o los datos que generan. Pero como el comportamiento es abierto, y hasta cierto punto imprevisible, es difícil disponer de unos mecanismos claros y cerrados para asegurar que el agente se comporta adecuadamente, que no incurre en riesgos no admisibles y que, por supuesto, no comete errores.

Cuatro patrones para la monitorización de agentes

Es por eso que me ha interesado la propuesta de patrones para esa monitorización que he encontrado en el libro 'Building Applications with AI Agents' de Michael Albada donde nos plantea cuatro patrones de monitorización. Son los siguientes:

• Shadow mode (modo sombra): Se trata, en realidad, de un mecanismo transitorio hasta que ganemos confianza en un agente nuevo. La idea es, cuando despleguemos un agente nuevo, mantener a este recibiendo datos reales pero sin enviar salidas a los usuarios y sin realizar acciones reales. De esta forma, durante un tiempo se puede observar su comportamiento en situaciones reales y ver que se comporta bien, antes de otorgarle 'plenos poderes'. En realidad, es casi más un mecanismo de prueba que de monitorización.


• Canary deployments (despliegues 'canario'): También se sitúa un poco en la línea de poner a prueba un agente nuevo en situaciones reales sin dejarle hacer daño, pero va un poco más lejos que la opción anterior. En este caso lo que se hace es que el nuevo agente sólo actúe en un porcentaje bajo (digamos entre un 3% y un 5%) de las situaciones reales, mientras que el resto se tratan 'normalmente' (con una versión anterior del agente, con un sistema más tradicional o manualmente, si es el caso). Estrictamente hablando, no impedimos que el agente pueda hacer daño, pero minimizamos el riesgo y el posible impacto


• Regression trace collection (recolección de trazas de regresión): Ahora, más bien, lo que tratamos es de aprender del pasado. Y lo hacemos también mediante un mecanismo bien conocido: la recolección y análisis de trazas. Para ello se recopilan trazas (logs) y, cuando se produce un fallo, se estudian para intentar entender qué ha pasado y arreglarlo de cara al futro.


• Self-healing agentes (agentes auto-curativos): Se trata de agentes que reciben los propios datos de monitorización, y las propias métricas y son capaces de implementar mecanismos de recuperación ante fallos.

La verdad es que de estos cuatro mecanismos, sólo el último es realmente novedoso. Los otros tres ya se han venido aplicando con mayor o menor intensidad en la monitorización y operación de otro tipo de sistemas.

Se trata de mecanismos que disminuyen el riesgo y el impacto de posibles malos funcionamientos, pero, por supuesto, no los evitan completamente.

En cualquier caso, parecen buenas prácticas que 'van a favor de obra' en busca de ese objetivo de tener a los agentes bajo control.

Conclusiones

Los agentes de IA, por su propia naturaleza, son difíciles de probar, de monitorizar y de operar.

Hemos visto cuatro patrones de operación de agentes que, si bien no eliminan el riesgo, sí pueden ayudar a tenerlo bajo control.

'Magnifica Humanitas' y la voz

Es probablemente de todos los lectores conocido la reciente publicación de la primera encíclica del Papa León XIV, la ya muy conocida y comentada 'Magnifica Humanitas'.

Cuando supe de su publicación me propuse, por supuesto leerla, pero además publicar un post como este, en que la comentase.

Por cierto, que pensaba que publicar un post sobre una encíclica, por más que ésta se centrase en la inteligencia artificial, era un paso de una cierta originalidad por mi parte, pero viendo todo lo que se ha hablado de ella, no sólo en medios como la radio y la televisión, sino también en redes sociales incluyendo las profesionales, creo que no es así, que no soy original para nada, y que, incluso, este post podría verse casi como 'cansino', más aún cuando ya hace unos 20 días desde que la encíclica fue publicada, y ya se ha producido toda una avalancha de artículos, pronunciamientos y opiniones.

Recogimiento para la formación de una opinión

Y sin embargo, publico estos comentarios porque me sigue apeteciendo hacerlo, y pese a que ya pueda haber perdido una cierta oportunidad.

Lo cierto es que cuando supe de la publicación de la encíclica, decidí atender lo menos posible a los comentarios y publicaciones que se produjeran, porque quería crearme una opinión propia, sin influencias ni condicionamientos.

Y, además, quería leerla tranquilamente, capítulo a capítulo, y no 'de un tirón'.

De ese aislamiento, o recogimiento, buscado, y de esa calma...conviviendo con un gran pico de trabajo, nace esa distancia en el tiempo que pueda parecer una pérdida de oportunidad.

Un mini resumen

Aunque inicialmente pensaba en hacer una especie de resumen comentado de la encíclica, al final casi prefiero transmitir algunas sensaciones generales y alguna reflexión, pero antes, para quien no se haya leído la encíclica (y, por cierto, se sea creyente o no, creo que es aconsejable leerla), hago un resumen rápido.

La encíclica, es bien conocido que tiene como protagonista a la inteligencia artificial, pero lo cierto es que es un documento más amplio y que, posiciones aparte específicas sobre la inteligencia artificial, también transmite otro tipo de preocupaciones morales y, además, realza, y mucho, lo que ha sido y es la doctrina social de la Iglesia, algo que era previsible porque el propio nombre adoptado por el actual Papa, León XIV, era ya desde elección, una clara referencia a León XIII, impulsor de esa doctrina social de la Iglesia.

Brevemente, el contenido de los capítulos es el siguiente:

• Introducción: Utiliza como apertura y metáfora bíblica, la contraposición entre la torre de Babel, representando el poder sin referencia a Dios que dispersa y deshumaniza, y la reconstrucción de Jerusalén por Nehemías representando la corresponsabilidad, la escucha y trabajo compartido orientado al bien común.


• Capítulo I — Un pensamiento dinámico fiel al Evangelio: Hace un recorrido por la evolución de la doctrina social de la Iglesia, fundamentalmente recorriendo las diferentes encíclicas que se han concentrado en ella. Un recorrido que, claro, tiene en su origen la 'Rerum novarum' de León XIII.


• Capítulo II — Fundamentos y principios de la Doctrina Social de la Iglesia: resume los principales planteamiento de esa doctrina social, destacando elementos como el bien común, el destino universal de los bienes, la subsidiariedad, la solidaridad o la justicia social, principios que traslada al mundo digital actual. Añade una cierta autocrítica o examen de conciencia hacia la propia Iglesia católica en materia de trasparencia, rendición de cuentas o la escucha a víctimas.


• Capítulo III — Técnica y dominio. La grandeza de la persona humana ante las promesas de la IA: Es, probablemente, junto con el siguiente, el capítulo más centrado realmente en la inteligencia artificial, revisando algunos de sus riesgos e implicaciones para la persona humana. Critica el denominado paradigma tecnocrático y también, y esto no lo esperaba, el transhumanismo y poshumanismo.


• Capítulo IV — Custodiar lo humano en la transformación. Verdad, trabajo, libertad: aborda cuatro ámbitos de lo humano a proteger: la verdad, la dignidad del trabajo, la familia y la libertad frente a esclavitudes. En un punto que también me ha resultado sorprendente, no por el hecho en sí, sino por verlo en esta encíclica, el Papa reconoce que la Iglesia no siempre ha reaccionado a la velocidad debida a ciertos fenómenos y, en concreto, lo centra en la esclavitud y pide perdón por esa falta de respuesta de la Iglesia en su momento.


• Capítulo V — La cultura del poder y la civilización del amor: Abandona parcialmente, aunque no del todo, el tema de la inteligencia artificial, para centrarse más en el poder y, sobre todo, la guerra.


• Conclusión: Propone un programa de vida que se concentra en la fidelidad a la verdad, la inversión en educación, el cuidado de las relaciones y el amor a la justicia y la paz.

Algunas ideas y sensaciones

Más allá de contenidos objetivos que he condensado muy brevemente en la sección anterior, comentar algunas ideas que extraigo o algunas sensaciones que me produce.

En primer lugar, es un documento bien informado. Eso es algo que espero de cualquiera que se pronuncie en este caso sobre la inteligencia artificial: que sepa de lo que está hablando, que hable con conocimiento de causa, no 'de oídas' o con base en mitos. Por supuesto, no me sorprende que una encíclica sea un documento 'bien informado', pero creo que vale la pena ponerlo de relieve

Me parece un documento que aúna firmeza y moderación. Es moderado en el sentido de que no es agresivo ni altisonante pero, a la vez, es firme, criticando claramente, aunque sea con esa moderación, lo que considera que es incorrecto.

Aunque repasa los riesgos de la IA, la perspectiva es sobre todo, la de proteger la dignidad humana en su conjunto. En ese sentido, tienen poco protagonismo problemáticas éticas digamos tradicionales, de la IA, como es lo que tiene que ver con la privacidad.

Me ha dado la sensación de que lo que más preocupa al Papa de la IA, más allá de sus riesgos, es la concentración de poder, que el destino de la IA se encuentre en manos de unos pocos.

Igualmente, y aunque a nivel mediático lo que se ha destacado es la inteligencia artificial, la encíclica pone mucho foco en otros dos aspectos de los que destacaría esa concentración de poder y la guerra.

Igualmente decir que me ha llamado la atención, y me ha gustado, todo el viaje por la doctrina social de la Iglesia. Me ha gustado, digamos intelectualmente, porque explica muy bien, aunque sea de forma breve, en qué consiste y cómo ha evolucionado hasta llegar al momento actual. Pero me gusta, además, por esa sensación que transmite de continuidad, de coherencia, en cierto modo de tradición, que muestra que, por más que la IA sea ahora el último grito y que esta encíclica pudiera parecer disruptiva, lo cierto es que se enmarca en toda una historia, toda una tradición y todo un pensamiento coherente.

De la ética aplicada a la religión aplicada

Cuando se cuenta la evolución de la filosofía, y sobre todo de la ética, se cuenta, yo mismo lo he hecho varias veces, cómo tras unos siglos en el pasado en que gozaron de atención, la filosofía y la ética,  como disciplinas, estaban un poco 'muertas', hasta que surgió el enfoque de la 'ética aplicada' en que en lugar de teorizar, de 'filosofar' podríamos decir, decidió centrarse en problemas concretos, modernos e incluso del día a día: la biotecnología, la eutanasia, la ecología... y la tecnología. Y esto ha supuesto un renacer de filosofía.

No puedo evitar pensar que, en cierto sentido, esta 'Magnifica humanitas', como probablemente toda la doctrina social de la Iglesia, más allá de su evidente trasfondo religioso, tengo un algo de esa  ética aplicada y si no estaríamos hablando, y me acabo de inventar el término, de una 'religión aplicada'. Y me pregunto si ese enfoque aplicado, aunque quizá más susceptible de polémicas, no puede ayudar a un nuevo impulso de la Iglesia que, al menos en Europa, a ratos parece languidecer.

Una forma de marketing religioso

No sé si es pretendido o no, pero diría que esta encíclica ha sido una especie de 'golpe de marketing' para la Iglesia católica y para el Papa León XIV.

El nombre de la encíclica, 'Magnifica humanitas' me parece precioso y excelente para una encíclica que habla de Inteligencia Artificial y de proteger la dignidad humana. Aunque desconozco el proceso, no tengo ninguna duda de que los nombres de las encíclicas se eligen cuidadosamente. Pero en este caso, la elección me parece singularmente acertada.

Otra cosa que me llamó la atención es que se anunciara por anticipado que se iba a publicar y la atención que concitó. No sé si en ocasiones anteriores se anunciaron los 'lanzamientos' de las encíclicas, pero estoy convencido de que pocas o ninguna, generó tanta expectación.

Conscientemente o no, buscado o no, creo que esta encíclica y su publicación han tenido alto impacto mediático, mucho más allá de la comunidad cristiana católica, y han realzado la imagen de la Iglesia y, sobre todo, del Papa León XIV. 

Sobre la voz

Hace unos meses, concretamente a finales de Octubre de 2025, fui invitado como ponente en unas jornadas sobre Teología e Inteligencia artificial, en la Universidad Pontificia de Salamanca, una experiencia que recogí en el post ' La Iglesia y el diálogo ético sobre inteligencia artificial: una experiencia, unas lágrimas y un mensaje'.

En ese post explicaba cómo, por cierto celo en el control de tiempos, mi intervención fue 'cortada' sin que pudiera llegar al final, sin poder llegar a las conclusiones y transmitir los verdaderos mensajes que quería transmitir.

Pero publiqué el vídeo de lo que hubiera sido la ponencia completa, incluidos esos mensajes. Es este

Y me satisface ver que, en cierto sentido, esta encíclica recoge algunas de las que eran mis propuestas.

Antes decía que esta encíclica me parecía un documento informado, que 'no tocaba de oídas'. Pues bien,  entre los mensajes que no pude pronunciar en las jornadas, estaba el de que cuando abordasen el tema de la inteligencia artificial, que lo estudiaran bien y se informasen, que no 'tocaran de oídas' (en el video 2:56).

Además les hubiera querido decir, que ante los debates éticos en que no tenemos claro qué hacer, la brújula es siempre el valor de la vida humana (en el video, 2:50) y cómo se ve afectado por una tecnología o una solución. 'Magnifica humanitas', ya casi desde el título, adopta la perspectiva de proteger la dignidad humana.

Pero, sobre todo, lo que les quería haber dicho, era que, ante los dilemas éticos planteados por la inteligencia artificial, que la Iglesia católica tenía la posibilidad y casi del deber, de dejar oír su voz (en el video 2:55)

 

Conclusiones

La encíclica 'Magnifica humanitas' es un documento informado y muy relevante en muchos aspectos incluyendo los debates éticos alrededor de la inteligencia artificial.

Y me alegra comprobar que resuena con los principales mensajes de aquella ponencia inconclusa que protagonicé en la Universidad de Salamanca.

¿Cómo aprenden los agentes de IA?

Los agentes basados en IA, aunque aún en proceso de maduración, son una cosa que roza en muchas ocasiones lo extraordinario, explotando, de formas muy potentes, las capacidades que ofrecen los grandes modelos de lenguaje.

Dejando aparte su autonomía o su capacidad para elaborar razonamiento y planes, ahora me fijo ahora en su capacidad para aprender, aprender a partir ejemplos o de la experiencia en un asombroso remedo de lo que hacen los seres vivos en general y los seres humanos en particular.

Me encuentro leyendo el libro 'Building Applications with AI Agents' de Michael Albada , que me está gustando mucho por cierto, y no he podido dejar de fijarme con mucha atención en la explicación que aporta en el capítulo dedicado al aprendizaje en sistemas agénticos y, en especial, a los denominados métodos no paramétricos de aprendizaje.

Métodos no paramétricos

Es bien sabido que el aprendizaje durante el entrenamiento de modelos de machine learning se produce, en la inmensa mayoría de los casos, mediante el ajuste de los parámetros del modelo.

Y es bien sabido que los modelos de IA generativa se basan en formas más o menos sofisticadas de redes neuronales donde, en general aunque no únicamente, los parámetros que se ajustan son los pesos de las conexiones entre neuronas.

Sin embargo, una propiedad que podemos comprobar casi como meros usuarios de ChatGPT o Claude, es que estos sistemas son capaces también de aprender sin un 're-entrenamiento' explícito o, por mejor decir, sin necesidad de ajustar sus parámetros.

Y es a estos métodos no paramétricos a los que quiero referirme en este post. 

En concreto, en la obra citada más arriba, se nos hablan de tres:

• Aprendizaje mediante ejemplos
• Reflexión
• Aprendizaje mediante la experiencia 

Veamos estos tres tipos brevemente.

Aprendizaje mediante ejemplos: 'few-shot prompting' estático y dinámico

Esta primera forma es muy conocida y está abundantemente explicada y documentada. Se trata, simplemente, de proporcionar en el propio 'prompt' ejemplos de cómo se realiza la tarea. Estaríamos hablando, pues, de la técnica conocida como 'few-shot prompting'.

Sin embargo, en ese formato, en que los ejemplos se incluyen en el propio 'prompt', hablamos de un 'few-shot prompting estático , donde realmente, es el usuario el que 'manda'.

Existe una variante muy interesante que es el 'few-shot prompintg' dinámico. En este caso, se dispone de una base de datos vectorial (como las que se utilizan en la técnica de RAG 'Retrieval Augmented Generation' donde almacenamos los ejemplos de que disponemos. En este caso, ante un 'prompt', es el agente el que busca el o los ejemplos más adecuados en esa base de datos vectorial, usando mecanismos de búsqueda semántica (basada en significado no en coincidencia exacta de palabras clave), de la misma forma de nuevo, que se hace en RAG.

De hecho, creo que no sería incorrecto considerar que este 'few-shot promting dinámico es una forma particular de RAG.

Además, entiendo que, una vez que se dispone de esa base de datos de ejemplos, ésta puede ser enriquecida por el propio agente (o una comunidad de agentes), con lo cual el efecto aprendizaje es mucho más real, mas dinámico y evolutivo.

Reflexión

Siempre me ha llamado la atención este mecanismo de reflexión ('reflection'), identificado mediante un nombre que me resulta misterioso en la medida en que emula en ese nombre, evidentemente de forma intencionada, a una capacidad cognitiva humana tan profunda como es la reflexión.

Sin embargo, cuando se entiende bien, no es tan mágico (siempre que no consideremos casi mágico, claro, el propio funcionamiento de los grandes modelos de lenguaje.

Explicado como reflexión ('reflection') suena muy espectacular y sofisticado y, en cierto sentido lo es, pero lo es en la medida en que un gran modelo de lenguaje es realmente sofisticado porque, disponiendo de un buen modelo de lenguaje, el mecanismo de reflexión no es tan complejo

Lo que se hace es que el sistema agentico hace auto-crítica ('self-critique') ante un intento fallido de realizar una tarea. Para ello, claro, tiene que en primer lugar detectar que la tarea no se ha realizado correctamente (para esto, en algunos casos, podría tener ayuda externa en forma de feedback humano o medida de algún tipo de sensor, indicador o mensaje de error).

Una vez que ha comprendido que algo no ha ido bien, hace esa crítica y almacena 'sus conclusiones' en una memoria específica en que une esa reflexión con las acciones realizadas y lo observado. 

Y luego, cada vez que el agente va a realizar una nueva acción, busca las últimas 'reflexiones' en esa memoria y adecúa su comportamiento (es como incluir esas reflexiones en el contexto o el prompt... de hecho, eso es lo que hace).

 

Aprendizaje experiencial

El aprendizaje experiencial, en el fondo, es una evolución o ampliación del mecanismo de reflexión pero añadiendo un aprendizaje cruzado entre tareas. Es decir, no se trabaja sólo con las reflexiones de la misma tarea sino también de otras diferentes que se contienen en los denominados 'insights'.

Y existe una, digamos, gestión dinámica en el tiempo de 'insights' en que unos aparecen, otros desaparecen y existe una suerte de votación para que el agente tenga nociones de cuáles son los más relevantes o útiles.

Perplejidad

Sorprende, o al menos a mi lo hace, cómo un mecanismo cognitivo tan sofisticado como es el aprendizaje, se consigue de una forma relativamente sencilla y fácil de entender.

Creo que esto es una demostración de dos cosas: por un lado de la enorme potencia y versatilidad de los grandes modelos de lenguaje y, por otra, del indudable ingenio de las personas que diseñan estos mecanismos.

Siempre nos quedará el 'fine-tuning'

De todas formas, la cosa no acaba a aquí. Si estas formas no paramétricas de que los sistemas agénticos aprendan no son suficientes, siempre nos quedarán los métodos paramétricos, el famoso 'fine-tunning' en que, mediante un entrenamiento adecuadamente dirigido podemos añadir nuevas capacidades o una mejor adecuación a los modelos de lenguaje en que se basan los agentes. 

Conclusiones

Los sistemas agénticos presentan unas notorias capacidades de aprendizaje, sorprendiendo, por un lado, que son relativamente simples de entender e implementar y, por otro, que no precisan en general de un re-entrenamiento, al menos no un re-entrenamiento de los que alteran los parámetros del modelo: Y, por si esto fuera poco, una vez implementadas estas capacidades de aprendizaje, pueden funcionar de manera autónoma.

Increíble ¿verdad?