Cuatro patrones para la monitorización de agentes IA en producción

Probablemente, una de las áreas en que más se trabaje, o al menos que, digamos, más 'preocupación' genere en el tema de los agentes IA sea la gobernanza de éstos y, más específicamente, como gestionarlos adecuadamente en producción, cómo hacer que sean seguros, cómo vigilar que tengan un comportamiento correcto, cómo asegurar que funcionan como esperamos que funcionen.

 

Inteligentes pero imprevisibles

Y esta labor no es trivial en absoluto pese a la cantidad de años que llevamos monitorizando todo tipo de sistemas, garantizando su seguridad, sus prestaciones y su escalabilidad, y a pesar de la abundancia de soluciones y herramientas que existen para ello.

Y la dificultad surge, no del hecho de que los agentes sean un tipo de software novedoso, sino de la naturaleza misma de este tipo de solución basada en IA, de lo que les diferencia y les da valor.

Los agentes son un tipo de software autónomo, pero eso no es nada nuevo. Existen desde hace décadas sistemas que se comportan de manera autónoma. Y sabemos monitorizarlos y operarlos.

Los agentes, como su propio nombre indica, son también capaces de actuar, esto es, de realizar acciones sobre sistemas de ficheros, sobre bases de datos o sobre otras aplicaciones. Pero esto no es tampoco nada nuevo y nada que en general no sepamos controlar. Esa misma capacidad de actuación, además de una forma bastante parecida, la tienen también muchos otros sistemas autónomos, como los robots RPA que describía en mi libro 'Robots en la sombra' o los modernos workflows en la nube que construimos con plataformas como Make, N8N, Zapier o Power Automate Cloud.

No, la verdadera dificultad no está ahí, no está en la autonomía y ni en la capacidad de actuación. sino en la forma en que estos sistemas autónomos 'deciden' que hay que hacer. Todos los demás sistemas autónomos que les han precedido y con los que conviven, tienen marcada, de una forma rigurosa y cerrada, la lógica que deben seguir para llevar a cabo la tarea que tienen encomendada y automatizarla. Esta lógica se establece en tiempo de desarrollo por el propio desarrollador y suele adoptar la forma de un flujo, un workflow, aunque pueden existir otras formas de fijar reglas de comportamiento.

El caso de los agentes es muy diferente. No tienen una lógica pre-establecida, sino un objetivo o tarea, unas reglas de comportamiento muy generales expresadas en lenguaje natural y una serie de capacidades de actuación mediante las denominadas herramientas ('tools'). Pero la verdadera lógica de solución la decide el agente usando sus capacidades razonadoras basadas en un gran modelo de lenguaje, y lo hace en tiempo de ejecución, no de desarrollo.

Eso nos lleva a un comportamiento sin duda más inteligente, más flexible y más adaptativo, pero precisamente por eso, hasta cierto punto imprevisible. No quiero decir con ello que sean completamente imprevisibles, pero sí que no existen unas reglas exactas y que el agente tiene, digamos, grados de libertad.

Difíciles de probar, difíciles de monitorizar

Esa imprevisibilidad los hace difíciles de probar, porque no podemos establecer un catálogo exhaustivo y cerrado de casos de prueba que garanticen haber ejercitado con éxito todas los escenarios posibles. Ni siquiera es siempre posible definir con claridad cuál es el resultado que consideraríamos correcto para dar por bueno el caso.

Esas mismas dificultades se trasladan a a la monitorización en producción. Podemos monitorizar, claro, ciertas manifestaciones externas de su comportamiento como, por ejemplo, invocaciones de cada herramienta a su disposición o los datos que generan. Pero como el comportamiento es abierto, y hasta cierto punto imprevisible, es difícil disponer de unos mecanismos claros y cerrados para asegurar que el agente se comporta adecuadamente, que no incurre en riesgos no admisibles y que, por supuesto, no comete errores.

Cuatro patrones para la monitorización de agentes

Es por eso que me ha interesado la propuesta de patrones para esa monitorización que he encontrado en el libro 'Building Applications with AI Agents' de Michael Albada donde nos plantea cuatro patrones de monitorización. Son los siguientes:

• Shadow mode (modo sombra): Se trata, en realidad, de un mecanismo transitorio hasta que ganemos confianza en un agente nuevo. La idea es, cuando despleguemos un agente nuevo, mantener a este recibiendo datos reales pero sin enviar salidas a los usuarios y sin realizar acciones reales. De esta forma, durante un tiempo se puede observar su comportamiento en situaciones reales y ver que se comporta bien, antes de otorgarle 'plenos poderes'. En realidad, es casi más un mecanismo de prueba que de monitorización.


• Canary deployments (despliegues 'canario'): También se sitúa un poco en la línea de poner a prueba un agente nuevo en situaciones reales sin dejarle hacer daño, pero va un poco más lejos que la opción anterior. En este caso lo que se hace es que el nuevo agente sólo actúe en un porcentaje bajo (digamos entre un 3% y un 5%) de las situaciones reales, mientras que el resto se tratan 'normalmente' (con una versión anterior del agente, con un sistema más tradicional o manualmente, si es el caso). Estrictamente hablando, no impedimos que el agente pueda hacer daño, pero minimizamos el riesgo y el posible impacto


• Regression trace collection (recolección de trazas de regresión): Ahora, más bien, lo que tratamos es de aprender del pasado. Y lo hacemos también mediante un mecanismo bien conocido: la recolección y análisis de trazas. Para ello se recopilan trazas (logs) y, cuando se produce un fallo, se estudian para intentar entender qué ha pasado y arreglarlo de cara al futro.


• Self-healing agentes (agentes auto-curativos): Se trata de agentes que reciben los propios datos de monitorización, y las propias métricas y son capaces de implementar mecanismos de recuperación ante fallos.

La verdad es que de estos cuatro mecanismos, sólo el último es realmente novedoso. Los otros tres ya se han venido aplicando con mayor o menor intensidad en la monitorización y operación de otro tipo de sistemas.

Se trata de mecanismos que disminuyen el riesgo y el impacto de posibles malos funcionamientos, pero, por supuesto, no los evitan completamente.

En cualquier caso, parecen buenas prácticas que 'van a favor de obra' en busca de ese objetivo de tener a los agentes bajo control.

Conclusiones

Los agentes de IA, por su propia naturaleza, son difíciles de probar, de monitorizar y de operar.

Hemos visto cuatro patrones de operación de agentes que, si bien no eliminan el riesgo, sí pueden ayudar a tenerlo bajo control.

'Magnifica Humanitas' y la voz

Es probablemente de todos los lectores conocido la reciente publicación de la primera encíclica del Papa León XIV, la ya muy conocida y comentada 'Magnifica Humanitas'.

Cuando supe de su publicación me propuse, por supuesto leerla, pero además publicar un post como este, en que la comentase.

Por cierto, que pensaba que publicar un post sobre una encíclica, por más que ésta se centrase en la inteligencia artificial, era un paso de una cierta originalidad por mi parte, pero viendo todo lo que se ha hablado de ella, no sólo en medios como la radio y la televisión, sino también en redes sociales incluyendo las profesionales, creo que no es así, que no soy original para nada, y que, incluso, este post podría verse casi como 'cansino', más aún cuando ya hace unos 20 días desde que la encíclica fue publicada, y ya se ha producido toda una avalancha de artículos, pronunciamientos y opiniones.

Recogimiento para la formación de una opinión

Y sin embargo, publico estos comentarios porque me sigue apeteciendo hacerlo, y pese a que ya pueda haber perdido una cierta oportunidad.

Lo cierto es que cuando supe de la publicación de la encíclica, decidí atender lo menos posible a los comentarios y publicaciones que se produjeran, porque quería crearme una opinión propia, sin influencias ni condicionamientos.

Y, además, quería leerla tranquilamente, capítulo a capítulo, y no 'de un tirón'.

De ese aislamiento, o recogimiento, buscado, y de esa calma...conviviendo con un gran pico de trabajo, nace esa distancia en el tiempo que pueda parecer una pérdida de oportunidad.

Un mini resumen

Aunque inicialmente pensaba en hacer una especie de resumen comentado de la encíclica, al final casi prefiero transmitir algunas sensaciones generales y alguna reflexión, pero antes, para quien no se haya leído la encíclica (y, por cierto, se sea creyente o no, creo que es aconsejable leerla), hago un resumen rápido.

La encíclica, es bien conocido que tiene como protagonista a la inteligencia artificial, pero lo cierto es que es un documento más amplio y que, posiciones aparte específicas sobre la inteligencia artificial, también transmite otro tipo de preocupaciones morales y, además, realza, y mucho, lo que ha sido y es la doctrina social de la Iglesia, algo que era previsible porque el propio nombre adoptado por el actual Papa, León XIV, era ya desde elección, una clara referencia a León XIII, impulsor de esa doctrina social de la Iglesia.

Brevemente, el contenido de los capítulos es el siguiente:

• Introducción: Utiliza como apertura y metáfora bíblica, la contraposición entre la torre de Babel, representando el poder sin referencia a Dios que dispersa y deshumaniza, y la reconstrucción de Jerusalén por Nehemías representando la corresponsabilidad, la escucha y trabajo compartido orientado al bien común.


• Capítulo I — Un pensamiento dinámico fiel al Evangelio: Hace un recorrido por la evolución de la doctrina social de la Iglesia, fundamentalmente recorriendo las diferentes encíclicas que se han concentrado en ella. Un recorrido que, claro, tiene en su origen la 'Rerum novarum' de León XIII.


• Capítulo II — Fundamentos y principios de la Doctrina Social de la Iglesia: resume los principales planteamiento de esa doctrina social, destacando elementos como el bien común, el destino universal de los bienes, la subsidiariedad, la solidaridad o la justicia social, principios que traslada al mundo digital actual. Añade una cierta autocrítica o examen de conciencia hacia la propia Iglesia católica en materia de trasparencia, rendición de cuentas o la escucha a víctimas.


• Capítulo III — Técnica y dominio. La grandeza de la persona humana ante las promesas de la IA: Es, probablemente, junto con el siguiente, el capítulo más centrado realmente en la inteligencia artificial, revisando algunos de sus riesgos e implicaciones para la persona humana. Critica el denominado paradigma tecnocrático y también, y esto no lo esperaba, el transhumanismo y poshumanismo.


• Capítulo IV — Custodiar lo humano en la transformación. Verdad, trabajo, libertad: aborda cuatro ámbitos de lo humano a proteger: la verdad, la dignidad del trabajo, la familia y la libertad frente a esclavitudes. En un punto que también me ha resultado sorprendente, no por el hecho en sí, sino por verlo en esta encíclica, el Papa reconoce que la Iglesia no siempre ha reaccionado a la velocidad debida a ciertos fenómenos y, en concreto, lo centra en la esclavitud y pide perdón por esa falta de respuesta de la Iglesia en su momento.


• Capítulo V — La cultura del poder y la civilización del amor: Abandona parcialmente, aunque no del todo, el tema de la inteligencia artificial, para centrarse más en el poder y, sobre todo, la guerra.


• Conclusión: Propone un programa de vida que se concentra en la fidelidad a la verdad, la inversión en educación, el cuidado de las relaciones y el amor a la justicia y la paz.

Algunas ideas y sensaciones

Más allá de contenidos objetivos que he condensado muy brevemente en la sección anterior, comentar algunas ideas que extraigo o algunas sensaciones que me produce.

En primer lugar, es un documento bien informado. Eso es algo que espero de cualquiera que se pronuncie en este caso sobre la inteligencia artificial: que sepa de lo que está hablando, que hable con conocimiento de causa, no 'de oídas' o con base en mitos. Por supuesto, no me sorprende que una encíclica sea un documento 'bien informado', pero creo que vale la pena ponerlo de relieve

Me parece un documento que aúna firmeza y moderación. Es moderado en el sentido de que no es agresivo ni altisonante pero, a la vez, es firme, criticando claramente, aunque sea con esa moderación, lo que considera que es incorrecto.

Aunque repasa los riesgos de la IA, la perspectiva es sobre todo, la de proteger la dignidad humana en su conjunto. En ese sentido, tienen poco protagonismo problemáticas éticas digamos tradicionales, de la IA, como es lo que tiene que ver con la privacidad.

Me ha dado la sensación de que lo que más preocupa al Papa de la IA, más allá de sus riesgos, es la concentración de poder, que el destino de la IA se encuentre en manos de unos pocos.

Igualmente, y aunque a nivel mediático lo que se ha destacado es la inteligencia artificial, la encíclica pone mucho foco en otros dos aspectos de los que destacaría esa concentración de poder y la guerra.

Igualmente decir que me ha llamado la atención, y me ha gustado, todo el viaje por la doctrina social de la Iglesia. Me ha gustado, digamos intelectualmente, porque explica muy bien, aunque sea de forma breve, en qué consiste y cómo ha evolucionado hasta llegar al momento actual. Pero me gusta, además, por esa sensación que transmite de continuidad, de coherencia, en cierto modo de tradición, que muestra que, por más que la IA sea ahora el último grito y que esta encíclica pudiera parecer disruptiva, lo cierto es que se enmarca en toda una historia, toda una tradición y todo un pensamiento coherente.

De la ética aplicada a la religión aplicada

Cuando se cuenta la evolución de la filosofía, y sobre todo de la ética, se cuenta, yo mismo lo he hecho varias veces, cómo tras unos siglos en el pasado en que gozaron de atención, la filosofía y la ética,  como disciplinas, estaban un poco 'muertas', hasta que surgió el enfoque de la 'ética aplicada' en que en lugar de teorizar, de 'filosofar' podríamos decir, decidió centrarse en problemas concretos, modernos e incluso del día a día: la biotecnología, la eutanasia, la ecología... y la tecnología. Y esto ha supuesto un renacer de filosofía.

No puedo evitar pensar que, en cierto sentido, esta 'Magnifica humanitas', como probablemente toda la doctrina social de la Iglesia, más allá de su evidente trasfondo religioso, tengo un algo de esa  ética aplicada y si no estaríamos hablando, y me acabo de inventar el término, de una 'religión aplicada'. Y me pregunto si ese enfoque aplicado, aunque quizá más susceptible de polémicas, no puede ayudar a un nuevo impulso de la Iglesia que, al menos en Europa, a ratos parece languidecer.

Una forma de marketing religioso

No sé si es pretendido o no, pero diría que esta encíclica ha sido una especie de 'golpe de marketing' para la Iglesia católica y para el Papa León XIV.

El nombre de la encíclica, 'Magnifica humanitas' me parece precioso y excelente para una encíclica que habla de Inteligencia Artificial y de proteger la dignidad humana. Aunque desconozco el proceso, no tengo ninguna duda de que los nombres de las encíclicas se eligen cuidadosamente. Pero en este caso, la elección me parece singularmente acertada.

Otra cosa que me llamó la atención es que se anunciara por anticipado que se iba a publicar y la atención que concitó. No sé si en ocasiones anteriores se anunciaron los 'lanzamientos' de las encíclicas, pero estoy convencido de que pocas o ninguna, generó tanta expectación.

Conscientemente o no, buscado o no, creo que esta encíclica y su publicación han tenido alto impacto mediático, mucho más allá de la comunidad cristiana católica, y han realzado la imagen de la Iglesia y, sobre todo, del Papa León XIV. 

Sobre la voz

Hace unos meses, concretamente a finales de Octubre de 2025, fui invitado como ponente en unas jornadas sobre Teología e Inteligencia artificial, en la Universidad Pontificia de Salamanca, una experiencia que recogí en el post ' La Iglesia y el diálogo ético sobre inteligencia artificial: una experiencia, unas lágrimas y un mensaje'.

En ese post explicaba cómo, por cierto celo en el control de tiempos, mi intervención fue 'cortada' sin que pudiera llegar al final, sin poder llegar a las conclusiones y transmitir los verdaderos mensajes que quería transmitir.

Pero publiqué el vídeo de lo que hubiera sido la ponencia completa, incluidos esos mensajes. Es este

Y me satisface ver que, en cierto sentido, esta encíclica recoge algunas de las que eran mis propuestas.

Antes decía que esta encíclica me parecía un documento informado, que 'no tocaba de oídas'. Pues bien,  entre los mensajes que no pude pronunciar en las jornadas, estaba el de que cuando abordasen el tema de la inteligencia artificial, que lo estudiaran bien y se informasen, que no 'tocaran de oídas' (en el video 2:56).

Además les hubiera querido decir, que ante los debates éticos en que no tenemos claro qué hacer, la brújula es siempre el valor de la vida humana (en el video, 2:50) y cómo se ve afectado por una tecnología o una solución. 'Magnifica humanitas', ya casi desde el título, adopta la perspectiva de proteger la dignidad humana.

Pero, sobre todo, lo que les quería haber dicho, era que, ante los dilemas éticos planteados por la inteligencia artificial, que la Iglesia católica tenía la posibilidad y casi del deber, de dejar oír su voz (en el video 2:55)

 

Conclusiones

La encíclica 'Magnifica humanitas' es un documento informado y muy relevante en muchos aspectos incluyendo los debates éticos alrededor de la inteligencia artificial.

Y me alegra comprobar que resuena con los principales mensajes de aquella ponencia inconclusa que protagonicé en la Universidad de Salamanca.

¿Cómo aprenden los agentes de IA?

Los agentes basados en IA, aunque aún en proceso de maduración, son una cosa que roza en muchas ocasiones lo extraordinario, explotando, de formas muy potentes, las capacidades que ofrecen los grandes modelos de lenguaje.

Dejando aparte su autonomía o su capacidad para elaborar razonamiento y planes, ahora me fijo ahora en su capacidad para aprender, aprender a partir ejemplos o de la experiencia en un asombroso remedo de lo que hacen los seres vivos en general y los seres humanos en particular.

Me encuentro leyendo el libro 'Building Applications with AI Agents' de Michael Albada , que me está gustando mucho por cierto, y no he podido dejar de fijarme con mucha atención en la explicación que aporta en el capítulo dedicado al aprendizaje en sistemas agénticos y, en especial, a los denominados métodos no paramétricos de aprendizaje.

Métodos no paramétricos

Es bien sabido que el aprendizaje durante el entrenamiento de modelos de machine learning se produce, en la inmensa mayoría de los casos, mediante el ajuste de los parámetros del modelo.

Y es bien sabido que los modelos de IA generativa se basan en formas más o menos sofisticadas de redes neuronales donde, en general aunque no únicamente, los parámetros que se ajustan son los pesos de las conexiones entre neuronas.

Sin embargo, una propiedad que podemos comprobar casi como meros usuarios de ChatGPT o Claude, es que estos sistemas son capaces también de aprender sin un 're-entrenamiento' explícito o, por mejor decir, sin necesidad de ajustar sus parámetros.

Y es a estos métodos no paramétricos a los que quiero referirme en este post. 

En concreto, en la obra citada más arriba, se nos hablan de tres:

• Aprendizaje mediante ejemplos
• Reflexión
• Aprendizaje mediante la experiencia 

Veamos estos tres tipos brevemente.

Aprendizaje mediante ejemplos: 'few-shot prompting' estático y dinámico

Esta primera forma es muy conocida y está abundantemente explicada y documentada. Se trata, simplemente, de proporcionar en el propio 'prompt' ejemplos de cómo se realiza la tarea. Estaríamos hablando, pues, de la técnica conocida como 'few-shot prompting'.

Sin embargo, en ese formato, en que los ejemplos se incluyen en el propio 'prompt', hablamos de un 'few-shot prompting estático , donde realmente, es el usuario el que 'manda'.

Existe una variante muy interesante que es el 'few-shot prompintg' dinámico. En este caso, se dispone de una base de datos vectorial (como las que se utilizan en la técnica de RAG 'Retrieval Augmented Generation' donde almacenamos los ejemplos de que disponemos. En este caso, ante un 'prompt', es el agente el que busca el o los ejemplos más adecuados en esa base de datos vectorial, usando mecanismos de búsqueda semántica (basada en significado no en coincidencia exacta de palabras clave), de la misma forma de nuevo, que se hace en RAG.

De hecho, creo que no sería incorrecto considerar que este 'few-shot promting dinámico es una forma particular de RAG.

Además, entiendo que, una vez que se dispone de esa base de datos de ejemplos, ésta puede ser enriquecida por el propio agente (o una comunidad de agentes), con lo cual el efecto aprendizaje es mucho más real, mas dinámico y evolutivo.

Reflexión

Siempre me ha llamado la atención este mecanismo de reflexión ('reflection'), identificado mediante un nombre que me resulta misterioso en la medida en que emula en ese nombre, evidentemente de forma intencionada, a una capacidad cognitiva humana tan profunda como es la reflexión.

Sin embargo, cuando se entiende bien, no es tan mágico (siempre que no consideremos casi mágico, claro, el propio funcionamiento de los grandes modelos de lenguaje.

Explicado como reflexión ('reflection') suena muy espectacular y sofisticado y, en cierto sentido lo es, pero lo es en la medida en que un gran modelo de lenguaje es realmente sofisticado porque, disponiendo de un buen modelo de lenguaje, el mecanismo de reflexión no es tan complejo

Lo que se hace es que el sistema agentico hace auto-crítica ('self-critique') ante un intento fallido de realizar una tarea. Para ello, claro, tiene que en primer lugar detectar que la tarea no se ha realizado correctamente (para esto, en algunos casos, podría tener ayuda externa en forma de feedback humano o medida de algún tipo de sensor, indicador o mensaje de error).

Una vez que ha comprendido que algo no ha ido bien, hace esa crítica y almacena 'sus conclusiones' en una memoria específica en que une esa reflexión con las acciones realizadas y lo observado. 

Y luego, cada vez que el agente va a realizar una nueva acción, busca las últimas 'reflexiones' en esa memoria y adecúa su comportamiento (es como incluir esas reflexiones en el contexto o el prompt... de hecho, eso es lo que hace).

 

Aprendizaje experiencial

El aprendizaje experiencial, en el fondo, es una evolución o ampliación del mecanismo de reflexión pero añadiendo un aprendizaje cruzado entre tareas. Es decir, no se trabaja sólo con las reflexiones de la misma tarea sino también de otras diferentes que se contienen en los denominados 'insights'.

Y existe una, digamos, gestión dinámica en el tiempo de 'insights' en que unos aparecen, otros desaparecen y existe una suerte de votación para que el agente tenga nociones de cuáles son los más relevantes o útiles.

Perplejidad

Sorprende, o al menos a mi lo hace, cómo un mecanismo cognitivo tan sofisticado como es el aprendizaje, se consigue de una forma relativamente sencilla y fácil de entender.

Creo que esto es una demostración de dos cosas: por un lado de la enorme potencia y versatilidad de los grandes modelos de lenguaje y, por otra, del indudable ingenio de las personas que diseñan estos mecanismos.

Siempre nos quedará el 'fine-tuning'

De todas formas, la cosa no acaba a aquí. Si estas formas no paramétricas de que los sistemas agénticos aprendan no son suficientes, siempre nos quedarán los métodos paramétricos, el famoso 'fine-tunning' en que, mediante un entrenamiento adecuadamente dirigido podemos añadir nuevas capacidades o una mejor adecuación a los modelos de lenguaje en que se basan los agentes. 

Conclusiones

Los sistemas agénticos presentan unas notorias capacidades de aprendizaje, sorprendiendo, por un lado, que son relativamente simples de entender e implementar y, por otro, que no precisan en general de un re-entrenamiento, al menos no un re-entrenamiento de los que alteran los parámetros del modelo: Y, por si esto fuera poco, una vez implementadas estas capacidades de aprendizaje, pueden funcionar de manera autónoma.

Increíble ¿verdad?