viernes, 20 de noviembre de 2026

Evaluación de modelos LLM

Quizá por mi experiencia de primera mano con software tradicional, siempre me ha parecido una labor muy difícil la prueba y evaluación de un modelo generativo, digamos un LLM, tanto del modelo en sí mismo, como de las aplicaciones que se construyen a su alrededor, típicamente un chatbot o un agente.

Y me parece difícil porque, por un lado, los casos posibles (que tradicionalmente se traducirían en casos de prueba) son virtualmente infinitos y porque, además, salvo en ciertos casos, no existe claramente una respuesta acertada o desacertada contra la que comparar.

Aunque en muchos de los libros de carácter técnico que he leído en los últimos meses y años se menciona el tema de la prueba y evaluación, me ha llamado la atención recientemente el desarrollo que ofrece el libro libro  'Building a resoning model (from scratch)' de Sebastian Raschka, sobre todo porque lo explica de una manera, no sólo detallada, sino también muy bien estructurada.

Vamos a repasar brevemente, los métodos que identifica el autor.


Los cuatro métodos de evaluación de modelos LLM


Se nos mencionan cuatro mecanismos, a saber:


  • Respuesta múltiple ('multiple choice')
  • Verificadores ('verifiers')
  • Clasificaciones ('leaderboards')
  • LLMs como juez ('LLM as a judge')


A su vez, estos cuatro métodos se pueden reducir a dos enfoques fundamentales: los métodos basados en 'benchmarks' (comparativas) y los basados en juicio ('judgement').

Los 'benchmarks' permiten obtener métricas sencillas como la precisión comparando el ajuste de la respuesta proporcionada por el modelo con la que se considera correcta.

Los basados en juicio, por su parte,  dan una valoración global de la respuesta, sin buscar exactamente un acierto.


Respuesta múltiple ('multiple choice')


Este método es, realmente, el mismo que aplicamos en tantos y tantos cuestionarios o exámenes de tipo test: sometemos al modelo a una pregunta con varias posibles respuestas, una de las cuales es cierta, y analizamos si el modelo ha respondido correctamente.

En este línea se sitúan métodos como MMLU ('Massive Multitasking Language Understanding') que incluye hasta 16.000 preguntas distribuidas en 57 materias. La puntuación, como no resulta sorprendente, consiste simplemente el porcentaje de respuestas correctas.

Se trata de una forma sencilla y precisa de evaluar, pero quizá sea limitada en cuanto a lo que está evaluando. Así, por ejemplo, no es un buen  método para verificar las capacidades de razonamiento de un modelo razonador o la calidad de su respuesta en texto libre.

Por si solo, este mecanismo, pues, no garantiza del todo la bondad de un modelo pero, sin embargo, en el caso de una puntuación baja sí puede resultar un buen indicador de falta de calidad del modelo


Verificadores ('verifiers')


Aunque se parecen al anterior sí que  permite una respuesta del modelo en texto libre. 

De la respuesta proporcionada, se extrae la parte relevante y se somete a un verificador externo. Por ejemplo, para un problema matemático, el verificador podría ser una calculadora.

Dado que este método permite un número ilimitado de problemas a resolver y que se beneficia de la ejecución paso a paso, se adapta muy bien a evaluar modelos razonadores. Eso sí, está limitado a tareas para las cuales se puede disponer de ese verificador, típicamente problemas de tipo matemático o lógico.


Clasificaciones ('leaderboards')


Los dos métodos anteriores permiten, como ya apuntamos, obtener métricas de forma relativamente sencilla. Sin embargo, su evaluación es muy acotada y no permiten, por ejemplo, evaluar aspectos más holísticos como el estilo de la respuesta.

En el caso de los 'leaderboards', no obtenemos realmente una métrica concreta, sino que los modelos son valorados por usuarios de manera global, en función de sus salida. Uno de los 'leaderboards' más populares es Arena, en que los usuarios reciben dos respuestas, procedentes de modelos diferentes, y eligen la que consideran mejor. Recopilando y agregando muchas respuestas, se obtiene una valoración final de los modelos.


LLM como juez ('LLM as a judge')


Se parece en cierto modo al caso anterior pero, ahora, quien evalúa no es un ser humano sino otro modelo.

A este modelo que actúa como 'juez' se le instruye de alguna forma en la manera de evaluar proporcionándole una rúbrica. Por supuesto, este método precisa de que el modelo que actúe como juez sea un modelo fuerte, de alta calidad. 


Conclusiones


Vistos los cuatro métodos expuestos, observamos que, en efecto, tenemos mecanismos para probar un modelo, incluyendo un modelo razonador.

En conjunto, me parece que bien usados estos métodos permiten una buena evaluación de la calidad general del modelo y para la mayoría de los usos (especialmente a través de un chatbot) los entiendo suficientes.

No me tranquiliza del todo, sin embargo, o al menos observo carencias, si pensamos en protegernos ante errores, muy especialmente, pensando en modelos usados como cerebro de agentes con alta autonomía y capacidades importantes de actuación.

O, si se prefiere, quizá estos métodos sean suficientes para lo que es el modelo en sí mismo, pero se necesitan más pruebas, y probablemente de otro tipo, para garantizar la seguridad y confiabilidad de agentes en su conjunto, tanto desde un punto de vista de prevención de ataques adversarios como de errores o derivas catastróficas. 


miércoles, 18 de noviembre de 2026

Grafos y agentes (II): los grafos de flujo de trabajo

En este post continuamos revisando el uso de grafos en agentes, una temática iniciada hace unos pocos artículos atrás.

Habitualmente, cuando pensamos en el uso de grafos en un entorno de inteligencia artificial, lo normal es pensar en los grafos de conocimiento ('knowledge graphs'), es decir, en el registro del conocimiento de un dominio mediante unos grafos que, en sus nodos, recogen entidades y conceptos, y en sus arcos las relaciones entre éstos.

Sin embargo, aunque no deja de ser otra forma de conocimiento, en este caso no vamos a hablar de un conocimiento de dominio, sino en unos grafos orientados al flujo de tareas, al workflow. 

Y lo hacemos apoyándonos, como en los posts anteriores, en el libro 'Agentic GraphRAG: Integrating Knowledge Graphs, Reasoning, and Agency for Enterprise AI' de Anthony Alcaraz y Sam Julien.


Recordando la arquitectura dual y los tres grafos


Como ya hemos visto en post anteriores, estos autores proponen en primer lugar una estructura dual con dos grafos: el grafo que llaman vertical, que es grafo de conocimiento que recoge ese conocimiento del dominio de trabajo, y el grafo horizontal, del que nos ocuparemos ahora, que lo que trata es de tareas y flujos de trabajo.

Como ya vimos también en un post anterior, a pesar de esa repetida mención expresa a una arquitectura dual, con dos grafos, al final de su obra, y de una manera que a mi me ha parecido menos clara, nos hablan de un tercer grafo usado como traza (log) y a efectos de operación, monitorización y diagnóstico.

Pero, como decía, en este post nos referiremos al segundo al grafo de workflow o de flujo de trabajo.


Razonamiento basado en grafos


Antes de abordar el tratamiento de estos grafos de flujo de trabajo, los autores se detienen a hablarnos del razonamiento basado en grafos.

Argumentan que, de cara al razonamiento, el sólo uso de 'prompts' es un mecanismo frágil cuando hablamos de procesos largos y con elementos condicionales, es decir, justo el caso de las automatizaciones de las que esperamos se ocupen los agentes.

En este razonamiento basado en grafos, el agente se apoya en unos grafos que le proporcionan, de alguna forma, el espacio donde puede 'moverse', un espacio en que los nodos 'le hablan' de conceptos, estados y decisiones, mientras los arcos  representan relaciones y transiciones posibles.

Cuando un agente tienen que tratar un flujo de trabajo con múltiples pasos, y siempre según la obra citada, debe responder adecuadamente a tres restricciones:


  • Estado: Es decir, el agente debe recordar el pasado para actuar de manera coherente, y ello sin necesidad de recabar constantemente una información que pueda resultar excesiva y/o irrelevante.

  • Estructura: El agente debe conocer las relaciones entre entidades y, sobre todo, conocer qué acciones o transiciones son posibles en un estado dado, de forma que no incurra en un tipo de alucinación que consistiría en intentar una acción (normalmente a través de una herramienta) que en la realidad no fuese viable.

  • Escala: El agente tiene que ser capaz de llevar a cabo planes que pueden involucrar decenas y decenas de pasos involucrando a numerosas herramientas o aplicaciones externas, y hacerlo sin perderse en su propia complejidad.

Es al cumplimiento de estas restricciones a lo que contribuyen los grafos de workflow.


El grafo de workflow


Los grafos de workflow, o de flujo de tareas ('workflow graph') sustituyen a un mecanismo de razonamiento tradicional basado en reglas lógicas del tipo IF-THEN que, por desgracia, resultan demasiado rígidas.

Por el contrario, lo grafos de flujo de trabajo permiten una forma de decisión dinámica y consciente del estado en que se encuentra el agente (y cómo ha llegado hasta ese estado).

Para ello, el grafo de flujo de trabajo tiene en sus nodos acciones y en sus arcos las transiciones posibles y, con ello, el agente tiene un registro del pasado (a través de qué acciones el agente llegó hasta donde se encuentra) pero también un conocimiento de qué acciones es posible llevar a cabo a continuación.

Este tipo de grafos con estado suponen, pues, una capa de memoria que mantiene la consistencia a lo largo de todo el razonamiento.


El equilibrio entre grafos


Los autores señalan un interesante equilibro o relación entre los grafos (el vertical del conocimiento y el horizontal del workflow).

Así, nos dicen que los workflows de flujo de trabajo se ocupan de la dimensión de cómo razonar o cómo pensar, mientras que los grafos de conocimiento cubren la dimensión de qué saber.

Argumentan también que, mantenerlos como grafos separados, habilita una optimización independiente  pero, al tiempo, permitie un uso coordinado en tiempo de ejecución del agente.


Conclusiones


Al grafo de conocimiento, que aportaba un conocimiento estructurado del dominio de trabajo del agente, unimos ahora el grafo de flujo de trabajo ('workflow') que se ocupa de la historia y estado del agente y, además, de qué acciones es viable llevar a cabo en un momento y estado dados.


Artículos de este blog relacionados


miércoles, 11 de noviembre de 2026

Grafos y agentes: los grafos de conocimiento

Retomo un poco el discurso sobre los grafos y su uso en agentes IA para profundizar un poco más en su significado y forma de uso, todo ello siguiendo las aportaciones del libro 'Agentic GraphRAG: Integrating Knowledge Graphs, Reasoning, and Agency for Enterprise AI' de Anthony Alcaraz y Sam Julien.

En un post anterior, y con base en este libro, hablamos de una arquitectura dual en que un agente usaba dos grafos:


  • El grafo de conocimiento: que representa entidades y relaciones del dominio de trabajo

  • El grafo de workflow: que representa tareas y panes construidos mediante relaciones entre ellas


A estos dos grafos fundamentales (de ahí el nombre de arquitectura dual), los autores añadían, quizá de forma más tímida y menos clara, o tal vez menos nuclear, un tercer grafo, el grafo de log, orientado a la monitorización y diagnóstico de agentes en operación.

En este post, profundizamos un poco en el primero de ellos: el grafo de conocimiento.


El papel del grafo de conocimiento para un agente


El papel del grafo de conocimiento es, quizá, el más claro de los tres. No deja de ser una forma de representación de conocimiento, un conocimiento del dominio estructurado en base a entidades y relaciones (expresados como nodos y arcos del grafo).

Se trata de una forma de representación del conocimiento que, por un lado, extiende, estructura y personaliza el conocimiento del agente más allá del contenido que de manera implícita contiene su modelo de lenguaje (o, mejor, su modelo razonador, LRM).

Y, por otro, sustituye o complementa ventajosamente el conocimiento que aportan las bases de conocimiento vectoriales implementadas en el mecanismos RAG ('Retrieval Augmented Generation'). 

Si en las bases de conocimiento RAG el conocimiento se almacena como 'chunks' de texto sin estructura, representados por un vector 'embedding' a efectos de búsqueda semántica, en un grafo de conocimiento, ese conocimiento se representa de manera mucho más estructurada con representación explícita de las entidades y objetos del dominio de trabajo y de las relaciones entre ellas.  


Modelos de datos de grafos


Una base de conocimiento basada en grafos de conocimiento, no deja de ser una base de datos, aunque diseñada y construida con un paradigma diferente al relacional.

A la hora de construir existen alguna alternativas como modelo de datos.

En la obre citada nos hablan, por ejemplo, de LGP ('Labeled Property Graphs') que almacenan los nodos con una serie de propiedades y esas propiedades se conectan mediante arcos etiquetados. 

Otros es RDF ('Resource Description Framework')  que representa todo mediante tripletas formadas por sujeto, predicado y objeto y apoyada en una semántica de lógica formal que posibilita el razonamiento nativo.

La última alternativa que se nos presenta son los hipergrafos ('Hypergraphs') que permiten conectar varias entidades en una única relación, superando el enfoque binario.


Tres sub-grafos


Aunque hablamos del grafo de conocimiento como una unidad, los autores nos proponen la arquitectura en tres grafos, donde el conocimiento se organiza en tres estructuras de conocimiento diferenciadas, a saber:


  • Grafo del dominio ('domain graph'): Que se corresponde, en el fondo, a lo que hemos explicado hasta ahora como grafo de conocimiento. Contiene entidades que representan objetos o conceptos del dominio y arcos que representan relaciones entre ellas. Lo relevante, además de su estructura, es que se trata de un conocimiento editado, validado y confiable. Con frecuencia se construye a partir de datos estructurados.

  • Grafo léxico ('lexical graph'): Que contiene el texto no estructurado del que podemos haber partido, pero añadiéndole una pequeña estructura que relaciona los 'chunks' de texto con el documento del que provienen. Es prácticamente lo que hacemos en las bases de conocimiento vectoriales usadas en RAG.

  • Grafo de la materia ('subject graph') Funciona como una especie de grafo intermedio entre el léxico y el de dominio. Contiene entidades extraídas por un LLM del grafo léxico pero que se mantienen separadas del grafo hasta que el proceso de resolución de entidades proporcione unos enlaces confiables como veremos luego.


Estos tres grafos los puede usar un agente de forma coordinada. Típicamente empezaría consultado el grafo de dominio pero saltar al grafo de materia (a través de un arco del tipo 'se corresponde a') para obtener información de alguna entidad extraída por el LLM y, de ahí, saltar a su vez a conocer el 'chunk' de texto en el grafo léxico donde encontramos la información en bruto.


La vuelta a las ontologías y la representación del conocimiento


Especialmente en el caso del grafo del dominio, hablamos de entidades y relaciones que se corresponden con objetos y conceptos del mundo real.

En el ámbito de una organización como es una empresa, interesa que esas entidades y esas relaciones se basen en el vocabulario propio de la organización y su sector. Por ello se suele recurrir a la definición de ontologías que recojan de forma ordenada ese vocabulario organizativo. Eso permite un mejor entendimiento y, además, la interoperabilidad de agentes e integración entre sistemas.

Y la definición de ontologías de un rol, el ingeniero de conocimiento ('knowledge engineer') que debe trabajar estrechamente con los ingenieros de IA. 

Y esta idea de la definición de ontologías y la mera existencia de un ingeniero de conocimiento no deja de retrotraernos de alguna forma a la era de la inteligencia artificial simbólica y la construcción de bases de conocimiento para sistemas expertos, tal y como un poco comente en el post 'El retorno de la representación del conocimiento'.


Resolución de entidades


Teniendo clara esa ontología, para que en el proceso de creación del grafo podamos asociar registros de información a una entidad de esa ontología, se necesita el proceso de resolución de entidades ('entity resolution').

Este proceso no es sencillo pero es clave para la creación de un buen grafo de conocimiento a partir de información externa.


Construcción del grafo


En cualquier caso, y partiendo de todo lo anterior, para que un agente que utilice grafos de conocimiento, lógicamente, lo primero es construir ese grafo (o esos grafos), recopilando conocimiento del dominio y estructurándolo formalmente.

Los autores nos proponen una suerte de 'pipeline' con tres fases: extracción, resolución de entidades y validación.

En la fase de extracción, en general, debemos acudir a fuentes diversas con la información 'en bruto', unas fuentes que pueden ir desde puro texto a bases de datos relacionales o bases de datos NoSQL, por ejemplo.

No voy a entrar en detalles, pero existen planteamientos sobre la mejor forma de extraer la información de bases de datos o del uso de LLMs para extraer la información del texto. Igualmente existen planteamientos y 'frameworks' para construir un grafo a partir de este tipo de información.

Luego viene la fase de resolución de entidades que mencionábamos en la sección anterior. En esta fase se trata de conectar entidades extraídas típicamente a partir de texto libre con entidades confiables del grafo de dominio Cuando se consigue esa resolución, la información obtenida por el LLM se conecta con entidades del grafo de dominio mediante los denominados arcos 'CORRESPONDS_TO'.

Finalmente, se debería realizar la validación.


Indexado


Aunque no vamos a entrar en detalles, comentar que en las bases de conocimiento de grafos, se suelen construir, de forma similar a otro tipo de bases de datos como las relacionales, los denominados índices que vienen a ser unas estructuras paralelas que facilitan la búsqueda y el acceso rápido a la información del grafo.


Consulta


Aunque la fuente que estoy usando no detalla mucho cómo se realiza, a nivel de arquitectura técnica una consulta a la base de conocimiento, sí comentar que en esa labor nos solemos apoyar en lenguajes de consulta especializados como son Cypher de Neo4j, GSQL ('Graph SQL') de TigerGraph o SPARQL.


Conclusiones


Uno de los grafos importantes para los agentes, el el grafo de conocimiento que recoge, de forma estructurada, la información del dominio de trabajo. Aunque hablamos de un grafo de conocimiento hemos visto una propuesta que, en realidad, usa tres estructuras: el grafo de dominio, el grafo léxico y el grafo de materia.

Además, hemos visto que estos grafos se deben apoyar en una ontología que refleje el vocabulario de la empresa o sector


Artículos de este blog relacionados


miércoles, 28 de octubre de 2026

Tres grafos para un agente

Aunque quizá de forma poco visible para el gran público, quizá sin ocupar titulares ni muchos comentarios (al menos que yo haya percibido), parece que el uso de grafos de conocimiento ('knowledge graphs') ocupa un papel cada vez mayor en la arquitectura de los agentes de inteligencia artificial.

Y, parece que, a falta de uno, los agentes tienden a utilizar hasta tres grafos diferentes con misiones diferentes.

Veamos.


La necesidad de una representación del conocimiento


En el post 'El retorno de la representación del conocimiento' comentaba cómo en la inteligencia artificial clásica, la simbólica, una parte importantísima era la llamada representación del conocimiento, es decir, la captura del conocimiento (generalmente residente en humanos) y volcado a alguna estructura o repositorio formal, siguiendo estructuras normalmente de tipo lógico.

También recordé cómo, con la aparición de una inteligencia artificial basada en datos (el famoso 'machine learning') rematada con el enfoque conexionista ('deep learning'), la representación del conocimiento desapareció o, si se quiere, el conocimiento se diluyó en los parámetros del modelo, perdiendo capacidad expresiva (que no operativa) y explicativa.

Sin embargo, con la llegada de los agentes, surge la necesidad, o al menos el interés, de recuperar alguna forma de representación del conocimiento.

Los agentes disponen de memoria que, de alguna manera simple, podría considerarse una forma poco estructurada de recoger cierto conocimiento. Y, sobre todo, se disponen de bases de conocimiento externas implementadas como almacenes vectoriales y gestionadas según el paradigma RAG ('Retrieval Augmented Generation').

Sin embargo, todavía RAG, que parece la forma más sofisticada que teníamos de recoger conocimiento en sistemas basados en grandes modelos de lenguaje (LLM, 'Large Language Models'), se nos queda corta. En cierto sentido es una representación de conocimiento (que en el fondo suele ser texto representado por un vector 'embedding') muy amplia pero poco estructurada, poco formalizada.

Y los agentes necesitan conocer mejor, estructurar mejor el conocimiento, para poder usarlo de manera efectiva.


Los grafos al rescate


Y es en este punto donde surgen los grafos, un formalismo sencillo pero enormemente potente y ya muy estudiado, para recoger el conocimiento en forma de entidades y relaciones entre ellas, representados como nodos y arcos.

De las carencias de RAG, y de la necesidad y papel de los grafos, ya escribí en este mismo blog en un artículo reciente 'La hora de los grafos: agentes y conocimiento'.


Los tres grafos


Aunque no estoy seguro de que la arquitectura que propone se use de forma generalizada, en el libro 'Agentic GraphRAG: Integrating Knowledge Graphs, Reasoning, and Agency for Enterprise AI' de Anthony Alcaraz y Sam Julien se habla del uso, no sólo de un grafo sino de tres. En concreto, los autores proponen los siguientes:


  • Grafo de conocimiento: Es el que, al menos para mi, es más fácil de imaginar y entender, y que más se corresponde con una representación del conocimiento como tal. En él se recoge la estructura de entidades y relaciones del dominio sobre el que trabaja el agente y que normalmente representará objetos o conceptos del mundo real y las relaciones entre ellos. Este permite al agente razonar sobre relaciones entre entidades, trazar causalidades, etc

  • Grafo de workflow: En este grafo se representan, no entidades y relaciones del mundo real (o del dominio de trabajo del agente) sino la propia lógica de tareas o plan que el agente va a realizar para conseguir un objetivo. Por ejemplo, se representan mediante grafos acíclicos dirigidos (DAG, 'Directed Acyclic Graphs') donde los nodos representan tareas y los arcos relaciones entre ellas. Permite, por ejemplo, detectar tareas independientes que se pueden realizar en paralelo o crear estructuras recursivas.

  • Grafo de log: Aunque los autores hablan en todo el libro de una arquitectura dual en grafos ('dual-graph architecture'), refiriéndose a los dos anteriores, al grafo de conocimiento y al grafo de workflow, al final de la obra hablan de este tercer grafo de log, quizá para mí un poco difícil de visualizar. Entiendo que es un grafo donde se registran los eventos que han ido sucediendo durante la ejecución del plan que lleva a cabo el agente (o durante todo el funcionamiento del agente), con algún tipo de relaciones entre esos eventos y que, posteriormente, puede ser usado para investigar incidentes, estudiar comportamientos, etc. Es decir, si lo he entendido bien, no es tanto un grafo pensado para la ejecución normal del agente sino para operación, gestión e  investigación.


Esta es la propuesta, tres grafos, sobre todo los dos primeros, como una forma de representación del conocimiento (y su almacenamiento y recuperación, claro) para apoyar el funcionamiento de los agentes y, sobre todo, los planes que establecen y las decisiones que adoptan durante su ejecución.


Conclusiones


Los agentes de IA modernos, se benefician de volver a utilizar grafos como una forma eficaz de representación del conocimiento. Existen dos grafos muy importantes, el que proporciona conocimiento del dominio (grafo de conocimiento) y el que recoge la estructura del trabajo y tareas (grafo de workflow). A estos dos grafos fundamentales, pudiera unirse un tercero (grafo de log) a efectos de operación, monitorización y eventual investigación y diagnóstico.


lunes, 26 de octubre de 2026

Perfiles de desarrollo software con inteligencia artificial

La inteligencia artificial está impactando en la forma de realizar muchas, muchísimas tareas y, en ocasiones, perfiles de trabajo completos, e incluso sectores.

Uno de los ámbitos que, en este momento, está en fuerte transformación, y hasta cierto punto peligro, el la ingeniería de software.  


Pinceladas sobre la transformación de la ingeniería de software


La ingeniería de software, específicamente el desarrollo de software, ha sido siempre una tarea intensiva en mano de obra (en trabajo humano) y también una actividad intelectual, al menos en lo relativo al diseño y también en muchos casos a la propia codificación, prueba y operación.

Sin embargo, la inteligencia artificial generativa ha venido a revolucionar todo esto.

Por un lado, hace la construcción de software muchísimo más sencilla, ya que en gran medida se reduce a pedirle al modelo adecuado o agente lo que se necesita (sin necesidad de conocer ni lenguajes de programación, frameworks ni arquitecturas técnicas) y además, a pedirlo en lenguaje natural. Por otro lado, y como consecuencia de lo anterior, baja enormemente la barrera de entrada para la incorporación de profesionales capaces de desarrollar.

Ya el auge del 'Low-Code' había supuesto un primer paso para poner al alcance de profesionales no desarrolladores la construcción de herramientas informáticas para su día a día, dando lugar al concepto del 'citizen developer'. 

Pero la inteligencia artificial supone un paso más allá y un cambio radical porque ya no es ni siquiera necesario conocer asuntos como variables o estructuras de control, ya no es necesario saber usar una herramienta concreta. Ahora la herramienta es el lenguaje natural y el foco se pone, más que en saber cómo se debe hacer el software en qué queremos que haga ese software, que ya la IA se encarga de decidir el cómo. Es como quedarnos en lo que en los modelos tradicionales de ingeniería software se denominaba la especificación de requisitos, delegando en la inteligencia artificial el diseño y la construcción.

No quisiera, de todas formas, exagerar la simplicidad. Ese mundo tan ideal probablemente aplica a soluciones software relativamente sencillas y, sobre todo, 'muy trilladas', de esas que existen miles y miles de ejemplos construidos y que se hace siempre más o menos igual: una 'landing' page', la gestión simple de registros en una base de datos, un cuadro de mando, etc.  En otras aplicaciones más novedosas, complejas, críticas o especializadas, es posible que todavía se requiera importante concurso humano.

Ya hace unos meses comenté en un post titulado 'Lo que no reluce en el 'Vibe coding': retos, limitaciones y equilibrios' algunas de las problemáticas que pueden aparecer si delegamos en exceso en la inteligencia artificial.

En cualquier caso, el ámbito de aplicación seguro de la inteligencia artificial en materia de construcción de software es muy amplio y el impacto profundo.


Perfiles para ingeniería software


El cambio está servido, es profundo y afecta notablemente, casi de forma radical, a cómo se lleva a acabo la actividad de diseño, construcción y prueba de software.

Y eso, claro, tiene impacto en los perfiles profesionales.

Acabando la lectura del excelente libro 'An Illustrated Guide to AI Agents' de Maarten Grootendorst y Jay Alammar, me he encontrado una tipología de perfiles que, aunque simple, me ha parecido interesante, precisamente por su simplicidad y la claridad de su estructura.

En el último capítulo del libro, abordan los autores la temática de los agentes de código, aquellos agentes especializados precisamente, en construir software. Aunque hablo de 'especializados', y aunque los autores no dan una pista concreta, creo que hoy en día, incluso chatbots generativos como ChatGPT (especialmente en el caso de Codex) o Claude (especialmente Claude Code) se pueden considerar agentes de código 'especializados'. 

Y, al hilo de este tema, los autores identifican cinco perfiles o, si se prefiere, cinco tipologías de uso. Tres de esos perfiles caen bajo e paraguas del término 'usuario' y dos bajo el paraguas de 'constructores'.


Los tres perfiles usuarios


Cuando los autores hablan de 'usuarios' se refieren a perfiles profesionales que utilizan un agente de código ya construido para, con él, a su vez, crear nuevo software. Los tres tipos que porponen son los siguientes:

  • Usuarios orientados sólo a los resultados ('result-only users'): Desarrollan elementos relativamente modestos como un análisis, un cuadro de mando o una 'landing page', y no tienen el más mínimo interés en el software en sí mismo sino sólo en lo que crean, en el resultado. Aunque los autores no lo mencionan con esta claridad, me los imagino sobre todo como usuarios que crean pequeños elementos muchas veces integrados dentro de su chatbot generativo (por ejemplo, creando artefactos en Claude).

  • 'Vibe coders': Sí tienen interés en el software pero lo construyen utilizando únicamente la definición en lenguaje natural y dejando los detalles de implementación a la inteligencia artificial, al agente de código. De nuevo, me los imagino usando Claude o ChatGPT pero también otras herramientas como Lovable, Windsurf o Cursor.

  • Ingenieros de software ('software engineers'): Exhiben un perfil similar a un desarrollador tradicional, conocen los lenguajes de programación y los elementos técnicos y, aunque se apoyan en la inteligencia artificial, son capaces de directamente instrucciones más técnicas o revisar el código generado. Me los imagino usando inteligencia artificial pero integrada dentro de otros entornos de desarrollo como Visual Studio Code, Anaconda o Jupyter Notebooks.


Los dos perfiles constructor


Cuando los autores nos hablan, sin embargo, de constructores, están pensando en perfiles desarrollador que crean los propios agentes de código, que luego terceros (los usuarios) utilizan para crear software. En este apartado, distinguen dos perfiles:
 
  • Constructores de agentes: Parten de modelos de inteligencia artificial especializados en código ya construidos y, alrededor de esos modelos, crean el resto del agente incluyendo la gestión del contexto, gestión de herramientas, interacción con el usuario, etc.

  • Constructores de modelos: Los que construyen y entrenan a los modelos propiamente dichos.


Conclusiones


No cabe ninguna duda de que la inteligencia artificial, está transformando radicalmente toda la disciplina de la ingeniería de software y los perfiles profesionales que trabajan en ella de una forma u otra.

En el post hemos visto una tipología sencilla y clara de cinco perfiles en relación con el uso o construcción de agentes de código.


jueves, 15 de octubre de 2026

La hora de los grafos: agentes y conocimiento

Los grafos son un recurso matemático e informático descritos y utilizados desde hace muchísimos años, tanto como forma de recoger información y ontologías, como para el guiado de ciertos algoritmos.

Los grafos han estado ahí y se han seguido explicando y utilizando durante años y años y así hasta hasta la actualidad.

Pero en estos momentos están ganando una enorme relevancia en lo que viene a ser la punta de lanza tecnológica actual: los agentes de inteligencia artificial. 


Grafos: recordatorio muy básico


Aunque asumo que la mayoría de los lectores de este blog conocen, al menos aproximadamente, lo que es un grafo, lo recuerdo brevemente: un grafo es un formalismo para representar entidades o conceptos y las relaciones entre ellos.

Dibujo de un grafo no dirigido.
Fuente: Wikimedia
Desde un punto de vista visual, los grafos constan de unos nodos que representan las entidades o conceptos y que se suelen representar como círculos, y de unos arcos o aristas ('edges') que representan las relaciones entre los nodos y que se suelen representar como líneas.

Existen grafos dirigidos en que existe alguna forma de orden en las relaciones entre los nodos, y grafos no dirigidos en que no existe ningún tipo de orden en las relaciones. A la hora de representarlos gráficamente, los arcos terminan en una punta de flecha indicando la dirección.

 

Las memorias externas en agentes y chatbots generativos


Las aplicaciones basadas en grandes modelos de lenguaje, y particularmente los agentes de IA, deben utilizar mecanismos para volcar y/o recuperar información: las memorias. Esa información puede ser generada por el propio agente durante su trabajo (y en ese sentido, el nombre de memoria alcanza su plena significación) o, en otros casos, es información externa, una base de conocimiento o fuente de conocimiento.

Este tipo de aplicaciones utilizan varios mecanismos técnicos para implementar esas memorias (algo de lo que quizá valga la pena que comente en este blog) pero, cuando hablamos de bases de conocimiento, la técnica reina es RAG ('Retrieval Augmented Generation').


Bases de datos vectoriales y RAG


RAG utiliza dos elementos técnicos relevantes.

Por un lado, tenemos una capacidad fundamental de los sistemas generativos, que consiste en generar para tokens, documentos, etcétera lo que se denominan 'embeddings', unos vectores de alta dimensión que, de manera indirecta, contienen información semántica. Digo indirecta porque no es que marquen realmente un significado estricto y 'anclado ('grounded'), pero sí la cercanía o lejanía semántica entre aquellos conceptos que representan.

Por otro, tenemos las bases de datos vectoriales un tipo de base de datos NoSQL especializada en trabajar, precisamente, con vectores, y que es donde se almacenan y recuperan los 'embeddings'.

Cuando queremos añadir, por ejemplo, un documento PDF a una base de conocimiento, éste se trocea (en los denominados 'chunks') y para cada 'chunk' se genera su 'embedding'. Estos 'embedings' se almacenan en una base de datos vectorial.

Cuando queremos recuperar conocimiento ligado a alguna temática (con frecuencia expresada como 'prompt'), creamos un 'embedding' que represente ese 'prompt' y buscamos en la base de datos vectoriales, los vectores que sean 'cercanos semánticamente'. Para cada uno de esos 'embeddings' recuperados se accede a su 'chunk' y ¡voila! ya tenemos conocimiento relacionado con lo que nos interesa


Las limitaciones de RAG


En el libro 'Agentic GraphRAG: Integrating Knowledge Graphs, Reasoning, and Agency for Enterprise AI' de Anthony Alcaraz y Sam Julien se nos explica que RAG funciona muy bien para recuperación de información ligada a una consulta pero que, sin embargo, no funciona tan bien cuando de lo que se trata es de trabajar con razonamientos complejos y datos densos o especializados.

Y, precisamente, ese razonamiento complejo es lo que esperamos que hagan muchos agentes.

Los autores, concretando más, nos señalan las siguientes limitaciones de RAG:

  • Gaps semánticos: En ocasiones la representación semántica mediante 'embeddings' de un texto (un 'chunk') no siempre está suficientemente cercana al 'embedding' de la consulta pese a que, objetivamente, el verdadero conocimiento necesario sí está en el texto original

  • Compromisos de granularidad: Es necesario adoptar compromisos entre la cantidad de información o el nivel de información que representamos en un 'embedding', típicamente, si actuar en el nivel documento completo o en el nivel 'chunk' e, incluso, el tamaño de esos 'chunks'. Según la decisión de granularidad adoptada, el comportamiento puede resultar mejor o no en ciertos casos.

  • Limitaciones en razonamiento: El razonamiento suele requerir coordinar varios conocimientos o contenidos que pueden estar contenidos en 'chunks' diferentes y representados por 'embedding' diferentes. Eso complica el acceso al conocimiento necesario y no siempre funciona correctamente.

  • Amnesia contextual: En general la representación mediante vectores es estática y sin ningún tipo de referencia temporal. Los 'embeddings' están congelados y si se produce una evolución, pero los vectores originales siguen en la base de datos, el agente puede encontrarse con información obsoleta.

  • Gap de asociatividad: Los sistemas RAG no son capaces de expresar relaciones transitivas o construir cadenas lógicas cuando enlaza conocimientos contenidos en 'chunks' diferentes.


Los grafos como alternativa


Ante este panorama, están ganando fuerza los grafos, y en concreto los denominados grafos de conocimiento ('Knowledge Graphs'), como alternativa o complemento de los sistemas RAG.

Los grafos son capaces de aportar esa interrelación entre conceptos, esas relaciones transitivas, esa perspectiva evolutiva o temporal, etc que los agentes necesitan y que no encuentran bien resueltas en RAG. 

Por ello, al auge de los agentes, le está acompañando el auge de los grafos de conocimiento. No voy a profundizar más ahora pero, en próximos posts, hablaré algo más de estos grafos de conocimiento y su uso en agentes y aplicaciones basadas en modelos frontera.


Los grafos como representación del conocimiento


No me resisto, no obstante, antes de finalizar el artículo, a hacer referencia a mi artículo anterior 'El retorno de la representación de conocimiento' en que hablaba de cómo una disciplina muy presente en la inteligencia artificial clásica, es decir en la inteligencia artificial simbólica, como era la representación del conocimiento, se había perdido con la expansión de la inteligencia artificial basada en datos ('machine learning') y especialmente el enfoque conexionista ('deep learning') estaba experimentando un cierto resurgir.

Pues bien, quizá el exponente más relevante, aunque aún emergente, de ese retorno de la representación del conocimiento, sean estos grafos, como de alguna forma ya transmiten en su propio nombre: grafos de conocimiento. 


Conclusiones


La explosión de la inteligencia artificial agéntica, está implicando el recuperar planteamientos anteriores para dotarles de conocimiento y contexto. Eso supone el retorno de la representación del conocimiento y, en particular, al auge de los gafos de conocimiento. 


miércoles, 7 de octubre de 2026

El retorno de la representación del conocimiento

Cuando la inteligencia artificial era aún una disciplina bastante joven, existía una especie de subdisciplina que era capital en aquellos tiempos y que se presentaba como anexo necesario en cualquier discurso o estudio sobre la inteligencia artificial: la representación del conocimiento ('knowledge representation').

Sin embargo, con el auge del enfoque basado en datos, el 'machine learning', que ahora domina, especialmente bajo la variante 'deep learning', en la inteligencia artificial moderna esta subdisciplina de la representación del conocimiento, desapareció casi completamente de la práctica de la inteligencia artificial y absolutamente del discurso público.

Y, sin embargo, de forma quizá inesperada y sin meter ningún ruido, me da la sensación de que la representación de conocimiento vuelve a ser importante y seguramente lo va a ser más. No se la denomina así (al menos yo no he escuchado ni leído recientemente el término 'representación del conocimiento') pero está cada vez más presente y el auge de los agentes parece impulsarla.


Representación del conocimiento


Repasando una referencia muy antigua de un libro que en seguida citaré, podemos entender la representación del conocimiento como:


una serie de formalismos capaces de recoger de forma estructurada información acerca del mundo.


Esa información la queremos no como un mero almacén, sino como una base en que se apoya la inferencia en los algoritmos de la inteligencia artificial.


Mis primeros encuentros con la representación del conocimiento


Decía que en los primeros tiempos de la inteligencia artificial el tema de la representación del conocimiento era fundamental. Y lo ilustro con dos detalles anecdóticos.

La primera formación que recibí sobre inteligencia artificial tuvo lugar, nada más y nada menos, que en 1987, al apuntarme a un curso voluntario sobre el lenguaje LISP (entonces muy en boga en el campo de la inteligencia artificial) que ofreció la entonces ETS Ingenieros Industriales de Gijón, hoy rebautizada como Escuela Politénica de Ingeniería de Gijón donde yo cursaba mis estudios de ingeniería industrial. Y ¿Cómo se titulaba el curso? Pues su título era 'Introducción al LISP y a la representación del conocimiento'. Realmente, el curso fue sobre LISP sin más...pero es muy sintomático que en el título apareciese el término 'representación del conocimiento'.

Unos pocos años más tarde, ya en Madrid, y haciendo cursos de doctorado en la Escuela de Ingenieros Industriales de Madrid dentro del marco de un programa titulado 'Control de procesos e inteligencia artificial', adquirí algunos de los libros que constaban en la bibliografía recomendada. 

El más importante era la segunda edición de 'Inteligencia Artificial' de Elaine Rich y Kevin Knight, un libro de cerca de setecientas páginas que me devoré y que, de las tres partes que constaba, una (de algo más de doscientas páginas páginas) estaba dedicada a la representación del conocimiento. 

La otra referencia está completamente dedicada a la representación del conocimiento: el libro 'Knowledge representation' de Han Reichgelt y es la fuente de donde he extraído una especie de definición del campo de la representación del conocimiento.


La representación del conocimiento tradicional


Es importante entender que en la 'era dorada' de la representación del conocimiento, estábamos inmersos en la denominada inteligencia artificial simbólica, muy orientada a hacia la aplicación de la lógica trabajando sobre representaciones de aspectos del mundo (los símbolos). 

De esta época, quizá  la más alta realización de la inteligencia artificial fuesen los sistemas expertos, unas soluciones que recogían en una denominada base de conocimiento, los datos objetivos y las heurísticas fruto de la experiencia de expertos humanos en el tratamiento de un cierto problema. A partir de esa base de conocimiento, y ante una situación nueva, el motor de inferencia aplicaba reglas que solían encadenar heurísticas y que, eventualmente, resolvían el problema. Evidentemente, para conformar esas bases de conocimiento había que decidir cómo representar el conocimiento, de manera que fuese fiel a la realidad y que, además, se pudiese utilizar de manera eficaz en el proceso de inferencia.

En aquella época, las técnicas fundamentales de representación del conocimiento eran cosas como la lógica de predicados ('predicate logic'), reglas de producción ('production rules'), las redes semánticas ('semantic nets') o los marcos ('frames').


El machine learning y el conocimiento implícito


Y entonces llegó el auge del 'machine learning'.

Ante la dificultad (por desconocimiento o por escala del problema) para conseguir de los humanos un buen conocimiento, no solo fáctico o descriptivo, sino también operativo (es decir, realización de inferencias o resolución de problemas) el campo de la inteligencia artificial viró hacia los enfoques basados en datos.

En estos enfoques (el 'machine learning') renunciamos a proporcionarle a los algoritmos el conocimiento explícito y, a cambio, le enseñamos cómo debe aprender a adquirir ese conocimiento (algoritmos de aprendizaje) y le proporcionamos montañas de datos para que, a partir de ellos, detecte los patrones subyacentes, aprenda y adquiera el conocimiento.

Al renunciar a proporcionarle al algoritmo el conocimiento explícito, estamos eliminando la representación del conocimiento. Y el algoritmo, una vez entrenado, tampoco nos proporciona ese conocimiento explícito en forma de representación del conocimiento.

El conocimiento, que de alguna manera sigue estando presente, lo está de manera implícita, diluida entre los miles o millones de parámetros del modelo, pero no lo representamos explícitamente y, desde luego, no usamos símbolos. Es la desaparición de la representación del conocimiento (que, por cierto, está en la raíz de muchas de las problemáticas de explicabilidad de los algoritmos).

Quizá, en nichos concretos todavía se mantuvieran algunos aspectos de la representación del conocimiento. Así, por ejemplo, las ontologías del lenguaje humano, usadas en el procesamiento del lenguaje natural (NLP, 'Natural Language Processing') en tareas como la desambiguación del sentido de palabras (WSD, 'Word Sense Disambiguation') puede considerarse una forma de representación del conocimiento.


El conocimiento en los grandes modelos de lenguaje


Y llegamos a los grandes modelos de lenguaje que dominan el panorama de la inteligencia artificial actual.

Los grandes modelos de lenguaje (LLM, 'Large Language Model') están conformados todos ellos por redes neuronales y, por tanto, se realizan con base en 'deep learning', es decir, una forma particular de 'machine learning'. Y, por tanto, no utilizan una representación de conocimiento explícita. El conocimiento está, de nuevo, diluido entre sus millones de parámetros.

Suelo insistir en clases y charlas en que sí tienen conocimiento. Tienen conocimiento estructural (morfológico y semántico) del lenguaje humano, tienen conocimiento semántico y tienen conocimiento del mundo, todo ello, en gran medida, debido a la magia de los 'embeddings' y a un entrenamiento absolutamente masivo en datos. Pero, de nuevo, se trata de un conocimiento implícito, indirecto, no representado.

Y, sin embargo...


Las nuevas representaciones del conocimiento


Y, sin embargo, cada vez más las aplicaciones basadas en grandes modelos de lenguaje, comenzando por los copilotos y chatbots generativos y siguiendo por los agentes, incorporan mecanismos que creo que pueden entenderse como una nueva forma de representación del conocimiento.

Empezando por lo más sencillo, y quizá todavía algo discutible, sabemos que chatbots generativos como ChatGPT o Claude, no responde únicamente al 'prompt' del usuario sino que incorporan información de contexto. Un contexto que proviene, entre otras cosas, de las preguntas y respuestas anteriores de la conversación.  Pues bien, aunque bastante  poco estructurado, y representado de manera fundamentalmente textual, ese contexto incorpora una especie de conocimiento de corto plazo. Y a esto se une, por ejemplo, el mecanismo de memorias en que se resumen elementos de conocimiento que el chatbot ha adquirido sobre el usuario. De nuevo, es un conocimiento expresado de forma muy básica, mediante texto, pero conocimiento al fin y al cabo y representado de manera explícita.

Igualmente, ahora que se han puesto de moda las skills, podemos decir que las skills, una especie de prompts reutilizables que marcan cómo realizar una tarea, no dejan de ser una forma de conocimiento, de carácter fundamentalmente procedimental eso si, que aporta un usuario para indicar cómo realizar una labor concreta.

En el caso de usar RAG ('Retrieval Augmented Generatión'), creamos unos almacenes vectoriales en que, precisamente, introducimos conocimiento, normalmente a partir de documentos. De nuevo, la representación es sencilla: 'chunks' de texto (en que hemos subdidivido, por ejemplo, un documento PDF) acompañado de su vector 'embedding' que posibilita la búsqueda semántica.  De hecho, podemos hablar con bastante propiedad de que esos almacenes vectoriales actúan como bases de conocimiento, por lo que esos 'chunks' de texto con su embedding correspondiente no deja de ser otra forma no muy estructurada de representar el conocimiento.

Pero quizá, lo que más nos retorna a la disciplina de la representación del conocimiento, y lo que más me ha inspirado para escribir este post, es el auge de los grafos, especialmente en el campo de los agentes. No voy a profundizar aquí en ello porque próximamente publicaré varios posts sobre grafos pero, es una técnica en auge y que proporciona un conocimiento, bastante estructurado y, de hecho, se suele hablar de grafos de conocimiento ('knowledge graphs').

Aunque creo que mecanismos como el contexto, las memorias, las skills o los almacenes vectoriales de RAG pueden ser consideradas formas de representación de conocimiento, entendería que hubiese quien no los considerase como tales.

Pero, en el caso de los grafos, veo clarísimo que es una forma de representación de conocimiento 'de primera división', de carácter simbólico y en el mismo estilo que las técnicas que dominaron la representación del conocimiento cuando la inteligencia artificial era, precisamente, simbólica. 

Y si los agentes son un tema en fuerte auge, y los grafos son un tema también en auge que los acompaña, creo que, en efecto, asistimos al retorno de la representación del conocimiento.


Conclusiones


Acompañando a la antigua inteligencia artificial simbólica, existían, y eran muy importantes, las técnicas de la denominada representación del conocimiento. Con el auge del machine learning y el 'deep learning' esa representación del conocimiento prácticamente desapareció, quedando todo el conocimiento implícito en los parámetros del modelo, pero sin representación explícita.

Si embargo, las modernas aplicaciones basadas en grandes modelos de lenguaje, particularmente los chatbots generativos y, sobre todo, los agentes,  incorporan técnicas como el contexto, las memorias o los almacenes vectoriales que, aunque de manera algo desestructurada , se las puede  considerar formas de representación de conocimiento.

Y, sobre todo, la eclosión de los grafos de conocimiento alrededor de los agentes, suponen, creo, el espaldarazo definitivo a ese retorno de la representación el conocimiento.