Cómo hacemos que un modelo razone (IV): aprendizaje por refuerzo basado en recompensas verificables (RLVR)

Con este post llegamos al cuarto de la serie dedicada a cómo conseguimos un modelo razonador a partir de un gran modelo de lenguaje siguiendo las aportaciones del libro 'Building a resoning model (from scratch)' de Sebastian Raschka.

En esta entrega, damos un viraje importante. 

En los tres posts anteriores vimos formas de conseguir que un modelo razone, pero sin cambiar el modelo en sí mismo, es decir, sin cambiar sus pesos o sus hiperparámetros. O dicho de otra manera, no reentrenamos al modelo sino que éste continua siendo el que era antes de que intentásemos que razonase.

Sin embargo, en este artículo y el siguiente (que cerrará la serie), vamos a ver dos técnicas que sí reentrenan el modelo (hacen lo que se conoce como 'fine tunning') y utilizan estrategias de aprendizaje por refuerzo.

Veamos.

La idea del 'fine-tunning'

Aunque asumo que parte de los lectores habituales de este blog ya conocen el significado del 'fine-utinning', y aunque, incluso, la recordé brevemente en el post que abría esta serie y en que hablaba de estrategias generales, vuelvo a aportar aquí unas pinceladas para refrescar conceptos y estar todos en la misma página, que se suele decir.

El ajuste fino o 'fine-tuning' es una forma de entrenamiento (o, más bien, una fase de entrenamiento) en que se parte de un modelo ya entrenado y se le somete a un segundo entrenamiento más acotado para especializarlo en un dominio concreto o una tarea concreta.

La idea es que el modelo de partida, mediante lo que se denomina el 'pre-entrenamiento', adquiere conocimientos digamos generales. Conocimientos sobre el lenguaje en general y sobre la vasta variedad del conocer humano. Se trata de un entrenamiento masivo, con una enorme cantidad de datos, un gasto computacional extraordinario y, por tanto, al alcance de muy pocas organizaciones.

El 'fine-tunning', por el contrario, no es de propósito general, sino específico y 'la gracia' que tiene es que con un conjunto relativamente reducido de datos de entrenamiento y un gasto computacional moderado o pequeño suele conseguir muy buenos resultados en esa tarea o dominio específico. Por tanto, está al alcance de muchas empresas y organizaciones.

Ese ajuste fino o 'fine-tunning' se ha realizado con frecuencia mediante aprendizaje supervisado pero, en lo que vamos a ver en este post y en el siguiente, se aplica el aprendizaje por refuerzo.

Aprendizaje por refuerzo

Hace ya casi año y medio dediqué en este blog una larga serie de artículos, bastante técnicos, eso sí, a hablar del aprendizaje por refuerzo ('reinforcement-learning'). Para el lector interesado, le remito al último post de la serie dedicado al meta aprendizaje y que contiene enlaces a todos los demás artículos de la serie.

Aquí sólo recordar las ideas de muy alto nivel.

El aprendizaje por refuerzo es como la tercera gran vía del aprendizaje en machine learning (acompañando al aprendizaje supervisado y ni supervisado) y que, de alguna forma, quiere imitar la forma en que normalmente parece que aprendemos los humanos y que es un poco por ensayo y error.

Durante el entrenamiento por refuerzo el modelo recibe una entrada, genera una salida y recibe una forma de 'feedback'  que le indica hasta qué punto lo está haciendo bien o mal. Suelo compararlo al juego del 'frio' o 'caliente'. Con base a ese 'feedback' (habitualmente denominado 'recompensa'), el modelo ajusta sus parámetros (típicamente los pesos de una red neuronal).

Se diferencia del aprendizaje supervisado es que, en el aprendizaje supervisado durante el entrenamiento se le dice al modelo cuál es la respuesta correcta, mientras que en el aprendizaje por refuerzo sólo se le da una indicación de lo bien o mal que lo hace, pero sin decirle cuál es la respuesta correcta.

Y se diferencia del aprendizaje no supervisado es que en éste, el no supervisado, el modelo debe descubrir patrones subyacentes en los datos sin ninguna forma de 'feedback' explícito, mientras que ya hemos visto que en aprendizaje por refuerzo sí hay feedback (la recompensa).

Modelos razonadores y aprendizaje por refuerzo basado en recompensas verificables (RLVR)

En la referencia que estamos usando, nos subdivide el uso de aprendizaje por refuerzo en dos variantes. La primera, y la que vamos a mencionar en este post, es la que utiliza recompensas verificables.

¿Qué significa eso?

Significa que existe alguna forma objetiva de saber qué resultado final debería haber aportado el modelo y esa respuesta objetivamente correcta se utiliza para el feedback, la recompensa, que, por tanto, es verificable de forma objetiva.

Una forma fácil de visualizarlo es tener en cuenta que en el entrenamiento de modelos razonadores se usan con mucha frecuencia problemas lógicos o matemáticos con una respuesta final muy clara (verificable). Por tanto, el mecanismo para producir la recompensa que recibe el modelo podría llegar a ser el algún caso sencillo poco más que una calculadora digital.

Esto es lo que se denomina aprendizaje por refuerzo con recompensas verificables (RLVR, 'Reinforcement Learning with Verifiable Rewards').

Una de las grandes ventajas de esta forma de entrenar por refuerzo frente a una genérica, es que el generador de recompensas, el verificador, no es otro modelo sino una herramienta mucho más sencilla (y, por tanto mucho más barata). Además, las recompensas son deterministas y reproducibles y la estrategia escala fácilmente a un entrenamiento con muchos datos si es necesario.

A cambio, una importante limitación es que no se puede aplicar esta estrategia al entrenamiento para razonar sobre cualquier tipo de problemas dado que, en muchos casos, no podemos disponer de esas reglas verificables. Por ello, se suele circunscribir, como hemos mencionado, a problemas lógicos o matemáticos.

No voy a entrar en detalles pero sí mencionar que RLVR se suele utilizar en conjunción con un algoritmo denominado GRPO ('Group Relative Policy Optimization'), introducido por el equipo de DeepSeek, que, a partir de la señal que genera RLVR, determina cómo usarla para la actualización de pesos del modelo.

Conclusiones

Hemos visto que podemos conseguir convertir un modelo razonador a partir de un gran modelo de lenguaje usando, no sólo técnicas de promting, como habíamos revisado en posts anteriores de esta serie, sino también haciendo un 'fine-tunning' mediante estrategia de aprendizaje por refuerzo.

Una de las variantes empleadas de aprendizaje por refuerzo es la que se basa en las denominadas recompensas verificables, en que un algoritmo, que no tiene por qué ser un modelo de lenguaje, es capaz de proporcionar de manera automatizada la señal de recompensa o 'feedback' y, mediante técnicas como GRPO, deducir la forma de actualizar los pesos del modelo.

Artículos de este blog relacionados

• Cómo hacemos que un modelo razone (III): auto-refinamiento
• Cómo hacemos que un modelo razone (II): técnicas de prompting
• Cómo hacemos que un modelo razone (I): tres grandes estrategias

La adopción de la inteligencia artificial y el dilema del inteligente

Hace ya bastantes años, en concreto en 1997, el malogrado Clayton Christensen publicaba el famoso libro 'The innovator's dilemma') todo un clásico de la literatura sobre innovación, en que describía lo que llamaba el dilema del innovador, es decir, las especiales dificultades que encontraban las empresas de éxito para adoptar e innovar con base en tecnologías disruptivas.

Se me ha ocurrido que en el caso de la inteligencia artificial, por cierto también una tecnología disruptiva, las personas quizá más que las empresas, se pueden encontrar con un dilema de características parecidas y que, un poco por paralelismo con el concepto de Christensen, se me ha ocurrido denominar 'el dilema del inteligente' 

Veamos.

Tecnologías disruptivas

El término disruptivo, en el ámbito de la innovación y la tecnología se utiliza para denominar tecnologías que, de alguna forma, cambian completamente las reglas del juego de un sector o de un tipo de soluciones, introduciendo cambios estructurales y mejoras radicales frente a soluciones anteriores a las que acaban sustituyendo.

Una característica particularmente insidiosa de las tecnologías disruptivas es que debutan en el escenario tecnológico y de negocio con unas prestaciones inferiores a las de las tecnologías alternativas a las que acabarán sustituyendo. Pero luego suben esas prestaciones rápidamente hasta superar claramente a la de las tecnologías precedentes.

Esas inferiores prestaciones en sus etapas iniciales pueden hacer, y hacen, que, con frecuencia, de alguna forma se las desprecie y no se les preste la debida atención.

Y un poco de eso va el dilema del innovador. 

El dilema del innovador

En efecto, lo que Christensen describe como 'dilema del innovador' tiene que ver con identificar a tiempo la importancia de una tecnología disruptiva.

Christensen habla de empresas de éxito, bien gestionadas y seguramente dominantes de su sector. ¿Qué hace una empresa tradicional bien gestionada ante una nueva posibilidad de innovación?

Pues hace un análisis. Un análisis con frecuencia de naturaleza esencialmente financiera en que estima los beneficios que puede traer consigo la adopción de la tecnología y lo compara con los costes y los riesgos. Si se observa un buen retorno de la inversión, quizá una TIR ('Tasa Interna de Rendimiento') suficiente, se adopta, y si no... pues no. Una forma racional y eficiente de decidir. ¿No?

Si pero.. ¿Cómo reacciona ahora ante una tecnología nueva y disruptiva? Le aplicará el mismo mecanismo. Pero claro, observará una tecnología de retornos inciertos (porque es nueva) y de prestaciones modestas e incluso malas. ¿Resultado? La decisión será negativa y no adoptará dicha tecnología.

Pero, en paralelo, existirán empresas con menor aversión al riesgo, o competidores que desean ensayar algo nuevo, o startups valerosas que sí adoptan la nueva tecnología disruptiva.

¿Qué sucede?

Cuando la nueva tecnología 'demuestra todo su poder', ganarán la partida esas startups o empresas arriesgadas que sí se atrevieron a adoptarla. Y nuestra anterior empresa de éxito bien gestionada, se quedará en situación de inferioridad, puede que de forma grave dada la capacidad de cambio estructural de un sector de las tecnologías realmente disruptivas.

De alguna forma, esa buena gestión que explica el éxito pasado de una empresa, puede llegar a cegarla y ser el detonante de su fracaso ante la llegada de una tecnología disruptiva.

La inteligencia artificial como tecnología disruptiva

Creo que hay pocas dudas de que la inteligencia artificial es una tecnología disruptiva, que está cambiando y cambiará reglas de juego y, además, de manera muy transversal.

¿Y debuta con prestaciones bajas?

Aunque hoy en día parezca difícil decirlo, claro que sí Recordemos cómo eran, por ejemplo, los traductores hechos con inteligencia artificial de hace unos años. Con resultados pobres, muy lejos de lo que es una traducción hecha por humanos.

O recordemos todos los inviernos de la inteligencia artificial al no llegar a lo que de ella se esperaba.

Aún diría más. Incluso con los espectaculares avances de los últimos años, todavía hay mucha gente que se atreve a decir, con un convencimiento que creo nace más del deseo que del análisis, que 'la inteligencia artificial nunca podrá hacer X', siendo X alguna capacidad humana que nos gustaría considerar totalmente diferencial e imposible de alcanzar por la inteligencia artificial.

El posible dilema del inteligente

Y ya llegamos a lo que he dado en llamar el 'dilema del inteligente' y que dibuja una situación parecida, aunque no completamente similar, cuando una persona más que una empresa, se enfrenta a la adopción o no, al uso o no, de la inteligencia artificial.

E identifico una posible dificultad para que precisamente las personas inteligentes y talentosas, personas de éxito, adopten la inteligencia artificial.

No hablo tanto de una adopción general de la inteligencia artificial, sino su uso para tareas concretas, tareas en que sobresale esa persona inteligente y de éxito.

El dilema surge porque esa persona inteligente es muy buena haciendo algo, voy a decir diseñando y desarrollando software, por ejemplo. Pero ahora la inteligencia artificial desarrolla software. Es posible que ese desarrollador experto considere, quizá con razón, que él o ella desarrolla software de mayor calidad que el que hace la inteligencia artificial (en su visión la inteligencia artificial tendría prestaciones bajas comparadas con la suya propia). Y eso puede hacer que se resista a abrazar el 'Vibe coding' mientras, en paralelo, desarrolladores nuevos, o personas con menos conocimientos, sí se lanzan a desarrollar con inteligencia artificial. Pasado un tiempo esos desarrolladores nuevos, en realidad menos talentosos, pueden superar en producción e incluso calidad a nuestro desarrollador experto.

Ese sería del dilema del inteligente.

Y se me ha ocurrido pensarlo porque, de alguna manera, lo experimento personalmente. No me cuesta, incluso lo hago con alegría, utilizar la inteligencia artificial para tareas en que no soy diestro o que incluso me sería imposible hacer: digamos crear música, crear vídeo, crear algunas imágenes o incluso investigar masivamente sobre un tema o resumir un documento extenso. Pero me resisto mucho más a usarla en tareas que, aparte de disfrutar haciéndolas, creo que he adquirido una destreza casi diferencial: escribir, hacer presentaciones, delinear un programa formativo, etc.

Si la adopción de la inteligencia artificial me resulta natural, divertida y rápida para unas tareas, arrastro los pies para otras.

Personalmente, aparte de conocer desde hace muchos años esta problemática del dilema del innovador, también soy un entusiasta estudioso de la inteligencia artificial, así que soy plenamente consciente de su capacidad y sus posibilidades disruptivas actuales y futuras. Así que me obligo, y pienso obligarme más en el futuro a emplearla... y no puedo dejar de aconsejar a 'todo el mundo' que haga lo mismo para evitar caer en ese dilema del inteligente..

Aunque no hablamos estrictamente de inteligencia

Antes de finalizar, un breve apunte conceptual.

He bautizado a este 'fenómeno' como el dilema del inteligente, porque resulta muy paralelo al término dilema del innovador de Christensen y, de paso, introduce la idea de inteligencia (sugiriendo inteligencia artificial) en la ecuación pero, en muchos casos, quizá más que de inteligencia, deberíamos hablar de competencia, 'expertise' o talento.

Pero claro, no suena igual hablar del 'dilema del competente' ¿no?

Conclusiones 

Se me ocurre pensar que, de forma paralela al fenómeno del dilema del innovador descrito por Christensen, las empresas, pero sobre todo las personas, podemos sufrir una suerte de 'dilema del inteligente' que nos haga resistirnos a usar la inteligencia artificial para realizar o ayudarnos a realizar aquellas tareas en que somos especialmente competentes.... y eso puede ser un riesgo a futuro, y un futuro no muy lejano.

Cómo hacemos que un modelo razone (III): auto-refinamiento

Continuamos con este post la serie de artículos dedicados a las técnicas existentes para convertir un gran modelo de lenguaje, digamos 'normal', en un modelo razonador, todo ello basándonos en las aportaciones del libro 'Building a resoning model (from scratch)' de Sebastian Raschka.

En esta ocasión, vamos a revisar a técnica del autorazonamiento 'self-impovement'. 

Un  pequeño repaso a las técnicas de 'prompting'

En el post anterior, hablamos de dos técnicas de prompting que ayudan a que un modelo razone.

Por un lado teníamos la cadena de pensamiento (CoT, 'Chain-Of:Thought') en que le pedimos a un modelo que descomponga su respuesta en pasos mediante una expresión del tipo 'razona paso a paso' introducida como una suerte de coletilla en el 'prompt' base. Se trata de una técnica que viene muy bien para que un modelo que no es razonador, comience a razonar. A cambio, aporta poco si el modelo ya es razonador porque, en general, el modelo va a aplicar ese razonamiento paso a paso directamente.

La segunda técnica, la autoconsistencia ('self-consistency') fueerza al modelo a proponer o aplicar formas alternativas de resolver un problema y luego consensuar de alguna forma la respuesta final. 

En cualquier caso, ambas técnicas son puro 'prompting': no cambian propiamente el modelo, ni su arquitectura ni sus parámetros. Se trata de un uso, digamos 'externo' en tiempo de inferencia que mejora el razonamiento a costa de hacerlo computacionalmente más costoso (y, por ello, el autor al que seguimos habla de métodos de 'inference-time scaling', escalado en tiempo de inferencia).

La esencia del auto-refinamiento

La siguiente técnica que vamos a ver, el auto-refinamiento ('self-refinement'), sigue todavía trabajando en tiempo de inferencia, sigue utilizando técnicas de prompting y sigue requiriendo mayor esfuerzo computacional. Es decir, continua encuadrada dentro de ese marco de escalado en tiempo de inferencia ('inference-time scaling').

Pero, más que modificar el 'prompt' de entrada, tal como hacen las dos anteriores, lo que hace el auto-refinamiento es, digamos, establecer un diálogo (realmente un dialogo del modelo consigo mismo) en que sucesivamente se van mejorando las respuestas.

El auto-refinamiento funciona en cierto sentido de forma parecida a cuando nosotros interactuamos de manera dialogada y en un chat con una aplicación tipo ChatGPT. Le pedimos algo, nos lo da, le decimos lo que está bien o mal y le pedimos nueva respuesta y así en un bucle hasta obtener lo que queremos.

En 'self-refinement' también hay un diálogo pero, por decirlo de alguna forma, es del modelo consigo mismo. El modelo recibe el prompt, genera una respuesta, evalúa esa respuesta y se vuelve a pedir a sí mismo una nueva respuesta con base en el feedback.

Valoración de respuestas

Parte importante de esta técnica es cómo evalúa el modelo sus propias respuestas. En el libro citado, nos habla de dos estrategias generales.

Una primera estrategia es una evaluación basada en reglas. En este caso, con base en alguna regla o heurística podemos evaluar si la respuesta en su conjunto, si es buena o mala o hasta qué punto lo es.

Esta estrategia se puede aplicar en diferentes formas. Pensemos en el caso más simple: una operación matemática. En este caso se puede saber, por ejemplo mediante alguna forma de calculadora eterna, si el resultado es correcto o incorrecto.

Pero también se considera una evaluación basada en reglas la aplicación de alguna heurística o, incluso, la famosa técnica del 'LLM as a judge' en que un modelo de lenguaje valora la respuesta de otro modelo de lenguaje.

La segunda gran estrategia, de mayor profundidad técnica, más que centrarnos en evaluar la respuesta final, la evaluación se fija en un resultado interno e intermedio: las probabilidades de los tokens candidatos a añadirse a una respuesta. Los lectores de este blog conocedores de la arquitectura interna, se pueden hacer una idea de lo que esto significan esas probabilidades de los tokens, pero en este post no voy a entrar en ello.

El bucle de refinamiento

En resumen, lo que se hace en el autorefinamiento es un bucle en que se formula una petición al modelo mediante un 'prompt':

• Este responde
• Su respuesta es valorada por sí mismo (o por otro modelo en el caso de LLM-as-a-judge)
• Se construye un nuevo prompt que contiene el prompt original, la respuesta original y la evaluación de esa respuesta.
• Se solicita respuesta con el nuevo prompt 

Y se procede así iterativamente hasta alguna forma de umbral o límite.

Conclusiones

Hemos visto un tercer mecanismo para convertir a un modelo en razonador, el auto-refinamiento, en que, de forma iterativa, el propio modelo se encarga de evaluar su respuesta y proporcionar una nueva contestación teniendo en cuenta esa valoración.

Sigue siendo una técnica en tiempo de inferencia y que exige mayor esfuerzo computacional que una respuesta directa.

Artículos de este blog relacionados

• Cómo hacemos que un modelo razone (II): técnicas de prompting
• Cómo hacemos que un modelo razone (I): tres grandes estrategias

Cómo hacemos que un modelo razone (II): técnicas de prompting

Este el segundo post que voy a dedicar a mecanismos para convertir un modelo de lenguaje en un modelo razonador.

En este caso, siguiendo, como en toda la serie, las aportaciones del libro 'Building a resoning model (from scratch)' de Sebastian Raschka, me voy a concentrar en dos mecanismos que no afectan al modelo en sí mismo (no suponen un re-entrenamiento) sino sólo una forma de invocarlo y que, curiosamente, hace que razone mejor.

Y ello me va a llevar a describir, muy someramente, dos técnicas de prompting muy conocidas: la cadena de pensamiento, CoT ('Chain-Of-.Thouhgt') y la autoconsistencia ('Self-Consistency')

Escalado en tiempo de inferencia

Veíamos al hablar de estrategias en el post anterior de la serie, que algunas implicaban el re-entrenamiento del modelo y otras no. Las que no suponen re-entrenar el modelo actúan cuando estamos haciendo una solicitud al modelo, es decir, en tiempo de inferencia.

En concreto, ambas actúan simplemente cambiando en la forma en que interrogamos o hacemos una solicitud al modelo, es decir, afectan a cómo construimos el 'prompt'.

En ambos casos, estas técnicas tienden a hacer que el modelo razone mejor pero, a cambio, suponen mayor tiempo de inferencia, mayor esfuerzo de computación y mayor consumo de tokens.

Por eso, Raschka situa estas dos técnicas dentro de lo que denomina 'inference-time scaling' (escalado en tiempo de inferencia). 

Chain-Of-Thought. Cadena de pensamiento

Cadena de pensamiento

La cadena de pensamiento es, probablemente, una de las técnicas de prompting más conocidas y más insistentemente tratadas. Descrita inicialmente en el paper 'Large Language Models are Zero-Shot Reasoners'  implica, simplemente, pedirle al modelo que proceda razonando paso a paso. 

En una versión sencilla, basta con que, al prompt, digamos normal le añadamos el texto "procede paso a paso", "explica lo que haces paso a paso" o "razona paso a paso".

Cuando lo utilizamos como técnica de prompting a nivel usuario, interactuando por ejemplo con ChatGPT, la podemos aplicar indicando nosotros, el usuario, los pasos que deseamos que aplique (cuando tenemos el 'expertise' suficiente y no queremos que el modelo improvise).

¿Cómo puede ser que algo tan sencillo funcione tan bien?

Más allá de las explicaciones del paper original, Raschka nos lo resume diciendo que, por un lado, el hecho de que el modelo proceda paso a paso le concede al propio modelo más oportunidades de auto-corregirse y, además, que esta forma de preguntar y expresar la solución a un problema encaja muy bien con los ejemplos que recibieron los modelos razonadores durante su entrenamiento (ejemplos procedentes con frecuencia de problemas matemáticos y lógicos en que el razonamiento paso a paso es muy natural).

Raschka nos advierte de que esta forma de actuar no añade nuevo conocimiento al modelo, sino sólo cambia la forma de explotar ese conocimiento y eso puede conducir a mejores resultados en problemas matemáticos, lógicos u aquellos que de forma natural impliquen unos pasos.

Y también nos advierte de que no es una fórmula mágica y que no siempre produce mejores resultados y que, en el caso de problemas simples, puede llevar al fenómeno del 'overthinking' (pensar y gastar demasiado) para llegar a resultados iguales o peores. 

Self-Consistency. Autoconsistencia

Auto-consistencia

La técnica de auto-consistencia fue introducida en el paper 'Self-consistency improves chain of thought reasoning in language models'

En el caso de la auto-consistencia, lo que hacemos es pedir al modelo que pruebe varias soluciones diferentes (cada una de las cuales puede incluir su propia cadena de pensamiento) para luego hacer una suerte de votación o consenso que genere la respuesta final.

Cuando se utiliza directamente como usuario se puede dejar al modelo libre de que elija las diferentes vías o se le puede indicar qué tipo de soluciones o razonamientos debe de intentar.

Se trata en general de una técnica más exigente computacionalmente que la anterior porque, al fin y al cabo, en general llevará a cabo varias cadenas de pensamiento.

El usuario, las aplicaciones y los agentes

Antes de cerrar este post, quisiera hacer una aclaración.

Las dos técnicas que hemos visto se pueden utilizar, y se utilizan de hecho, cuando interactuamos directamente nosotros, personas, con nuestro chatbot generativo tipo ChatGPT. Las podemos utilizar cualquiera de nosotros en cualquier momento. Es su empleo como usuarios.

Pero no olvidemos que, por ejemplo, ChatGPT no es un modelo, sino que más que eso es una aplicación completa construida alrededor de unos modelos a los que recubre y cuyo uso gestiona. Es decir, ChatGPT puede 'decidir' utilizar estas técnicas sin que nosotros se lo pidamos explícitamente, ya sea como una especie de preprocesamiento previo o como parte de su 'system prompt', y esto puede hacer que percibamos el razonamiento sin haberlo solicitado nosotros.

De la misma forma, los famosos agentes, que no dejan de ser también aplicaciones construidas alrededor de modelos, pueden actuar como razonadores usando estas técnicas de forma trasparente para los usuarios.

Conclusiones

Entre las múltiples formas de hacer que un modelo razone, dos de las más sencillas, casi sorprendentemente sencillas, consiste un utilizar unas técnicas de prompting que soliciten al modelo el razonamiento: la cadena de pensamiento y la auto-consistencia.

Son técnicas usadas en tiempo de inferencia y que suponen mayor consumo computacional y que, aunque no están cien por cien garantizadas, suelen dar muy buenos resultados.

Estas técnicas, las podemos utilizar directamente como usuarios o pueden venir embebidas (sin uso directo por nuestra aparte) en aplicaciones basadas en modelos de lenguaje como los chatbots generativos o los agentes.

Artículos de este blog relacionados

• Cómo hacemos que un modelo razone (I): tres grandes estrategias

La inteligencia artificial y la rendición cognitiva

Una de las muchas preocupaciones que rodean a la inteligencia artificial es cómo afecta a nuestras competencias cognitivas individuales: a nuestra capacidad para memorizar, para razonar,  para conocer, para decidir o para ejercer pensamiento crítico.

Ya hace un tiempo publiqué en este mismo blog un post en que hablaba del fenómeno del 'automation blindness' y cómo este fenómeno, la confianza excesiva en las decisiones de una máquina o algoritmo, puede llevar a cometer errores, puede invalidar la estrategia de Human-In-The-Loop y puede de afectar a medio plazo a la capacidad humana para tomar o supervisar esa decisión.

En otro post comentaba, además, como esa combinación con un deskilling progresivo puede conducir a un empobrecimiento cognitivo del ser humano y de su autonomía y capacidad de decisión.

En este post resumo los hallazgos de un 'paper' que nos presenta la idea de la rendición cognitiva ('cognitive surrender'), que considero muy relacionado con los conceptos anteriores.

Presentando las fuentes: el trabajo de Shaw y Nave

El paper al que me refiero es 'Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender' escrito por Steven D. Shaw y Gideon Nave de Wharton, un trabajo científico que aporta novedades teóricas y hallazgos experimentales.

Un 'paper' que me fue recomendado por Virginia Cabrera Nocito y que ella consultó durante su investigación doctoral y como parte de su labor directiva en la SOCEC (Sociedad Científica de Economía de la Conducta) 

La teoría de los tres sistemas en la cognición

En el aspecto teórico, la novedad que aportan los autores es lo que denominan la teoría de los tres sistemas de la cognición 'tri-system theory of cognition'.

Resultan bastante conocidas, especialmente a través de la obra de Daniel Kahneman, las teorías de los dos niveles de la cognición que Kahneman recoge en su famoso libro 'Thinking fast and slow', según las cuales, cognitivamente operamos en dos niveles, uno rápido que, por decirlo de alguna forma, 'toma las decisiones sin pensar' con base en la intuición y en la emoción, y otro lento que es deliberativo y racional.

La gran propuesta de los autores del 'paper' es la existencia de un tercer nivel o sistema, un tercer nivel que se apoya en sistemas externos de inteligencia artificial. Según esto, para Shaw y Nave estaríamos hablando de los siguientes sistemas cognitivos:

• Sistema 1 (rápido): intuición humana. Se caracteriza por ser automático, asociativo, que exige poco esfuerzo pero que es propenso a sesgos y, de hecho, suele ser el origen de los múltiples sesgos cognitivos.


• Sistema 2 (lento): deliberación humana. Es analítico, reflexivo y más normativo pero es costoso y exige un mayor esfuerzo, por lo que nuestro cerebro tiende a recurrir al sistema 1 'siempre que puede'.


• Sistema 3 (artificial): se trata de una cognición externa, generada por inteligencia artificial. Es automatizado, basado en datos y dinámico (interactúa en tiempo real).

La novedad clave de la propuesta es, por un lado, la existencia de ese tercer sistema pero además, que ese tercer sistema presenta dos diferencias profundas con los niveles de Kahneman:

• Por un lado, si los sistemas 1 y 2  son de naturaleza biológica, mientras que el sistema 3 es un sistema artificial.


• Por otro lado, mientas los sistemas 1 y 2 son internos al individuo, el sistema 3 es externo, aunque sus resultados se integran en el pensamiento y la decisión como si fueran propios.

Delegación cognitiva ('cognitive offloading')

Los autores hacen mención a lo largo del paper al concepto de delegación cognitiva ('cognitive offloading').

La delegación cognitiva se entiende como uso estratégico y puntual de herramientas externas para apoyar el propio razonamiento, sin renunciar al control. Ejemplos clásicos podrían ser el uso de una calculadora o del GPS. En el caso en que nos ocupa estaríamos hablando de la inteligencia artificial típicamente mediante el uso de un chatbot generativo tipo ChatGPT o un agente. 

Aunque se descarga una parte de la cognición en la herramienta, todavía el  sistema 2 sigue activo, la persona mantiene la deliberación y la decisión, y la IA solo complementa o refuerza esa deliberación, por ejemplo generando opciones que luego evalúa el usuario. Además, es una forma de actuar reversible y crítica, es decir, la persona puede aceptar, cuestionar o rechazar la propuesta de la herramienta según su propio juicio (un poco la idea tras 'human-in-the-loop').

En ese sentido, la delegación cognitiva se considera un mecanismo, digamos, sano.

Rendición cognitiva ('cognitive surrender')

Sin embargo, en lo que ponen el foco los autores es en la rendición cognitiva ('cognitive surrender'),  es decir, la tendencia a aceptar la respuesta de la inteligencia artificial sin verificarla, dejando de lado tanto la intuición propia del sistema 1 como la deliberación del sistema 2. A diferencia de lo que ocurre en la delegación cognitiva, la persona deja de razonar y, simplemente, adopta la respuesta externa como propia.

Según argumentan Shaw y Nave, la rendición cognitiva no es intrínsecamente irracional. Así, en dominios o tareas donde claramente la inteligencia artificial es superior al ser humano, esa rendición puede ser más una adaptación que un, digamos, fallo. 

El problema realmente surge cuando la persona pierde la noción de cuándo y por qué delegó, difuminando así la frontera entre agencia humana y de la máquina y empobreciendo tanto esa agencia como las capacidades cognitivas humanas.

Aparte de las aportaciones teóricas, buena parte del 'paper' se dedica a describir los experimentos realizados y los resultados obtenidos que confirman la existencia de esta rendición cognitiva.

Reflexiones

En el fondo, el artículo de Shaw y Nave viene a confirmar de manera científica y experimental algo de lo que creo que todos somos bastante conscientes y que no deja de generar preocupación: el riesgo de pérdida por parte de los humanos, por un lado, de capacidades cognitivas y por otro, de agencia y criterio de decisión,  por un uso excesivo y sobre todo inadecuado y acrítico de la inteligencia artificial.  

Y esto es, en mi opinión, un problema ético y práctico de primer orden, con una solución no sencilla que debemos de esforzarnos en articular trabajando aspectos como la educación, el pensamiento crítico y la responsabilidad individual... con uno mismo.

Conclusiones

Es bastante reconocido el hecho de que cada vez más usamos la inteligencia artificial y que delegamos en ella tareas, conocimiento y decisiones. Esto lleva a los autores del 'paper' que hemos comentado a deducir que existe un tercer sistema cognitivo (el sistema 3, artificial) a añadir a los dos propuestas realizadas hace mucho tiempo por Kahneman y otros autores respecto a la existencia de dos sistemas cognitivos: sistema 1 rápido y sistema 2 lento.

Pero más allá de esos planteamiento teóricos, los autores definen y comprueban experimentalmente la existencia de la denominada rendición cognitiva, la abdicaciòn por parte de los humanos a ejercer su agencia delegando esa agencia en un sistema externo, en este caso un sistema de inteligencia artificial.

 

Cómo hacemos que un modelo razone (I): tres grandes estrategias

Uno de los grandes avances de los, digamos, dos últimos años, en los modelos generativos, un avance que posibilita además la existencia de los agentes y la Agentic AI, es la aparición de los llamados modelos razonadores, una especie de evolución o enriquecimiento de los grandes modelos de lenguaje que, aunque pueda sonar  raro, denominaré 'clásicos'.

Llevo tiempo queriendo entender cómo funcionan internamente y en detalle este tipo de modelos (y los sistemas basados en ellos) y cómo se entrenan o cómo se adaptan para exhibir esa capacidad de razonamiento.

Como parte de esa investigación estoy finalizando la lectura del libro 'Building a resoning model (form scratch)' de Sebastian Raschka, una obra que, aunque con mucho foco en la codificación, también expone con rigor muchos de los fundamentos teóricos.

Y con este post inicio una serie en que, con base en esa obra, explico los principales métodos para convertir a un LLM 'clásico' en un modelo razonador.

Lo que hace un LLM 'básico'

Un LLM ('Large Language Model'), como muchos otros modelos de lenguaje más simples que les han precedido, son fundamentalmente predictores de la siguiente palabra. Es decir, ante un texto de entrada incompleto proponen como salida la palabra que sigue a ese texto de entrada. Actuando de modo iterativo, en que se añade una palabra nueva en cada ciclo, el resultado que observamos, es que ante un texto de entrada (el 'prompt'), se genera el texto que le sigue ('completion') que en la practica constituye la respuesta. 

Como muchos lectores de este blog sabrán, en realidad la base de funcionamiento no son las palabras sino los tokens, pero a estos efectos me quedaré en el nivel palabra por entendernos mejor.

También muchos lectores sabrán que el modelo no reacciona únicamente al prompt de entrada sino que la entrada se enriquece con el contexto, las memorias o la información que se obtiene mediante una consulta a la web o una recuperación de conocimiento mediante RAG ('Retrieval Augmented Generation'). En cualquier caso, y aunque el 'verdadero' texto de entrada sea mucho más que el 'prompt', en esencia el modelo funciona completando o contestando a ese texto de entrada enriquecido.

Los modelos razonadores

Pero los modelos razonadores hacen otra cosa, aunque la puedan expresar como texto o, si se quiere, añaden otro ingrediente. 

Los modelos razonadores entienden su entrada no tanto como un texto a completar o a contestar, sino como un objetivo o un problema a resolver. Y, por ello, en lugar de 'lanzarse a contestar directamente', lo que hacen es plantear una especie de 'plan de acción', una estrategia o una serie de pasos a dar para resolver el problema. Además, y a medida que ejecutan el plan, evalúan las respuestas y, eventualmente, rehacen el plan.

En el caso de sistemas dotados de capacidades agenticas, como parte de la ejecución del plan pueden invocar a las denominadas herramientas ('tools') que permiten la interacción con el exterior.

Esta forma de funcionar de los modelos razonadores resulta maravillosa y los acerca aún más a lo que podríamos entender como verdadera 'inteligencia'. Y, visto a alto nivel, tal y como la he explicado, no resultan, creo, difíciles de entender.

Pero me maravilla el que se puedan conseguir este tipo de modelos y no me parece evidente cómo se hace esto, tanto en diseño y entrenamiento del modelo, como luego en ejecución.

Y sobre este tipo de problemáticas es sobre las que se enfoca esta serie de posts que ahora inicio.

El entrenamiento y personalización de de modelos generativos

Antes de dar el primer paso, conviene recordar un par de ideas acerca de cómo se entrenan y cómo se personalizan los grandes modelos de lenguaje. Básicamente, conviene que recordar que, típicamente, existen tres etapas:

• Pre-entrenamiento ('pretraining'): Es la fase inicial, tremendamente masiva, en que se trabaja sobre millones de datos. Tras esta fase, el modelo usa de manera estructuralmente correcta el lenguaje y dispone de un amplísimo 'conocimiento' de propósito general. Tras esta fase, en general, el modelo de lenguaje ya es perfectamente utilizable.


• Ajuste fino ('fine-tunning'): Persigue una especialización en un dominio concreto o en una forma concreta de actuar. El interés de esta fase es que, con una cantidad de datos de entrenamiento comparativamente muy pequeña, se consiguen sin embargo muy buenos resultados en esa especialización. En muchos casos de uso esta fase, que ya no es obligatoria, se realiza mediante aprendizaje supervisado pero en otros entornos, y en concreto en la 'conversión en razonador', se utiliza el aprendizaje por refuerzo.


• Uso y 'prompting': Finalmente, y como es quizá ya más conocido, se pueden conseguir interesantes adaptaciones y personalizaciones simplemente mediante el uso adecuado del modelo, sin modificarlo en absoluto: mediante la aplicación de técnicas de prompting, mediante la gestión del contexto, etc

Tres grandes estrategias para modelos razonadores

Bueno, tras toda esta base, en este post sólo voy a introducir las tres grandes estrategias que se nos explican en la referencia mencionada más ariiba para transformar un modelo de lenguaje 'normal', en un modelo razonador. Éstas son las estrategias (que veremos con un poco más de detalle en próximos posts)

• Escalado de computación en tiempo de inferencia ('inference-time compute scaling'): A pesar del nombre tan 'espectacular', es la estrategia probablemente más sencilla, porque no implica ninguna forma de entrenamiento sino que trabaja sin modificar el modelo y en la fase final, de uso y prompting. Es decir, aplica fundamentalmente técnicas de ingeniería de prompts como la conocidísima cadena de pensamiento (CoT, 'Chain-Of_Thought') o la auto-consistencia ('self-consistency'). Trabajamos, pues, sin modificar el modelo, en tiempo de inferencia y lo hacemos mediante técnicas que mejoran el razonamiento pero con mayor coste computacional y de tokens (de ahí que se hable de escalado).


• Aprendizaje por refuerzo ('reinforcement-learning'): Se centra en la segunda etapa, el ajuste fino. En un entrenamiento sobre problemas lógicos o complejos, se aplican formas diferentes de aprendizaje por refuerzo para 'dar pistas' al modelo acerca de cuál es la mejor forma de tratar el problema.


• Destilado ('distillation'): Es una estrategia en que un gran modelo entrena a otro que es el que se convertirá en modelo razonador. Sobre este segundo actuamos en la fase de ajuste fino 'fine tuning'.

Conclusiones

Los modelos razonadores son uno de los grandes avances de los dos últimos años y habilitan la aparición de la IA agéntica.

Con este post, inicio una serie en que intentaremos ver cómo se puede convertir un modelo de lenguaje 'clásico' en un modelo razonador. De momento, en este post, hemos identificado las tres grandes estrategias.

Unas reflexiones transitorias sobre la propuesta de Dario Amodei para controlar la IA

Esta última semana el mundo de la inteligencia artificial, y casi diría que el mundo mediático en general, se han visto sacudidos por las comunicaciones y los comentarios sobre los riesgos de la inteligencia artificial, riesgos que, en algunas opiniones, implican la capacidad de acabar incluso con la humanidad.

Aunque de alguna manera llueve sobre mojado al haberse producido, por ejemplo, incidentes en que agentes IA  realizaron ataques no solicitados y saltándose las protecciones (como el famoso incidente en que un enjambre de agentes de OpenAI intentaron atacar Hugging Face), todo este ruido se disparó con la renuncia el 9 de Septiembre del investigador de Anthropic Jacob Coxon quien dimitió de su puesto en la empresa, supuestamente ante su disconformidad con la falta de responsabilidad de la misma (y también de su empresa anterior, OpenAI) en el desarrollo de los modelos frontera y la superinteligencia. El primer tuit de Coxon, al que seguían varios más, decía:

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives

A esto han seguido miríadas de publicaciones y comentarios en todo tipo de medios (seguramente, apreciado lector, tú mismo/misma hayas escuchado muchas cosas sobre esto en los últimos días).

Pero más que ese tuit, y más que los comentarios que le han seguido, me ha interesado, por ser quien es, la publicación hecha por Dario Amodei, CEO de Anthropic, el 12 de Septiembre, hace ahora, en el momento en que esto escribo, dos días, y tres días después del viral tuit de Jacob Coxon, sun antiguo empleado. 

La publicación

La publicación, realizada en su página oficial, y titulada 'We must pace the frontier', pide, en esencia, acompasar el desarrollo de los llamados modelos frontera (los modelos generativos más avanzados y en camino hacia la superinteligencia) con nuevos controles y eventuales regulaciones. En concreto, propone una estrategia con tres pasos, a saber:

• Evaluadores incorporados ('embedded evaluators'): Como una forma muy transparente de control, consiste en dar acceso permanente a los sistemas de los creadores de modelos frontera (como el propio Anthropic), a evaluadores externos independientes, con similares permisos y accesos que si fueran un empleado, para que esos evaluadores puedan verificar prácticas de seguridad, y todo ello con derecho a publicar sus hallazgos sin control editorial por parte de la empresa. Unilateralmente, Anthropic se compromete a adoptar esta medida


• Coordinación democrática: coordinación de las empresas punteras de IA en países democráticos, una coordinación que incluye estándares, límites al ritmo de avance en los modelos frontera, y todo ello con apoyo regulatorio, entre otras cosas para superar posibles conflictos en materia de competencia (leyes 'antitrust').


• Coordinación global: EE.UU. y otros gobiernos democráticos intentan coordinar con potencias autoritarias (principalmente China), aunque reconoce que la verificación será muy difícil.

Algunas reacciones 'a bote pronto'

Soy consciente de que, en los dos días anteriores, y seguro que en los que siguen, ha habido y habrá muchas, muchísimas reacciones a esta publicación de Amodei. Aunque sin tiempo a profundizar en ello, he visto, que, en general, la publicación ha recibido el apoyo de algunos de los grandes líderes de la inteligencia artificial, como Sam Altman, de OpenAI, quien el mismo día de la publicación retuiteaba el tuit de Amodei, añadiendo:

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon.

o de Demis Hassabis de Google, quien un día después tuiteaba

Dario's essay points towards the right path forward. The details need working through, but the direction is correct for meeting this critical moment. This is also why we recently put out our proposal for an industry-wide standards body for frontier AI

y también he escuchado que, por el contrario, el presidente norteamericano Donald Trump estimaba que no era necesaria más regulación, creo que entendiendo que los riesgos que se alegaban eran exagerados.

Mis reflexiones

Y confieso que no he tenido tiempo de profundizar en las reacciones y argumentaciones tanto de los líderes mundiales de la IA como de personas a las que sigo en redes y cuya opinión aprecio y quiero conocer (y conoceré).

Pero como ya he hecho anteriormente en algún caso parecido quiero, antes de leer mucho lo que han dicho 'otros', intentar hacerme mi propia opinión.

Es posible que, en el alud de comentarios y opiniones que sobre el tema se han publicado, se están publicando y se publicarán, mi post tenga una importancia casi nula. Sin embargo, no quiero dejar de escribirlo.

En parte, claro, por los lectores de este blog, para que puedan tener, si les interesa, mi opinión. Pero también por mí mismo y mi proceso mental y crítico. Muchas veces he dicho que yo pienso cuando escribo y el redactar este artículo me ayuda por eso a poner en orden mis ideas, que reconozco que, en este tema, no están del todo consolidadas.

¿Por qué transitorias?

¿Y por qué hablo de reflexiones transitorias?

Bueno pues porque, como he dicho, son conclusiones preliminares que obtengo yo un poco sobre la marcha sin haber leído aún los comentarios y opiniones de muchas personas autorizadas y me pueden faltar datos y perspectivas para adquirir un opinión más firme.

Y porque, además, para estar yo más seguro de mi opinión, necesito investigar más sobre cómo se están implementando realmente estos modelos y sus protecciones.

Así que no es imposible que, en algún momento, pueda matizar o incluso cambiar de forma notable algunas de las conclusiones preliminares que voy a expresar en este post.

Los riesgos

Y lo primero es razonar sobre si realmente son tan peligrosos los modelos frontera actualmente, si realmente esta alarma tiene sentido o estamos exagerando.

Bueno, aunque no tengo una argumentación cien por cien racional, tiendo a pensar que hay una cierta exageración. Realmente, creo que acabar con nuestra civilización o con la raza humana es, por suerte, dificilísimo, así que sí, pienso que hay una cierta exageración.

Sin embargo, eso no me consuela, por decirlo de alguna manera, porque sí percibo que los riesgos, los riesgos graves y más allá de la pura ética, han aumentado considerablemente y que, aunque veo muy difícil que se puedan convertir en existenciales, sí podemos sufrir incidentes muy graves. 

Y creo eso, por tres motivos, o con tres vectores de riesgo, por cierto, muy parecidos a los que apunta el propio Amodei, aunque puedo asegurar y aseguro que son opiniones propias.

• La dificultad del control
• La pérdida de comprensión
• Usos maliciosos y ciberataques

Veámoslos

Mi visión de los grandes riesgos 1: La dificultad del control

El primer vector tiene que ver con la dificultad del control. ¿A qué me refiero?

Cuando se lanzó ChatGPT, y con las evoluciones subsiguientes, ya supimos que estábamos hablando de unos modelos de base probabilista, que no siempre producen la misma respuesta, que no siempre 'aciertan', que no estamos seguros de lo que van a responder y que producen las llamada alucinaciones. Aunque eso es molesto, y tiene algún riesgo, mientras estemos hablando sólo de chabots que contestan a nuestras preguntas o que generan contenido, los riesgos son todavía bastante limitados y tenemos el control.

Pero es que los modelos han evolucionado, se han convertido en razonadores, capaces de crear planes de acción y, no sólo eso, sino que mucho más importante, ahora los estamos utilizando no sólo para que nos contesten preguntas o generen contenidos, sino que los estamos utilizando para automatización de procesos y tareas  de manera autónoma en los denominados agentes. Y a estos agentes les dotamos, mediante las así llamadas herramientas, de acceso a todo tipo de recursos y sistemas e, incluso, en el caso de la IA física, a la interacción con y control de dispositivos.

Es decir, estamos creando sistemas autónomos, que deciden por sí mismos pero no con base en reglas conocidas a priori, sino con base en razonamiento propio en tiempo de ejecución y con un alto poder de interacción con el exterior.

Como su comportamiento no se basa en reglas prefijadas y conocidas, son mucho más difíciles de probar que una automatización tradicional y creo que, realmente, nunca puedes estar al 100% seguro de haber eliminado cualquier comportamiento incorrecto. Siempre te pueden sorprender. De igual manera, aunque se establezcan, como debe ser, guardarraíles éticos y de seguridad, no me parece viable el garantizar al 100% que esos guardarraíles evitan con total seguridad cualquier tipo de error o comportamiento inadecuado.

Y menos con unos modelos cada vez más potentes e 'inteligentes', que adivinan incluso cómo saltarse protecciones para cumplir sus objetivos.

Es decir, tenemos unos sistemas eventualmente poderosos, que no podemos garantizar que controlemos al 100%. Y eso, creo, deja la vía abierta a fallos y accidentes. Dependiendo de para qué utilicemos esos agentes y a qué les hayamos dado acceso, pueden ser más graves o menos, pero creo que el riesgo está ahí. Y son conocer en detalle, me parece que el incidente de OpenAI con Hugging Face es una materialización de este riesgo.

Si esto se traslada a sistemas críticos, el riesgo está servido. 

Mi visión de los grandes riesgos 2: la pérdida de comprensión

Este segundo vector, en realidad, lo único que hace es agravar el anterior. A medida que los modelos se hacen más complejos, se nos hace más difícil a nosotros, humanos, entender o casi diría mejor abarcar su funcionamiento y, por tanto, se nos hace más difícil imaginar 'qué podría ir mal' y diseñar y adoptar  medidas en cualquier punto del ciclo de vida para evitar esos problemas potenciales.

Esto se pude agravar, seguramente se esté agravando ya, con la estratega en que los modelos diseñan otros modelos sin concurso humano en el denominado 'Recursive Self Improvement'.

Si los modelos que introducimos en los agentes han sido creados de esta forma, si los entendemos peor, a priori tendremos aún menos capacidad de imaginar cómo controlarlos. 

Mi visión de los grandes riesgos 3: el uso malicioso y los ciberataques.

Con todo y todo, confío en que los dos riesgos anteriores se puedan de alguna manera 'domar'. Por un lado, tengo una gran confianza en la tecnología y la ingeniería y en que haya quien imagine y desarrolle en algún momento métodos efectivos y 100% fiables para garantizar el control y que a lo mejor ahora no se nos ocurren o no conocemos.

Además, no veo que ninguna de las grandes empresas de IA tenga el menor interés en hacer modelos o sistemas peligrosos. Aparte de la, quiero confiar, motivación ética, es que me parece que, simplemente, no les interesa, incluso como puro negocio.

Pero cosa muy diferente, es el uso expresamente malicioso, el uso en forma de ciberataques ya no sólo por parte de hackers individuales u organizaciones de hackers sino, aún peor, por parte estados en la denominada guerra híbrida. Y eso me preocupa mucho porque, este tipo de colectivos sí tienen intereses y motivaciones, por más lamentables que sean, para hacer daño y para aprovecharse por un lado de la potencia de los modelos frontera y por otro de sus vulnerabilidades.

Por desgracia, estas organizaciones maliciosas ya han demostrado tener recursos, talento técnico e imaginación.

Valorando la propuesta 

La propuesta de Amodei parece, pues, en la buena dirección o al menos, necesaria. Es decir, si esos riesgos son ciertos, y Amodei piensa que lo son (y yo también), algo hay que hacer.

Dando por hecho que no parece muy creíble, y Amodei no lo propone, una congelación del desarrollo de los modelos frontera, parece que hay que apuntar más en el sentido de muchos mayores mecanismos de control a nivel regulatorio, operativo y tecnológico.

En la propuesta de Amodei no aparece claramente ninguna propuesta tecnológica para mejorar el control. Me refiero a que no aparece ninguna orientación de un algoritmo o sistema de control que, realmente, garantice el control estricto y fiable de un agente. No sé si es que no la tiene o que no la quiere contar, pero no aparece en su propuesta, aunque es cierto que habla de temas como el alineamiento, la interpretabilidad o la excelencia operativa evitando errores de ejecución o, incluso, el establecimiento de estándares, que pudieran conectar con soluciones técnicas.

Pero el foco de la propuesta de Amodei está más en la supervisión (sobre todo con los evaluadores incorporados) y la coordinación mundial, en un primer nivel en estados democráticos y en un segundo a nivel global, incluyendo sobre todo a China.

Aunque la propuesta de Amodei tiene sentido, y así parecen reconocerlos muchas autoridades de la IA, no deja de generarme ciertas reservas.

Primera reserva: ¿es realmente suficiente?

No estoy muy seguro de si con lo que propone Amodei eliminamos realmente los riesgos. Seguro que operamos en la dirección de reducirlos, pero no veo claro que los eliminemos.

¿Por qué?

Pues porque creo que mientras no se pueda garantizar técnicamente un control total de los agentes, siempre habrá 'vías de escape', agujeros por lo que los agentes o sistemas inteligentes autónomos se puedan 'escapar' y producir incidentes graves. Y la propuesta no parece incidir en ello.

Mecanismos como la coordinación entre grandes empresas podrían llevar a la aparición de esa solución tecnológica, pero no parece evidente. Y mecanismos como el de los evaluadores embebidos que es un gran ejercicio de trasparencia y que, bien ejecutado, puede llevar a detectar y eliminar muchos problemas, pero tampoco me parece que garantice eliminar los problemas de raíz.

Es decir, trabajamos en la buena dirección, en detectar problemas, corregirlos y coordinar mejores prácticas... pero no ofrecemos, al menos de momento, una garantía total.

Es posible que es que ahora no podamos hacer otra cosa

Segunda reserva: el liderazgo americano

A pesar de que, con el permiso de China, nadie niega el liderazgo norteamericano y de sus empresas en materia de tecnología en IA, no me deja buen sabor de boca la insistencia en el documento en el liderazgo por parte de los Estados Unidos en esta materia. 

Soy plenamente consciente de que, en concreto, Europa no tiene el nivel tecnológico ni de liderazgo que poseen los Estados Unidos, pero sí ha sido pionera, con mayor o menor acierto, en regulación y es un mercado importantísimo para la IA. Pues bien, a Europa ni se la menciona. Por supuesto, aún menos a Sudamérica o África.

Insisto en que tengo claro el liderazgo real de Estados Unidos tanto a nivel técnico como político y económico, pero no me acaba de parecer una buena forma de comenzar a plantear una consenso de países democráticos, con esa forma de imposición, por más que, 'de facto', seguro que ocurriría.

Tercera reserva: la viabilidad geoestratégica

Añadido a lo anterior, tengo dudas, el propio Amodei también, de la viabilidad de subir a China 'al carro'. Y, si no se consigue subir a China a este tren, probablemente todo quede en agua de borrajas', porque la competencia, tanto económica con geoestratégica llevarán seguramente, no sólo a que no se produzca la más mínima ralentización en el desarrollo de la IA, sino a todo lo contrario.

Aunque no es más que un detalle de comunicación, de la misma forma que afeaba en la reserva anterior el que se imponga el liderazgo de Estados Unidos, que se considere de forma tan secundaria, en realidad nula, a actores como Europa, tampoco me parece que la mejor forma de conseguir el interés de China sea echarles en cara desde el principio que son un estado autoritario como se hace en la publicación de Amodei.

Todos sabemos que China es un estado autoritario, pero si de verdad quieres que te acompañe, quizá se deberían haber utilizado algún eufemismo o algún rodeo. 

Cuarta reserva: ¿por qué un artículo publico?

La última reserva que quisiera expresar, va hacia el propio sentido de esta propuesta y de hacerla pública como si fuese un post de un blog o una carta abierta.

Aquí no lo tengo claro, pero me hago varias preguntas.

Está claro que Amodei es un personaje importante hoy en día y con mucho poder real. Si quiere ponerse de acuerdo con OpenAI o con Google, por ejemplo, creo que no tiene más que levantar el teléfono y hablarlo. Probablemente puedan tener reuniones discretas para plantear una colaboración ¿Por qué entonces una comunicación abierta a la que luego 'los demás' reaccionan con su acuerdo? ¿Es sólo una puesta en escena de algo que realmente ya han hablado y acordado? Y, si fuese así ¿por qué no hacen una comunicación conjunta?

¿Es posible que, simplemente, ante el ruido creado por Jacob Coxon, Anthropic, a través de su CEO se hayan sentido obligados a hacer una forma de declaración pública en el sentido de una mayor control y responsabilidad? Y, si fuese así ¿se puede quedar todo en 'agua de borrajas', en pura estrategia de comunicación'?

¿Es posible que se busque solo un poco un cambio de imagen de las empresas de IA, ahora que parece que generan cierto miedo e incluso antipatía, ya sea como estrategia general de comunicación o ya sea para preparar las eventuales salidas a bolsa... o la explicación de por qué no salir a bolsa? 

En una línea parecida, aunque con resultado diferente, al caso de la comunicación con las otras empresas de IA, me llama la atención la relación con la administración Trump. ¿Hace Amodei esta propuesta, que incluye regulación e importantes movimientos geoestratégicos, sin pulsar la opinión de Trump y su administración? Eso parece, visto lo visto, o a lo mejor es que sí la pulsó y sabía que la respuesta iba a ser negativa. Pero no deja de sorprenderme un poco y me hace preguntarme, sin que tenga una respuesta ahora mismo, qué significa esto realmente.

O, simplemente, ¿estamos ante un globo sonda'? ¿Es qué Amodei, y quizá las otras empresas líderes en IA quieren ver cómo reacciona la administración norteamericana, China y el mercado?

Una esperanza

¿O, quizá, me 'estoy pasando' de susceptible y desconfiado y realmente Amodei siente que debe hacer algo por la securización de la IA y este es un camino, un pistoletazo de salida para hacer algo realmente importante?

Como dije antes, aunque sólo sea con visión de negocio, creo que las primeras interesadas en una IA confiable son las empresas que crean los modelos.

Así que, tampoco podemos descartar el que, más o menos acertada, más o menos viable, la propuesta e intenciones de Amodei sean sinceras y que, sean estas acciones u otras, se comiencen a dar pasos firmes por una IA igual de poderosa pero mucho más segura.

¡Ojala!

Conclusiones

Por desgracia, creo que, en efecto, la IA actual comienza a exhibir riesgos no menores, riegos que, seguramente no estemos controlando bien.

Aunque hay elementos en la propuesta de Amodei que no me convencen o que me generan reservas, lo cierto es que algo tenemos que hacer, y quizá ese artículo sea el punto de partida para 'algo'.

Veremos.

Algunas limitaciones en los modelos razonadores... de momento

Desde hace creo que algo más de un año, dentro del movidito mundo de la inteligencia artificial generativa, ocupan un lugar muy importante un tipo de modelos de lenguaje denominados modelos razonadores o LRM ('Large Reasoning Models').

¿Qué tal funcionan?

Desde luego, la experiencia como usuario es que, sin alcanzar la perfección, mejoran a sus predecesores no razonadores en una buena variedad de casos (aunque quizá ralentizando y aportando en ocasiones respuestas demasiado largas). Pero ¿es eso objetivamente cierto?

En este post traigo un muy breve resumen del paper titulado 'The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity' en que un equipo de Apple analiza tres importantes modelos razonadores, detectando algunas limitaciones y llegando a interesantes resultados.

Modelos razonadores

Sin entrar en mucho detalle (probablemente dentro de no mucho les dedique varios posts) podemos decir que un modelo razonador es una variante de un modelo de lenguaje o un modelo frontera que está preparado para tratar problemas que requieran cierta lógica o cierta estrategia de resolución. 

En el caso de los modelos 'normales', ante una petición del usuario, fundamentalmente contestan con 'lo que saben' digamos que directamente. Pero el caso de los modelos razonadores, para satisfacer una petición del usuario, primero establecen un plan de acción (con frecuencia basado en la aplicación de  técnicas como el CoT, '(Chain-Of-Thought'), un plan que luego ejecutan e incluso revisan en función del resultado de los pasos intermedios.

El planteamiento del experimento

El experimento realizado por el equipo de Apple pretendía ver, fundamentalmente, cómo reaccionaban estos modelos a medida que se incrementaba la complejidad del problema.

Entre los modelos razonadores eligen algunos de los más importantes en el momento de hacer las pruebas y los suelen comparar con la versión equivalente de modelo sin razonamiento. Así, por ejemplo, en el caso de Anthropic utilizan Sonnet 3.7 (tanto versión 'thinking' como sin razonamiento). En el caso de DeepSeek ponen a prueba DeepSek-R1 (razonador) frente a DeepSeek V3 (no razonador). De OpenAI usan o3-mini (razonador).

A los modelos elegidos los someten a problemas de creciente complejidad, basados en cuatro tipos de juegos o problemas a resolver:

• Juego 'Torres de Hanoi'
• Juego 'Checker jumping'
• Juego Cruzar el río ('river crossing')
• Juego de bloques:  

Se trata de juegos seleccionados intencionadamente para que aporten diferencias en cuanto a complejidad de la planificación, profundidad composicional, etc.

Sobre estos juegos se van proponiendo escenarios de creciente complejidad.

Los resultados y las limitaciones de los modelos

Lo que creo más interesante, y hasta cierto punto sorprendente es el diferente funcionamiento según lo que los autores denominan regímenes de complejidad ('complexity regimes'). 

Y lo que encuentran es que, para complejidades bajas, los resultados de utilizar un modelo razonador y no razonador son similares e, incluso, en ocasiones es mejor la respuesta del modelo no razonador.

Para complejidades medias, los modelos razonadores exhiben. como cabía esperar, su ventaja a veces de forma muy clara, frente a los no razonadores.

Sin embargo, lo más curioso es que, ante complejidades altas, ambos tipos de modelos, razonadores y no razonadores, sufren un colapso en su resultado llegando a una precisión nula. Es cierto que los modelos razonadores suelen 'tardar' más en colapsar, pero lo acaban haciendo.

También observan que ante problemas simples, los modelos razonadores tienden a 'pensar de más' ('overthinking'), lo que lleva a una baja eficiencia.

También detectan algún comportamiento paradójico en situaciones en que hay que realizar un cálculo exacto ('exact computaton') para los que el modelo dispondría de algoritmos muy directos y que, sin embargo, no  utiliza, perdiendo eficiencia y precisión.

Adicionalmente, cuestionan algunos de los paradigmas actuales de evaluación de modelos razonadores. Por un lado afirman que las formas habituales de evaluación que se basan 'benchmarks' matemáticos y en su lugar proponen, como hemos mencionado, otro tipo de problemas que permiten variar la complejidad del problema. 

En este aspecto más procedimental también proponen no centrarse sólo en el resultado final, sino también evaluar trazas intermedias.

De momento

Y esos son, muy brevemente, los resultados que obtienen. Son muy interesantes pero ¿siguen siendo válidos? 

Apostaría a que, al menos parcialmente, si, pero el paper que comento se publicó en Noviembre de 2025, es decir, unos nueve meses antes de cuanto escribo este post. En muchas otras disciplinas humanas nueves meses son muy poco tiempo, pero inteligencia artificial generativa es bastante y, después de este estudio (y, sobre todo, después de los modelos que utiliza) han aparecido nuevos y se supone que mejores modelos. 

¿Qué pasaría si se sometiese a esas mismas pruebas al modelo Fable de Anthropic o al flamante GPT6-Astra de OpenAI? Asumo que, en general, se mejoraría la precisión de los resultados pero ¿Qué pasaría con la eficiencia? Y, sobre todo ¿Se mantendría ese patrón ante los regímenes de complejidad muy alta y el colapso ante problemas muy complejos?

Conclusiones

He resumido bastante el resultado de una comparativa realizada por un equipo de Apple sobre modelos razonadores y comparándolo con no razonadores.

Los resultados muestran algún comportamiento paradójico y, sobre todo, un colapso ante problemas de muy alta complejidad. 

¿Se mantienen cualitativamente esas paradojas y ese colapso en los últimos modelos? Sinceramente, en el momento de escribir este post no lo sé, pero intuyo que los modelos habrán mejorado, puede que sustancialmente, pero apostaría a que alguna limitación se mantiene todavía en cierta medida en los modelos más actuales.

La optogenética holográfica: una puerta a la programación del cerebro

En el post anterior, en que introdujimos brevemente la idea de los neuroderechos comentábamos que actualmente en neurotecnología estamos más avanzados en la lectura e interpretación de señales cerebrales que en la 'escritura', es decir  la actuación sobre el cerebro o el sistema nervioso.

Sin embargo, que estemos menos avanzados no significa que no existan ya técnicas para hacerlo y que no se trabaje en ello. En el artículo anterior, por ejemplo, mencionábamos el éxito del Deep Brain Stimulation que, aunque de una forma muy sencilla (simplemente, envía unos pulsos a modo de marcapasos cerebral) consigue disminuir muchos los temblores asociados al Parkinson. Y también, hace ya un tiempo, publiqué en este blog un post en que hablaba de las técnicas de estimulación que se están aplicando en neurotecnología.

Sin embargo, en este post quiero mencionar muy brevemente, una técnica que me ha llamado la atención recientemente: la optogenética holográfica. Se trata de una técnica desarrollada por Rafael Yuste y su equipo. Y me encuentro una muy breve pero estimulante descripción de la misma precisamente en el libro 'Neuroderechos: un viaje hacia la protección de lo que nos hace humanos' del propio Rafael Yuste en que basaba mi post anterior.

Los conjuntos neuronales

Antes de describir muy brevemente en qué consiste la optogenética holográfica, mencionar los llamados conjuntos neuronales.

En el libro, Yuste no explica cómo los modelos sobre el cerebro existentes inicialmente lo concebían como un conjunto de neuronas interconectadas donde la base del funcionamiento es la neurona individual.

Sin embargo, e inspirado por el concepto matemático de los 'atractores' de John Hopfield, Yuste demostró experimentalmente la existencia de los conjuntos neuronales que son grupos de neuronas fuertemente interrelacionadas, que se disparan a la vez, y que constituyen una realización biológica de esos 'atractores' de Hopfield.

Estos conjuntos neuronales, sin embargo, no necesariamente están formados por neuronas contiguas, sino que las neuronas que los conforman se pueden encontrar dispersas e incluso entremezcladas con las de otros conjuntos neuronales.

A partir de ahí, en la visión de Yuste, el funcionamiento del cerebro hay que entenderlo más con base en base en estos conjuntos neuronales que en las neuronas individuales.

Con esta pequeña base, vamos ya a por la optogenética holográfica.

La optogenética holográfica

La optogenética holográfica, dicho de forma muy sencilla, es una técnica que, primero, y usando técnicas genéticas, hace que las neuronas sean sensibles a la luz y se pueda actuar sobre ellas mediante luz. 

Una vez hecho esto, mediante esa luz, en este caso con la aplicación  de un láser, se pueden activar las neuronas (o mejor, los conjuntos neuronales) deseados.

Lo que hizo el equipo de Yuste es crear los patrones de luz para activar las neuronas o conjuntos neuronales deseados y aplicarlo en ratones.

Y esta técnica, la optogenética holográfica, es una forma muy fina de poder 'escribir en el cerebro' y se encuentra probada con éxito en el cerebro de ratones. Y tan fina es que, de manera familiar, y como explica el propio Rafael Yuste el libro, él y su equipo llamaban a esta técnica "el piano" por el manejo que permite del cerebro.

Las posibilidades y los riesgos

Las posibilidades que abre esta técnica (y otras que presupongo que existen o se están desarrollando) son enormes. El equipo de Yuste la utiliza para descifrar el código neuronal, su funcionamiento, pero también presenta muy buenas perspectivas para el tratamiento de afecciones como el autismo o el Alzhéimer.

Sin embargo, es una forma de escritura en el cerebro y abre la puerta a su programación y, por tanto, mal utilizada, podría aumentar los riesgos relacionados con la actuación sobre el cerebro humano. Recordar a este respecto que de las cinco grandes áreas de los neuroderechos que vimos en el post anterior, cuatro de ellas decíamos que hoy en día todavía no se enfrentaban a un gran riesgo porque estaban relacionadas con la 'escritura' en el cerebro todavía 'en pañales'.

Dado que una técnica como la optogenética holográfica, abre la puerta a la escritura, y la escritura fina en el cerebro nos acerca los riesgos contra los que luchan las últimas áreas de los neuroderechos. 

Cierto es, siendo realistas, que se trata de una técnica muy invasiva, primero hay que empezar por una modificación genética y luego son necesarios dispositivos intracraneales para el envío del láser, por lo que no se le puede aplicar a una persona a la ligera sin que esta sea muy, muy consciente de ello. Además, hoy en día, hasta donde sé, ni siquiera está suficientemente probada en humanos ni permitido su uso legalmente.  

Así que, por sí misma, aunque sí que es una puerta para la programación del cerebro, no parece que aún sea una puerta demasiado grande para un uso poco ético de esa programación.

Pero seguro que, en el futuro, o esta técnica evoluciona o, más bien, surgen otras técnicas alternativas quizá menos invasivas y, por tanto, a un tiempo más útiles y más arriesgadas. 

Conclusiones

La optogenética holográfica es una técnica que combina genética y holografía para estimular de manera controlada el cerebro. 

Se trata de una técnica muy potente para la investigación y para, por ejemplo, la eventual terapia de algunas afectaciones mentales o problemas visuales.

Una técnica que va abriendo poco a poco la puerta a la 'programación del cerebro', con sus grandes posibilidades pero también con sus riesgos.