¿Qué tal funcionan?
Desde luego, la experiencia como usuario es que, sin alcanzar la perfección, mejoran a sus predecesores no razonadores en una buena variedad de casos (aunque quizá ralentizando y aportando en ocasiones respuestas demasiado largas). Pero ¿es eso objetivamente cierto?
En este post traigo un muy breve resumen del paper titulado 'The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity' en que un equipo de Apple analiza tres importantes modelos razonadores, detectando algunas limitaciones y llegando a interesantes resultados.
Modelos razonadores
Sin entrar en mucho detalle (probablemente dentro de no mucho les dedique varios posts) podemos decir que un modelo razonador es una variante de un modelo de lenguaje o un modelo frontera que está preparado para tratar problemas que requieran cierta lógica o cierta estrategia de resolución.
En el caso de los modelos 'normales', ante una petición del usuario, fundamentalmente contestan con 'lo que saben' digamos que directamente. Pero el caso de los modelos razonadores, para satisfacer una petición del usuario, primero establecen un plan de acción (con frecuencia basado en la aplicación de técnicas como el CoT, '(Chain-Of-Thought'), un plan que luego ejecutan e incluso revisan en función del resultado de los pasos intermedios.
El planteamiento del experimento
El experimento realizado por el equipo de Apple pretendía ver, fundamentalmente, cómo reaccionaban estos modelos a medida que se incrementaba la complejidad del problema.
Entre los modelos razonadores eligen algunos de los más importantes en el momento de hacer las pruebas y los suelen comparar con la versión equivalente de modelo sin razonamiento. Así, por ejemplo, en el caso de Anthropic utilizan Sonnet 3.7 (tanto versión 'thinking' como sin razonamiento). En el caso de DeepSeek ponen a prueba DeepSek-R1 (razonador) frente a DeepSeek V3 (no razonador). De OpenAI usan o3-mini (razonador).
A los modelos elegidos los someten a problemas de creciente complejidad, basados en cuatro tipos de juegos o problemas a resolver:
- Juego 'Torres de Hanoi'
- Juego 'Checker jumping'
- Juego Cruzar el río ('river crossing')
- Juego de bloques:
Se trata de juegos seleccionados intencionadamente para que aporten diferencias en cuanto a complejidad de la planificación, profundidad composicional, etc.
Sobre estos juegos se van proponiendo escenarios de creciente complejidad.
Los resultados y las limitaciones de los modelos
Lo que creo más interesante, y hasta cierto punto sorprendente es el diferente funcionamiento según lo que los autores denominan regímenes de complejidad ('complexity regimes').
Y lo que encuentran es que, para complejidades bajas, los resultados de utilizar un modelo razonador y no razonador son similares e, incluso, en ocasiones es mejor la respuesta del modelo no razonador.
Para complejidades medias, los modelos razonadores exhiben. como cabía esperar, su ventaja a veces de forma muy clara, frente a los no razonadores.
Sin embargo, lo más curioso es que, ante complejidades altas, ambos tipos de modelos, razonadores y no razonadores, sufren un colapso en su resultado llegando a una precisión nula. Es cierto que los modelos razonadores suelen 'tardar' más en colapsar, pero lo acaban haciendo.
También observan que ante problemas simples, los modelos razonadores tienden a 'pensar de más' ('overthinking'), lo que lleva a una baja eficiencia.
También detectan algún comportamiento paradójico en situaciones en que hay que realizar un cálculo exacto ('exact computaton') para los que el modelo dispondría de algoritmos muy directos y que, sin embargo, no utiliza, perdiendo eficiencia y precisión.
Adicionalmente, cuestionan algunos de los paradigmas actuales de evaluación de modelos razonadores. Por un lado afirman que las formas habituales de evaluación que se basan 'benchmarks' matemáticos y en su lugar proponen, como hemos mencionado, otro tipo de problemas que permiten variar la complejidad del problema.
En este aspecto más procedimental también proponen no centrarse sólo en el resultado final, sino también evaluar trazas intermedias.
De momento
Y esos son, muy brevemente, los resultados que obtienen. Son muy interesantes pero ¿siguen siendo válidos?
Apostaría a que, al menos parcialmente, si, pero el paper que comento se publicó en Noviembre de 2025, es decir, unos nueve meses antes de cuanto escribo este post. En muchas otras disciplinas humanas nueves meses son muy poco tiempo, pero inteligencia artificial generativa es bastante y, después de este estudio (y, sobre todo, después de los modelos que utiliza) han aparecido nuevos y se supone que mejores modelos.
¿Qué pasaría si se sometiese a esas mismas pruebas al modelo Fable de Anthropic o al flamante GPT6-Astra de OpenAI? Asumo que, en general, se mejoraría la precisión de los resultados pero ¿Qué pasaría con la eficiencia? Y, sobre todo ¿Se mantendría ese patrón ante los regímenes de complejidad muy alta y el colapso ante problemas muy complejos?
Conclusiones
He resumido bastante el resultado de una comparativa realizada por un equipo de Apple sobre modelos razonadores y comparándolo con no razonadores.
Los resultados muestran algún comportamiento paradójico y, sobre todo, un colapso ante problemas de muy alta complejidad.
¿Se mantienen cualitativamente esas paradojas y ese colapso en los últimos modelos? Sinceramente, en el momento de escribir este post no lo sé, pero intuyo que los modelos habrán mejorado, puede que sustancialmente, pero apostaría a que alguna limitación se mantiene todavía en cierta medida en los modelos más actuales.
No hay comentarios:
Publicar un comentario