Notas sobre aprendizaje por refuerzo (IX): aprendizaje de políticas y el ascenso de gradiente

En esta ya larga serie de posts que estoy dedicando al aprendizaje por refuerzo ('reinforcement learning'), nos habíamos quedado en el punto en que estábamos tratando con problemas en que ya usábamos redes neuronales como parte del algoritmo ('deep reinforcement learning') y que, además, nos enfrentábamos a un espacio de estados continuo, como el que ocurre, por ejemplo, en la locomoción de robots. 

Y habíamos pasado a trabajar directamente con políticas, desentendiéndonos de los valores. En este post vamos a avanzar sólo un poquito más, indicando una de las formas habituales en que se hace eso, utilizando, como es tan común en deep learning, el concepto de gradiente

Repasando

Antes de revisar las nuevas ideas, el repaso habitual, tomando como esquema la ya muy conocida figura:

Nos encontramos ante la situación de un agente (por ejemplo un robot) que interacciona con un entorno. Ese entorno se encuentra en un estado s. La interacción del agente con el entorno se concreta en la ejecución por parte del agente de acciones, a. Como consecuencia de esas acciones, el entorno puede experimentar una transición a un nuevo estado s' y el agente recibir una recompensa r. El agente decide la acción a aplicar en cada momento, siguiendo una política π.

Lo que pretendemos en el aprendizaje por refuerzo es aprender la mejor política π, de forma que se maximice la recompensa acumulada.

Los algoritmos más básicos, con unos estados discretos y de número reducido en el entorno, utilizan mecanismos basados en tablas (algoritmos tabulares) en que, para cada estado, se obtiene un valor de recompensa acumulada. Hablamos de recompensa acumulada porque lo que se busca no es optimizar la recompensa ante una acción aislada, sino ante una secuencia de acciones. Esa secuencia de acciones y sus consiguientes transiciones de estados y recompensas constituye lo que se denomina una trayectoria y, al final, en una trayectoria, tendremos una recompensa acumulada.

Lo métodos tabulares, como decimos, establecen en una tabla, el valor de esa recompensa acumulada esperada, que se tabula por cada estado (V) o por cada estado-acción (Q).

Cuando la dimensión del problema es muy grande, dejamos de trabajar con estados, la situación del entorno la representamos por unas características y usamos redes neuronales para implementar las funciones de valor y la política, conduciendo al 'deep reinforcement learning'.

El último paso visto en el post anterior es cuando estamos en una situación con estados y acciones no discretos sino continuos. Y nos quedamos diciendo que, en esa situación, nos olvidamos de trabajar con esa función Q que nos daba la recompensa acumulada esperada para un estado-acción sino que trabajamos directamente con la política π

El esquema de funcionamiento

Siguiendo, como en toda esta serie de posts, lo indicado el  libro 'Deep reinforcement learning' de Aske Plaat, observamos que el esquema básico de funcionamiento en ese aprendizaje de una política en un problema continuo, se puede resumir en los siguientes pasos

• Inicializamos los parámetros θ de la política


• Hasta que se alcance la convergencia, repetimos
  
  
  • Muestreamos una nueva trayectoria τ
  
  
  • Si τ es una 'buena trayectoria', modificamos los parámetros θ en la dirección de 'acercarnos' a esa trayectoria. Si se trata de una 'mala trayectoria', por el contrario, modificamos los parámetros en el sentido de 'alejarnos' de esa trayectoria.

Claro, para que este esquema de algoritmo sea operativo, necesitamos alguna forma de ver eso de que una trayectoria 'es buena' o 'mala', es decir, necesitamos medir lo que se denomina la calidad de la política, J. Una forma posible de hacerlo es retornar a las funciones valor, V, y tomar como calidad de la política el valor de la política en el estado inicial, s0, según esa función V, lo que expresado matemáticamente sería

J(θ) = V^π(s₀)

Y, lógicamente, lo que queremos es maximizar esa calidad de la política. Suponiendo que esa calidad es una función diferenciable (cosa que ya se imaginará el lector vamos a buscar de forma explícita y que no sucederá por casualidad), lo que vamos a hacer es trabajar con el gradiente . El gradiente nos da la variación de esa función de calidad ante un cambio de parámetros. Matemáticamente, eso significa hacer unas derivadas parciales en cada una de las dimensiones pero, geométrica e intuitivamente, implica calcular y utilizar la 'inclinación' de la superficie definida por por la función calidad de la política y, formalmente, se expresaría como

∇_θJ(θ) = ∇_θV^π(s₀)

En cada iteración, ajustaremos los parámetros θ aplicando la sencilla fórmula

θ_t+1 = θ_t + α · ∇_θJ(θ)

Es decir, en cada paso, los parámetros se ajustan sumándoles el gradiente de la calidad de la política (es decir, cómo varía), multiplicados por un factor de aprendizaje, α, que es un número real positivo, con frecuencia comprendido entre 0 y 1.

Los lectores familiarizados con las matemáticas en general y con las matemáticas del machine learning y el deep learning en particular, seguramente ya habrán pensado en el algoritmo de descenso de gradiente, tan habitual, por ejemplo, en el aprendizaje de redes neuronales. Y habrán pensado bien porque, en efecto, esa es la idea, con la única sutil diferencia de que, mientras en el aprendizaje de deep learning habitual buscamos normalmente minimizar una función error, en este lo que queremos es maximizar esa calidad. Por ello, en lugar de un descenso de gradiente, usamos un ascenso de gradiente, pero la idea es prácticamente la misma.

Para resumir un poco la idea, lo que vamos a hacer es implementar la política como una red neuronal (recordar que ya estamos en 'deep reinforcement learning'), inicializar sus parámetros (sus pesos) de alguna forma, normalmente de manera aleatoria, y luego hacer un aprendizaje iterando por trayectorias y ajustando esos pesos mediante un ascenso de gradiente aplicado a la calidad de la política medida como el valor de esa política en el estado inicial.

Esta forma de actuar se utiliza, por ejemplo, en el método REINFORCE.

Otros métodos

En el libro citado, se mencionan y explican otras formas de  trabajar para optimizar esa política, como 'actor critic' o TRPO, pero no entraremos en ellos, al menos de momento, y sólo dejar constancia de que existen.

Conclusiones

Aunque hay varios métodos y algoritmos para conseguir trabajar en el caso de problemas continuos en la optimización directa de una política parametrizada, normalmente implementada como una red neuronal, hemos esbozado como se realiza aplicando el ascenso de gradiente sobre una calidad de política que se mide como el valor de esa política en un estado inicial.

Artículos de este blog relacionados

• Notas sobre aprendizaje por refuerzo (VIII): problemas continuos y métodos basados en políticas
• Notas sobre aprendizaje por refuerzo (VII): El triunfo del algoritmo DQN (Deep Q-Network)
• Notas sobre el aprendizaje por refuerzo (VI): los tres retos del deep reinforcement learning
• Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning
• Notas sobre aprendizaje por refuerzo (IV): Métodos tabulares. SARSA Y Q-Learning
• Notas sobre aprendizaje por refuerzo (III): recompensas, trazas y valores
• Notas sobre aprendizaje por refuerzo (II): Visualizando el aprendizaje en procesos de Markov
• Notas sobre aprendizaje por refuerzo (I): Procesos de decisión de Markov

Notas sobre aprendizaje por refuerzo (VIII): problemas continuos y métodos basados en políticas

Y damos un paso más en nuestro recorrido por las particularidades algorítmicas y técnicas del aprendizaje por refuerzo ('reinforcement learning').

En este post vamos a introducir un pequeño cambio de tercio centrándonos en problemas en que el espacio de estados es continuo (y, por tanto, de alguna forma infinito), por lo que debemos cambiar la perspectiva y no basarnos en las funciones del estado, sino en las propias políticas.

¿Te suena extraño ese vocabulario, estimado lector? 

Bueno, pues como en todos los posts anteriores de esta serie, vamos a hacer un breve repaso.

Recordatorio: Aprendizaje por refuerzo y deep reinforcement learning

Los seguidores de esta serie de posts ya conocen bien lo que viene a continuación:

Nos hallamos ante problemas en que un agente interacciona con su entorno, aplicando unas acciones (a) y recibiendo unas recompensas (r) por ello. El entorno está definido por un estado (s) y, al recibir la acción a del agente, eventualmente se produce un cambio de estado a s', momento en que se genera la recompensa r. Para decidir qué acción aplicar en cada momento, el agente aplica una política π. Lo que queremos conseguir es que el agente aprenda la mejor política, aquella que maximice su recompensa acumulada (es decir, no la recompensa ante una acción concreta sino ante toda una serie de acciones que conduzcan, eventualmente a un estado final).

Los algoritmos que hemos visto hasta ahora, se apoyan en la implementación de unas funciones valor para un estado (V) o valor para un estado y acción dados (Q), que nos proporcionan, precisamente, la estimación de la recompensa acumulada.

En los algoritmos más sencillos, aquellos aplicables cuando el entorno exhibe un número finito y no muy alto de estados, utilizábamos un enfoque tabular, trabajando con tablas indexadas con base a estados.

Cuando la dimensionalidad del problema crecía mucho, es decir, el número de estados posibles era demasiado alto, teníamos que cambiar el enfoque. Y ese cambio de enfoque nos llevaba a renunciar a conocer los estados como tal y, en lugar de ello, caracterizar la situación del entorno mediante un conjunto de características. Además, pasábamos a implementar las funciones principales del problema, las funciones de valor y la política como redes neuronales profundas, llegando hasta el 'deep reinforcement learning'.

Robótica y espacios de estados continuos

Los algoritmos usados hasta ahora tienen sentido cuando los estados y las acciones posibles eson discretos y están claramente diferenciados. En ellos, las acciones disponibles están muy claras y podemos diferenciar de manera nítida entre la mejor acción y el resto. 

Sin embargo eso no es así en muchos problemas del mundo real, problemas que además aplican a campos que son de mi muy especial interés como la robótica, los vehículos autónomos o los juegos de estrategia en tiempo real.

En concreto, los métodos que veremos, se aplican a robots que caminan o saltan, lo que se denomina 'locomoción'.

En concreto, en el conocido video que se muestra abajo, se ve a un agente, una especie de robot simulado, que aprende a correr y saltar mediante el tipo de algoritmos que en seguida veremos:

Métodos basados en política ('policy-based methods')

Para estos casos, tal y como se nos indica en el libro 'Deep reinforcement learning' de Aske Plaat, cuyo discurso estoy siguiendo en toda esta serie de posts, debemos cambiar el enfoque. Si hasta ahora nos enfocábamos en las funciones de valor de estado o de estado-accion, ahora abandonamos esas funciones y trabajamos directamente con la política a optimizar π

Estos métodos continúan apoyándose en soluciones de redes neuronales profundas que aprenden mediante el famoso algoritmo de descenso de gradiente.

Los tres métodos que menciona la obra mencionada son 'REINFORCE', 'Asynchonous advantage actor critic' y 'proximal policy optimization'.

Espacios de acciones continuos

En el tipo de problemas que estamos tratando, nos concentramos en las acciones, unas acciones que ahora se encuentran también en un espacio continuo. Así, el movimiento de la junta de un robot puede adoptar un valor continuo en radianes, al igual que lo puede hacer la posición del volante de un vehículo autónomo o el giro de sus ruedas.

Así, por ejemplo, y suponiendo que podemos girar una circunferencia completa, podríamos tener un valor contenido en el rango

[0,2π ] ∈ ℜ

donde existen un número de valores posibles infinito. Una opción podría ser discretizar estos valores. Sin embargo, los métodos de que nos ocupamos optan por trabajar directamente con acciones continuas y, por tanto, unas políticas que también son continuas.

Políticas estocásticas

Además, estos métodos utilizan unas políticas estocásticas que se traducen en distribuciones de probabilidad sobre las acciones.

Esta forma de actuar evita la inestabilidad en el caso de entornos estocásticos que aqueja a los métodos vistos hasta ahora basados en valor. Además, estas políticas incorporan 'de serie' el concepto de exploración' que vimos en el quinto post de esta serie cuando explicamos los algoritmos SARSA y Q-learning.

Conclusiones

De momento detengo aquí la exposición. Por supuesto, sólo hemos rascado un poco y delineado el tipo de problemas, algunos campos de aplicación y las bases de los algoritmos sin entrar a explicar con más detalle ninguno concreto, cosa que seguramente hagamos en un próximo post. Pero prefiero ir poco a poco, porque abordamos una temática bastante compleja.

Lo más interesante, es que nos estamos introduciendo ya en algoritmos muy cercanos a las complejas aplicaciones reales, más allá de los juegos y, en concreto, en elementos muy avanzados propios de la robótica o los vehículos autónomos, que me interesan especialmente.

Artículos de este blog relacionados

• Notas sobre aprendizaje por refuerzo (VII): El triunfo del algoritmo DQN (Deep Q-Network)
• Notas sobre el aprendizaje por refuerzo (VI): los tres retos del deep reinforcement learning
• Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning
• Notas sobre aprendizaje por refuerzo (IV): Métodos tabulares. SARSA Y Q-Learning
• Notas sobre aprendizaje por refuerzo (III): recompensas, trazas y valores
• Notas sobre aprendizaje por refuerzo (II): Visualizando el aprendizaje en procesos de Markov
• Notas sobre aprendizaje por refuerzo (I): Procesos de decisión de Markov

Notas sobre aprendizaje por refuerzo (VII): El triunfo del algoritmo DQN (Deep Q-Network)

En el último post hasta ahora de esta serie dedicada al aprendizaje por refuerzo ('reinforcement learning'), habíamos dejado enunciados los principales desafíos o problemáticas con que nos enfrentamos cuando queremos usar deep learning en aprendizaje por refuerzo, dando lugar así al llamado 'deep reinforcement learning'.

En este post vamos a ver brevemente cómo se enfrentan esos desafíos dando lugar a un exitoso algoritmo conocido como DQN o Deep Q-Network.

Pero, primero, repasemos dónde estamos.

Recordatorio: reinforcement learning

Una vez más, recordamos en qué consiste el aprendizaje por refuerzo. 

Tenemos un agente (puede ser un agente software o un robot, por ejemplo) que interacciona con un entorno. El agente aplica unas acciones a sobre el entorno. Dicho entorno se encuentra caracterizado por su estado, s. Cuando el entorno recibe la acción por parte del agente, puede sufrir un cambio de estado, pasando de s a s'. Como consecuencia de ese cambio de estado, el agente recibe una recompensa, r que, de alguna manera, le indica lo bien o mal que lo está haciendo, lo que se acerca o aleja de sus objetivos. El agente decide su siguiente acción siguiendo una política, π.

Pues bien, lo que quiere el agente es aprender la mejor política, la mejor forma de tomar decisiones en cuanto las acciones  aplicar, de forma que se maximice, no tanto las recompensas individuales, sino la recompensa acumulada al seguir una traza (una secuencia de acciones, caminos de estado, recompensas).

Para los casos relativamente sencillos, los denominados métodos tabulares, lo que se hace es definir una funciones que nos proporcionan una estimación de la recompensa acumulada. Son las funciones valor (V) y la función valor estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a. Algunos de estos métodos tabulares son el SARSA o el Q-Learning. Estos métodos tabulan los estados, y se apoyan en reglas para el cálculo.

Eso vale para casos sencillos, entendiendo como sencillos aquellos de baja dimensionalidad en su espacio de estados (número de estados posibles relativamente pequeño, digamos en el orden de las decenas o centenas. Sin embargo, cuando ese espacio de estados exhibe una altísima dimensionalidad (muchísimos estados posibles), como es frecuente en problemas reales, no podemos usar esos métodos tabulares que se basan en disponer de tablas y reglas sobre los estados.

Y ahí es donde va a entrar en deep learning. Para empezar, en lugar de trabajar directamente con los estados, lo que hacemos es trabajar con unas características ('features') que  resumen y caracterizan, valga la redundancia, esos estados. Y luego usamos esas características como entradas para una red neuronal profunda dando lugar a lo que se suele denominar 'deep reinforcement learning'.

Las redes neuronales lo que nos van a servir es para implementar las funciones complejas y difíciles de definir como son las nuevas funciones V de valores, Q de valores-estado o la propia política π.

Con esto, las funciones que queremos encontrar son unas funciones parametrizadas, en que llamábamos  al conjunto de parámetros (que en el fondo son los pesos de la red neuronal) con la notación θ, y las funciones queremos implementar y optimizar, se convierten en unas funciones parametrizadas V_θ, Q_θ y π_θ.

Recordatorio: los tres desafíos del deep reinforcement learning

Ahí lo habíamos dejado. Bueno, ahí junto con el enunciado de tres retos a que se enfrentan este tipo de soluciones y que, siguiendo la obra 'Deep reinforcement learning' de Aske Plaat, que guía toda esta serie de posts, son tres. 

• La imposibilidad de muestrear al completo el espacio de estados, dada su dimensionalidad.


• La correlación entre las muestras de entrenamiento consecutivas, tendiendo a conducir a óptimos locales más que globales.


• La variación de la función de pérdida durante el propio aprendizaje, debido a que estamos actualizando la función de valores-estado Q, con lo que perseguimos un 'blanco móvil'.

La llegada de DQN (Deep Q-Network)

Tras dificultades históricas serias para superar esos retos, tras 'tiras y aflojas', tras excursiones de la investigación en otro tipo de algoritmos, algunas aportaciones del campo del Deep Learning, entre las que destaca DQN (Deep Q-Network), consiguieron resolver el problema.

Para ello, aplicaron algunas recetas para decorrelar estados. Vamos a ver un par de ellas.

Primera receta: repetición de experiencia

Veíamos que uno de los retos era la correlación entre los estados en las diferentes muestras durante el entrenamiento, lo que despistaba a los algoritmos' haciéndoles converger en mínimos locales. 

La primera receta es la así llamada repetición de experiencia ('experience replay').

El problema de la correlación se produce, básicamente, porque cuando entrenamos el algoritmo usamos secuencias consecutivas de estados y acciones, digamos en una secuencia lógica, en el orden que se van produciendo en 'el mundo real'. Eso hace que los cambios de un paso a otro sean mínimos, los estados sean parecidos, las características sean parecidas y los valores también, lo que ralentiza el aprendizaje, además de que el algoritmo puede, de alguna manera, asumir que existen de manera generalizada unas correlaciones que no son generalmente ciertas sino solo localmente.

La repetición de experiencia ('experience replay') busca la ayuda del aprendizaje supervisado. En 'experience replay se crea un buffer ('replay buffer'), que es una especie de caché de estados que ya habían sido explorados previamente. En el buffer se almacenan, típicamente, del orden de un millón de entradas. Y de ese caché se extraen, de manera aleatoria, muestras para el entrenamiento. 

Esa introducción de muestras aleatorias rompe la secuencia, digamos 'lógica', y genera muestras de entrenamiento más diversas y, eventualmente sin correlación, ya que no se sigue esa secuencia de estados 'lógica' sino una más aleatoria.

Segunda receta: actualización infrecuente de estados

La segunda receta, se centra, sobre todo, en eliminar o minimizar el problema del 'blanco móvil'. Se trata de la actualización infrecuente de estados objetivos ('infrequent updates of target weights').

La actualización infrecuente de estados fue introducida en 2015 y busca eliminar la divergencia que se produce por la frecuente actualización de pesos de la función (la red neuronal) de valores estado Q. Lo que se hace en este caso es que, cada cierto número de actualizaciones, se realiza una especie de clon de la función Q, un clon que, de alguna forma queda congelado durante n pasos y del que obtendremos los valores para esos siguientes n pasos de entrenamiento. Esto hace que los pesos se actualicen más lentamente y atenúa, por tanto, el efecto del 'blanco móvil'.

El recetario no acaba aquí

Bueno, lo importante es que con estas recetas, se consiguió por fin la anhelada convergencia. Se consiguió, por tanto, aplicar el deep learning en el aprendizaje por refuerzo y, por tanto, el poder utilizar aprendizaje por refuerzo en problemas con una espacio de estados de alta o muy alta dimensionalidad...como suelen ser los problemas reales.

La cosa no acaba en estas recetas o en el DQN. A esto ha seguido nuevas investigaciones y nuevos modelos derivados en mayor o menos medida de DQN y de variantes de estas recetas.

Lo relevante, es que se hizo viable del 'deep reinforcement learning' y se abrieron las puertas a nuevas investigaciones, nuevos modelos, nuevo progreso.

Conclusiones

La conclusión podría ser tan simple como que científicos, matemáticos e ingenieros han logrado superar los retos que impedían usar el deep learning en aprendizaje por refuerzo, y con ello se ha abierto la puerta a su aplicación en entornos realistas, de muy alta dimensionalidad.

Artículos de este blog relacionados

• Notas sobre el aprendizaje por refuerzo (VI): los tres retos del deep reinforcement learning
• Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning
• Notas sobre aprendizaje por refuerzo (IV): Métodos tabulares. SARSA Y Q-Learning
• Notas sobre aprendizaje por refuerzo (III): recompensas, trazas y valores
• Notas sobre aprendizaje por refuerzo (II): Visualizando el aprendizaje en procesos de Markov
• Notas sobre aprendizaje por refuerzo (I): Procesos de decisión de Markov

Notas sobre el aprendizaje por refuerzo (VI): los tres retos del deep reinforcement learning

En el post anterior de esta ya larga serie dedicada al aprendizaje por refuerzo ('reinforcement learning'), comentamos que, cuando estamos tratando un problema en que el espacio de estados del entorno es muy grande (cosa que es habitual en problemas reales), los mecanismos tradicionales basados en tablas (algoritmos tabulares) no eran aplicables y teníamos que pasar a utilizar algoritmos de redes neuronales y deep learning.

En este post vamos a ver que esto, aunque perfectamente posible, no es sencillo del todo, y que el así llamado 'deep reinforcement learning', se enfrenta a algunos retos y dificultades.

Repaso: el problema del aprendizaje por refuerzo

Antes, y siguiendo la práctica ya habitual de esta serie, recordamos algunas ideas.

Estamos en la situación en que un agente (por ejemplo, un robot) interactúa con un entorno, para lo cual realiza sobre éste una serie de acciones (a). La situación de ese entorno se define por una serie de estados. Cuando el entorno, que se encuentra en un estado s, recibe la acción, puede producirse en él una transición de ese estado s a otro s'. Esas transiciones están gobernadas por una función T_a, normalmente probabilista (estocástica). Cuando se produce ese cambio de estado el agente recibe del entorno una recompensa r.

El agente decide las acciones a realizar siguiendo una política π.

Lo que buscamos en el aprendizaje por refuerzo es que el agente aprenda la mejor política posible para conseguir maximizar la recompensa acumulada a sus acciones.

En esa labor, muchos algoritmos de aprendizaje por refuerzo se apoyan en las funciones de valor-estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a. Los denominados métodos tabulares, como SARSA y Q-Learning, se apoyan, simplemente, en reglas y tablas de estados para su cálculo.

Sin embargo, cuando ese espacio de estados exhibe una altísima dimensionalidad (muchísimos estados posibles), como es frecuente en problemas reales, no podemos usar esos métodos tabulares que se basan en disponer de reglas en forma de tablas donde cada estado es un registro (una fila).

En lugar de eso, lo que hacemos es trabajar, no con los estados propiamente dichos, sino con unas características ('features') que, de alguna forma, resumen y caracterizan los estados y utilizamos esas características como entradas para una red neuronal, una red profunda y, por tanto, del campo del deep learning, dando lugar a lo que se suele denominar 'deep reinforcement learning'.

Pues bien, esta práctica se enfrenta a algunos retos que son los que vamos a revisar a continuación.

Bootstrapping

Pero antes de ver los retos, conviene conocer el concepto de 'bootstrapping', algo que ya estaba presente en los algoritmos tabulares, pero que no habíamos comentado.

Recordemos que el aprendizaje por refuerzo es un mecanismo de ensayo y error, donde, por decirlo de alguna manera, el agente 'no sabe lo que se va a encontrar' en el siguiente paso. El agente va construyendo las funciones de valor (V) y valor-estado (Q), que le ayudan a decidir en los siguientes pasos.

Pero, como realmente no 'conoce bien' el entorno, esos valores (que recordemos son la recompensa acumulada esperada) se van ajustando de manera iterativa.

Pues bien, el así llamado 'bootstrapping' es, precisamente, ese proceso de refinamiento progresivo por el que unos valores (una recompensas esperadas) antiguos, son actualizados por unos nuevos valores (unas nuevas recompensas esperadas).

No vamos a detallarlos, pero sólo comentar que existen algoritmos para este bootstrapping como el algoritmo de Bellman o el aprendizaje por diferencias temporales.

El lector interesado puede consultarlos en el libro que me sirve como referencia para este post y, en general, para toda esta serie, a saber, el libro 'Deep reinforcement learning' de Aske Plaat . 

El planteamiento del deep reinforcement learning

Retomando nuestro hilo argumental, lo que se pretende en el 'deep reinforment learning' es transformar unas funciones basadas en tablas, las funciones valor (V), valor-estado (Q) y la política (π), en unas redes neuronales que dependen de unos parámetros (los pesos), unos parámetros que en su conjunto denominaremos como θ. 

Es decir, queremos implementar y optimizar unas funciones V_θ, Q_θ y π_θ.

Los tres retos del deep reinforcement learning  

En el libro de Aske Plaat se identifican tres retos para conseguir este objetivo: 

• La convergencia a un valor óptimo de la función valor-estado (Q), que dependería de una cobertura total del espacio de estados, debe conseguirse teniendo en cuenta que es imposible muestrear totalmente ese espacio de estado


• Existe una gran correlación entre las muestras de entrenamiento consecutivas, con un alto peligro de llegar a un óptimo local, no global, en el proceso de optimización


• Cuando aplicamos (como habitualmente en redes neuronales) el algoritmo de descenso de gradiente sobre una función de pérdida como mecanismo para luego ajustar pesos, nos encontramos con que esa función de pérdida va variando, con lo que nos estamos ante una especie de 'blanco móvil'.

El problema del blanco móvil y la convergencia

El problema del blanco móvil es especialmente interesante así que lo comento brevemente.

En un aprendizaje supervisado se utiliza un conjunto de datos ('dataset') estático durante todo el entrenamiento. Por tanto la función de pérdida o error ('loss function'), es estable durante el entrenamiento.

Sin embargo, en el caso del aprendizaje por refuerzo, el aprendizaje de una política, se apoya en los valores de la función Q, que también está evolucionando durante el aprendizaje mediante una forma de 'bootstrapping').

Eso es lo que constituye el 'blanco móvil' y la dificultad que esto supone.

Spoiler: hay solución

No voy a complicar ni alargar más este post explicando cómo se superan esos retos, seguramente lo haga en el siguiente post de la serie, pero sí puedo adelantar, como el lector ya se habrá imaginado, que para estos retos se han encontrado soluciones.

Conclusiones

Hemos visto cómo, en el 'deep reinforcement learning'. las funciones de valor, estado valor y política (V, Q y π), las implementamos mediante redes neuronales profundas.

Y hemos visto que eso plantea tres retos que tiene que ver con la imposibilidad de muestrear todo el espacio de estado, con la correlación y con que durante la optimización apuntamos a un 'blanco móvil').

Por suerte, y gracias al trabajo de científicos e ingenieros, para estos retos se ha encontrado solución.

Artículos de este blog relacionados

• Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning
• Notas sobre aprendizaje por refuerzo (IV): Métodos tabulares. SARSA Y Q-Learning
• Notas sobre aprendizaje por refuerzo (III): recompensas, trazas y valores
• Notas sobre aprendizaje por refuerzo (II): Visualizando el aprendizaje en procesos de Markov
• Notas sobre aprendizaje por refuerzo (I): Procesos de decisión de Markov

El cerebro como teatro del mundo según Rafael Yuste

'El cerebro, el teatro del mundo' es un libro del famoso neurobiólogo español, Rafael Yuste. Un libro en que ya desde el principio nos deja claras dos cosas. Por un lado, que se trata de un libro divulgativo y para el gran público, y no un libro realmente científico. Por otro, que va a exponer una teoría, la del surgimiento de la mente humana a partir de la actividad neuronal y, en concreto, de los grupos neuronales o redes neuronales, que no está completamente confirmada científicamente pero que es su entendimiento y apuesta actuales.

La mención en el título al teatro del mundo, que también hace de hilo conductor durante toda la obra, es un guiño y referencia explícita a la obra 'El teatro del mundo' de Calderón de la Barca y, con ese apelativo hace mención a una idea, que indica también procede de Kant, de que nuestro cerebro crea un modelo del mundo que, en el fondo es lo que percibimos y donde nos desenvolvemos y no tanto en el verdadero mundo exterior actuando, pues, el cerebro, como una forma de escenario o de teatro del mundo.

La obra, no muy extensa, se estructura en diez capítulos, como sigue:

 

• 'Capítulo 1 De la doctrina neuronal a las red:' Comienza haciendo una descripción del encéfalo, incluyendo por supuesto el cerebro, de la médula espinal y hace una explicación de la teoría neurocientífica más tradicional, que pone el foco en la neurona individual, frente a la nueva teoría emegente que se centra más en redes neuronales y conjuntos neuronales.


• 'Capítulo 2 De las redes neuronales al teatro del mundo:' Hace una descripción evolutiva de cómo se fue creando el cerebro y el sistema nervioso en los seres vivos a lo largo del proceso evolutivo. En esa evolución destaca la importancia que tuvo el movimiento de los seres y lo que eso imponía a su 'sistema de control' y, de hecho, con esta idea del control establece unos paralelismos con los sistemas de control propios de la ingeniería. Y saca a relucir por primera vez (aunque a lo largo del libro aparece muchas otras veces) la teoría kantiana de que realmente el mundo está en nuestras mentes aunque pueda reflejar de alguna forma lo que hay en el exterior.


• 'Capítulo 3 El teatro del mundo por dentro: las neuronas digitales:' Explica con cierto detalle la estructura y funcionamiento de las neuronas, las sinapsis entre ellas y el mecanismo de activación. También destaca la existencia de neuronas inhibitorias y, en realidad, la de muchas clases de neuronas diferentes.


• 'Capítulo 4 El teatro del mundo por dentro: las redes y conjuntos neuronales:' Comienza a desarrollar la nueva teoría que pone más foco en los conjuntos neuronales que en las neuronas individuales. En el discurso habla y describe también las redes neuronales artificiales, las propias del la inteligencia artificial y el deep learning.


• 'Capítulo 5 Cómo se construye el teatro del mundo:' En un curiosísimo capítulo, se explica cómo se va construyendo el sistema nervioso durante el embarazo y primeros años de la niñez
.
• 'Capítulo 6 Ajustar el teatro del mundo a la realidad con los sentidos:' Explica cómo funcionan, desde un punto de vista neuronal, los sentidos, con especial foco, como es natural, en la vista y el oído.


• 'Capítulo 7 El desván de la memoria del teatro del mundo:' Como anticipa claramente el título, explica los mecanismos de la memoria, comenzando con su utilidad, continuando con el funcionamiento del hipocampo, el papel de los conjuntos neuronales y el funcionamiento y papel de la dopamina. Finalmente, comenta el fenómeno de la plasticidad de los recuerdos.


• 'Capítulo 8 El pensamiento: poner a funcionar el teatro del mundo:' Ataca el pensamiento consciente, comenzando por describir la corteza cerebral y su papel, así como su naturaleza probabilista, el rol de la corteza temporal, parietal y prefrontal, para terminar hablando de la conciencia y los sueños.


• 'Capítulo 9 Ejecutar el plan perfecto con músculos y emociones:' Habla de los mecanismos neuronales de la decisión, el funcionamiento del cerebelo y el importante papel de las emociones en el control del comportamiento. También señala el papel del hipotálamo y los péptidos y detalla el papel del sistema nervioso periférico y entérico.


• 'Capítulo 10 En el umbral de un nuevo humanismo:' Un capítulo de remate final, en que explora las posibles repercusiones de la nueva teoría expuesta en la medicina, en la tecnología y en la sociedad. Y remata con una apuesta por una cultura humanística.

Un libro interesante, de base científica aunque sin profundidad, redactado de forma amena y con buenas ilustraciones y que se convierte en una excelente opción para un acercamiento sencillo a la neurociencia.

Rafael Yuste

(Fuente: Entrada en Wikipedia en español)

Rafael Yuste

Rafael Yuste (Madrid, 25 de abril de 1963) es un neurobiólogo español, ideólogo del proyecto BRAIN. Es profesor de ciencias biológicas en la Universidad de Columbia, Nueva York; actualmente su trabajo se ha centrado en descifrar cómo funciona la conciencia y los recuerdos, llegando a alterar experimentalmente "recuerdos" en animales de laboratorio.

A los catorce años su padre le regaló el libro de Santiago Ramón y Cajal 'Los Tónicos de la Voluntad: Reglas y consejos sobre investigación científica'. Estudió Medicina en la Universidad Autónoma de Madrid (1982-1987) tras realizar el Bachillerato en el Instituto Ramiro de Maeztu de Madrid. En el laboratorio de biología molecular del premio Nobel sudafricano Sydney Brenner en Cambridge (1985-1986) sintió la vocación por la neurobiología. A finales de los años 80, viajó a Estados Unidos donde se doctoró en la Universidad Rockefeller dirigida por el premio Nobel Torsten Wiesel. En el tiempo que estuvo allí (1987-1992)4​ creó y desarrolló la técnica del calcium imaging para medir la actividad neuronal fundándose en el hecho de que, cuando una señal eléctrica despolariza una neurona, los canales de calcio son activados, permitiendo así que los iones de Ca2+ entren en la célula. Si se tiñe un área del cerebro con un colorante sensible al calcio, se puede detectar cuándo una neurona está activa mediante microscopia. Para ello tuvo que estudiar computación biológica en los laboratorios de ATT/Bell supervisado por el doctor David Tank (1992-1996). La técnica, expuesta en su tesis doctoral dirigida por Wiesel y Lawrence Katz, 'Optical studies of calcium dynamics in developing neocortical neurons', se convirtió en uno de los pilares de la neurobiología.

En septiembre de 2011, cuando una cincuentena de neurobiólogos y nanofísicos se reunieron en la ciudad inglesa de Buckinghamshire para discutir proyectos conjuntos, Rafael Yuste, ya Catedrático de Ciencias Biológicas y Neurociencia e investigador desde 2005 de la Universidad de Columbia, propuso registrar la actividad de circuitos neuronales enteros a escalas de milisegundos, y eventualmente de cerebros completos en tres dimensiones. La idea cundió y recibió el apoyo y la colaboración del científico George Church y de Miyoung Chun, vicepresidenta de La fundación Kavli, y la técnica se fue refinando para ganar precisión, resolución y amplitud. Actualmente el proyecto Brain Activity Map (o BRAIN Initiative) pretende a largo plazo desarrollar los métodos ópticos y eléctricos que permitan mapear y manipular la actividad de todas y cada una de las neuronas del cerebro. Se empezaría con animales pequeños, como el gusano Caenorhabditis elegans, la mosca Drosophila, el pez cebra y algunos circuitos particulares del cerebro del ratón (retina, bulbo olfatorio y áreas corticales específicas). En la actualidad es editor jefe de Frontiers in 'Neural Circuits' y, además de codirigir el Instituto Kavli de investigaciones neurológicas de la Universidad de Columbia desde 2004 y trabajar en el proyecto de cartografiar el cerebro humano, dedica algunas semanas al año al Instituto Cajal de la Universidad Politécnica de Madrid; también asesora a institutos tecnológicos de Andalucía, País Vasco y Cataluña. En septiembre de 2013 recibió un premio de 2 millones de euros de la agencia de Institutos Nacionales de Salud de Estados Unidos para el desarrollo del proyecto BRAIN, convirtiéndose en la gran apuesta científica de la administración Obama. En 2015, recibió el XLVII Premio Lección Conmemorativa Jiménez Díaz por su labor investigadora otorgado por la Fundación Conchita Rábago de Jiménez Díaz. En 2019 fue invitado a impartir la VI ICS Lecture on Humanities and Social Sciences del Instituto Cultura y Sociedad de la Universidad de Navarra.

Puedes conocer más del autor visitando su perfil en linkedIn o siguiéndole en twitter, donde se identifica como @yusterafa.

Ficha técnica:

TITULO: El cerebro, el teatro del mundo

AUTOR: Rafael Yuste

EDITORIAL: Editorial Paidós

AÑO: 2024 

ISBN: 978-8449342837

PAGINAS: 224

Artículos de este blog relacionados

• Un interesante paralelismo digital: las telecomunicaciones y el cerebro digital

Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning

Llegamos ya a la quinta entrega de esta serie sobre aprendizaje por refuerzo ('reinforcement learning').

Este post será, creo, algo más sencillo y menos matemático que alguno de los anteriores, pero espero que aporte perspectiva.

En este caso, simplemente, vamos a revisar cuándo tiene interés el aplicar deep learning en el caso del aprendizaje por refuerzo ('reinforcement learning'), lo que dará lugar al denominado deep reinforment learning.

Recordatorio: aprendizaje por refuerzo y métodos tabulares

Antes, y como siempre en esta serie de posts y aun a riesgo de resultar algo repetitivo, un muy breve recordatorio de lo que hemos visto hasta ahora.

La situación en que nos encontramos es la de un agente (que me gusta pensar que es un robot, pero que puede adoptar otras muchas formas), que interactúa con un entorno, para lo cual realiza sobre éste una serie de acciones (a). La situación de ese entorno se define por una serie de estados. Cuando el entorno, que se encuentra en un estado s, recibe la acción, puede producirse en él una transición de ese estado s a otro s'. Esas transiciones están gobernadas por una función T_a, normalmente probabilista (estocástica). Cuando se produce ese cambio de estado el agente recibe del entorno una recompensa r.

El agente decide las acciones a realizar siguiendo una política π.

Lo que buscamos en el aprendizaje por refuerzo es que el agente aprenda la mejor política posible para conseguir maximizar la recompensa acumulada a sus acciones.

En esa labor, muchos algoritmos de aprendizaje por refuerzo se apoyan en las funciones de valor-estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a.

Los denominados métodos tabulares, como SARSA y Q-Learning, se apoyan, simplemente, en reglas y tablas de estados para su cálculo.

Funciones y machine learning

No se suelen explicar así, pero los modelos de machine learning, una vez entrenados, resultan ser simplemente unas funciones, es decir una correspondencia que, a cada valor de un dominio de entrada, le hace corresponder el valor del dominio de salida.

En matemáticas sencillas, por ejemplo, la función raíz cuadrada, hace corresponder a un número del dominio de los números reales (entrada) otro número (salida), en este caso también en el dominio de los números reales.

Los algoritmos de machine learning, una vez entrenados, funcionan igual: a un valor de entrada, le hacen corresponder un valor de salida. Por ejemplo, a unos datos de entrada sobre mercado, acciones promocionales, etc, le hacen corresponder una previsión de ventas.

Eso sí, los algoritmos de machine learning tienden a aplicarse en dominios complejos, generalmente expresados como grandes vectores con un 'montón' de elementos o dimensiones, tanto en salida como, sobre todo, en entrada.

Y, más importante aún, y lo que realmente resulta diferencial en el caso del machine learning, esas funciones, la manera de hacer corresponder la salida con la entrada no las definimos por anticipado los humanos, sino que la aprende el propio algoritmo a partir de ejemplos o experiencia.

Y el deep learning no es una excepción a esto, lo cual no es de extrañar teniendo en cuenta que, aunque muy diferenciado, el deep learning no es más que un subconjunto del machine learning.

Aunque nos gusta, a la hora de explicar las redes neuronales y el deep learning, hacer el paralelismo con el cerebro humano, un paralelismo que tiene sentido por otro lado, a efectos prácticos y algorítmicos, las redes neuronales no son más que otro caso de funciones, una funciones que se aprenden. Y lo que ocurre es que las funciones que se pueden implementar mediante deep learning son especialmente complejas, muy complejas y casi misteriosas, pero funciones, al fin y al cabo

Lo que aporta el deep learning al aprendizaje por refuerzo

Vista la explicación anterior, no es difícil comenzar a imaginarse lo que aporta el deep learning en el caso del aprendizaje por refuerzo.

Volvamos al planteamiento del aprendizaje por refuerzo: tenemos un entorno con una serie de posibles estados. En este tipo de problemas es especialmente relevante la dimensionalidad del espacio de estados del entorno.

Cuando el problema es simple y un poco de laboratorio, por ejemplo un juego, el número de estados posibles del entorno, las transiciones posibles, las acciones, etc, son reducidos. Los métodos tabulares, como el Q-Learning, funcionan bien con una dimensionalidad baja y, a la hora de implementarla, se pueden cargar todos los estados en memoria sin problema.

En problemas reales, sin embargo, la dimensionalidad del espacio de estados en inmensa, casi inabarcable y, complejidad aparte, simplemente no podemos cargarlos en memoria y no podemos tampoco memorizar una política adecuada.

La forma de afrontar el problema es renunciar a trabajar con todos los estados como entrada y, en su lugar, representar la situación del entorno mediante unas características ('features') y, con usnado esas características como entrada, calcular valores y acciones. Los estados ya no son, pues, directamente identificables y no los podemos almacenar en tablas donde buscamos, como hacíamos en los métodos tabulares.

La correspondencia entre características como entrada y acciones y valores como salida es una función, una función que en los problemas de alta dimensionalidad es muy compleja, y una función que por tanto implementamos mediante redes neuronales, mediante deep learning.

 

Deep reinforcement learning

El uso de deep learning en el aprendizaje por refuerzo da lugar a una subdisciplina denominada 'deep reinforcement learning'.

De hecho, el libro de Aske Plaat en que me estoy apoyando para toda esta serie de posts se titula, simplemente así: 'Deep reinforcement learning'. 

Conclusiones

Cuando intentamos aplicar el aprendizaje por refuerzo a problemas reales, nos encontramos con una altísima dimensionalidad del espacio de estados del entorno. Eso imposibilita el utilizar métodos sencillos en que se tabulan los estados y, en su lugar, debemos representar indirectamente mediante características el estado del entorno y calcular estados y valores usando el mejor mecanismo que tenemos para implementar funciones muy compejas: el deep learning.

Esto da lugar al la subdisciplina del deep reinforment learning, donde cabe esperar los resultados más avanzados y espectaculares.

Artículos de este blog relacionados

• Notas sobre aprendizaje por refuerzo (IV): Métodos tabulares. SARSA Y Q-Learning
• Notas sobre aprendizaje por refuerzo (III): recompensas, trazas y valores
• Notas sobre aprendizaje por refuerzo (II): Visualizando el aprendizaje en procesos de Markov
• Notas sobre aprendizaje por refuerzo (I): Procesos de decisión de Markov