viernes, 1 de noviembre de 2024

El servicio Azure OpenAI explicado por Adrián González Sánchez

He leído con ilusión el libro 'Azure Open AI services for cloud native applications', no sólo por mi claro interés en la temática (tanto en lo relativo a la inteligencia artificial generativa, como a las arquitecturas cloud nativas y la oferta de hiperescaladores como Microsoft) sino también por conocer personalmente, y apreciar, a su autor, Adrian González.

Nos encontramos ante un libro serio y bien fundamentado, que trata de manera rigurosa, el servicio Azure OpenAI lo que, además, arrastra consigo la explicación de muchos aspectos técnicos relevantes más allá del propio servicio o la propia oferta de Microsoft en Azure.

El contenido se estructura en siete capítulos, como sigue:
  • '1. Introduction to Generative AI and Azure OpenAI Service:' Un capítulo para fijar conceptos previos. Empieza con la disciplina de la inteligencia artificial explicando, por ejemplo, las formas de aprendizaje o los casos de uso habituales Sigue con inteligencia artificial generativa comentando sus capacidades, los modelos fundacionales o los principales actores actuales de la industria. Y finaliza poniendo en suerte lo que seguirá en siguientes capítulos, ya que introduce el concepto de Copilot y una muy rápida introducción del servicio Azure OpenAI.

  • '2. Designing Cloud Native Architectures for Generative AI:' Como una preparación, ya mucho más profunda y técnica al servicio Azure OpenAI, este capítulo explica elementos arquitecturales en relación con la nube, fijando lo que son las arquitecturas cloud nativas, los microservicios, los contenedores, 'serverless o el modelo DevOps de integración y despliegue continuos CI/CD. Y luego, ya desde un plano mucho más práctico, presenta el portal Azure y los modelos de servicio del servicio OpenAI.

  • '3. Implementing Cloud Native Generative AI with Azure OpenAi Service:' Quizá el capítulo nuclear, el que más explica realmente el servicio Azure OpenAI y sobre todo, cómo usarlo. Comienza explicando cómo fijar o ampliar el conocimiento que utilizará el modelo mediante el empleo del modelo tal cual es, o su extensión mediante técnicas de 'fine tunning' o RAG. Luego cuenta los diferentes componentes ('building blocks') del servicio Azure Open AI dentro de Azure Studio (Assistants playgound, Chat playground, Completions playground, DALLE-E playground y Bring your own data). A continuación, aborda los diferentes enfoques de implementación según se use el modelo tal cual, o se entrene mediante ejemplos, o se amplie con 'fine tunning' o RAG. Finaliza explicando formas de evaluar el desempeño de la solución creada.

  • '4. Additional Cloud and AI Capabilities:' Un capítulo un poco 'collage' pero muy interesante, donde explica aspectos relacionados de forma algo más indirecta con el servicio Azure OpenAI. Comienza explorando un poco el ecosistema global con diferentes soluciones complementarias o alternativas como la orquestación mediante Langchain, el SDK de software abierto 'Semantic Kernel', el framework LlamaIndex, el Bot Fraework de Azure para la construcción de chatbots tradicionales (previos a la explosión de la IA Generativa) y otros productos de Microsoft como la Power Platform, Copilot o AI Builder. En el siguiente bloque pasa revista a los almacenes de vectores ('vector stores') tan importantes en RAG y, en concreto, revisa Azure AI Search, Cosmos DB, Azure DataBricks, Redis, etc. En el tercero y último bloque del capítulo examina otros elementos relevantes de la plataforma Azure como son Azure AI Document Intelligence, Fabrics Lakehouse, Azure AI Speech o Azure API Management.

  • '5. Operationalizing Generative Ai Implementations:' Aborda aspectos mas relacionados ya con el despliegue e incluso el uso de servicios basados en Azure OpenAI, como son la ingeniería de instrucciones ('prompt engineering'), la operación de servicios basados en grandes modelos de lenguaje, la adaptación de las ideas de DevOps y MLOps al caso de los grandes modelos de lenguaje, la llamada LLMOps, incluyendo el denominado 'prompt flow', la securización de los modelos y el tratamiento de la privacidad y el cumplimiento normativo. Y finaliza con una mirada a los aspectos de uso responsable y de regulación.

  • '6. Elaborating Generative AI Business Cases:' De alguna forma se acerca a los pasos a dar en un proyecto. Comienza con el análisis 'pre-mortem' (qué podría ir mal), sigue con la selección del enfoque de implementación, la identificación de tareas y recursos, la estimación de duraciones y esfuerzos y la creación de un 'roadmap'. Luego proporciona consejos sobre cómo definir y dimensionar un caso de uso y finaliza con una visión de caso de negocio con el cálculo de costes y retorno de la inversión.

  • '7. Exploring the Big Picture:' Un curioso capítulo final en que, mediante entrevistas, se exploran aspectos relevantes del panorama actual que rodean a la IA Generativa o a la nube. En concreto, dialoga con David Carmona, Brendan Burns, John Maeda, Sara Bird, Tim Ward, Seth Juarez y Saurabh Tiwari.

'Azure OpenAI service for cloud native architectures' es un gran recurso para entender, no sólo el propio servicio que justifica el libro, sino todos los elementos técnicos, arquitecturales e incluso de gestión que lo rodean, específicamente cómo trabajar con grandes modelos de lenguaje y cómo trasladarlos a casos de uso reales así como todo el ecosistema que rodea a la IA Generativa y el mundo cloud. Un libro que quizá por ello podríamos decir que trasciende un poco lo que es su objetivo primario, proporcionando muchos, muy interesantes y muy bien explicados conceptos de inteligencia artificial generativa y de aquitecturas cloud, con una visión quizá bastante más amplia de lo que el título pueda sugerir.

Un libro técnico pero que ofrece una mirada global, claro y bien escrito, con la calidad, en fin, que cabe esperar de los libros de O'Reilly, y para mi, y en este caso concreto, del conocimiento y buen hacer de su autor.

Recomendable, sin duda.

Adrián González Sánchez

(Fuente: Fuente: Ligera elaboración propia de su ficha de profesor en ENAE)

Adrián González Sánchez
Destacado experto en Inteligencia Artificial y Tecnología, enfocado en la ética de la IA y la regulación de la UE. Actualmente, forma parte del equipo de Microsoft como Principal Specialist in Cloud, Data and AI for Public Sector.

Adrián González también imparte clase en ENAE Business School y en otras prestigiosas instituciones como Concordia University o École des dirigeanst HEC Montréal.

Asimismo, ha ocupado puestos como ejecutivo tecnológico, asesor de empresas y coach, por lo que cuenta con experiencia en múltiples industrias como Telecomunicaciones, Educación, Cadena de Suministro, Retail y Fintech. Además, tiene experiencia en desarrollo de software y cloud computing, siendo cofundador de una startup.

En este sentido, ha ocupado puestos como CTO en Smartbonds; Artificial Intelligence Consultant en IVADO Labs; y miembro del comité de LF AI and Data Fundation. Además también es miembro del Observatorio del Impacto Social y Ético de la IA (OdiseIA) y de FiinOps Foundation.

Posee certificaciones como Certified Product Manager (CPM®) y Certified Scrum Product Owner (CSPO®), y tiene habilidades en gestión de proyectos, estrategia, arquitectura y productos para proyectos de Ciencia de Datos, IA, Cloud y Blockchain.

Además, comparte sus conocimientos y experiencias en su blog en Medium y en redes sociales como Twitter y Clubhouse. Adicional, Adrián González Sánchez es autor en la editorial O’Reilly donde es autor del libro 'Azure OpenAI Service for Cloud Native Applications', además de haber colaborado en diversas publicaciones:

  • Case Study: How the Port of Montreal Used NLP to Fast-Track Critical Cargo in 2020
  • Azure OpenAI for Cloud Native Applications
  • Kubernetes and Cloud Native Associate (KCNA) Study Guide

Puedes conocer más del autor visitando su perfil en LinkedIn o siguiéndole en X donde se presenta como @adriangs86.

Ficha técnica:


EDITORIAL: O'Reilly Media
AÑO: 2024 
ISBN: 978-1098154998
PAGINAS: 246

miércoles, 30 de octubre de 2024

Notas sobre aprendizaje por refuerzo (IX): aprendizaje de políticas y el ascenso de gradiente

En esta ya larga serie de posts que estoy dedicando al aprendizaje por refuerzo ('reinforcement learning'), nos habíamos quedado en el punto en que estábamos tratando con problemas en que ya usábamos redes neuronales como parte del algoritmo ('deep reinforcement learning') y que, además, nos enfrentábamos a un espacio de estados continuo, como el que ocurre, por ejemplo, en la locomoción de robots. 

Y habíamos pasado a trabajar directamente con políticas, desentendiéndonos de los valores. En este post vamos a avanzar sólo un poquito más, indicando una de las formas habituales en que se hace eso, utilizando, como es tan común en deep learning, el concepto de gradiente


Repasando


Antes de revisar las nuevas ideas, el repaso habitual, tomando como esquema la ya muy conocida figura:



Nos encontramos ante la situación de un agente (por ejemplo un robot) que interacciona con un entorno. Ese entorno se encuentra en un estado s. La interacción del agente con el entorno se concreta en la ejecución por parte del agente de acciones, a. Como consecuencia de esas acciones, el entorno puede experimentar una transición a un nuevo estado s' y el agente recibir una recompensa r. El agente decide la acción a aplicar en cada momento, siguiendo una política π.

Lo que pretendemos en el aprendizaje por refuerzo es aprender la mejor política π, de forma que se maximice la recompensa acumulada.

Los algoritmos más básicos, con unos estados discretos y de número reducido en el entorno, utilizan mecanismos basados en tablas (algoritmos tabulares) en que, para cada estado, se obtiene un valor de recompensa acumulada. Hablamos de recompensa acumulada porque lo que se busca no es optimizar la recompensa ante una acción aislada, sino ante una secuencia de acciones. Esa secuencia de acciones y sus consiguientes transiciones de estados y recompensas constituye lo que se denomina una trayectoria y, al final, en una trayectoria, tendremos una recompensa acumulada.

Lo métodos tabulares, como decimos, establecen en una tabla, el valor de esa recompensa acumulada esperada, que se tabula por cada estado (V) o por cada estado-acción (Q).

Cuando la dimensión del problema es muy grande, dejamos de trabajar con estados, la situación del entorno la representamos por unas características y usamos redes neuronales para implementar las funciones de valor y la política, conduciendo al 'deep reinforcement learning'.

El último paso visto en el post anterior es cuando estamos en una situación con estados y acciones no discretos sino continuos. Y nos quedamos diciendo que, en esa situación, nos olvidamos de trabajar con esa función Q que nos daba la recompensa acumulada esperada para un estado-acción sino que trabajamos directamente con la política π


El esquema de funcionamiento


Siguiendo, como en toda esta serie de posts, lo indicado el  libro 'Deep reinforcement learning' de Aske Plaat, observamos que el esquema básico de funcionamiento en ese aprendizaje de una política en un problema continuo, se puede resumir en los siguientes pasos


  • Inicializamos los parámetros θ de la política

  • Hasta que se alcance la convergencia, repetimos

    • Muestreamos una nueva trayectoria τ

    • Si τ es una 'buena trayectoria', modificamos los parámetros θ en la dirección de 'acercarnos' a esa trayectoria. Si se trata de una 'mala trayectoria', por el contrario, modificamos los parámetros en el sentido de 'alejarnos' de esa trayectoria.


Claro, para que este esquema de algoritmo sea operativo, necesitamos alguna forma de ver eso de que una trayectoria 'es buena' o 'mala', es decir, necesitamos medir lo que se denomina la calidad de la política, J. Una forma posible de hacerlo es retornar a las funciones valor, V, y tomar como calidad de la política el valor de la política en el estado inicial, s0, según esa función V, lo que expresado matemáticamente sería


J(θ) = Vπ(s0)


Y, lógicamente, lo que queremos es maximizar esa calidad de la política. Suponiendo que esa calidad es una función diferenciable (cosa que ya se imaginará el lector vamos a buscar de forma explícita y que no sucederá por casualidad), lo que vamos a hacer es trabajar con el gradiente . El gradiente nos da la variación de esa función de calidad ante un cambio de parámetros. Matemáticamente, eso significa hacer unas derivadas parciales en cada una de las dimensiones pero, geométrica e intuitivamente, implica calcular y utilizar la 'inclinación' de la superficie definida por por la función calidad de la política y, formalmente, se expresaría como


θJ(θ) = ∇θVπ(s0)


En cada iteración, ajustaremos los parámetros θ aplicando la sencilla fórmula


θt+1 = θt + α · ∇θJ(θ)


Es decir, en cada paso, los parámetros se ajustan sumándoles el gradiente de la calidad de la política (es decir, cómo varía), multiplicados por un factor de aprendizaje, α, que es un número real positivo, con frecuencia comprendido entre 0 y 1.

Los lectores familiarizados con las matemáticas en general y con las matemáticas del machine learning y el deep learning en particular, seguramente ya habrán pensado en el algoritmo de descenso de gradiente, tan habitual, por ejemplo, en el aprendizaje de redes neuronales. Y habrán pensado bien porque, en efecto, esa es la idea, con la única sutil diferencia de que, mientras en el aprendizaje de deep learning habitual buscamos normalmente minimizar una función error, en este lo que queremos es maximizar esa calidad. Por ello, en lugar de un descenso de gradiente, usamos un ascenso de gradiente, pero la idea es prácticamente la misma.

Para resumir un poco la idea, lo que vamos a hacer es implementar la política como una red neuronal (recordar que ya estamos en 'deep reinforcement learning'), inicializar sus parámetros (sus pesos) de alguna forma, normalmente de manera aleatoria, y luego hacer un aprendizaje iterando por trayectorias y ajustando esos pesos mediante un ascenso de gradiente aplicado a la calidad de la política medida como el valor de esa política en el estado inicial.

Esta forma de actuar se utiliza, por ejemplo, en el método REINFORCE.


Otros métodos


En el libro citado, se mencionan y explican otras formas de  trabajar para optimizar esa política, como 'actor critic' o TRPO, pero no entraremos en ellos, al menos de momento, y sólo dejar constancia de que existen.


Conclusiones


Aunque hay varios métodos y algoritmos para conseguir trabajar en el caso de problemas continuos en la optimización directa de una política parametrizada, normalmente implementada como una red neuronal, hemos esbozado como se realiza aplicando el ascenso de gradiente sobre una calidad de política que se mide como el valor de esa política en un estado inicial.


Artículos de este blog relacionados


miércoles, 23 de octubre de 2024

Notas sobre aprendizaje por refuerzo (VIII): problemas continuos y métodos basados en políticas

Y damos un paso más en nuestro recorrido por las particularidades algorítmicas y técnicas del aprendizaje por refuerzo ('reinforcement learning').

En este post vamos a introducir un pequeño cambio de tercio centrándonos en problemas en que el espacio de estados es continuo (y, por tanto, de alguna forma infinito), por lo que debemos cambiar la perspectiva y no basarnos en las funciones del estado, sino en las propias políticas.

¿Te suena extraño ese vocabulario, estimado lector? 

Bueno, pues como en todos los posts anteriores de esta serie, vamos a hacer un breve repaso.


Recordatorio: Aprendizaje por refuerzo y deep reinforcement learning

Los seguidores de esta serie de posts ya conocen bien lo que viene a continuación:



Nos hallamos ante problemas en que un agente interacciona con su entorno, aplicando unas acciones (a) y recibiendo unas recompensas (r) por ello. El entorno está definido por un estado (s) y, al recibir la acción a del agente, eventualmente se produce un cambio de estado a s', momento en que se genera la recompensa r. Para decidir qué acción aplicar en cada momento, el agente aplica una política π. Lo que queremos conseguir es que el agente aprenda la mejor política, aquella que maximice su recompensa acumulada (es decir, no la recompensa ante una acción concreta sino ante toda una serie de acciones que conduzcan, eventualmente a un estado final).

Los algoritmos que hemos visto hasta ahora, se apoyan en la implementación de unas funciones valor para un estado (V) o valor para un estado y acción dados (Q), que nos proporcionan, precisamente, la estimación de la recompensa acumulada.

En los algoritmos más sencillos, aquellos aplicables cuando el entorno exhibe un número finito y no muy alto de estados, utilizábamos un enfoque tabular, trabajando con tablas indexadas con base a estados.

Cuando la dimensionalidad del problema crecía mucho, es decir, el número de estados posibles era demasiado alto, teníamos que cambiar el enfoque. Y ese cambio de enfoque nos llevaba a renunciar a conocer los estados como tal y, en lugar de ello, caracterizar la situación del entorno mediante un conjunto de características. Además, pasábamos a implementar las funciones principales del problema, las funciones de valor y la política como redes neuronales profundas, llegando hasta el 'deep reinforcement learning'.


Robótica y espacios de estados continuos


Los algoritmos usados hasta ahora tienen sentido cuando los estados y las acciones posibles eson discretos y están claramente diferenciados. En ellos, las acciones disponibles están muy claras y podemos diferenciar de manera nítida entre la mejor acción y el resto. 

Sin embargo eso no es así en muchos problemas del mundo real, problemas que además aplican a campos que son de mi muy especial interés como la robótica, los vehículos autónomos o los juegos de estrategia en tiempo real.

En concreto, los métodos que veremos, se aplican a robots que caminan o saltan, lo que se denomina 'locomoción'.

En concreto, en el conocido video que se muestra abajo, se ve a un agente, una especie de robot simulado, que aprende a correr y saltar mediante el tipo de algoritmos que en seguida veremos:




Métodos basados en política ('policy-based methods')


Para estos casos, tal y como se nos indica en el libro 'Deep reinforcement learning' de Aske Plaat, cuyo discurso estoy siguiendo en toda esta serie de posts, debemos cambiar el enfoque. Si hasta ahora nos enfocábamos en las funciones de valor de estado o de estado-accion, ahora abandonamos esas funciones y trabajamos directamente con la política a optimizar π

Estos métodos continúan apoyándose en soluciones de redes neuronales profundas que aprenden mediante el famoso algoritmo de descenso de gradiente.

Los tres métodos que menciona la obra mencionada son 'REINFORCE', 'Asynchonous advantage actor critic' y 'proximal policy optimization'.


Espacios de acciones continuos


En el tipo de problemas que estamos tratando, nos concentramos en las acciones, unas acciones que ahora se encuentran también en un espacio continuo. Así, el movimiento de la junta de un robot puede adoptar un valor continuo en radianes, al igual que lo puede hacer la posición del volante de un vehículo autónomo o el giro de sus ruedas.

Así, por ejemplo, y suponiendo que podemos girar una circunferencia completa, podríamos tener un valor contenido en el rango


[0,2π ] ∈ ℜ


donde existen un número de valores posibles infinito. Una opción podría ser discretizar estos valores. Sin embargo, los métodos de que nos ocupamos optan por trabajar directamente con acciones continuas y, por tanto, unas políticas que también son continuas.


Políticas estocásticas


Además, estos métodos utilizan unas políticas estocásticas que se traducen en distribuciones de probabilidad sobre las acciones.

Esta forma de actuar evita la inestabilidad en el caso de entornos estocásticos que aqueja a los métodos vistos hasta ahora basados en valor. Además, estas políticas incorporan 'de serie' el concepto de exploración' que vimos en el quinto post de esta serie cuando explicamos los algoritmos SARSA y Q-learning.


Conclusiones


De momento detengo aquí la exposición. Por supuesto, sólo hemos rascado un poco y delineado el tipo de problemas, algunos campos de aplicación y las bases de los algoritmos sin entrar a explicar con más detalle ninguno concreto, cosa que seguramente hagamos en un próximo post. Pero prefiero ir poco a poco, porque abordamos una temática bastante compleja.

Lo más interesante, es que nos estamos introduciendo ya en algoritmos muy cercanos a las complejas aplicaciones reales, más allá de los juegos y, en concreto, en elementos muy avanzados propios de la robótica o los vehículos autónomos, que me interesan especialmente.


Artículos de este blog relacionados


miércoles, 16 de octubre de 2024

Notas sobre aprendizaje por refuerzo (VII): El triunfo del algoritmo DQN (Deep Q-Network)

En el último post hasta ahora de esta serie dedicada al aprendizaje por refuerzo ('reinforcement learning'), habíamos dejado enunciados los principales desafíos o problemáticas con que nos enfrentamos cuando queremos usar deep learning en aprendizaje por refuerzo, dando lugar así al llamado 'deep reinforcement learning'.

En este post vamos a ver brevemente cómo se enfrentan esos desafíos dando lugar a un exitoso algoritmo conocido como DQN o Deep Q-Network.

Pero, primero, repasemos dónde estamos.


Recordatorio: reinforcement learning


Una vez más, recordamos en qué consiste el aprendizaje por refuerzo. 



Tenemos un agente (puede ser un agente software o un robot, por ejemplo) que interacciona con un entorno. El agente aplica unas acciones a sobre el entorno. Dicho entorno se encuentra caracterizado por su estado, s. Cuando el entorno recibe la acción por parte del agente, puede sufrir un cambio de estado, pasando de s a s'. Como consecuencia de ese cambio de estado, el agente recibe una recompensa, r que, de alguna manera, le indica lo bien o mal que lo está haciendo, lo que se acerca o aleja de sus objetivos. El agente decide su siguiente acción siguiendo una política, π.

Pues bien, lo que quiere el agente es aprender la mejor política, la mejor forma de tomar decisiones en cuanto las acciones  aplicar, de forma que se maximice, no tanto las recompensas individuales, sino la recompensa acumulada al seguir una traza (una secuencia de acciones, caminos de estado, recompensas).

Para los casos relativamente sencillos, los denominados métodos tabulares, lo que se hace es definir una funciones que nos proporcionan una estimación de la recompensa acumulada. Son las funciones valor (V) y la función valor estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a. Algunos de estos métodos tabulares son el SARSA o el Q-Learning. Estos métodos tabulan los estados, y se apoyan en reglas para el cálculo.

Eso vale para casos sencillos, entendiendo como sencillos aquellos de baja dimensionalidad en su espacio de estados (número de estados posibles relativamente pequeño, digamos en el orden de las decenas o centenas. Sin embargo, cuando ese espacio de estados exhibe una altísima dimensionalidad (muchísimos estados posibles), como es frecuente en problemas reales, no podemos usar esos métodos tabulares que se basan en disponer de tablas y reglas sobre los estados.

Y ahí es donde va a entrar en deep learning. Para empezar, en lugar de trabajar directamente con los estados, lo que hacemos es trabajar con unas características ('features') que  resumen y caracterizan, valga la redundancia, esos estados. Y luego usamos esas características como entradas para una red neuronal profunda dando lugar a lo que se suele denominar 'deep reinforcement learning'.

Las redes neuronales lo que nos van a servir es para implementar las funciones complejas y difíciles de definir como son las nuevas funciones V de valores, Q de valores-estado o la propia política π.

Con esto, las funciones que queremos encontrar son unas funciones parametrizadas, en que llamábamos  al conjunto de parámetros (que en el fondo son los pesos de la red neuronal) con la notación θ, y las funciones queremos implementar y optimizar, se convierten en unas funciones parametrizadas Vθ, Qθ y πθ.


Recordatorio: los tres desafíos del deep reinforcement learning


Ahí lo habíamos dejado. Bueno, ahí junto con el enunciado de tres retos a que se enfrentan este tipo de soluciones y que, siguiendo la obra 'Deep reinforcement learning' de Aske Plaat, que guía toda esta serie de posts, son tres. 


  • La imposibilidad de muestrear al completo el espacio de estados, dada su dimensionalidad.

  • La correlación entre las muestras de entrenamiento consecutivas, tendiendo a conducir a óptimos locales más que globales.

  • La variación de la función de pérdida durante el propio aprendizaje, debido a que estamos actualizando la función de valores-estado Q, con lo que perseguimos un 'blanco móvil'.


La llegada de DQN (Deep Q-Network)


Tras dificultades históricas serias para superar esos retos, tras 'tiras y aflojas', tras excursiones de la investigación en otro tipo de algoritmos, algunas aportaciones del campo del Deep Learning, entre las que destaca DQN (Deep Q-Network), consiguieron resolver el problema.

Para ello, aplicaron algunas recetas para decorrelar estados. Vamos a ver un par de ellas.


Primera receta: repetición de experiencia


Veíamos que uno de los retos era la correlación entre los estados en las diferentes muestras durante el entrenamiento, lo que despistaba a los algoritmos' haciéndoles converger en mínimos locales. 

La primera receta es la así llamada repetición de experiencia ('experience replay').

El problema de la correlación se produce, básicamente, porque cuando entrenamos el algoritmo usamos secuencias consecutivas de estados y acciones, digamos en una secuencia lógica, en el orden que se van produciendo en 'el mundo real'. Eso hace que los cambios de un paso a otro sean mínimos, los estados sean parecidos, las características sean parecidas y los valores también, lo que ralentiza el aprendizaje, además de que el algoritmo puede, de alguna manera, asumir que existen de manera generalizada unas correlaciones que no son generalmente ciertas sino solo localmente.

La repetición de experiencia ('experience replay') busca la ayuda del aprendizaje supervisado. En 'experience replay se crea un buffer ('replay buffer'), que es una especie de caché de estados que ya habían sido explorados previamente. En el buffer se almacenan, típicamente, del orden de un millón de entradas. Y de ese caché se extraen, de manera aleatoria, muestras para el entrenamiento. 

Esa introducción de muestras aleatorias rompe la secuencia, digamos 'lógica', y genera muestras de entrenamiento más diversas y, eventualmente sin correlación, ya que no se sigue esa secuencia de estados 'lógica' sino una más aleatoria.


Segunda receta: actualización infrecuente de estados


La segunda receta, se centra, sobre todo, en eliminar o minimizar el problema del 'blanco móvil'. Se trata de la actualización infrecuente de estados objetivos ('infrequent updates of target weights').

La actualización infrecuente de estados fue introducida en 2015 y busca eliminar la divergencia que se produce por la frecuente actualización de pesos de la función (la red neuronal) de valores estado Q. Lo que se hace en este caso es que, cada cierto número de actualizaciones, se realiza una especie de clon de la función Q, un clon que, de alguna forma queda congelado durante n pasos y del que obtendremos los valores para esos siguientes n pasos de entrenamiento. Esto hace que los pesos se actualicen más lentamente y atenúa, por tanto, el efecto del 'blanco móvil'.


El recetario no acaba aquí


Bueno, lo importante es que con estas recetas, se consiguió por fin la anhelada convergencia. Se consiguió, por tanto, aplicar el deep learning en el aprendizaje por refuerzo y, por tanto, el poder utilizar aprendizaje por refuerzo en problemas con una espacio de estados de alta o muy alta dimensionalidad...como suelen ser los problemas reales.

La cosa no acaba en estas recetas o en el DQN. A esto ha seguido nuevas investigaciones y nuevos modelos derivados en mayor o menos medida de DQN y de variantes de estas recetas.

Lo relevante, es que se hizo viable del 'deep reinforcement learning' y se abrieron las puertas a nuevas investigaciones, nuevos modelos, nuevo progreso.


Conclusiones


La conclusión podría ser tan simple como que científicos, matemáticos e ingenieros han logrado superar los retos que impedían usar el deep learning en aprendizaje por refuerzo, y con ello se ha abierto la puerta a su aplicación en entornos realistas, de muy alta dimensionalidad.


Artículos de este blog relacionados


miércoles, 9 de octubre de 2024

Notas sobre el aprendizaje por refuerzo (VI): los tres retos del deep reinforcement learning

En el post anterior de esta ya larga serie dedicada al aprendizaje por refuerzo ('reinforcement learning'), comentamos que, cuando estamos tratando un problema en que el espacio de estados del entorno es muy grande (cosa que es habitual en problemas reales), los mecanismos tradicionales basados en tablas (algoritmos tabulares) no eran aplicables y teníamos que pasar a utilizar algoritmos de redes neuronales y deep learning.

En este post vamos a ver que esto, aunque perfectamente posible, no es sencillo del todo, y que el así llamado 'deep reinforcement learning', se enfrenta a algunos retos y dificultades.


Repaso: el problema del aprendizaje por refuerzo


Antes, y siguiendo la práctica ya habitual de esta serie, recordamos algunas ideas.



Estamos en la situación en que un agente (por ejemplo, un robot) interactúa con un entorno, para lo cual realiza sobre éste una serie de acciones (a). La situación de ese entorno se define por una serie de estados. Cuando el entorno, que se encuentra en un estado s, recibe la acción, puede producirse en él una transición de ese estado s a otro s'. Esas transiciones están gobernadas por una función Ta, normalmente probabilista (estocástica). Cuando se produce ese cambio de estado el agente recibe del entorno una recompensa r.

El agente decide las acciones a realizar siguiendo una política π.

Lo que buscamos en el aprendizaje por refuerzo es que el agente aprenda la mejor política posible para conseguir maximizar la recompensa acumulada a sus acciones.

En esa labor, muchos algoritmos de aprendizaje por refuerzo se apoyan en las funciones de valor-estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a. Los denominados métodos tabulares, como SARSA y Q-Learning, se apoyan, simplemente, en reglas y tablas de estados para su cálculo.

Sin embargo, cuando ese espacio de estados exhibe una altísima dimensionalidad (muchísimos estados posibles), como es frecuente en problemas reales, no podemos usar esos métodos tabulares que se basan en disponer de reglas en forma de tablas donde cada estado es un registro (una fila).

En lugar de eso, lo que hacemos es trabajar, no con los estados propiamente dichos, sino con unas características ('features') que, de alguna forma, resumen y caracterizan los estados y utilizamos esas características como entradas para una red neuronal, una red profunda y, por tanto, del campo del deep learning, dando lugar a lo que se suele denominar 'deep reinforcement learning'.

Pues bien, esta práctica se enfrenta a algunos retos que son los que vamos a revisar a continuación.


Bootstrapping


Pero antes de ver los retos, conviene conocer el concepto de 'bootstrapping', algo que ya estaba presente en los algoritmos tabulares, pero que no habíamos comentado.

Recordemos que el aprendizaje por refuerzo es un mecanismo de ensayo y error, donde, por decirlo de alguna manera, el agente 'no sabe lo que se va a encontrar' en el siguiente paso. El agente va construyendo las funciones de valor (V) y valor-estado (Q), que le ayudan a decidir en los siguientes pasos.

Pero, como realmente no 'conoce bien' el entorno, esos valores (que recordemos son la recompensa acumulada esperada) se van ajustando de manera iterativa.

Pues bien, el así llamado 'bootstrapping' es, precisamente, ese proceso de refinamiento progresivo por el que unos valores (una recompensas esperadas) antiguos, son actualizados por unos nuevos valores (unas nuevas recompensas esperadas).

No vamos a detallarlos, pero sólo comentar que existen algoritmos para este bootstrapping como el algoritmo de Bellman o el aprendizaje por diferencias temporales.

El lector interesado puede consultarlos en el libro que me sirve como referencia para este post y, en general, para toda esta serie, a saber, el libro 'Deep reinforcement learning' de Aske Plaat . 


El planteamiento del deep reinforcement learning


Retomando nuestro hilo argumental, lo que se pretende en el 'deep reinforment learning' es transformar unas funciones basadas en tablas, las funciones valor (V), valor-estado (Q) y la política (π), en unas redes neuronales que dependen de unos parámetros (los pesos), unos parámetros que en su conjunto denominaremos como θ. 

Es decir, queremos implementar y optimizar unas funciones Vθ, Qθ y πθ.


Los tres retos del deep reinforcement learning  


En el libro de Aske Plaat se identifican tres retos para conseguir este objetivo: 

  • La convergencia a un valor óptimo de la función valor-estado (Q), que dependería de una cobertura total del espacio de estados, debe conseguirse teniendo en cuenta que es imposible muestrear totalmente ese espacio de estado

  • Existe una gran correlación entre las muestras de entrenamiento consecutivas, con un alto peligro de llegar a un óptimo local, no global, en el proceso de optimización

  • Cuando aplicamos (como habitualmente en redes neuronales) el algoritmo de descenso de gradiente sobre una función de pérdida como mecanismo para luego ajustar pesos, nos encontramos con que esa función de pérdida va variando, con lo que nos estamos ante una especie de 'blanco móvil'.


El problema del blanco móvil y la convergencia


El problema del blanco móvil es especialmente interesante así que lo comento brevemente.

En un aprendizaje supervisado se utiliza un conjunto de datos ('dataset') estático durante todo el entrenamiento. Por tanto la función de pérdida o error ('loss function'), es estable durante el entrenamiento.

Sin embargo, en el caso del aprendizaje por refuerzo, el aprendizaje de una política, se apoya en los valores de la función Q, que también está evolucionando durante el aprendizaje mediante una forma de 'bootstrapping').

Eso es lo que constituye el 'blanco móvil' y la dificultad que esto supone.


Spoiler: hay solución


No voy a complicar ni alargar más este post explicando cómo se superan esos retos, seguramente lo haga en el siguiente post de la serie, pero sí puedo adelantar, como el lector ya se habrá imaginado, que para estos retos se han encontrado soluciones.


Conclusiones


Hemos visto cómo, en el 'deep reinforcement learning'. las funciones de valor, estado valor y política (V, Q y π), las implementamos mediante redes neuronales profundas.

Y hemos visto que eso plantea tres retos que tiene que ver con la imposibilidad de muestrear todo el espacio de estado, con la correlación y con que durante la optimización apuntamos a un 'blanco móvil').

Por suerte, y gracias al trabajo de científicos e ingenieros, para estos retos se ha encontrado solución.


Artículos de este blog relacionados



viernes, 4 de octubre de 2024

El cerebro como teatro del mundo según Rafael Yuste

'El cerebro, el teatro del mundo' es un libro del famoso neurobiólogo español, Rafael Yuste. Un libro en que ya desde el principio nos deja claras dos cosas. Por un lado, que se trata de un libro divulgativo y para el gran público, y no un libro realmente científico. Por otro, que va a exponer una teoría, la del surgimiento de la mente humana a partir de la actividad neuronal y, en concreto, de los grupos neuronales o redes neuronales, que no está completamente confirmada científicamente pero que es su entendimiento y apuesta actuales.

La mención en el título al teatro del mundo, que también hace de hilo conductor durante toda la obra, es un guiño y referencia explícita a la obra 'El teatro del mundo' de Calderón de la Barca y, con ese apelativo hace mención a una idea, que indica también procede de Kant, de que nuestro cerebro crea un modelo del mundo que, en el fondo es lo que percibimos y donde nos desenvolvemos y no tanto en el verdadero mundo exterior actuando, pues, el cerebro, como una forma de escenario o de teatro del mundo.

La obra, no muy extensa, se estructura en diez capítulos, como sigue:
 
  • 'Capítulo 1 De la doctrina neuronal a las red:' Comienza haciendo una descripción del encéfalo, incluyendo por supuesto el cerebro, de la médula espinal y hace una explicación de la teoría neurocientífica más tradicional, que pone el foco en la neurona individual, frente a la nueva teoría emegente que se centra más en redes neuronales y conjuntos neuronales.

  • 'Capítulo 2 De las redes neuronales al teatro del mundo:' Hace una descripción evolutiva de cómo se fue creando el cerebro y el sistema nervioso en los seres vivos a lo largo del proceso evolutivo. En esa evolución destaca la importancia que tuvo el movimiento de los seres y lo que eso imponía a su 'sistema de control' y, de hecho, con esta idea del control establece unos paralelismos con los sistemas de control propios de la ingeniería. Y saca a relucir por primera vez (aunque a lo largo del libro aparece muchas otras veces) la teoría kantiana de que realmente el mundo está en nuestras mentes aunque pueda reflejar de alguna forma lo que hay en el exterior.

  • 'Capítulo 3 El teatro del mundo por dentro: las neuronas digitales:' Explica con cierto detalle la estructura y funcionamiento de las neuronas, las sinapsis entre ellas y el mecanismo de activación. También destaca la existencia de neuronas inhibitorias y, en realidad, la de muchas clases de neuronas diferentes.

  • 'Capítulo 4 El teatro del mundo por dentro: las redes y conjuntos neuronales:' Comienza a desarrollar la nueva teoría que pone más foco en los conjuntos neuronales que en las neuronas individuales. En el discurso habla y describe también las redes neuronales artificiales, las propias del la inteligencia artificial y el deep learning.

  • 'Capítulo 5 Cómo se construye el teatro del mundo:' En un curiosísimo capítulo, se explica cómo se va construyendo el sistema nervioso durante el embarazo y primeros años de la niñez
  • .
  • 'Capítulo 6 Ajustar el teatro del mundo a la realidad con los sentidos:' Explica cómo funcionan, desde un punto de vista neuronal, los sentidos, con especial foco, como es natural, en la vista y el oído.

  • 'Capítulo 7 El desván de la memoria del teatro del mundo:' Como anticipa claramente el título, explica los mecanismos de la memoria, comenzando con su utilidad, continuando con el funcionamiento del hipocampo, el papel de los conjuntos neuronales y el funcionamiento y papel de la dopamina. Finalmente, comenta el fenómeno de la plasticidad de los recuerdos.

  • 'Capítulo 8 El pensamiento: poner a funcionar el teatro del mundo:' Ataca el pensamiento consciente, comenzando por describir la corteza cerebral y su papel, así como su naturaleza probabilista, el rol de la corteza temporal, parietal y prefrontal, para terminar hablando de la conciencia y los sueños.

  • 'Capítulo 9 Ejecutar el plan perfecto con músculos y emociones:' Habla de los mecanismos neuronales de la decisión, el funcionamiento del cerebelo y el importante papel de las emociones en el control del comportamiento. También señala el papel del hipotálamo y los péptidos y detalla el papel del sistema nervioso periférico y entérico.

  • 'Capítulo 10 En el umbral de un nuevo humanismo:' Un capítulo de remate final, en que explora las posibles repercusiones de la nueva teoría expuesta en la medicina, en la tecnología y en la sociedad. Y remata con una apuesta por una cultura humanística.

Un libro interesante, de base científica aunque sin profundidad, redactado de forma amena y con buenas ilustraciones y que se convierte en una excelente opción para un acercamiento sencillo a la neurociencia.

Rafael Yuste

(Fuente: Entrada en Wikipedia en español)

Rafael Yuste
Rafael Yuste (Madrid, 25 de abril de 1963) es un neurobiólogo español, ideólogo del proyecto BRAIN. Es profesor de ciencias biológicas en la Universidad de Columbia, Nueva York; actualmente su trabajo se ha centrado en descifrar cómo funciona la conciencia y los recuerdos, llegando a alterar experimentalmente "recuerdos" en animales de laboratorio.

A los catorce años su padre le regaló el libro de Santiago Ramón y Cajal 'Los Tónicos de la Voluntad: Reglas y consejos sobre investigación científica'. Estudió Medicina en la Universidad Autónoma de Madrid (1982-1987) tras realizar el Bachillerato en el Instituto Ramiro de Maeztu de Madrid. En el laboratorio de biología molecular del premio Nobel sudafricano Sydney Brenner en Cambridge (1985-1986) sintió la vocación por la neurobiología. A finales de los años 80, viajó a Estados Unidos donde se doctoró en la Universidad Rockefeller dirigida por el premio Nobel Torsten Wiesel. En el tiempo que estuvo allí (1987-1992)4​ creó y desarrolló la técnica del calcium imaging para medir la actividad neuronal fundándose en el hecho de que, cuando una señal eléctrica despolariza una neurona, los canales de calcio son activados, permitiendo así que los iones de Ca2+ entren en la célula. Si se tiñe un área del cerebro con un colorante sensible al calcio, se puede detectar cuándo una neurona está activa mediante microscopia. Para ello tuvo que estudiar computación biológica en los laboratorios de ATT/Bell supervisado por el doctor David Tank (1992-1996). La técnica, expuesta en su tesis doctoral dirigida por Wiesel y Lawrence Katz, 'Optical studies of calcium dynamics in developing neocortical neurons', se convirtió en uno de los pilares de la neurobiología.

En septiembre de 2011, cuando una cincuentena de neurobiólogos y nanofísicos se reunieron en la ciudad inglesa de Buckinghamshire para discutir proyectos conjuntos, Rafael Yuste, ya Catedrático de Ciencias Biológicas y Neurociencia e investigador desde 2005 de la Universidad de Columbia, propuso registrar la actividad de circuitos neuronales enteros a escalas de milisegundos, y eventualmente de cerebros completos en tres dimensiones. La idea cundió y recibió el apoyo y la colaboración del científico George Church y de Miyoung Chun, vicepresidenta de La fundación Kavli, y la técnica se fue refinando para ganar precisión, resolución y amplitud. Actualmente el proyecto Brain Activity Map (o BRAIN Initiative) pretende a largo plazo desarrollar los métodos ópticos y eléctricos que permitan mapear y manipular la actividad de todas y cada una de las neuronas del cerebro. Se empezaría con animales pequeños, como el gusano Caenorhabditis elegans, la mosca Drosophila, el pez cebra y algunos circuitos particulares del cerebro del ratón (retina, bulbo olfatorio y áreas corticales específicas). En la actualidad es editor jefe de Frontiers in 'Neural Circuits' y, además de codirigir el Instituto Kavli de investigaciones neurológicas de la Universidad de Columbia desde 2004 y trabajar en el proyecto de cartografiar el cerebro humano, dedica algunas semanas al año al Instituto Cajal de la Universidad Politécnica de Madrid; también asesora a institutos tecnológicos de Andalucía, País Vasco y Cataluña. En septiembre de 2013 recibió un premio de 2 millones de euros de la agencia de Institutos Nacionales de Salud de Estados Unidos para el desarrollo del proyecto BRAIN, convirtiéndose en la gran apuesta científica de la administración Obama. En 2015, recibió el XLVII Premio Lección Conmemorativa Jiménez Díaz por su labor investigadora otorgado por la Fundación Conchita Rábago de Jiménez Díaz. En 2019 fue invitado a impartir la VI ICS Lecture on Humanities and Social Sciences del Instituto Cultura y Sociedad de la Universidad de Navarra.

Puedes conocer más del autor visitando su perfil en linkedIn o siguiéndole en twitter, donde se identifica como @yusterafa.

Ficha técnica:


AUTOR: Rafael Yuste
EDITORIAL: Editorial Paidós
AÑO: 2024 
ISBN: 978-8449342837
PAGINAS: 224

Artículos de este blog relacionados

miércoles, 2 de octubre de 2024

Notas sobre el aprendizaje por refuerzo (V): deep reinforcement learning

Llegamos ya a la quinta entrega de esta serie sobre aprendizaje por refuerzo ('reinforcement learning').

Este post será, creo, algo más sencillo y menos matemático que alguno de los anteriores, pero espero que aporte perspectiva.

En este caso, simplemente, vamos a revisar cuándo tiene interés el aplicar deep learning en el caso del aprendizaje por refuerzo ('reinforcement learning'), lo que dará lugar al denominado deep reinforment learning.


Recordatorio: aprendizaje por refuerzo y métodos tabulares


Antes, y como siempre en esta serie de posts y aun a riesgo de resultar algo repetitivo, un muy breve recordatorio de lo que hemos visto hasta ahora.



La situación en que nos encontramos es la de un agente (que me gusta pensar que es un robot, pero que puede adoptar otras muchas formas), que interactúa con un entorno, para lo cual realiza sobre éste una serie de acciones (a). La situación de ese entorno se define por una serie de estados. Cuando el entorno, que se encuentra en un estado s, recibe la acción, puede producirse en él una transición de ese estado s a otro s'. Esas transiciones están gobernadas por una función Ta, normalmente probabilista (estocástica). Cuando se produce ese cambio de estado el agente recibe del entorno una recompensa r.

El agente decide las acciones a realizar siguiendo una política π.

Lo que buscamos en el aprendizaje por refuerzo es que el agente aprenda la mejor política posible para conseguir maximizar la recompensa acumulada a sus acciones.

En esa labor, muchos algoritmos de aprendizaje por refuerzo se apoyan en las funciones de valor-estado Q, que, para una política dada, nos proporcionan la recompensa esperada acumulada cuando en un estado s comenzamos con una acción a.

Los denominados métodos tabulares, como SARSA y Q-Learning, se apoyan, simplemente, en reglas y tablas de estados para su cálculo.


Funciones y machine learning


No se suelen explicar así, pero los modelos de machine learning, una vez entrenados, resultan ser simplemente unas funciones, es decir una correspondencia que, a cada valor de un dominio de entrada, le hace corresponder el valor del dominio de salida.

En matemáticas sencillas, por ejemplo, la función raíz cuadrada, hace corresponder a un número del dominio de los números reales (entrada) otro número (salida), en este caso también en el dominio de los números reales.

Los algoritmos de machine learning, una vez entrenados, funcionan igual: a un valor de entrada, le hacen corresponder un valor de salida. Por ejemplo, a unos datos de entrada sobre mercado, acciones promocionales, etc, le hacen corresponder una previsión de ventas.

Eso sí, los algoritmos de machine learning tienden a aplicarse en dominios complejos, generalmente expresados como grandes vectores con un 'montón' de elementos o dimensiones, tanto en salida como, sobre todo, en entrada.

Y, más importante aún, y lo que realmente resulta diferencial en el caso del machine learning, esas funciones, la manera de hacer corresponder la salida con la entrada no las definimos por anticipado los humanos, sino que la aprende el propio algoritmo a partir de ejemplos o experiencia.

Y el deep learning no es una excepción a esto, lo cual no es de extrañar teniendo en cuenta que, aunque muy diferenciado, el deep learning no es más que un subconjunto del machine learning.

Aunque nos gusta, a la hora de explicar las redes neuronales y el deep learning, hacer el paralelismo con el cerebro humano, un paralelismo que tiene sentido por otro lado, a efectos prácticos y algorítmicos, las redes neuronales no son más que otro caso de funciones, una funciones que se aprenden. Y lo que ocurre es que las funciones que se pueden implementar mediante deep learning son especialmente complejas, muy complejas y casi misteriosas, pero funciones, al fin y al cabo


Lo que aporta el deep learning al aprendizaje por refuerzo


Vista la explicación anterior, no es difícil comenzar a imaginarse lo que aporta el deep learning en el caso del aprendizaje por refuerzo.

Volvamos al planteamiento del aprendizaje por refuerzo: tenemos un entorno con una serie de posibles estados. En este tipo de problemas es especialmente relevante la dimensionalidad del espacio de estados del entorno.

Cuando el problema es simple y un poco de laboratorio, por ejemplo un juego, el número de estados posibles del entorno, las transiciones posibles, las acciones, etc, son reducidos. Los métodos tabulares, como el Q-Learning, funcionan bien con una dimensionalidad baja y, a la hora de implementarla, se pueden cargar todos los estados en memoria sin problema.

En problemas reales, sin embargo, la dimensionalidad del espacio de estados en inmensa, casi inabarcable y, complejidad aparte, simplemente no podemos cargarlos en memoria y no podemos tampoco memorizar una política adecuada.

La forma de afrontar el problema es renunciar a trabajar con todos los estados como entrada y, en su lugar, representar la situación del entorno mediante unas características ('features') y, con usnado esas características como entrada, calcular valores y acciones. Los estados ya no son, pues, directamente identificables y no los podemos almacenar en tablas donde buscamos, como hacíamos en los métodos tabulares.

La correspondencia entre características como entrada y acciones y valores como salida es una función, una función que en los problemas de alta dimensionalidad es muy compleja, y una función que por tanto implementamos mediante redes neuronales, mediante deep learning.

 

Deep reinforcement learning


El uso de deep learning en el aprendizaje por refuerzo da lugar a una subdisciplina denominada 'deep reinforcement learning'.

De hecho, el libro de Aske Plaat en que me estoy apoyando para toda esta serie de posts se titula, simplemente así: 'Deep reinforcement learning'. 


Conclusiones


Cuando intentamos aplicar el aprendizaje por refuerzo a problemas reales, nos encontramos con una altísima dimensionalidad del espacio de estados del entorno. Eso imposibilita el utilizar métodos sencillos en que se tabulan los estados y, en su lugar, debemos representar indirectamente mediante características el estado del entorno y calcular estados y valores usando el mejor mecanismo que tenemos para implementar funciones muy compejas: el deep learning.

Esto da lugar al la subdisciplina del deep reinforment learning, donde cabe esperar los resultados más avanzados y espectaculares.


Artículos de este blog relacionados



viernes, 27 de septiembre de 2024

Un interesante paralelismo digital: las telecomunicaciones y el cerebro digital

Recojo en este post una pequeña iluminación, un pequeño destello de conocimiento que relaciona, de manera sorprendente, las telecomunicaciones con la neurociencia, un descubrimiento surgido casi de la más pura casualidad, pero que parece revelador.

Casualidades


Y es casualidad, una afortunada casualidad, porque ha tocado la coincidencia de que, justo el mismo día, estuviese preparando el material didáctico para una asignatura sobre Redes IP, y que leyese el capítulo preciso del libro 'El cerebro, el teatro del mundo' publicado recientemente por Rafael Yuste.

Una casualidad que nos habla y enlaza el papel que tiene lo digital, por mejor decir la codificación digital de la información, en aspectos tan diferentes como son las redes de telecomunicaciones y el cerebro humano.

Paso a explicarlo.


Comunicaciones digitales


Con el objetivo de explicar a los alumnos de una asignatura sobre redes IP las características diferenciales y ventajas de las comunicaciones digitales frente a las analógicas, había preparado, en el día de autos, la siguiente figura: 



Probablemente, los lectores avezados en comunicaciones entienden lo que quiere decir, sin más explicaciones, pero de todas formas cuento brevemente el mensaje que hay detrás.

Cuando trabajas en modo analógico, la información se representa, digamos, por un nivel de señal, que representa una intensidad, una frecuencia, etc. Así, por ejemplo, sui queremos enviar música por la red, primero la codificamos de forma analógica y luego ponemos en 'los cables' una señal que, en cierto sentido, es similar a la señal origen (aunque, por ejemplo, el sonido sea una onda de presión y lo representemos luego como tensiones en una red eléctrica o electrónica). Podríamos transmitirlo así y ya está. ¿Qué ocurre? Que cuando transmitimos esa señal por un cable, o por el aire, sufre una cierta degradación y lo que llega al receptor no es exactamente lo mismo que lo que envió el emisor. Dado que usamos una señal analógica (y recuerdo que analógico, no casualmente, tiene la misma raíz que 'análogo') el receptor interpreta, digamos, literalmente, esa señal y reproduce un sonido que saldrá también algo deformado respecto al original. La cosa es aún peor si ese receptor es intermedio y retransmite la señal, que ya está deformada y se irá deformando cada vez más en el camino.

En las comunicaciones digitales, codificamos esos sonidos como unos y ceros, y lo que importa no es realmente el nivel de señal, sólo si estamos representando un uno o un cero. Y eso lo hacemos, por ejemplo, con el uno siendo un valor alto de la tensión, y el cero un valor bajo, lo que da lugar a señales, digamos, 'cuadradas'. Pero, insisto, lo que importa no es la tensión concreta, sino si está representando un uno o un cero. Cuando recibe la señal el receptor también llega degradada, claro, pero dado que lo del nivel alto o bajo incluye una cierta tolerancia, se siguen identificando perfectamente los unos y los ceros, es decir, la información que recibe, como tal información, es exactamente igual la original, sin degradación. Es más, si el receptor es un elemento intermedio, como por ejemplo un router, cuando retransmita la señal, lo hará enviando una señal cuadrada perfecta, con lo que de alguna forma la ha regenerado y eliminado la degradación.

A esto se unen capacidades adicionales de detección y corrección de errores en las que no voy a entrar, para no complicar y, sobre todo, porque ya no enlazan con lo que a continuación comentaré sobre el cerebro humano.

En cualquier caso, la situación comentada explica en buena medida por qué las comunicaciones digitales son mucho más robustas en cuanto a la calidad de la información enviada y recibida.


Un cerebro digital


Eso, no sé para el lector, pero para mí es conocido desde hace muchos, muchísimos años. El descubrimiento, la novedad para mí, viene del campo de la neurociencia y de la mano de Rafael Yuste y del libro mencionado más arriba.

En el tercer capítulo, titulado de manera significativa: 'El teatro del mundo por dentro: las neuronas digitales', Yuste explica el más o menos conocido mecanismo de funcionamiento de las neuronas: cómo se unen dendritas con axones en las sinapsis, cómo se producen los flujos de iones que provocan los cambios de potencial y, en definitiva, la activación y disparo, o no, de una neurona.

Un funcionamiento que, en su versión más simplificada, podemos asimilar a un interruptor. Sin embargo, Yuste prefiere comparar el funcionamiento, más que a un interruptor, a un transistor. Si, si, un transistor, el componente electrónico que da vida a los microprocesadores y tantos dispositivos electrónicos.

Y ahora viene lo bueno cuando, literalmente, dice:


Que los transistores sean digitales es fundamental, porque las señales digitales no se degradan al transmitirse en distancias largas y se pueden almacenar con facilidad.


Aunque leyendo la frase, incluso en el contexto del libro, pueden quedar reservas sobre si esa afirmación se refiere a los transistores electrónicos o a las neuronas (pues en ese momento las está casi asimilando), a mí no me queda duda de que el profesor Yuste nos está queriendo decir que también nuestro cerebro y nuestro sistema nervioso utilizan esa codificación digital y, especialmente, que se aprovecha, no sólo de la facilidad de almacenamiento sino también de la robustez en su transmisión... igual que hacemos en comunicaciones digitales.

Y me queda menos duda cuando, muy poco más abajo, el autor, remata:


Como sabemos, gran parte de la tecnología de la humanidad está basada en la electrónica digital de los transistores. Pero la naturaleza nos lleva la delantera, pues hace ya más de seiscientos millones de años utilizó los principios de la electrónica digital para aprender a fabricar algo parecido.


¿No es fascinante?


Patrones


Es muy interesante descubrir patrones de comportamiento que afectan ya no solo a disciplinas diferentes sino a realidades de ámbitos diferentes. 

Pero no es sólo interesante en el sentido de que sea curioso, o incluso divertido. Es mucho más importante que eso.

Al menos en mi opinión, cuando encontramos patrones es que, de alguna forma, estamos descubriendo principios profundos, arraigados, definitorios. Es que, de alguna manera, nos estamos acercando a la verdad. 


Conclusiones

 

El uso de información digital, en lugar de analógica, facilita el almacenamiento y el procesamiento pero, además, proporciona robustez a las comunicaciones. Es un descubrimiento que hicimos los humanos ya hace unas décadas, pero resulta que, al parecer, la naturaleza lleva aplicándolo desde hace millones de años en los cerebros de los seres vivos, incluyendo, claro, los humanos.


miércoles, 25 de septiembre de 2024

Notas sobre aprendizaje por refuerzo (IV): Metodos tabulares. SARSA Y Q-Learning.

Aunque tendemos a imaginar la inteligencia artificial como una amalgama de algoritmos complejos y misteriosos, lo cierto es que no siempre es así.

Muchos de los algoritmos que conforman el así llamado machine-learning (y no digamos nada la antigua inteligencia artificial simbólica) son relativamente sencillos, lógicos y basados en intuiciones o razonamientos perfectamente inteligibles.

Donde comienza creo, el misterio, la semejanza con la magia es, cuando entramos en el campo del deep learning, de las grandes redes neuronales, donde se escapa un poco de nuestra lógica natural el funcionamiento de estos ingenios y cómo pueden obtener resultados.

Y eso que ocurre, en mi opinión, en toda la inteligencia artificial, también tiene lugar en el área del aprendizaje por refuerzo ('reinforcement learning'), donde existen algoritmos relativamente lógicos y sencillos pero donde también reinan cada vez más los mágicos algoritmos del deep learning. 

En este cuarto post de la serie dedicada al aprendizaje por refuerzo, nos vamos a quedar, todavía, en los algoritmos más o menos sencillos, los que no utilizan redes neuronales, unos métodos que en la referencia que estoy siguiendo en toda esta serie, el libro 'Deep reinforcement learning' de Aske Plaat, denomina 'tabulares' porque utilizan unos datos tabulados. 

Remataremos con un esbozo del algoritmo Q-Learning, aunque antes nos tendremos que detener a aprender algunos nuevos conceptos y otro algoritmo, SARSA.


Recordatorio: procesos de decisión y aprendizaje por refuerzo 


Antes, recordemos todo el marco en que nos estamos moviendo, y que se esquematiza en la figura que estoy usando repetidamente en esta serie de artículos.




Tenemos un agente, por ejemplo un robot, que se mueve en un entorno, un entorno que, en un momento dado, se encuentra en un estado (s). De cara a conseguir sus objetivos, el agente realiza acciones (a) sobre el entorno. Eventualmente, la aplicación de esa acción provoca un cambio de estado en el entorno que pasa del estado (s) al (s'), y el agente recibe una recompensa (r), una suerte de feedback de si se acerca o no a sus objetivos. 

Las transiciones de estado del entorno, están regidas por una función Ta. En algunos casos estas transiciones son deterministas, pero con frecuencia siguen distribuciones de probabilidad hallándonos en este caso ante entornos estocásticos. Para elegir la acción a realizar, el agente aplica una política (π).

En general, en un aprendizaje por refuerzo lo que queremos es aprender, u optimizar, esa política π, un poco por ensayo y error, aplicando acciones, viendo las recompensas obtenidas, y ajustando la política. 


Modelos del mundo. Algoritmos con y sin modelo


De alguna forma, esa función Ta que hemos mencionado, constituye un modelo del mundo (un modelo del entorno para ser más precisos, pero es común y seguramente 'más bonito' hablar de modelo del mundo).

Con bastante frecuencia, el agente NO conoce ese modelo del mundo, no sabe qué función Ta gobierna los cambios de estado del entorno, por lo que debe optimizar su política (π) sin conocer realmente el modelo del mundo, sólo con base en la interacción con el mismo y las recompensas obtenidas. Ese es el caso de los algoritmos que se denominan sin modelo ('model-free').

Veremos más adelante en esta serie, el caso en que el agente SI puede conocer o al menos aproximar el comportamiento del entorno. En este caso se habla de algoritmos basados en modelo ('model-based').


Explotación y exploración


En un post anterior, hablamos de una función, el valor estado-acción Q(s,a) que nos proporcionada el valor (es decir la recompensa acumulada esperada) ante la aplicación de una acción a, en un estado s.

La lógica más inmediata nos lleva a pensar que lo que tiene que hacer un agente en cada momento es seleccionar aquella acción que proporciona un mayor valor de Q. Es intuitivo y razonable, e incluso pudiera funcionar, pero la experiencia demuestra que esa estrategia, que se denomina 'greedy' (algo así como 'glotona') tiende a conducirnos a máximos locales, pero no globales, con lo que no llegamos realmente a determinar la mejor política de todas, sino una sólo una buena solución, pero no la mejor.

Por eso, se aconseja combinar los mecanismos que se denominan de explotación y exploración.

En explotación funcionamos de modo, digamos normal, usando las mejores acciones hasta donde conocemos (con base en nuestra función estado-valor), pero en exploración introducimos aleatoriedad en lugar de lo que dicte la función Q, para seleccionar la siguiente acción.

Los algoritmos mejores utilizan una combinación de ambos mecanismos, existiendo diversas teorías sobre la mejor forma de establecer ese equilibro o compromiso de en qué medida utilizamos uno u otro.


Aprendizaje de política on y off


A la hora de actualizar la política con base en la recompensa obtenida por el agente, el aprendizaje propiamente dicho mediante el mecanismo de 'backpropagation' que mencionamos en el segundo post de esta serie, lo primero que se nos viene a la cabeza es, simplemente, usar la recompensa para la última acción aplicada. Eso es lo que se denomina un aprendizaje de política 'on' ('on-policy learning').

Sin embargo, también es posible, y puede ser conveniente, no aplicar la retropropagación (el aprendizaje) de acuerdo con la recompensa a la última acción sino adoptar una perspectiva más amplia y, eventualmente, hacer el aprendizaje con otra recompensa quizá anterior. Esto es lo que se denomina aprendizaje de política off ('off-policy learning') y puede tener sentido, por ejemplo, cuando estamos aplicando la exploración que mencionábamos hace un momento. ¿Por qué? porque al explorar fácilmente nos podemos encontrar respuestas muy poco óptimas y no tendría sentido empeñarnos en utilizar la recompensa obtenida como un buen indicador de una buena decisión.


El algoritmo SARSA


Uno de los los algoritmos tabulares conocidos es SARSA. SARSA utiliza sólo explotación y aprendizaje de política on ('on-policy').

¿Cómo funciona? Pues, como conocemos, el agente selecciona una acción y obtiene una recompensa,. Con base en ella actualiza sus función valor-estado Q(s, a) que, indirectamente es como actualizar su política (π). En esa actualización sigue la fórmula:


Q(st, at) ← Q(st, at) + α[ rt+1 + γQ(st+1, at+1) - Q (st, at)]


No entraré en el detalle del significado de la fórmula, sólo indicar que la función valor-estado se va actualizando con base en la recompensa recibida.


El algoritmo Q-Learning


Bueno, pues culminamos el post esbozando, sin entrar en muchos detalles, el algoritmo Q-Learning. En el caso de Q-Learning estamos ante uno de esos denominados algoritmos tabulares (utilizan reglas o tablas en lugar de redes neuronales), utiliza tanto explotación como exploración y un aprendizaje de política off ('off-policy').

A priori, el funcionamiento va a ser muy similar al de SARSA y, si nos nos fijamos, la fórmula de actualización de las funciones valor-estado parece la misma


Q(st, at) ← Q(st, at) + α[ rt+1 + γmaxaQ(st+1, a) - Q (st, at)]


Parece la misma, pero no lo es. 

Fijémonos en la parte central de la fórmula, la que he destacado con negritas, y comparemos con el caso de SARSA. Vemos que si en SARSA se utilizaba la función valor del estado finalmente alcanzado, en el caso de Q-Learning se utiliza aquella función valor máxima de entre todas las acciones, no sólo la aplicada en último término. Eso es lo que le confiere la característica de aprendizaje de política off, en lugar de on.

Podemos, de una forma más estructurada y que nos acerca un poquito a un pseudocódigo, expresar el algoritmo Q-Learning de la siguiente maneta:

  • Inicializa la tabla de valores (Q) con números aleatorios
  • Repite
    • Selecciona un estado (s)
    • Para todas las posibles acciones (a) aplicables en ese estado (s), selecciona la que proporciona el mayor valor de Q (cuando estés aplicando explotación), o bien, si en esta iteración vas a aplicar exploración, selecciona una al azar. 
    • Mira la recompensa (r) obtenida y actualiza la tabla de valores Q con la fórmula que hemos visto más arriba
  • así hasta que se alcance el objetivo
  • Alcanzado el objetivo, repite todo el bucle hasta que los valores de la tabla Q ya no varíen mucho (eso implica fijar algún umbral de variación concreto). 

Con esto no hemos especificado del todo el comportamiento, aunque tampoco estamos tan lejos, pero sí es lo suficiente para, si lo leemos despacio, entender la filosofía básica del algoritmo.


Conclusiones


En este post, hemos ampliado algunos conceptos respecto a otros ya utilizados en los tres artículos anteriores. Así, hemos hablado de:

  • Algoritmos con y sin modelo ('model based' o 'model-free')
  • Concepto de explotación y exploración y la conveniencia de utilizarlos conjuntamente
  • Aprendizaje de política on y off ('on-policy'  learning y 'off-policy' learning)

Y, finalmente, quizá en la parte más formal y difícil del post, hemos esbozado los algoritmos SARSA y, un poco más, el Q-learning. Ambos tabulares, pero el primero usando aprendizaje 'on-policy' y el segundo introduciendo la exploración y usando aprendizaje 'off-policy'.

Y todavía no hemos llegado a la magia, a la introducción del deep learning porque estos algoritmos que hemos visto, que entran dentro de los llamados tabulares, son un poco más tradicionales, más modestos en sus campos de aplicación y más fáciles de entender (dentro de lo que cabe) .

Pero no tardaremos ya mucho en llegar al aprendizaje con refuerzo usando redes neuronales y deep learning aunque veremos que, si no se entra en detalles, habrá mucha continuidad expositiva con lo visto hasta ahora.