Motivos para el deep learning

He iniciado la lectura del libro 'Deep Learning con Python', traducción al castellano del libro escrito por François Chollet. Françoise es un ingeniero francés, investigador en Inteligencia Artificial, que trabaja actualmente  en Google  y que es conocido, sobre todo, por ser el creador de Keras, una muy popular API para la construcción de redes neuronales.

En el primer capítulo, y como es de esperar, hace una introducción donde, de forma muy sencilla, explica conceptos muy básicos y algo de historia de la inteligencia artificial, del machine learning y del deep learning.

Repasa, por ejemplo, los modelos probabilísticos con el naive Bayes y la regresión logística. Repasa el nacimiento de las redes neuronales y la aplicación del descenso de gradiente ('gradient descent'), las redes de convolución y el algoritmo de retropropagación ('backpropagation'). Pasa luego a los métodos kernel ('kernel methods') y las Support Vector Machines (SVM), a los árboles de decisión, para volver por fin a las redes neuronales, al auge de las redes de convolución ('convnets') y al nacimiento y auge del deep learning.

Una historia rápida y explicada de forma muy sencilla pero, en lo que me quería detener un poco más en este artículo es en las razones que sugiere Chollet para explicar el éxito actual del Deep Learning.

Estos son los argumentos que aporta.

¿En qué es diferente Deep learning de otros algoritmos?

En primer lugar y es bastante evidente, es que deep learning ha conseguido mucho mejores resultados que algoritmos anteriores en diversas tareas como en visión por computador o procesamiento de lenguaje natural.

Un segundo motivo que hace diferente al deep learning es que automatiza una tarea conocida como ingeniería de características ('feature engineering'). Se trata de una labor que consiste en procesar los datos en bruto para, apoyándose en cierto conocimiento del dominio del problema a resolver, extraer características relevantes que son luego utilizadas por los algoritmos de machine learning. En otros algoritmos se trata de un pre-procesado en que los humanos tienen que dedicar bastante esfuerzo. Sin embargo, según explica Chollet, en Deep Learning este tratamiento ya viene dentro del propio algoritmo.

Finalmente, Chollet argumenta que en Deep learning todas las capas de la red se entrenan y ajustan a la vez frente a los modelos de aprendizaje superficial ('shallow learning') que utilizan los denominados algoritmos voraces ('greedy algorithms') en los cuales se optimiza capa a capa.

¿Por qué ahora Deep Learning?

¿Y por qué precisamente ahora esta explosión?

En parte ya viene explicado por lo visto anteriormente, pero hay que tener en cuenta algún factor adicional. En concreto, Chollet identifica tres factores o dimensiones:

• Hardware: donde la gran aportación es la aparición de los GPU ('Graphical Processing Units') procedentes de la industria de los videojuegos y su aplicación en machine learning donde aportan su gran capacidad de procesamiento y de trabajo en paralelo. El autor apunta como línea de futuro en materia de hardware al trabajo, de momento como investigación de las TPU ('Tensor Processing Unit') de Google.


• Datos: la mayor parte de los algoritmos de machine learning y, en concreto, de deep learning, necesitan de enormes cantidades de datos para su entrenamiento. La adopción de Internet en general, y de los medios sociales en particular, con su enorme riqueza en imágenes, vídeos, textos, etc han sido una materia prima fundamental para el desarrollo del deep learning.


• Mejoras algorítmicas: La tercera dimensión es algorítmica y ahí yo incluiría los temas apuntados en la sección anterior pero el autor avanza un poco más y detalla algunas mejoras algorítmicas más especificas como mejores funciones de activación en las redes neuronales, mejores esquemas de inicialización de pesos en la red y mejores esquemas de optimización.

Conclusión

Y esas son las razones que nos aporta Chollet. Parecen razonables y, además, las aporta alguien con reconocida autoridad y experiencia en la materia.

En cualquier caso, sean estas las únicas razones o haya otras, lo que es indudable es de la pujanza actual de la inteligencia artificial, del machine learnng y, específicamente, del deep learning.