Redes neuronales: tamaño y complejidad
Las redes neuronales han ido evolucionando incluyendo nuevas arquitecturas, nuevos algoritmos en sus funciones de entrada (por ejemplo, la convolución) o funciones de activación, nuevas formas de conexión incluyendo realimentaciones (como en redes recurrentes), nuevas formas de conseguir contexto (atención y autoatención), etc
Sin embargo, un patrón más o menos común es que, conforme las redes neuronales aumentan su potencia, y otras variaciones arquitecturales aparte, lo hacen creciendo en el número de capas, en el número de neuronas por capa, y por tanto en el número de pesos (parámetros), etc.
De hecho, en los modelos de tipo GPT, por ejemplo, nos movemos en órdenes de magnitud de muchos miles de millones de parámetros, superando, en algún caso ampliamente, el número de neuronas del cerebro humano.
Ese tamaño es problemático por su dificultad intrínseca, por la enorme cantidad de datos necesarios para su entrenamiento, por su consumo eléctrico, etc.
Algo no estamos haciendo bien del todo cuando necesitamos redes neuronales más complejas, al menos en volumen, que el propio cerebro humano y con unos resultados que, aunque cada vez más espectaculares, distan, con mucho, de alcanzar los de nuestro órgano rector.
Un atisbo de solución en este sentido, pudieran ser las denominadas redes neuronales líquidas.
Mirando de nuevo a la naturaleza
Como ha ocurrido en tantas ocasiones en el desarrollo de la inteligencia artificial, algunos científicos han buscado la inspiración en la propia naturaleza.
Existe un pequeño animal, una lombriz denominada C-elegans que puede arrojar luz. Se trata de una lombriz cuyo cerebro consta, únicamente, de 302 neuronas lo que ha permitido su estudio detallado. En efecto, los propios biólogos han logrado entender bastante bien cómo funcionan las neuronas de este animal y lo que han encontrado es que, en esencia, las neuronas de estas lombrices implementan algo parecido a una ecuación diferencial.
Se trata de un cálculo bastante más complejo que el que realizan las neuronas artificiales de casi cualquier arquitectura de red neuronal 'normal'. No voy a entrar ahora en ello, ya describí las funciones de transferencia y activación más comunes en algún post hace un tiempo, pero, en esencia decir que, mientras las neuronas artificiales habituales implementan funciones matemáticas relativamente sencillas, el modelo de una neurona artificial imitando a las de la lombriz C-elegans supone implementar funciones procedentes del cálculo diferencial.
Las redes líquidas.
En concreto, un equipo dirigido por Daniela Rus en CSAIL, tal y como nos lo describe en el libro 'The heart and the chip', ha conseguido desarrollar, con base en estos principios, lo que denominan las redes neuronales líquidas.
Las neuronas de estas redes implementan una ecuación diferencial y además tiene parámetros 'líquidos', en concreto una constante de tiempo, que se va adaptando conforme a las entradas que recibe, consiguiendo de esta manera una adaptación a nivel de neurona individual.
El equipo del MIT bajo el liderazgo de Rus, ha realizado una comparativa en el caso de vehículos autónomos, comparando una red neuronal estándar, de más de 100.000 neuronas, con una red líquida de sólo 19 neuronas.
Con esta mínima red líquida, se consiguió aprender cómo conducir con base en la observación de cómo lo hacía un humano. En cierto modo, la red se enseñó a sí misma cómo asociar los movimientos de conducción (volante, ruedas, etc) para reaccionar a la curvatura de la carretera.
Aparte de en el libro mencionado, Rus describe este tipo de redes y el experimento de conducción autónoma en la TED Talk titulada 'How AI will step off the screen and into the real world'.
La autora añade que, además, en unas redes tan simples es más fácil comprender por qué la red hace lo que hace, algo que pudiera trasladarse luego, por ejemplo, a un árbol de decisión comprensible por humanos, logrando así la tan traída y llevada (y tan compleja de conseguir) explicabilidad.
Añado de mi cosecha, la consideración de que este tipo de redes podrían ser también una gran contribución a, estimo, un drástico ahorro energético y disminución de huella de carbono, en comparación con sus primas las redes neuronales que tenemos hasta la fecha.
Y creo, igualmente, que facilitaría la inclusión de algoritmos muy avanzados en unos chips mínimos, permitiendo llevar la inteligencia a caso cualquier elemento artificial.
Conclusión: ¿La solución a nuestros problemas?
La idea parece, pues, tremendamente interesante y prometedora.
Me llama la atención, sin embargo que, y a lo mejor es 'culpa' mía, apenas he oído hablar de este tipo de redes líquidas hasta la fecha.
Me malicio que tienen algún tipo de limitación que les impide ser todavía una alternativa realista a gran escala y tiendo a imaginarme que todavía son más materia de investigación que de producción comercial masiva.
No estoy seguro, pero intentaré permanecer a atento porque la propuesta es interesantísima y, de ser exitosa, podrían dar un nuevo vuelco al mundo de las redes neuronales, y por tanto al de la inteligencia artificial y casi diría que a nuestra economía y sociedad.
No hay comentarios:
Publicar un comentario