Los retos de la arquitectura Transformer

La inteligencia artificial, y dentro de ella el deep learning y la inteligencia artificial generativa, se han visto sacudidas en los últimos meses, al menos a nivel mediático (a nivel técnico ya llevaba sucediendo desde hace más tiempo) por los impresionantes resultados conseguidos con base en la arquitectura 'transformer', una arquitectura compleja de red neuronal que, sin embargo, tampoco es perfecta y aún tiene pendientes algunos retos.

En este post pasamos revista brevemente a algunos de ellos.

Una arquitectura de éxito

La arquitectura transformer vio la luz pública con el famoso artículo 'Attention is all you need' escrito por varios investigadores de Google. En él se propone un mecanismo, la atención, que permite superar los resultados obtenidos con, por ejemplo, las redes neuronales recurrentes, dominadoras del panorama de las redes neuronales para procesamiento de lenguaje natural en ese momento.

Las redes neuronales recurrentes son unas redes 'con memoria' obtenida a partir de una realimentación de la salida hacia la entrada lo que, de alguna forma, permite una especie de serie temporal en que los resultados en un momento dependen del resultado en el punto anterior.

El mecanismo de atención, extiende de alguna forma ese esquema, prestando 'atención' valga la redundancia, no sólo al estado anterior sino a todos los anteriores.

El caso es este mecanismo de atención, ha servido de base para la arquitectura transformer donde se le ha dado una nueva vuelta de tuerca introduciendo la 'auto-atención' que ya no me pararé a describir aunque seguramente valga la pena profundizar más en esta arquitectura, cosa que a lo mejor hago en algún otro post (aunque tendría que buscar la forma de hacerlo de manera sencilla).

La arquitectura transformer está por detrás de muchos de los impresionantes recientes resultados obtenidos en materia de lenguaje natural y de inteligencia artificial generativa, incluyendo los modelos GPT y, claro, el omnipresente ChatGPT.

Los retos para los transformer

Sin embargo, nada en este mundo es perfecto y la arquitectura transformer, en que todavía hay mucho trabajo en investigación y evolución, no está exenta de limitaciones y problemáticas a afrontar.

En el excelente libro 'Natural Language Processing with Transformers', sus autores, Lewis Tunstall, Leandro von Werra y Thomas Wolf, todos ellos pertenecientes a Hugging Face,  dedican una pequeña sección, a identificar brevemente algunos de los retos a los que se enfrenta esta arquitectura. Estos son los que nos comentan:

• Idiomas: Como en tantos otros aspectos del procesamiento de lenguaje natural, la investigación y el entrenamiento de modelos está hecho fundamentalmente en Inglés. En este caso, también hay buena disponibilidad de modelos en otros idiomas. Sin embargo, si pensamos en idiomas de no muy amplia difusión puede ser difícil encontrar modelos pre-entrenados.


• Disponibilidad de datos: Los modelos de transformer utilizan el 'transfer learning' (uso de un entrenamiento previo en otras redes o modelos) de forma que se reduce mucho la necesidad de datos etiquetados para el entrenamiento final. Sin embargo, en algunos casos se necesitan esos datos etiquetados de los que no siempre es fácil disponer.


• Trabajo con documentos largos: Los transformer utilizan el denominado mecanismo de 'auto-atención' en que una capa tiene información de todas las capas ocultas anteriores. Este es un mecanismo potente pero también computacionalmente costoso. Por ello, funciona razonablemente bien para textos del orden de un un párrafo o similar, pero se convierte en muy costoso para documentos largos.


• Opacidad: que enlaza con el conocido problema de la explicabilidad (falta de explicabilidad en realidad) de los modelos de deep learning. En efecto, también la arquitectura transformer, que no deja de ser una forma de deep learning, está afectada por esa falta de esa explicabilidad, por la dificultad para entender por qué el algoritmo hace lo que hace.


• Sesgo En general, los modelos transformer existentes se han pre-entrenado con datos procedentes de Internet (como pudiera ser la wikipedia). Por tanto, los modelos heredan de alguna forma todos los sesgos que pudieran estar presentes en esas fuentes y no siempre evitar aspectos como el sexismo, racismo etc son fáciles de eliminar.

Conclusiones

En el fondo, no se trata de problemáticas demasiado sorprendentes, ni siquiera muy específicas salvo, tal vez, la que afecta a los documentos largos. Se trata de problemáticas a los que se enfrenta la inteligencia artificial en general y el procesamiento del lenguaje natural en particular.

Sin embargo, opto por ser optimista y, si se han conseguido avances tan espectaculares en los últimos años, no veo razón para que no se puedan llegar a superar estas problemáticas, quizá evolucionando la arquitectura transformer, quizá con una nueva arquitectura o a lo mejor, en algún caso, con nuevos modelos de trabajo.

Es y va a ser apasionante ver cómo se avanza en este campo.

Tres leyes para una robótica responsable

Y con éste, cierro esta especie de mini serie de posts breves en que he comentado algunas propuestas en relación a ética y moral de los robots.

En los dos anteriores hablé primero de una propuesta de 'cuatro categorías de agentes éticos' que serían aplicables a los robots y luego de otra clasificación, en este caso 'tres categorías de moral para unos robots con autonomía'.

Finalizo ahora la miniserie, basada en las aportaciones de Robin R. Murphy en el último capítulo de su libro 'Introduction to AI robotics', con una tercera propuesta, en la que, en este caso, también está directamente implicada la autora del libro: la propuesta de tres leyes para una robótica responsable, en sustitución, de alguna manera, de las archi-famosas tres leyes de la robótica de Isaac Asimov.

Las tres leyes de Asimov

Las tres leyes de la robótica fueron introducidas por Isaac Asimov en su relato 'Circulo vicioso' publicado tan pronto como 1942 (14 años antes que la famosa conferencia de Darmouth). Aunque son bien conocidas, las transcribo:

• Primera ley: Un robot no hará daño a un ser humano, ni por inacción permitirá que un ser humano sufra daño.


• Segunda ley: Un robot debe cumplir las órdenes dadas por los seres humanos, a excepción de aquellas que entren en conflicto con la primera ley.


• Tercera ley: Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la primera o con la segunda ley.

Posteriormente, el propio Asimov introdujo, en el relato 'Robots e imperio' de 1985  una cuarta ley, que denomino 'Ley cero' y que reza así:

• Ley cero: Un robot no puede dañar a la humanidad o, por inacción, permitir que la humanidad sufra daños.

A pesar del indudable acierto y limpieza de estas leyes, a pesar del indudable ingenio y mérito de Asimov al formularlas, confieso que no deja de sorprenderme que estas tres leyes se sigan utilizando todavía hoy día con mucha frecuencia como una especie de referencia o punto de partida en artículos, tratados e incluso libros sobre ética de los robots.

Quizá es que el asunto de la ética de los robots es, aunque interesante, muy 'resbaladizo', una forma de terreno desconocido donde, quizá, lo que nos falta sean, precisamente, referencias, algo a lo que asirnos y por donde empezar.

Las tres leyes de la robótica responsable

El caso es que, a pesar de su, como digo, indudable acierto y mérito, las tres leyes de Asimov se nos quedan cortas, abstractas y alejadas de la realidad si pensamos en la robótica actual (y previsible en los próximos años) y en una eventual roboética.

Por ello han surgido otras formulaciones alternativas. Una de ellas es la que se propone en el artículo 'Beyond Asimov: the three laws of responsible robotics' firmado en 2009 (hace ya, por cierto, 14 años en el momento que escribo esto) por la propia Robin Murphy y David D. Woods. En ese artículo, más que unas leyes de la robótica en general, lo que se proponía eran unas leyes de la robótica responsable. Estas son las tres leyes que se proponían:

• Primera ley: Un humano no podrá desplegar un robot sin que el sistema satisfaga los estándares legales en materia de seguridad así como la más alta ética profesional.


• Segunda ley: Un robot deberá responder ante los humanos de forma apropiada a su rol


• Tercera ley: Un robot debe estar dotado de la suficiente autonomía para proteger su propia existencia siempre que esa protección proporcione una fácil transferencia de control que no entre en conflicto con la segunda y tercera leyes.

Es relevante cómo la primera ley, quizá eso si poco concreta, pone el foco no tanto en el propio robot y su eventual agencia sino en los humanos y en el respeto por parte de éstos tanto de la ley como de principios éticos.

La intención de la segunda ley es quizá menos clara, pero Murphy nos lo explica aclarando que piensa en relaciones no jerárquicas entre humano y robot y que, en ocasiones, incluso, el robot está en mejor posición que el humano para asumir el control. Un segundo aspecto que comenta Murphy y que está mucho más oculto en esta segunda ley, es que no siempre la relación humano-robot se producirá mediante lenguaje natural.

La tercera ley reconoce el hecho de que no siempre los humanos estarán en condiciones de corregir algún problema con que se encuentre el robot en un modelo de control 'in-the-loop'. Por tanto, la tercera ley aboga por que los robots tengan, al menos a nivel táctico, cierta autonomía para proteger su propia seguridad

Contemplando en conjunto estas tres leyes de la robótica responsable, las veo menos completas y abarcadoras que las de Asimov pero, eso sí, mucho más cercanas a la realidad y a una eventual operativización.

Conclusiones

Las tres leyes mencionadas me siguen pareciendo, al igual que las de Asimov, más un punto de partida, una referencia, para un trabajo mucho más extenso y complejo y con muchas más aristas tanto éticas como de viabilidad técnica.