Explicabilidad de la Inteligencia Artificial: ¿Qué es lo que queremos explicar?

Una de las áreas de trabajo en Inteligencia Artificial, un área, además, relacionada con los aspectos éticos e incluso legales de la Inteligencia Artificial, es el de la explicabilidad de la inteligencia artificial o la inteligencia artificial explicable ('explainable AI').

¿En qué consiste el problema?

El problema de la explicabilidad de la inteligencia artificial

Pues en que algunos de los algoritmos de inteligencia artificial más notorios, en concreto, por ejemplo, todos los que tienen que ver con deep learning, realizan sus cálculos o, si queremos llamarlo así, 'sus razonamientos', siguiendo unas técnicas de cálculo que nada tienen que ver con el razonamiento simbólico que usamos los humanos.

Eso quiere decir que, si mediante un algoritmo de ese tipo, decidimos por qué concedemos o no un crédito a una persona o por qué seleccionamos a una persona para un puesto, o por qué condenamos o absolvemos a un acusado, no sabríamos explicar en términos humanos por qué lo hemos hecho. Y por lo tanto, tampoco habría lugar a contra-argumentar o recurrir esa decisión, al menos no en términos de razonamiento humano.

Hace ya un tiempo escribí un artículo en este blog, afirmando, y lo mantengo, que, al contrario de lo que se suele decir, los algoritmos de inteligencia artificial sí que se explican, se explican perfectamente. Lo que pasa es que se explican en unos términos lógico-matemáticos que no siguen el esquema simbólico-lingüístico que usamos en el razonamiento consciente los humanos y que, por tanto, se explican en unos términos que no entendemos los humanos. A modo de paralelismo, es como si quisiésemos explicar nuestros mecanismos de decisión aportando como información qué áreas de nuestro cerebro se activan durante esa decisión y cómo están conectadas nuestras neuronas. Es decir, aunque los algoritmos de inteligencia artificial se explican, a efectos prácticos es lo mismo que si no se explicasen.

Tipos de explicaciones 

Pero, yendo un poco más allá ¿Qué querríamos que un algoritmo de inteligencia artificial nos explicase exactamente?

En el libro 'Explainable AI: Interpreting, Explaining and Visualizing Deep Learning' editado por Wojciech Samek, Grégoire Montavon, Andrea Vedaldi, Lars Kai Hansen y Klaus-Robert Müller se mencionan cuatro tipos de explicaciones  que podríamos desear, dependiendo del receptor de esa explicación y su intención al buscar una explicación. Estos son los tipos de explicaciones que proponen:

• Representaciones aprendidas: Se trata de entender cómo se representa internamente en un modelo de deep learning lo aprendido por la red neuronal


• Predicciones individuales: En este caso se trata de saber, para un caso concreto, qué es lo que ha conducido a un algoritmo a su conclusión. Por ejemplo, en el caso de una clasificador de imágenes, qué píxeles de la imagen original han pesado más en la decisión final.


• Comportamiento del modelo: Se trata ahora de un entendimiento más general que las explicaciones a casos particulares, intentando comprender, de alguna manera, las estrategias que utiliza el algoritmo para llegar a sus conclusiones.


• Ejemplos representativos Intentan entender un algoritmo, un modelo, mediante ejemplos representativos en los datos de entrenamiento lo que permite hacerse una idea de cómo los ejemplos de entrenamiento influyen en el modelo final.

La perspectiva que aportan estos autores en todo el libro y también, claro está, en esta tipología, es claramente técnica y cada uno de esos tipos de explicaciones  conlleva por detrás, trabajo a nivel de estrategias matemáticas y algoritmos para la explicabilidad. Es decir, en cierto sentido, explicamos algoritmos mediante otros algoritmos.

No se trata de un camino fácil, pero hay mucho interés en él y seguro que muy buenas cabezas trabajando en ello. Confiemos en que tengan éxito.