Dreyfus y los tres errores de Platón sobre los robots

Bueno, en realidad, 'el pobre' Platón tampoco es que opinase exactamente sobre los robots. ´

Sobre lo que sí opinó Platón fue sobre los procesos racionales humanos y eso ha influido sobre el entendimiento general que sobre esos procesos existe al menos en el mundo occidental y haber informado la manera de pensar delos investigadores en inteligencia artificial y en robótica.

Me encuentro leyendo el libro 'The robot will see you now' editado por John Wyatt y Stephen N. Williams que aborda la temática de los robots desde un perspectiva filosófica y cristiana. En uno de sus capítulos, Williams recuerda las críticas realizadas a la inteligencia artificial por el filósofo norteamericano Hubert Dreyfus y recogidas en su libro 'What computers still can't do'.

Hubert Dreyfus

Y es este autor, Dreyfus, quien considera que el pensamiento tanto aristotélico como platónico, aun siendo no coincidentes, sí han conducido conjuntamente a una serie de concepciones erróneos sobre el pensamiento humano que, en segunda instancia llevan a planteamientos erróneos de la inteligencia artificial y la robótica.

En concreto, y en el caso de Platón, Dreyfus señala estas tres concepciones erróneas:

• Separar el intelecto del cuerpo, pensando que el cuerpo es un estorbo de la inteligencia y la razón.


• Contemplar el conocimiento humano como algo que se puede enunciar mediante definiciones explícitas y reglas.


• Intentar recubrir de una estructura racional representada de manera teórica toda la vida humana, incluyendo la acción y no únicamente el pensamiento.

Como consecuencia de esta herencia, en opinión de Dreyfus la investigación en inteligencia artificial (y hay que hacer constar para ser justos y tener una perspectiva adecuada, que hablamos de los años setenta) se basaba en cuatro principios erróneos:

• Principio biológico: el cerebro es análogo al hardware de un ordenador y la mente análoga al software.


• Principio psicológico: La mente funciona realizando cálculos basados en reglas algorítmicas y símbolos discretos.


• Principio epistemológico: Toda actividad, tanto de seres animados como inanimados, puede ser formalizado matemáticamente mediante reglas matemáticas y con carácter predictivo.


• Principio ontológico: La realidad consiste en hechos atómicos e indivisibles

En la concepción de Dreyfus, nuestra psicología y nuestra inteligencia están fuertemente ligados al contexto en general y, en particular, a nuestros propios cuerpos y, por tanto, entiende que conseguir una inteligencia similar a la humana implica que las máquinas, digamos los robots, deberían tener cuerpos similares a los nuestros.

No he leído la obra de Dreyfus directamente, así que juzgo únicamente mediante estas breves referencias. Diría que hoy en día, la inteligencia artificial ya no supone implica el razonamiento mediante reglas y símbolos (que sí dominó la llamada inteligencia artificial simbólica y los sistemas expertos) dado que el enfoque conexionista y el machine learning no implican la existencia de símbolos y las leyes se formulan de manera no explícita, codificadas en los pesos de redes neuronales o en otros parámetros de algoritmos de machine learning.

No tengo tan clara, ni la doctrina actual al respecto (algo que intentare investigar) ni el acierto de esa ligadura entre nuestra inteligencia y nuestro cuerpo, no tanto porque me parezca que no exista en absoluto (que sí puedo entender que existe) como que sea condición necesaria un cuerpo similar al humano para tener una inteligencia comparable.

En cualquier caso, creo que nuestro conocimiento actual del pensamiento humano es todavía muy escaso y el desarrollo de la inteligencia artificial, con todo y los grandes éxitos que muestra, probablemente sea aún incipiente.

Así que es posible que sea pronto para juzgar si Platón se equivocó o no en su concepción del pensamiento.

Aún queda muchísimo por ver, investigar y aprender. Al menos, eso me parece a mi.

Anuncio de la presentación oficial de mi libro "Robots en la sombra"

Se ha hecho de esperar... pero ya está aquí.

El próximo Miércoles 29 de Septiembre, a las 19:00, en el Salón de Actos de Escuela de Organización Industrial, tendrá lugar la presentación de mi libro "Robots en la sombra".

En el evento, aparte de un público en que espero a familiares, amigos, compañeros y excompañeros, me acompañará un plantel de auténtico lujo:

En primer lugar Nieves Olivera, Directora General de Escuela de Organización Industrial que me aporta solidez y apoyo institucional por parte de la institución donde desarrollo gran parte de mi actividad docente.

También estará Valvanera Castro, experta en innovación, también profesora en EOI, compañera del Foro de Humanismo Digital EOI y autora del libro "La aventura de innovar", publicado en mi misma editorial, Anaya Multimedia, y que seguro presenta muy pronto.

No faltarán Richard Benjamins e Idoia Salazar que tantas aventuras recorren juntos, incluyendo ésta.

Idoia Salazar, es Presidenta de OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial), asociación a la que pertenezco, docente en la Universidad San Pablo CEU, autora de varios libros entre los que destaco "El mito del algoritmo" y co-prologuista de mi libro.

Richard Benjamins es Chief AI & Data Strategist en Telefónica, mi antigua compañía, Vicepresidente y co-fundador de OdiseIA, autor también de varios libros incluyendo "El mito del algoritmo" y también prologuista, junto con Idoia, de mi libro.

Si tenéis interés, este es el enlace para apuntarse y conocer detalles.

Me encantará verte por allí.

 

Caminos para la conversión en cíborg

Un fenómeno extraño, y que desafía nuestras concepciones éticas sobre la propia humanidad, es el de los cíborgs o la 'ciborgización' de la humanidad.

Un cíborg es, de alguna forma, una fusión entre lo humano y elementos tecnológicos. Algo que parece de ciencia ficción pero que ya se encuentra entre nosotros.

Se encuentra entre nosotros en casos en cierto modo aislados y espectaculares como el del conocidísimo Neil Harbisson con su antena implantada en el cráneo y que le permite, entre otras cosas, una percepción cromática aumentada. Pero, quizá, podríamos considerar que somos un poquito cíborgs todos aquellos que tenemos algún tipo de prótesis (prótesis de caderas, lentes intraoculares, marcapasos, etc).

En cierto sentido, la visión más desafiante de lo cíborg no es tanto, que también, aquella en que se potencian la capacidades puramente físicas o mecánicas, sino cuando esa fusión con la tecnología afecta también al cerebro y capacidades cognitivas.

Esa ciborgización, esa fusión con la tecnología, que hoy se centra sobre todo en aspectos terapéuticos y generalmente más cerca de lo mecánico que de lo cognitivo, podría incrementarse en el futuro, lo cual supone, en algunos casos, un fuerte reto ético y una reflexión profunda sobre la dirección evolutiva que queremos seguir,

En el libro 'Automation and Utopia: Human Flourishing in a World without Work' del filósofo John Danaher se analiza esa ciborgización como una visión de futuro, una visión de futuro incluso utópica (aunque el autor al final rechaza esa visión como deseable). En el transcurso de su análisis, el autor cita a Kevin Warwick, ingeniero y profesor de cibernética, quien identifica tres vías posibles hacia la conversión en cíborg, o hacia la ciborgización de la sociedad. Son estos:

• Cerebro cultivado en robot: Aunque lo nombramos el primero, quizá sea la opción más extraña y puede que inquietante. Se trata de cultivar células cerebrales (en la actualidad procedentes de roedores pero, en un futuro, quién sabe si también de humanos), unas células que serían capaces de enviar y recibir señales a/desde el exterior mediante su conexión mediante un array de electrodos de forma parecida a como se hace en ocasiones en BCI. La idea final sería utilizar esta especie de cerebros cultivados para mover y gestionar un cuerpo robótico. Lo cierto es que, según se nos indica, a nivel de laboratorio ya hay algunos resultados exitosos si bien con 'cerebros cultivados' muy pequeños y con capacidades muy limitadas de comportamiento.


• Interfaces cerebro-ordenador (Brain Compute Interfaces, BCI): Un conjunto de técnicas quizá algo más conocidas y que conectan, de diversas formas, el cerebro o sistema nervioso humano con ordenadores u equipos robóticos externos. En algunos casos, implican la toma de señales mediante mecanismos no invasivos como la Electro Encefalografía pero en los casos más avanzados suponen de nuevo implantes incluso intracraneales y en contacto directo con el cerebro o sistema nervioso. Con estas técnicas se han conseguido ya, por ejemplo, el movimiento de brazos robóticos o el control del temblor en pacientes de Alzheimer.


• Otros implantes y prótesis no neurológicos: Una categoría un poco 'cajón de sastre' donde se agrupan otro tipo de técnicas como la implantación de chips RFID por debajo de la piel para, por ejemplo, abrir una puerta mediante un sólo gesto o también la implantación de dispositivos magnéticos.

Danaher añade, a esta propuesta de Warwick, una cuarta categoría:

 

• Técnicas de aumento biomédico: En este caso estamos hablando de farmacología o psicofarmacología para mejorar el carácter, la cognición o la habilidad. También se incluiría aquí, y creo que con un mayor potencial disruptivo, la ingeniería genética

Inquieta un poco y suena a ciencia ficción pero lo cierto es que, aunque parezca futurista y fuera de nuestros esquemas mentales actuales, todas estas técnicas están en investigación e, incluso, en muchos casos, en cierto grado de uso en casos reales, normalmente en entornos terapéuticos.

Y como tales tecnologías que existen y que, sin duda, avanzarán mucho más, deberemos irnos acostumbrando y, sobre todo, tomar decisiones con base ética y quizá trasposición legal sobre la forma en que queremos emplearlas.

Una filosofía para humanos y robots con Sven Nyholm

'Humans and Robots: ethics, agency, and anthropomorphism' es un libro que se centra en los robots y sobre todo las relaciones de éstos con las personas y las derivadas éticas que ello tiene. Se trata, a pesar de hablar de robots, de un libro plenamente filosófico, un libro fundamentalmente sobre ética y en donde, como el subtítulo anuncia, se centra bastante en el tema de la agencia (la capacidad para obrar de una manera autónoma de la cual se pueden derivar responsabilidades) y el antropomorfismo, que lleva a que atribuyamos a los robots características propias de los humanos: intenciones, sentimientos, alma.

El libro, no muy extenso, estructura su contenido en ocho capítulos:

• 'Human minds meet artificial intelligence': Tras analizar un poco la controversia creada por el robot Sophia, presenta el objetivo del libro, defendiendo la necesidad de un subcampo de la ética dedicado específicamente a la interacción de robots y personas (HRI, 'Human-Robot Interaction') y destaca dos grandes tipos de preguntas: por un lado las que se refieren a la agencia, la capacidad de realizar acciones, tanto de humanos como de robots y, por otro, consideraciones éticas específicas de la relación entre humanos y robots, teniendo muy presente la tendencia a la antropomorfización de aquello con que se relacionan, incluyendo por supuesto a los robots, que exhiben los seres humanos. Luego pasa a reflexionar sobre lo que es un robot y lo que es realmente un ser humano. El autor defiende ya desde este capítulo que los humanos no están bien preparados para su relación con la Inteligencia Artificial y con los robots y que, por tanto, es necesario, o bien que se adapten los robots o bien que se adapte el ser humano.


• 'Artificial Agency, Human Responsibility': Parte de ejemplos de la ciencia ficción y concluye que las personas tendemos a atribuir agencia, no sólo a esos robots imaginarios sino también a los robots reales de que disponemos. Tras esa introducción, analiza más detalladamente qué es exactamente esa 'agencia' y las consecuencias en cuanto a responsabiliad de robots o humanos sobre los actos de los primeros
.
• 'Human-Robot Collaborations and Responsibility': Estudia las situaciones en que colaboran un humano y un robot e identifica vacíos en cuanto a responsabilidad y atribución. Utilizando como marco de análisis los accidentes de vehículos autónomos, analiza diferentes tipos de agencia y las implicaciones que tienen en cuanto a responsabilidad


• 'Human-Robot Coordination': Siguiendo con el mismo escenario básico, el de los vehículos autónomos, ahora analiza situaciones de coordinación entre humanos y robots (en este caso vehículos autónomos y vehículos tradicionales conducidos por humanos, lo que el autor denomina el tráfico mixto). El autor identifica tres estrategias posibles para esa coordinación: hacer la conducción de los vehículos autónomos mas humana, involucrar más al conductor humano o hacer que en ciertos aspectos la conducción humana sea más robótica.


• 'Robotic Relationships': Analiza las relaciones con los robots que implican tomarlos como verdaderos compañeros, amigos o pareja. Analiza la problemática y posibilidad de una eventual amistad con un robot aportando argumentos tanto a favor (procedentes fundamentalmente de otro filósofo, John Danaher) y en contra, más alineados con el pensamiento del propio autor.


• 'Robotic Mind-Reading': Analiza la temática de la llamada lectura de la mente, que no es una forma de telepatía sino la interpretación que hacemos de lo que otra persona, en este caso un robot, está pensando. Explica diferentes formas que puede adoptar esa lectura de la mente (atribución de estados mentales, atribución de características de personalidad y atribución de un 'yo' y un 'yo verdadero'). También explica cómo en esa lectura de la mente, terminamos atribuyendo al interlocutor, un robot en este caso, alguna forma de alma. Y continua explicando diversos estudios y actitudes frente a unas eventuales mentes robóticas para finalizar con una discusión sobre si los robots tienen o no mentes.


• 'Robot Virtues and Duties': Siguiendo en una senda ascendente, ahora se ocupa de la ética de robots. Habla de la ética para máquinas incluyendo argumentos críticos. Habla de las virtudes y cómo los robots se relacionan con ellas. Y también se habla de los deberes de los robots y realiza, al final, una distinción relevante en el caso de los robots como es la de ser realmente bueno o simplemente parecer bueno.


• 'Robot Rights': Y finalmente, aborda el problema de si los robots deben o no deben ser objeto de derechos. Analiza, por ejemplo, la crueldad con los robots e incluso su 'esclavitud'. El autor concluye que, en realidad y mientras los robots no tengan propiedades mentales similares a las de humanos o al menos animales, nuestro deber moral hacia los robots no es tanto por ellos como por nosotros, los humanos, por respeto a nuestra propia humanidad y moralidad.

Durante el desarrollo de las temáticas, hay frecuentes citas a otros filósofos o autores, a su pensamiento y sus libros. Además, al final de cada capítulo se incluye una larga bibliografía.

'Humans and Robots' es un libro que me ha fascinado. Parte con la ventaja de que la robótica, y la robótica más avanzada con altas dosis de inteligencia artificial, con alta autonomía de movimiento y acción, y capacidades de computación afectiva, es un tema que me apasiona. Pero además, me ha gustado mucho el tratamiento dado por el autor. Como digo, se trata de un libro plenamente filosófico, nada técnico en absoluto pero, sin embargo, parte de un muy buen entendimiento de la realidad técnica, de lo que la tecnología actual, muy en especial la inteligencia artificial y la robótica. pueden dar, sin fantasías ni malos entendidos. A eso se une una argumentación clara y un lenguaje fácil de seguir en general, muy alejado de lo que se puede pensar que es un tratado de filosofía.

Recomendadísimo.

Sven Nyholm

(Fuente: Traducción y ligera elaboración propia de su ficha en la Universidad de Liverpool)

Sven Nyholm

Sven Nyholm es profesor ayudante de Filosofía en la Utrecht University, miembro del Ethics Advisory Board del Human Brain Project y editor asociado de la revista 'Science and Engineering Ethics'. Gran parte de su trabajo reciente ha versado sobre el impacto de las tecnologías emergentes en nuestras oportunidades para vivir unas vidas con significado, mantener relaciones significativas y realizar un trabajo con significado. Está especialmente interesado en cómo la vida en el mundo contemporáneo, con tecnologías como los robots y la inteligencia artificial, afectan a las ideas tradicionales acerca de la ética y nuestro propio entendimiento como humanos.

Las publicaciones de Nyholm incluyen 'Revisiting Kant’s Universal Law and Humanity Formulas' (2015) y 'Humans and Robots: Ethics, Agency, and Anthropomorphism' (2020). Actualmente se encuentra escribiendo su tercer libro 'This is Technology Ethics: An Introduction' previsto para 2022.

Puedes saber más del autor visitando su perfil en LinkedIn o siguiéndole en twitter donde se identifica como @SvenNyholm.

Ficha técnica:

TITULO: Humans and Robots: Ethics, Agency, and Anthropomorphism

AUTOR: Sven Nyholm

EDITORIAL: Rowman & Littlefield

AÑO: 2020 

ISBN: 978-1786612274
PAGINAS: 235

Artículos de este blog relacionados

• ¿Se puede enseñar ética a un robot? Un sí con muchos peros..
• Qué es una máquina ética y tres motivos para desarrollar robots éticos
• y un discurso filosófico cuestionando esa amistad entre robots y personas
• Un discurso filosófico a favor de la amistad entre robots y personas
• Tres motivos para estudiar las relaciones afectivas de personas con robots.
• Robots, agencia y la inspiración de la ley

El test de Turing inverso

El empeño de la Inteligencia Artificial es resolver problemas complejos, problemas sin unas reglas de resolución claramente definidas y problemas en cuya resolución, de alguna manera, necesitamos incorporar capacidades cognitivas propias de los humanos.

El test de Turing

En ese camino, y desde hace ya muchos años, se planteó el cómo saber si una máquina o un agente era realmente inteligente. Y, como 'vara de medir', como elemento de comparación, se tomaba, claro, al propio ser humano, dando lugar al muy conocido, o al menos muy mencionado, test de Turing.

El test de Turing lo que intenta es comprobar si un agente artificial, se comporta realmente como un humano. Se supone que cualquier humano pasará el test de Turing y que sólo las máquinas realmente inteligentes lo harán, fracasando en el intento las máquinas no suficientemente inteligentes o, quizá mejor decir, con una inteligencia 'no suficientemente humana'.

Por simplificar, y por comparar con lo que viene, podríamos decir que en el test de Turing el que juzga es un humano y lo que ponemos a prueba es una máquina. Y lo que tiene que demostrar la máquina es inteligencia, su, perdón por decirlo así, 'humanidad'. 

Los captchas

En esta comparativa humano - máquina nos encontramos, al menos otras dos casuísticas. Una menos elaborada pero que experimentamos con frecuencia son los famosos captchas, esos mecanismos de seguridad incorporados a algunos sistemas en que se pretende que una persona demuestre que 'no es un robot'. Si se es 'suficientemente humano' se pasa la prueba. Si no, no. 

Comparado con el testo de Turing hay que hacer notar que, en este caso, el juez es una máquina (no un humano) y quien tiene que demostrar su 'humanidad' son las personas (se asume, quizá de forma un poco optimista, que un robot no puede superar un captcha).

Pero lo que me ha resultado llamativo, lo que me ha sugerido la escritura de este post es el llamado test de Turing inverso.

El test de Turing inverso

Descubro ese concepto leyendo el libro 'Automation and Utopia: Human Flourishing in a World without Work' del filósofo John Danaher aunque, en realidad, lo que hace Danaher es, en el contexto de análisis de lo que él denomina la utopía cyborg mencionar esta idea propuesta por el jurista Brett Frischmann y el filósofo Evan Selinger en su libro 'Re-engineering humanity'.

Estos dos autores, Frischmann y Selinger se muestran preocupados por el impacto deshumanizador de las tecnologías o lo que ellos denominan ingeniería tecno-social es decir los cambios inducidos en el comportamiento de las personas e incluso la manipulación basada en el uso de tecnologías novedosas que se infiltran de alguna manera en instituciones sociales (incluyendo, por ejemplo, la justicia).

Según estos autores, esa influencia puede llevar a que las personas, los humanos, nos comportemos realmente como máquinas, nos roboticemos de alguna manera. El test de Turing inverso lo que pretende detectar es si una persona se ha deshumanizado tanto como parecer una máquina.

Si en el test de Turing original, es la máquina la que quiere demostrar su 'humanidad', en el test de Turing inverso es el humano el que quiere demostrar (o quizá mejor decir, quiere comprobar) su 'maquinicidad', si es suficientemente máquina.

No tengo información ahora mismo si en este test de Turing inverso quien juzga es una máquina o un humano. Lo que sí está claro es que quien es puesto a prueba es un humano pero lo que se trata de demostrar no es tanto su inteligencia 'humana' sino su inteligencia 'robótica'.

Comentarios

Aunque no dudo (sin haber leído su libro) de que la preocupación de Frischmann y Selinger es profunda y sincera, no estoy muy seguro de hasta qué punto tomarme en serio este test de Turing inverso.

Intuyo que, al igual que el test de Turing original, más que un uso como tal, sirvió para clarificar conceptos y promover el debate y la investigación, este test de Turing inverso sirve también más de llamada de atención y de elemento de debate que de aplicación real.

En cualquier caso, me parece original y llamativo y por eso he querido reflexionarlo y tratarlo en este post.

Un amplio panorama de la explicabilidad de la Inteligencia Artificial

'Explainable AI: : Interpreting, explaining and visualizing deep learning' es un largo compendio del estado del arte en explicabilidad de la Inteligencia Artificial. Un comependio realizado de manera coral por multitud de autores que se encargan de forma individual o en grupos de dos o tres, de cada uno de los 22 capítulos que componen el volumen.

Un libro escrito en estilo científico, ordenado, riguroso, austero y con frecuencia profundo por lo que se trata de una obra valiosa aunque no del todo fácil de 'digerir'.

En su haber, aparte del rigor y la actualidad del tema, el haber conseguido un discurso razonablemente ordenado y completo para estar escrito por tantas manos.

Los veintidos capítulos se estructuran en siete partes, como sigue:

• 'PART I: TOWARDS AI TRANSPARENCY:' Se presentan los diferentes aspectos del problema de la explicación y se proporciona una revisión de alto nivel de los desarrollos recientes, puntos abiertos y áreas de investigación. Abarca los siguientes tres capítulos:
  
  
  • '1. Towards Explainable Artificial Intelligence:' Explica por qué es necesaria la explicabilidad desde diferentes perspectivas: seguridad, confiabilidad, social, legal y la posibilidad de extraer nuevo conocimiento. También se comentan las diferentes facetas de una explicación y se resumen los desarrollos actuales y los puntos abiertos.
  
  
  • '2. Transparency: Motivations and Challenges:' Se enfoca en los desafíos de la transparencia. Se pasa revista a varios tipos y objetivos de trasparencia, cada uno de las cuales requiere de un tipo diferente de explicación. Además, apunta a los posibles peligros de la transparencia y comenta la relacion entre trasparencia y otros conceptos como los de justicia y confianza.
  
  
  • '3. Interpretability in Intelligent Systems - A New Concept?:' Se repasa la historia de la explicabilidad de la inteligencia artificial y, en particular, la prevalencia de la cuestión de la explicacón en la investigación primigenia en el campo de los sistemas expertos, los intentos en este contexto de caracterizar las explicaciones en términos de 'desiderata' y la necesidad de cuantificar la incertidumbre asociada a estas explicaciones.


• 'PART II: METHODS FOR INTERPRETING AI SYSTEMS:' Intenta recoger el estado del arte en cuanto a técnicas para la interpretación de modelos de machine learning complejos.
  
  
  • '4. Understanding Neural Networks via feature Visualizations: A Survey:' Presenta la situación en que una red neuronal es sometida a unas entradas de un dominio conocido por los humanos y se trabaja con esas entradas para maximizar la activación de una neurona de salida, de manera que el humano pueda interpretar el significado asignado a esa neurona de salida. Los modelos de que se habla son visualizables por humanos, haciendo que el concepto aprendido por la red sea interpretable.
  
  
  • '5. Interpretable Text-To-Image Synthesis with Hiercarchical Semantic Layout Generation:' Presenta un modelo de red generativa en que se puede convertir texto en otra modalidad como, por ejemplo, imágenes.
  
  
  • '6. Unsupervised Discrete Representation Learning:' Presenta un algoritmo para resumir datos de entrada en clusters o hashes que sean interpretables por humanos trabajando, como elemento fundamental, con invariancias.
  
  
  • '7. Towards Reverse-Engineering Black-Box Neural Networks:' Se estudia cómo, en un entorno de redes adversarias, si utilizamos un modelo muy transparente ésto podría ser explotado por un usuario malicioso.


• 'PART III: EXPLAINING THE DECISIONS OF AI SYSTEMS:' En esta parte se centra en métodos de explicabilidad que ponen el foco en saber cómo las características de entrada influyen en la salida, lo que permite a un humano juzgar si la decisión se basa en factores relevantes y no en correlaciones espúreas. Se desarrolla en cuatro capítulos:
  
  
  • '8. Explanations for Attributing Deep Neural Network Predictions:' Presenta el método denominado 'meaningful perturbation' que sintetiza una perturbación local mínima en los datos pero provocando un gran impacto en el modelo de decisión con lo que se puede deducir que las variables que intervienen en la perturbacion tienen mucho peso en la decisión.
  
  
  • '9. Gradient-Based Attribution Methods:' Se exploran varias técnicas basadas en gradiente ('gradient-based') en los que la explicación se obtienen a partir de los componentes del gradiente de una función de decisión.
  
  
  • '10. Layer-Wise Relevance Propagation: An Overview:' presenta la técnica denominda 'Layer-Wise Relevance Propagation' (LRP) que obtiene explicaciones de redes neuronales profundas propagando la decisión hacia atrás en la red mediante unas reglas de propagación cuidadosamente diseñadas.
  
  
  • '11. Explaining and interpreting LSTMs:' Estudia las extensión de la técnica LRP vista en el capítulo 10 a otro tipo de redes como las LSTM.


• 'PART IV: EVALUATING INTERPRETABILITY AND EXPLANATIONS:' Esta parte se centra en la evaluación cuantitativa de la explicaciones proporcionadas y la comparación entre diferentes técnicas.
  
  
  • '12. Comparing the Interpretability of Deep Networks via Network Dissection:' Se presenta la técnica denominada 'network dissection', una técnica que ve las unidades de una red neuronal como detectores de conceptos y mide la interpretabilidad como el grado de alineamiento entre las activaciones de la red neuronal y los conceptos del mundo real.
  
  
  • '13. Gradient-Based Vs. Propagated-Based Explanations: An Axiomatic Comparison:' Se propone la evaluación de las técnicas de explicación mediante un enfoque axiomático y, en concreto, se consideran tres propiedades axiomáticas y con base en ellas se comparan los métodos basados en gradiente frente a los LRP.
  
  
  • '14. The (Un)reliability of Saliency Methods:' presenta un estudio de la calidad y fiabilidad de los llamados métodos de prominencia ('saliency methods').


• 'PART V: APPLICATIONS OF EXPLAINABLE AI:' Se muestran algunos casos de uso de la explicabilidad en ámbitos como la visión artificial, ciencias físicas e investigaciónb del cerebro, ocupando esta parte, los siguientes siete capítulos:
  
  
  • '15. Visual Scene Understanding for Autonomous Driving Using Semantic Segmentation:' Se aplica el problema de la explicabilidad y la inspectabilidad al caso de los vehículos autónomos y se propone un modelo de segmentación semántica que aplica una clase de objeto a cada pixel de la imagen de entrada. Los mapas así creados son interpretables por personas.
  
  
  • '16. Understanding Patch-Based Learning of Video Data by Explaining Predictions:' Se cambia completamente de tercio para aplicar la explicabilidad al ámbito de las propiedades moleculares y la predicción de actividad biológica.
  
  
  • '17. Quantum-Chemical Insights from Interpretable Atomistic Neural networks:' Saltamos al campo dela química, para ver las posibilidades de uso en la predicción de propiedades químicas con base en redes neuronales profundas.
  
  
  • '18. Interpretable Deep Learning in Drug Discovery:' Un poco en línea con el capítulo anterior ahora se aborda el uso de la explicabilidad en el problema de las propiedades moleculares y la predicción de bioactividad.
  
  
  • '19. NeuralHydrology - Interpreting LSTMs in Hydrology:' En este caso contemplamos el uso de una red LSTM para la predicción de lluvia.
  
  
  • '20. Feature Fallacy: Complications with Interpeting Linear Decoding Weights in fMRI:' Se comentan los retos para la intepretación de modelos de inteligencia artificial en neurociencia, por ejemplo, en neuroimagen (fMRI).
  
  
  • '21. Current Advances in Neural Decoding:' Finalmente se aplica la explicabilidad a la reconstrucción de la experiencia visual de un sujeto, a partir de patrones de actividad neuronal.


• 'PART VI: SOFTWARE FOR EXPLAINABLE AI:' Una parte final, compuesta por un sólo capítulo para ver alguna solución de software cocreta
  
  
  • '22. Software and Application Patters for Explanation Methods:' Se explica el uso de diferentes soluciones software como, por ejemplo, cómo implementar la técnica basada en gradiente con TensorFlow o las herramientas iNNvestigate.

'Explainable AI: Interpreting, explaining and visualizing deep learning' llena, probablemente, en el momento de escribir esta reseña, un cuasi-vacío en literatura técnica alrededor de la explicabilidad de la inteligencia artificial y proporciona una sólida guía, bien que no del toda sencilla, a tan interesante e innovadora materia.

Ficha técnica:

TITULO: Explainable AI: Interpreting, explaining and visualizing deep learning

AUTOR: Wojciech Samek, Gregoire Montavon, Andrea Vevaldi, Lars Karl Hansen, Klaus Robert Müller (Eds.)

EDITORIAL: Springer

AÑO: 2019 

ISBN: 978-3030289539
PAGINAS: 661

Artículos de este blog relacionados

• Deep learning y explicabilidad para el diseño de medicamentos
• Interpretabilidad vs explicabilidad en Inteligencia Artificial
• Dos métodos de explicabilidad del deep learning y un comentario
• Algunas estrategias genéricas para la explicabilidad de la inteligencia artificial
• Cinco características deseables de una explicación de Inteligencia Artificial
• Explicabilidad de la Inteligencia Artificial: ¿Qué es lo que queremos explicar?

Logro, realización y automatización

Casi desde el principio de los tiempos, de nuestros tiempos como especie, el ser humano ha usado tecnologías para ayudarle en su trabajo. Al principio cosas muy sencillas tecnológicamente aunque de enorme importancia,  como las hachas de sílex o la rueda, y poco a poco las hemos ido sofisticando.

El uso de la tecnología y de la automatización de tareas, ha sido creciente, con una explosión en la revolución industrial y, probablemente, una nueva explosión de grandes proporciones que vivimos ahora mismo, en estos años donde ya no sólo se automatizan tareas físicas y manuales sino también muchas tareas de naturaleza intelectual.

Si desarrollamos y usamos tecnología hay que pensar que lo hacemos porque queremos, porque nos interesa, porque nos es útil, porque, en definitiva, nos es beneficiosa de alguna manera.

Sin embargo ante el avance creciente de las tecnologías de automatización y, en especial, ante la posibilidad, discutida eso sí, que el desarrollo de la inteligencia artificial permita acometer la automatización masiva de tareas intelectuales, que se uniría a la automatización masiva de tareas manuales, dando como resultado un eventual desempleo masivo, surgen preguntas sobre si realmente eso es lo que queremos hacer.

No hay acuerdo ni sobre si realmente nos dirigimos hacia un desempleo masivo o, por el contrario, vamos a experimentar un crecimiento neto de empleo. Ni tampoco hay acuerdo sobre si una situación de ocio generalizado (financiado de alguna manera, eso sí, mediante renta básica universal o mecanismo similar) sería deseable o no.

Relacionado con este último aspecto, la deseabilidad o no de esa situación de ocio generalizado, traigo a colación unas consideraciones que hace el filósofo John Danaher en su libro 'Automation and Utopia: Human Flourishing in a World without Work': El autor, dedica unos pocos párrafos a analizar qué es lo que nos motiva a los humanos, que es lo que conduce a la sensación de logro y realización y si la automatización puede afectarle.

Y recurre para ello, primero, a los tres factores que según otra filósofa, Gwen Bradford, conducen a que un proceso genere sensación de logro, de realización en un ser humano. Son estos tres:

• Hemos seguido un proceso que produce un resultado valioso en el que estamos interesados


• El proceso seguido es suficientemente difícil.


• Es un proceso que no se produce por suerte, sino que precisa de habilidad o competencia por nuestra parte.

Una vez identificados estos tres factores, Danaher reflexiona brevemente sobre el impacto de la automatización y entiende que ésta, la automatización, erosiona los dos últimos factores. Un proceso o tarea automatizado pasa a ser sencillo o incluso trivial (en buena medida, para eso lo automatizamos). Y, además, pasa a ser un proceso o tarea que deja de precisar habilidad o competencia por nuestra parte. Eso sí, el resultado sigue produciéndose (y, apunto yo, probablemente en mayor medida) y sigue siendo valioso.

Hasta aquí parece que la automatización va en contra de la motivación, la sensación de logro y la realización ¿no? Si, eso parece pero no es del todo así, no solo para mi, sino para el propio Danaher.

Y no lo es porque, en primer lugar, salvo que pensemos en una automatización realmente extrema, siempre quedarán tareas y trabajos en los que podemos intervenir los humanos y que serán valiosos, difíciles y precisen de habilidad por nuestra parte. La idea es que además, justamente, lo que se automatice tenderá a ser lo que menos satisfacción suele producirnos.

Y no lo es porque, de nuevo, salvo que pensemos en una automatización realmente extrema, las tecnologías de automatización en realidad en muchos casos, más que sustituir totalmente, ayudarán a los humanos o colaborarán de alguna forma con ellos para potenciar otro tipo de tareas de orden superior. En el libro se ejemplifica con la atención médica indicando como el diagnóstico puede verse ampliamente automatizado (por ejemplo, en análisis de imagen) pero al final el médico toma la decisión diagnóstica. En ese caso, es cierto que habría una automatización parcial de la tarea, pero una automatización que sirve de ayuda. El médico, la persona, seguiría encontrándose con un resultado valioso, razonablemente difícil de obtener (aunque es cierto que en este punto habría habido una simplificación) y que aún precisa de competencia por su parte, por parte del médico.

No creo que el problema del impacto de la automatización en el empleo ni en nuestra motivación sea realmente un problema resuelto ni mucho menos. 

Pero tiendo a ser optimista. 

Tiendo a pensar que siempre habrá trabajo que hacer (y por tanto empleo) y que siempre encontraremos tareas que nos resultan satisfactorias y que, en realidad, la tecnología y la automatización, en general eliminarán aquello que no nos resulta satisfactorio más que aquellas otras actividades más humanas y que conducen más probablemente a la sensación de logro y realización.

Transferencia digital de estados de ánimo

A través de las redes sociales y de los medios digitales, podemos transmitir muchas cosas. Podemos transmitir información y noticias, ya sea del mundo en general, de nuestro entorno cercano o de nosotros mismos y nuestro micro-mundo, personal o profesional. Podemos transmitir opiniones, tengan éstas mayor o menor fundamento. Podemos transmitir ogras literarias y artísticas. Y podemos transmitir, por desgracia, bulos y mentiras. 

Y podemos también contar nuestro propio estado de ánimo, nuestras alegrías, motivaciones, disgustos o frustraciones.

¿Algo más?

Si, algo más. Resulta, o al menos eso parecen indicar las investigaciones, que no sólo se puede hablar de estados de ánimo (transmitir nuestro estado de ánimo no deja de ser, en el fondo, transmitir una información acerca de nosotros mismos) sino que también podemos influir en el estado de ánimo de muestra red.

Claro, si eso lo hacemos a nivel particular, su impacto es mínimo, pero la cosa puede ser diferente si hablamos de una 'manipulación' del estado de ánimo general desde instancias más poderosos.

¿A qué me refiero?

Leyendo el libro 'Weapons of math destruction' de la matemática norteamericana Cathy O'Neil, encuentro un pasaje en que la autora cita un estudio realizado en 2012 por Adam D. I. Kramer, Jamie E. Guillory y Jeffrey T. Hancock y recogido en el artículo 'Experimental evidence of massive-scale emotional contagion through social networks'.

En ese estudio se trabajaba sobre la red social Facebook  y, en concreto, sobre un público de 680.000 usuarios de esta red,. Lo que se hacía era clasificar las publicaciones en función de si transmitían un estado de ánimo positivo o negativo. A continuación se manipulaban las actualizaciones que recibían esos usuarios de forma que predominasen, o bien las positivas, o bien las negativas. Y, por último, se analizaba la positividad o negatividad de las actualizaciones realizadas por esos usuarios tras haber sido expuestos a los mensajes del experimento.  

¿El resultado?

Pues, como estoy seguro de que ya se imagina el lector, los usuarios que habían sido expuestos en su feed a mensajes con estado de ánimo positivo, se comportaban emitiendo ellos mismos actualizaciones predominantemente positivas. Por el contrario, los usuarios expuestos a mensajes fundamentalmente negativos se comportaban ellos mismos emitiendo actualizaciones más negativas.

La conclusión, tal como la leo en el libro de O'Neil es:

Emotional states can be transferred to others..., leading to experience the same emotions without their awareness

O sea, que podemos transmitir estados de ánimo a terceros (no información sobre estados de ánimo, sino el propio estado de ánimo) y lo podemos hacer usando redes sociales. Y eso, sin que los receptores sean conscientes de ello. En el fondo, si lo pensamos bien, no sorprende demasiado el hallazgo. Casi luce natural, y tampoco parece, en absoluto, que sea un fenómeno propio de los medios digitales sino que, es algo propio de nuestra naturaleza social y de nuestra integración en grupos.

Lo relevante, y lo que puede preocupar, es la escala y la posibilidad de manipulación. 

Con base en este fenómeno una compañía como Facebook (y menciono Facebook no sólo porque es la usada en el estudio, sino por su tamaño,  comportamiento e impacto reales), una compañía que llega, a más de 2.500 millones de personas, y una compañía que, como bien sabemos, selecciona y filtra en cierta medida los feeds y actualizaciones que recibimos, tiene la capacidad de influir en el estado de ánimo de millones de personas en la dirección que desee. 

La propia Cathy O'Neil se pregunta qué puede ocurrir si Facebook se propone influir en el estado de ánimo en un día de elecciones. Pero podemos añadir otras situaciones como podría ser un crack bursátil, un atentado o, siendo más positivos, un evento deportivo o el lanzamiento de un producto comercial (n nuevo dispositivo de Apple o una nueva serie en Netflix, por decir algo) a escala mundial.

El poder en sus manos, o en el de redes de similar alcance, es enorme. Un poder subrepticio y no evidente pero muy real y un poder que espero seas sólo latente pero que se puede desplegar en cualquier momento.

¡Uf!

Machine learning y las sombras del pasado

El truco que supone el enfoque conexionista, de todo el concepto de machine learning, en realidad, frente al enfoque simbólico de la inteligencia artificial, es que, en lugar de intentar conocer unos conceptos y unas reglas por anticipado, conceptos y reglas que luego trasladamos a un algoritmo, dejamos que sea el algoritmo el que detecte los patrones y, por tanto, deduzca los conceptos y sobre todo las reglas por sí mismo.

Le enseñamos (lo codificamos, realmente) cómo debe calcular, le enseñamos (lo codificamos realmente) cómo debe de aprender y luego le proporcionamos datos, muchos datos, para que aprenda de forma efectiva y para que, en el curso de ese aprendizaje, detecte los patrones y las reglas que nosotros no hubiésemos sabido 'explicarle' (codificarlo, realmente).

Esa es la esencia y el enfoque del machine learning. Un enfoque que ha traído consigo enormes avances, innumerables éxitos en los últimos años.

Sin embargo, y por desgracia, también trae consigo algunos riesgos si no gestionamos adecuadamente los datos y el proceso de aprendizaje. Y el motivo es intrínseco al funcionamiento del machine learning y lo refleja de forma muy sucinta la matemática norteamericana Cathy O'Neil en su libro 'Weapons of math destruction' cuando dice:

mathematical models, by their nature, are based on the past, and on the assumtions that patterns will repeat.

Simplemente es eso: entrenamos a los algoritmos con datos del pasado suponiendo que eso nos vale para el futuro. Parece lógico ¿de qué datos vamos a disponer si no son datos del pasado? Así que tomamos datos de una realidad pretérita y los usamos para que entrenar el algoritmo y con la idea de que éste detecte los patrones que subyacen en ellos.

¿Qué tiene eso de malo?

A priori nada. Nada siempre que ese pasado se vaya a mantener en el futuro. O aún más, siempre que deseemos que ese pasado se mantenga en el futuro.

Si entrenamos un algoritmo de visión artificial que reconoce dígitos de la matrícula de un coche, no tenemos ningún problema con utilizar datos del pasado. Por un lado, podemos estar razonablemente seguros de que los dígitos de una matrícula van a tener aproximadamente la misma forma, o muy similar, en el pasado que la que tendrán en el futuro. Por otro lado, no hay nada que nos incomode, especialmente en el plano moral, con que esos dígitos sigan teniendo la misma forma en el futuro.

Pero hay otras situaciones en que esto no es así. En que el futuro no es como el pasado o no queremos que sea como el pasado. En estos casos, entrenar con datos del pasado nos puede traer, al menos, tres problemas: sesgo, obsolescencia profecía autocumplida.

Sesgo

El problema surge cuando el futuro no tiene por qué ser igual que el pasado, es más, cuando por motivos en muchas ocasiones morales, preferimos que el futuro sea diferente del pasado. 

¿Qué quiere decir eso? Muy sencillo: veamos el tan traído y llevado caso del sesgo de género en la selección de personal o en el ascenso a cargos directivos. En ese caso, que ya ha sucedido por cierto, hablamos de un modelo matemático pensado para ayudar a un departamento de recursos humanos en la selección de lo(a)s mejores candidato(a)s para un puesto, ya sea un puesto de entrada, o mejor, para una promoción. Se alimenta a ese modelo con datos de procesos de selección del pasado para que deduzca los mejores criterios subyacentes de selección.

El problema es que los criterios del pasado no son 'los mejores'. Todos sabemos que, por desgracia, la mujer ha estado en desventaja en el ámbito laboral, en el pasado. Puede que también en el presente, pero desde luego en el pasado. Es decir, que si nos basamos en datos del pasado, y no hacemos nada más, vamos a trasladar al algoritmo esos criterios que dejaban en desventaja a la mujer. Es decir, el algoritmo estará sesgado en su contra.

Seamos claros: no es 'culpa' del algoritmo, que en realidad puede ser matemáticamente perfecto. No es tampoco un defecto o sesgo moral del desarrollador que lo ha implementado o del científico de datos que lo ha entrenado, que pueden incluso ser feministas, si se quiere. Y no es, por supuesto, que el algoritmo tenga algún tipo de 'intención oculta'. Los algoritmos no tienen intenciones propias. Ni siquiera es, necesariamente que hayamos hecho un mal muestreo de datos (que, en ocasiones también es fuente de sesgos). Es, simplemente, que el pasado era así pero ahora queremos un futuro diferente del pasado, un futuro que no perjudique laboralmente a la mujer, por lo que parece que un algoritmo entrenado con datos del pasado, sin más, no nos va a dar las mejores recomendaciones para el futuro.

Obsolescencia

Otro problema, quizá de bastante más sencilla solución, es el de la obsolescencia. 

Entrenamos el modelo con datos del pasado. Y vamos a suponer que lo hemos hecho bien y sin sesgos. Perfecto. Así que lo usamos... 

.Y lo seguimos usando, y lo seguimos usando...

El problema de la obsolescencia es que, en ocasiones la realidad va cambiando por lo que un modelo matemático, que funcionó bien durante un tiempo puede no ser ya válido y precisar de 're-entrenamiento', so pena de dejar de actuar correctamente.

Esto realmente, parece resoluble con medidas metodológicas y de buenas prácticas.

Profecía de autocumplimiento

Quizá, la sombra del pasado más elusiva, más difícil de detectar, y puede que más peligrosa es el de convertirse en profecía de auto-cumplimiento, algo que la autora citada, Cathy O'Neil, muestra con varios ejemplos.

En este caso, un modelo que se basa en datos del pasado y sesgado, proyecta ese sesgo hacía el futuro, reforzándolo o incluso agravándolo, en la medida que tomamos decisiones y actuamos en el mundo basado en lo que dice el algoritmo. 

Volvamos al caso del sesgo de género.

Hemos hecho un modelo que presenta sesgo de género. Pero no nos damos cuenta. Así que lo utilizamos en nuestros procesos de selección / promoción. Y como tiene sesgo de género va a favorecer las contrataciones / promociones de varones.

Eso sí, somos muy conscientes del problema de la obsolescencia. Así que reentrenamos el modelo cada cierto tiempo. Pero, en lo que a sesgo de género se refiere, da exactamente igual que lo reentrenemos. Incluso puede ser peor. Puesto que, como en el mundo real seguimos seleccionado con sesgo de género, al realimentar al modelo con las últimas selecciones / promociones, haremos que se re-afirme, incluso puede que profundice aún más, en ese sesgo.

En este caso, no se trata ya únicamente de que el modelo no nos proporcione la mejor sugerencia es que, además, las sombras del pasado se proyectan hacia el futuro manteniendo o agravando un problema del pasado.

Conclusiones

De todo el razonamiento anterior, que entiendo bastante conocido por aquellos que trabajan en machine learning y en ética de la inteligencia artificial, quisiera destacar algo que a veces en las fantasías y discursos ambiguos se pierde: muchos de los sesgos, muchos de los comportamientos inadecuados de los algoritmos son eso, meras sombras del pasado. Normalmente no hay mala intención por parte de las personas que los diseñan y entrenan. Es más, muchas veces están hechos con la mejor de las intenciones. Y por supuesto, no hay intencionalidad en absoluto por parte del algoritmo.

Se trata de problemáticas a veces sutiles, elusivas y no siempre fáciles de detectar,

Eso, desde un punto de vista moral y de culpabilidad nos alivia bastante (no hay mala intención la mayor parte de las veces) pero quizá, curiosamente, complique algo la problemática desde un punto de vista técnico para evitar, detectar y enmendar esas situaciones sin perder por el camino toda la indudable potencia y aportación del machine learning.

Los robots software según... Ignacio G.R. Gavilán

'Robots en la sombra' es un libro dedicado a los robots software, un concepto en el que el autor engloba lo que el subtítulo anuncia, a saber, 'RPA, robots conversacionales y otras formas de automatización cognitiva'. Quizá, el mayor foco se pone en la Automatización Robótica de Procesos (RPA por sus siglas en inglés). También tienen mucho peso los robots conversacionales, categoría que incluye los chatbots, los voicebots, los asistentes virtuales o los altavoces inteligentes y que el autor suele agrupar bajo el término general de chatbot por simplificación. El resto de formas robóticas se tratan ligeramente pero sin ocupar mucha extensión.

El tratamiento que se hace de los robots software es de mirada amplia, explicándolos desde una triple perspectiva:

• Funcional, es decir, explicando lo que son capaces de hacer.
• Tecnológica, aportando una explicación de las tecnologías que subyacen a estos robots.
• Empresarial, poniendo a los robots software en el contexto de la automatización de procesos y explicando sus implicaciones de gestión y en el negocio.

El libro se estructura en dieciséis capítulos agrupados en tres partes que se corresponden con las perspectivas antes indicadas.

• 'PARTE I: ENTENDIENDO LOS ROBOTS SOFTWARE:' Aporta la visión funcional y conceptual de los robots software e incluye cuatro capítulos:
  
  
  • '1. Los habitantes de las sombras: ¿Qué es un robot software?:' Pone en contexto la temática de los robots software intentando acotar primero el concepto de robot, revisando a continuación otro tipo de robots como los robots industriales o los vehículos robóticos, para finalizar con una explicación de lo que es un robot software.
  
  
  • '2. Robots en la oficina: Automatización Robótica de Procesos:' Un capítulo bastante extenso que explica lo que es la Automatización Robótica de Procesos (RPA) y qué capacidades podemos esperar de este tipo de soluciones. Además, ejemplifica el tipo de tareas y escenarios en que se emplea. Finalmente, cuenta cómo se enfoca el desarrollo y explotación de los robots y aporta algún concepto adicional como el de robot atendido o no atendido.
  
  
  • '3. Robots parlanchines: chatbots, voicebots y asistentes virtuales:' Trata de la otra gran categoría de robots objeto del libro: los robots conversacionales. Explica lo que es un chatbot entendido en sentido amplio, sus bloques funcionales y los elementos que componen una conversación así como escenarios típicos de aplicación.
  
  
  • '4. Otras especies robóticas:' Revisa otro tipo de robots como los financieros o los usados en medios sociales pero, sobre todo, explica el concepto de trabajador digital que el autor entiende como una convergencia de RPA y chatbots.


• 'PARTE II: LA TECNOLOGÍA QUE ANIMA A LOS ROBOTS:' Se centra en la visión tecnológica, desgranando cada una de las tecnologías en que se apoyan los robots software a lo largo de los siguientes siete capítulos:
  
  
  • '5. Aplicaciones en la chistera. Screen scraping, teclado y ratón:' Explica los mecanismos por los que los robots de tipo RPA interactúan con las interfaces de usuario de aplicacienes mediante la técnica del screen scraping para obtener información y cómo simular el comportamniento humano ante dispositivos de entrada como el teclado y el ratón.
  
  
  • '6. Papeleo robótico. Ineracción con ficheros y documentos:' Detalla cómo se manejan documentos y ficheros, principalmente en los robots RPA.
  
  
  • '7. Hasta las nubes y más allá: Computación en la nuve e integración' Tras aportar alguna idea básica sobre cloud computing y web services, se explica la forma en que los robots software pueden utilizar estas tecnologíaas para integrarse con otras solucuiones empresariales o para acceder a servicios en la nube, especialmente servicios con capacidades cognitivas.
  
  
  • '8. En el cerebro del robot. Inteligencia artificial y machine learning:' Un largo capítulo para explicar, primero, los conceptos básicos sobre algoritmos, inteligencia artificial y machine learning y para luego entrar en algo más de detalle en las redes neuronales y el 'deep learning.'
  
  
  • '9. ¿Cómo ven los robots? Visión artificial y OCR:' Un capítulo cortito donde, de una forma muy ligera, se explican ideas sobre visión artificial y reconocimiento óptico de caracteres (OCR) y cómo lo emplean los robots software para acceder a información.
  
  
  • '10. ¿Cómo hablan, escuchan y leen los robots? Lenguaje natural y tratamiento de la voz:' Otro capítulo sencillo que explica los rudimentos del procesamiento de lenguaje natural y de la voz y cómo esto se emplea para la comunicación con personas o el procesamiento de texto libre.
  
  
  • '11. A lo grande. Escalabilidad y seguridad:' Se abordan dos conceptos técnicos importantes para el despliegue masivo en entornos empresariales. Por un lado, se aportan conceptos de escalabilidad, es decir, como tener soluciones robustas para uso intensivo`en usuarios, datos y transacciones. Por otro, se revisan aspectos de ciberseguridad y cómo se enfocan en los robots software.


• 'PARTE III: EL NEGOCIO DE LOS ROBOTS:' Constituye la visión de negocio e incluso social, explicando cómo gestionar la robotización en la empresa y estudiando el impacto de los robots software en el negocio y en la sociedad. Y a ello dedica los últimos cinco capítulos:
  
  
  • '12. Los robots software en el contexto de la automatización:' Se pone a los robots software dentro de un mapa general de automatización de procesos de negocio. Primero se hace un repaso del concepto de proceso de negocio y se describe bastante detalladamente el mapa de soluciones existentes para su automatización, de las cuales los robots software son sólo una opción más. Se finaliza explicando, precisamente, cuál es el lugar de los robots software en ese mapa de automatización.
  
  
  • '13. Criterios de aplicación de robots software:' Se proponen una serie de criterios acerca de cuándo se deben aplicar, tanto los robots RPA como los robots conversacionales.
  
  
  • '14. En marcha: gestión de iniciativas de robotización:' Consiste en una explicación metodológica sobre la gestión de iniciativas de robotización enmarcadas en una gestión de procesos de negocio (BPM).
  
  
  • '15. Modelos de negocio robóticos:' Es una visión de carácter más estratégico explorando cómo puede afectar la robotización a los modelos de negocio. Primero se explica el concepto de modelo de negocio y su representación mediante el famoso 'business model canvas' y luego indica impactos de los robots en los distintos elementos de ese canvas para terminar explorando modelos de negocio basados en robots.
  
  
  • '16. Robots y sociedad:' Una visión final mas social y humanista y, en cierto sentido, más de opinión. Se trata la problemática del impacto en el empleo y la idea de la renta básica universal. También se habla de la eventual fiscalidad sobre los robots, posicionándose el autor en contra. Se trata asimismo el complejo asunto de las decisiones autónomas en los robots, la explicabilidad de esa decisiones y su impacto real en el caso de los robots software. Y se finaliza con unas breves consideraciones éticas.

Enmarcando todo lo anterior, el libro se abre con un prefacio titulado 'Una noche en la oficina' y cierra con un posfacio denominado 'Amanecer' que aportan una visión más ligera y levemente literaria mediante el desarrollo de una pequeña historia centrada en los robots software.

'Robots en la sombra' es, en resumen, una visión abarcadora del mundo de los robots software que, si bien aporta una base tecnológica clara, no está orientado tanto al mundo del desarrollo o la arquitectura técnica, sino a entender el fenómeno en su conjunto y emplearlo luego para la decisión empresarial o como un paso inicial de aprendizaje técnico.

 
Ignacio G.R. Gavilán

(Fuente: Elaboración propia)

Ignacio G.R. Gavilán

Ignacio G.R. Gavilán (Ignacio González de los Reyes-Gavilán) es asesor empresarial, profesor, escritor y conferenciante, especializado en innovación y transformación digital de procesos y modelos de negocio con especial foco en la automatización inteligente y la robotización de procesos.

Desde 2018 dirige su propia firma de asesoría y formación, Reingeniería Digital, especializada en la definición de planes de transformación digital de compañías y de mejora de procesos de negocio mediante la aplicación de tecnología digital. Además, es profesor y mentor de proyectos en EOI (Escuela de Organización Industrial) y colabora con otras instituciones como OBS (Online Business School) o UNIR (Universidad Internacional de La Rioja).

Ha publicado, hasta la fecha, dos libros: 'La Carrera Digital' (ExLibric, 2019) sobre transformación digital y 'Robots en la sombra' (Anaya Multimedia 2021) sobre robots software.

Ignacio es, ademas, fundador y líder del Foro de Humanismo Digital EOI y es, además, socio de OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial) donde ejerce el doble rol de ser Director de Operaciones y Director del Área de Relación Robots-Personas.

Anteriormente, entre 1992 y 2018, prestó servicios como mando en diversas unidades de Telefónica.

Allí estuvo más de doce años (1992 a 2005) en Telefónica Investigación y Desarrollo, donde tuvo responsabilidad en proyectos de desarrollo de sistemas de CRM, gestión de red, provisión y trouble ticketing de servicios de telecomunicación y donde participó activamente en el plan de innovación, trabajando en los ámbitos de historia clínica electrónica y soluciones de colaboración P2P desarrolladas con metodología agile.

Posteriormente, y encuadrado en Telefónica Soluciones de Informática y Comunicaciones (2005 a 2012), fue responsable del desarrollo de negocio y ejecución de proyectos y servicios para grandes clientes, fundamentalmente en el ámbito del puesto de trabajo digital y soluciones de conectividad LAN.

Desde 2012 a 2018, ya en Telefónica de España, coordinó los trabajos de la unidad de Operaciones y Red, tanto en el lanzamiento del servicio Movistar Fusión Empresas como, posteriormente, en una ambiciosa iniciativa de compañía en materia de reingeniería de procesos y sistemas.

Anteriormente a su ingreso en Telefónica, entre 1990 y 1992, prestó servicios en GADD S.A., donde participó en proyectos de desarrollo de sistemas de gestión documental y receta electrónica.

Ignacio G.R. Gavilán es ingeniero superior industrial por la Universidad de Oviedo, con especialidad en Electrónica y Automática. Tiene un Executive MBA en 2000 por IE Business School y mantiene las certificaciones PMP (Project Management Professional) en dirección de proyectos y OCEB2 (Object Management Group Certificate Expert in Business Process Management) en gestión de procesos de negocio.

Nació en Oviedo (Asturias), pero actualmente, y desde hace más de veinticinco años, reside en Madrid. Está casado y es padre de dos hijas.

Entre sus aficiones se cuentan la literatura y el deporte, habiendo sido practicante en su juventud del baloncesto, estando más enfocado en la actualidad a golf, pádel y sobre todo, y modestamente, al atletismo, formando parte del Club Corredores de Alcobendas (Madrid).

Ignacio es muy activo en medios sociales y le puedes encontrar en su página oficial (ignaciogavilan.com), en su blog Blue Chip (ignaciogavilan.com/blue-chip), Twitter (@igrgavilan) y YouTube.

Ficha técnica:

TITULO: Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva

AUTOR: Ignacio G.R. Gavilán

EDITORIAL: Anaya Multimedia

AÑO: 2021 

ISBN: 978-8441543478
PAGINAS: 352

Artículos de este blog relacionados

• Nanomáquinas y el concepto de robot
• En este día del libro ¿Por qué no "Robots en la sombra"?
• Llegó el día: Hoy sale a la venta mi nuevo libro "Robots en la sombra"
• Mi nuevo libro: "Robots en la sombra"

El concepto de arma de destrucción matemática de Cathy O'Neil

A estas alturas mucha gente, al menos aquella que se ha interesado por tecnologías y algoritmos relacionados con datos (Business Intelligence, Big Data, Machine Learning, Analítica,...) ) y a problemáticas éticas con ellos relacionados, es consciente de la existencia de una serie de riesgos como, y no son los únicos, los sesgos o la violación de la privacidad.

Dentro de la visión más contraria, más activista contra el empleo incorrecto de datos, se ha hecho célebre la matemática y científica de datos americana Cathy O'Neil a través de su famoso libro 'Weapons of math destruction' y su también popular charla TED 'The era of blind faith in big data must end'.

He terminado hace unas pocas fechas de leer el libro (la charla la visualicé hace más tiempo). Concepto esencial en esa obra es el de arma de destrucción matemática (WMD, 'Weapon of Math Destruction') que da título al libro.

Como registro de algo de lo aprendido, y como beneficio para aquellos lectores del blog que no conozcan el libro, resumo en este post a qué llama O'Neil arma de destrucción matemática. No nos proporciona la autora exactamente una definición, pero a pesar de ello queda bastante claro de qué habla. 

Habla de cálculos algorítmicos basados en datos (datos masivos en general) con base en los cuales se adoptan decisiones y que esas decisiones generan un gran daño y que, además, se trata de un daño que tiende a concentrarse en los más pobres, en las minorías, en los más vulnerables.

De todas formas, bastante al principio del libro, la autora sí que resume en las tres características de las armas de destrucción matemática, a saber:

• Opacidad: Se trata de algoritmos que llegan a conclusiones o generan decisiones sin que se conozca, al menos por los afectados por esas decisiones, los criterios usados.


• Escala: Se trata de soluciones algorítmicas que se emplean a gran escala, no en entornos reducidos.


• Daño: Y se trata, evidentemente, de soluciones algorítmicas que generan daño, un gran daño.

Aunque la autora no lo recoge en estas tres características, a lo largo de su obra quedan claras al menos otro par de características. 

Así, por ejemplo, se trata de soluciones algorítmicas que de alguna forma tienden a perpetuar o aumentar el problema. Por decirlo de alguna manera en muchos casos se convierten en profecías de autocumplimiento, idea a la que la autora suele referirse como reincidencia ('recidivism'). 

Y se trata de soluciones algorítmicas que, como decíamos antes, y en opinión de O'Neil, tienden a perjudicar a los más pobres y vulnerables.

Anticipo, cosa que recogeré en la reseña que haga del libro, que no me ha gustado demasiado ni el planteamiento del libro ni aspectos concretos de los razonamientos de la autora ni del mensaje que transmite.

Pero, a pesar de todo, lo que es indudable es que los riesgos que señala, al igual que las 'meigas', existir, existen, y muchas de las historias que completan el libro e ilustran los riesgos y malos usos, son, en efecto, casos de una aplicación incorrecta y perjudicial de los algoritmos. Y es también indudable, además, que Cathy O'Neil es un personaje popular en este ámbito de la crítica al uso de los datos.

Así que vale la pena conocer sus planteamientos, entender que son esas armas de destrucción matemática, que hay de cierto en ellas y qué podemos hacer para no crearlas y no utilizarlas.

 Y eso sí que es positivo e importante.