miércoles, 22 de septiembre de 2021

Anuncio de la presentación oficial de mi libro "Robots en la sombra"

Se ha hecho de esperar... pero ya está aquí.

El próximo Miércoles 29 de Septiembre, a las 19:00, en el Salón de Actos de Escuela de Organización Industrial, tendrá lugar la presentación de mi libro "Robots en la sombra".

En el evento, aparte de un público en que espero a familiares, amigos, compañeros y excompañeros, me acompañará un plantel de auténtico lujo:

En primer lugar Nieves Olivera, Directora General de Escuela de Organización Industrial que me aporta solidez y apoyo institucional por parte de la institución donde desarrollo gran parte de mi actividad docente.

También estará Valvanera Castro, experta en innovación, también profesora en EOI, compañera del Foro de Humanismo Digital EOI y autora del libro "La aventura de innovar", publicado en mi misma editorial, Anaya Multimedia, y que seguro presenta muy pronto.

No faltarán Richard Benjamins e Idoia Salazar que tantas aventuras recorren juntos, incluyendo ésta.

Idoia Salazar, es Presidenta de OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial), asociación a la que pertenezco, docente en la Universidad San Pablo CEU, autora de varios libros entre los que destaco "El mito del algoritmo" y co-prologuista de mi libro.

Richard Benjamins es Chief AI & Data Strategist en Telefónica, mi antigua compañía, Vicepresidente y co-fundador de OdiseIA, autor también de varios libros incluyendo "El mito del algoritmo" y también prologuista, junto con Idoia, de mi libro.

Si tenéis interés, este es el enlace para apuntarse y conocer detalles.

Me encantará verte por allí.

 

lunes, 20 de septiembre de 2021

Caminos para la conversión en cíborg

Un fenómeno extraño, y que desafía nuestras concepciones éticas sobre la propia humanidad, es el de los cíborgs o la 'ciborgización' de la humanidad.

Un cíborg es, de alguna forma, una fusión entre lo humano y elementos tecnológicos. Algo que parece de ciencia ficción pero que ya se encuentra entre nosotros.

Se encuentra entre nosotros en casos en cierto modo aislados y espectaculares como el del conocidísimo Neil Harbisson con su antena implantada en el cráneo y que le permite, entre otras cosas, una percepción cromática aumentada. Pero, quizá, podríamos considerar que somos un poquito cíborgs todos aquellos que tenemos algún tipo de prótesis (prótesis de caderas, lentes intraoculares, marcapasos, etc).

En cierto sentido, la visión más desafiante de lo cíborg no es tanto, que también, aquella en que se potencian la capacidades puramente físicas o mecánicas, sino cuando esa fusión con la tecnología afecta también al cerebro y capacidades cognitivas.

Esa ciborgización, esa fusión con la tecnología, que hoy se centra sobre todo en aspectos terapéuticos y generalmente más cerca de lo mecánico que de lo cognitivo, podría incrementarse en el futuro, lo cual supone, en algunos casos, un fuerte reto ético y una reflexión profunda sobre la dirección evolutiva que queremos seguir,

En el libro 'Automation and Utopia: Human Flourishing in a World without Work' del filósofo John Danaher se analiza esa ciborgización como una visión de futuro, una visión de futuro incluso utópica (aunque el autor al final rechaza esa visión como deseable). En el transcurso de su análisis, el autor cita a Kevin Warwick, ingeniero y profesor de cibernética, quien identifica tres vías posibles hacia la conversión en cíborg, o hacia la ciborgización de la sociedad. Son estos:


  • Cerebro cultivado en robot: Aunque lo nombramos el primero, quizá sea la opción más extraña y puede que inquietante. Se trata de cultivar células cerebrales (en la actualidad procedentes de roedores pero, en un futuro, quién sabe si también de humanos), unas células que serían capaces de enviar y recibir señales a/desde el exterior mediante su conexión mediante un array de electrodos de forma parecida a como se hace en ocasiones en BCI. La idea final sería utilizar esta especie de cerebros cultivados para mover y gestionar un cuerpo robótico. Lo cierto es que, según se nos indica, a nivel de laboratorio ya hay algunos resultados exitosos si bien con 'cerebros cultivados' muy pequeños y con capacidades muy limitadas de comportamiento.

  • Interfaces cerebro-ordenador (Brain Compute Interfaces, BCI): Un conjunto de técnicas quizá algo más conocidas y que conectan, de diversas formas, el cerebro o sistema nervioso humano con ordenadores u equipos robóticos externos. En algunos casos, implican la toma de señales mediante mecanismos no invasivos como la Electro Encefalografía pero en los casos más avanzados suponen de nuevo implantes incluso intracraneales y en contacto directo con el cerebro o sistema nervioso. Con estas técnicas se han conseguido ya, por ejemplo, el movimiento de brazos robóticos o el control del temblor en pacientes de Alzheimer.

  • Otros implantes y prótesis no neurológicos: Una categoría un poco 'cajón de sastre' donde se agrupan otro tipo de técnicas como la implantación de chips RFID por debajo de la piel para, por ejemplo, abrir una puerta mediante un sólo gesto o también la implantación de dispositivos magnéticos.

Danaher añade, a esta propuesta de Warwick, una cuarta categoría:
 
  • Técnicas de aumento biomédico: En este caso estamos hablando de farmacología o psicofarmacología para mejorar el carácter, la cognición o la habilidad. También se incluiría aquí, y creo que con un mayor potencial disruptivo, la ingeniería genética


Inquieta un poco y suena a ciencia ficción pero lo cierto es que, aunque parezca futurista y fuera de nuestros esquemas mentales actuales, todas estas técnicas están en investigación e, incluso, en muchos casos, en cierto grado de uso en casos reales, normalmente en entornos terapéuticos.

Y como tales tecnologías que existen y que, sin duda, avanzarán mucho más, deberemos irnos acostumbrando y, sobre todo, tomar decisiones con base ética y quizá trasposición legal sobre la forma en que queremos emplearlas.


viernes, 17 de septiembre de 2021

Una filosofía para humanos y robots con Sven Nyholm

'Humans and Robots: ethics, agency, and anthropomorphism' es un libro que se centra en los robots y sobre todo las relaciones de éstos con las personas y las derivadas éticas que ello tiene. Se trata, a pesar de hablar de robots, de un libro plenamente filosófico, un libro fundamentalmente sobre ética y en donde, como el subtítulo anuncia, se centra bastante en el tema de la agencia (la capacidad para obrar de una manera autónoma de la cual se pueden derivar responsabilidades) y el antropomorfismo, que lleva a que atribuyamos a los robots características propias de los humanos: intenciones, sentimientos, alma.

El libro, no muy extenso, estructura su contenido en ocho capítulos:
  • 'Human minds meet artificial intelligence': Tras analizar un poco la controversia creada por el robot Sophia, presenta el objetivo del libro, defendiendo la necesidad de un subcampo de la ética dedicado específicamente a la interacción de robots y personas (HRI, 'Human-Robot Interaction') y destaca dos grandes tipos de preguntas: por un lado las que se refieren a la agencia, la capacidad de realizar acciones, tanto de humanos como de robots y, por otro, consideraciones éticas específicas de la relación entre humanos y robots, teniendo muy presente la tendencia a la antropomorfización de aquello con que se relacionan, incluyendo por supuesto a los robots, que exhiben los seres humanos. Luego pasa a reflexionar sobre lo que es un robot y lo que es realmente un ser humano. El autor defiende ya desde este capítulo que los humanos no están bien preparados para su relación con la Inteligencia Artificial y con los robots y que, por tanto, es necesario, o bien que se adapten los robots o bien que se adapte el ser humano.

  • 'Artificial Agency, Human Responsibility': Parte de ejemplos de la ciencia ficción y concluye que las personas tendemos a atribuir agencia, no sólo a esos robots imaginarios sino también a los robots reales de que disponemos. Tras esa introducción, analiza más detalladamente qué es exactamente esa 'agencia' y las consecuencias en cuanto a responsabiliad de robots o humanos sobre los actos de los primeros
  • .
  • 'Human-Robot Collaborations and Responsibility': Estudia las situaciones en que colaboran un humano y un robot e identifica vacíos en cuanto a responsabilidad y atribución. Utilizando como marco de análisis los accidentes de vehículos autónomos, analiza diferentes tipos de agencia y las implicaciones que tienen en cuanto a responsabilidad

  • 'Human-Robot Coordination': Siguiendo con el mismo escenario básico, el de los vehículos autónomos, ahora analiza situaciones de coordinación entre humanos y robots (en este caso vehículos autónomos y vehículos tradicionales conducidos por humanos, lo que el autor denomina el tráfico mixto). El autor identifica tres estrategias posibles para esa coordinación: hacer la conducción de los vehículos autónomos mas humana, involucrar más al conductor humano o hacer que en ciertos aspectos la conducción humana sea más robótica.

  • 'Robotic Relationships': Analiza las relaciones con los robots que implican tomarlos como verdaderos compañeros, amigos o pareja. Analiza la problemática y posibilidad de una eventual amistad con un robot aportando argumentos tanto a favor (procedentes fundamentalmente de otro filósofo, John Danaher) y en contra, más alineados con el pensamiento del propio autor.

  • 'Robotic Mind-Reading': Analiza la temática de la llamada lectura de la mente, que no es una forma de telepatía sino la interpretación que hacemos de lo que otra persona, en este caso un robot, está pensando. Explica diferentes formas que puede adoptar esa lectura de la mente (atribución de estados mentales, atribución de características de personalidad y atribución de un 'yo' y un 'yo verdadero'). También explica cómo en esa lectura de la mente, terminamos atribuyendo al interlocutor, un robot en este caso, alguna forma de alma. Y continua explicando diversos estudios y actitudes frente a unas eventuales mentes robóticas para finalizar con una discusión sobre si los robots tienen o no mentes.

  • 'Robot Virtues and Duties': Siguiendo en una senda ascendente, ahora se ocupa de la ética de robots. Habla de la ética para máquinas incluyendo argumentos críticos. Habla de las virtudes y cómo los robots se relacionan con ellas. Y también se habla de los deberes de los robots y realiza, al final, una distinción relevante en el caso de los robots como es la de ser realmente bueno o simplemente parecer bueno.

  • 'Robot Rights': Y finalmente, aborda el problema de si los robots deben o no deben ser objeto de derechos. Analiza, por ejemplo, la crueldad con los robots e incluso su 'esclavitud'. El autor concluye que, en realidad y mientras los robots no tengan propiedades mentales similares a las de humanos o al menos animales, nuestro deber moral hacia los robots no es tanto por ellos como por nosotros, los humanos, por respeto a nuestra propia humanidad y moralidad.
Durante el desarrollo de las temáticas, hay frecuentes citas a otros filósofos o autores, a su pensamiento y sus libros. Además, al final de cada capítulo se incluye una larga bibliografía.

'Humans and Robots' es un libro que me ha fascinado. Parte con la ventaja de que la robótica, y la robótica más avanzada con altas dosis de inteligencia artificial, con alta autonomía de movimiento y acción, y capacidades de computación afectiva, es un tema que me apasiona. Pero además, me ha gustado mucho el tratamiento dado por el autor. Como digo, se trata de un libro plenamente filosófico, nada técnico en absoluto pero, sin embargo, parte de un muy buen entendimiento de la realidad técnica, de lo que la tecnología actual, muy en especial la inteligencia artificial y la robótica. pueden dar, sin fantasías ni malos entendidos. A eso se une una argumentación clara y un lenguaje fácil de seguir en general, muy alejado de lo que se puede pensar que es un tratado de filosofía.

Recomendadísimo.

Sven Nyholm

(Fuente: Traducción y ligera elaboración propia de su ficha en la Universidad de Liverpool)

Sven Nyholm
Sven Nyholm es profesor ayudante de Filosofía en la Utrecht University, miembro del Ethics Advisory Board del Human Brain Project y editor asociado de la revista 'Science and Engineering Ethics'. Gran parte de su trabajo reciente ha versado sobre el impacto de las tecnologías emergentes en nuestras oportunidades para vivir unas vidas con significado, mantener relaciones significativas y realizar un trabajo con significado. Está especialmente interesado en cómo la vida en el mundo contemporáneo, con tecnologías como los robots y la inteligencia artificial, afectan a las ideas tradicionales acerca de la ética y nuestro propio entendimiento como humanos.

Las publicaciones de Nyholm incluyen 'Revisiting Kant’s Universal Law and Humanity Formulas' (2015) y 'Humans and Robots: Ethics, Agency, and Anthropomorphism' (2020). Actualmente se encuentra escribiendo su tercer libro 'This is Technology Ethics: An Introduction' previsto para 2022.

Puedes saber más del autor visitando su perfil en LinkedIn o siguiéndole en twitter donde se identifica como @SvenNyholm.


miércoles, 15 de septiembre de 2021

El test de Turing inverso

El empeño de la Inteligencia Artificial es resolver problemas complejos, problemas sin unas reglas de resolución claramente definidas y problemas en cuya resolución, de alguna manera, necesitamos incorporar capacidades cognitivas propias de los humanos.


El test de Turing


En ese camino, y desde hace ya muchos años, se planteó el cómo saber si una máquina o un agente era realmente inteligente. Y, como 'vara de medir', como elemento de comparación, se tomaba, claro, al propio ser humano, dando lugar al muy conocido, o al menos muy mencionado, test de Turing.

El test de Turing lo que intenta es comprobar si un agente artificial, se comporta realmente como un humano. Se supone que cualquier humano pasará el test de Turing y que sólo las máquinas realmente inteligentes lo harán, fracasando en el intento las máquinas no suficientemente inteligentes o, quizá mejor decir, con una inteligencia 'no suficientemente humana'.

Por simplificar, y por comparar con lo que viene, podríamos decir que en el test de Turing el que juzga es un humano y lo que ponemos a prueba es una máquina. Y lo que tiene que demostrar la máquina es inteligencia, su, perdón por decirlo así, 'humanidad'. 


Los captchas


En esta comparativa humano - máquina nos encontramos, al menos otras dos casuísticas. Una menos elaborada pero que experimentamos con frecuencia son los famosos captchas, esos mecanismos de seguridad incorporados a algunos sistemas en que se pretende que una persona demuestre que 'no es un robot'. Si se es 'suficientemente humano' se pasa la prueba. Si no, no. 

Comparado con el testo de Turing hay que hacer notar que, en este caso, el juez es una máquina (no un humano) y quien tiene que demostrar su 'humanidad' son las personas (se asume, quizá de forma un poco optimista, que un robot no puede superar un captcha).

Pero lo que me ha resultado llamativo, lo que me ha sugerido la escritura de este post es el llamado test de Turing inverso.


El test de Turing inverso


Descubro ese concepto leyendo el libro 'Automation and Utopia: Human Flourishing in a World without Work' del filósofo John Danaher aunque, en realidad, lo que hace Danaher es, en el contexto de análisis de lo que él denomina la utopía cyborg mencionar esta idea propuesta por el jurista Brett Frischmann y el filósofo Evan Selinger en su libro 'Re-engineering humanity'.

Estos dos autores, Frischmann y Selinger se muestran preocupados por el impacto deshumanizador de las tecnologías o lo que ellos denominan ingeniería tecno-social es decir los cambios inducidos en el comportamiento de las personas e incluso la manipulación basada en el uso de tecnologías novedosas que se infiltran de alguna manera en instituciones sociales (incluyendo, por ejemplo, la justicia).

Según estos autores, esa influencia puede llevar a que las personas, los humanos, nos comportemos realmente como máquinas, nos roboticemos de alguna manera. El test de Turing inverso lo que pretende detectar es si una persona se ha deshumanizado tanto como parecer una máquina.

Si en el test de Turing original, es la máquina la que quiere demostrar su 'humanidad', en el test de Turing inverso es el humano el que quiere demostrar (o quizá mejor decir, quiere comprobar) su 'maquinicidad', si es suficientemente máquina.

No tengo información ahora mismo si en este test de Turing inverso quien juzga es una máquina o un humano. Lo que sí está claro es que quien es puesto a prueba es un humano pero lo que se trata de demostrar no es tanto su inteligencia 'humana' sino su inteligencia 'robótica'.


Comentarios


Aunque no dudo (sin haber leído su libro) de que la preocupación de Frischmann y Selinger es profunda y sincera, no estoy muy seguro de hasta qué punto tomarme en serio este test de Turing inverso.

Intuyo que, al igual que el test de Turing original, más que un uso como tal, sirvió para clarificar conceptos y promover el debate y la investigación, este test de Turing inverso sirve también más de llamada de atención y de elemento de debate que de aplicación real.

En cualquier caso, me parece original y llamativo y por eso he querido reflexionarlo y tratarlo en este post.


martes, 14 de septiembre de 2021

Un amplio panorama de la explicabilidad de la Inteligencia Artificial

'Explainable AI: : Interpreting, explaining and visualizing deep learning' es un largo compendio del estado del arte en explicabilidad de la Inteligencia Artificial. Un comependio realizado de manera coral por multitud de autores que se encargan de forma individual o en grupos de dos o tres, de cada uno de los 22 capítulos que componen el volumen.

Un libro escrito en estilo científico, ordenado, riguroso, austero y con frecuencia profundo por lo que se trata de una obra valiosa aunque no del todo fácil de 'digerir'.

En su haber, aparte del rigor y la actualidad del tema, el haber conseguido un discurso razonablemente ordenado y completo para estar escrito por tantas manos.

Los veintidos capítulos se estructuran en siete partes, como sigue:
  • 'PART I: TOWARDS AI TRANSPARENCY:' Se presentan los diferentes aspectos del problema de la explicación y se proporciona una revisión de alto nivel de los desarrollos recientes, puntos abiertos y áreas de investigación. Abarca los siguientes tres capítulos:

    • '1. Towards Explainable Artificial Intelligence:' Explica por qué es necesaria la explicabilidad desde diferentes perspectivas: seguridad, confiabilidad, social, legal y la posibilidad de extraer nuevo conocimiento. También se comentan las diferentes facetas de una explicación y se resumen los desarrollos actuales y los puntos abiertos.

    • '2. Transparency: Motivations and Challenges:' Se enfoca en los desafíos de la transparencia. Se pasa revista a varios tipos y objetivos de trasparencia, cada uno de las cuales requiere de un tipo diferente de explicación. Además, apunta a los posibles peligros de la transparencia y comenta la relacion entre trasparencia y otros conceptos como los de justicia y confianza.

    • '3. Interpretability in Intelligent Systems - A New Concept?:' Se repasa la historia de la explicabilidad de la inteligencia artificial y, en particular, la prevalencia de la cuestión de la explicacón en la investigación primigenia en el campo de los sistemas expertos, los intentos en este contexto de caracterizar las explicaciones en términos de 'desiderata' y la necesidad de cuantificar la incertidumbre asociada a estas explicaciones.

  • 'PART II: METHODS FOR INTERPRETING AI SYSTEMS:' Intenta recoger el estado del arte en cuanto a técnicas para la interpretación de modelos de machine learning complejos.

    • '4. Understanding Neural Networks via feature Visualizations: A Survey:' Presenta la situación en que una red neuronal es sometida a unas entradas de un dominio conocido por los humanos y se trabaja con esas entradas para maximizar la activación de una neurona de salida, de manera que el humano pueda interpretar el significado asignado a esa neurona de salida. Los modelos de que se habla son visualizables por humanos, haciendo que el concepto aprendido por la red sea interpretable.

    • '5. Interpretable Text-To-Image Synthesis with Hiercarchical Semantic Layout Generation:' Presenta un modelo de red generativa en que se puede convertir texto en otra modalidad como, por ejemplo, imágenes.

    • '6. Unsupervised Discrete Representation Learning:' Presenta un algoritmo para resumir datos de entrada en clusters o hashes que sean interpretables por humanos trabajando, como elemento fundamental, con invariancias.

    • '7. Towards Reverse-Engineering Black-Box Neural Networks:' Se estudia cómo, en un entorno de redes adversarias, si utilizamos un modelo muy transparente ésto podría ser explotado por un usuario malicioso.

  • 'PART III: EXPLAINING THE DECISIONS OF AI SYSTEMS:' En esta parte se centra en métodos de explicabilidad que ponen el foco en saber cómo las características de entrada influyen en la salida, lo que permite a un humano juzgar si la decisión se basa en factores relevantes y no en correlaciones espúreas. Se desarrolla en cuatro capítulos:

    • '8. Explanations for Attributing Deep Neural Network Predictions:' Presenta el método denominado 'meaningful perturbation' que sintetiza una perturbación local mínima en los datos pero provocando un gran impacto en el modelo de decisión con lo que se puede deducir que las variables que intervienen en la perturbacion tienen mucho peso en la decisión.

    • '9. Gradient-Based Attribution Methods:' Se exploran varias técnicas basadas en gradiente ('gradient-based') en los que la explicación se obtienen a partir de los componentes del gradiente de una función de decisión.

    • '10. Layer-Wise Relevance Propagation: An Overview:' presenta la técnica denominda 'Layer-Wise Relevance Propagation' (LRP) que obtiene explicaciones de redes neuronales profundas propagando la decisión hacia atrás en la red mediante unas reglas de propagación cuidadosamente diseñadas.

    • '11. Explaining and interpreting LSTMs:' Estudia las extensión de la técnica LRP vista en el capítulo 10 a otro tipo de redes como las LSTM.

  • 'PART IV: EVALUATING INTERPRETABILITY AND EXPLANATIONS:' Esta parte se centra en la evaluación cuantitativa de la explicaciones proporcionadas y la comparación entre diferentes técnicas.

    • '12. Comparing the Interpretability of Deep Networks via Network Dissection:' Se presenta la técnica denominada 'network dissection', una técnica que ve las unidades de una red neuronal como detectores de conceptos y mide la interpretabilidad como el grado de alineamiento entre las activaciones de la red neuronal y los conceptos del mundo real.

    • '13. Gradient-Based Vs. Propagated-Based Explanations: An Axiomatic Comparison:' Se propone la evaluación de las técnicas de explicación mediante un enfoque axiomático y, en concreto, se consideran tres propiedades axiomáticas y con base en ellas se comparan los métodos basados en gradiente frente a los LRP.

    • '14. The (Un)reliability of Saliency Methods:' presenta un estudio de la calidad y fiabilidad de los llamados métodos de prominencia ('saliency methods').

  • 'PART V: APPLICATIONS OF EXPLAINABLE AI:' Se muestran algunos casos de uso de la explicabilidad en ámbitos como la visión artificial, ciencias físicas e investigaciónb del cerebro, ocupando esta parte, los siguientes siete capítulos:

    • '15. Visual Scene Understanding for Autonomous Driving Using Semantic Segmentation:' Se aplica el problema de la explicabilidad y la inspectabilidad al caso de los vehículos autónomos y se propone un modelo de segmentación semántica que aplica una clase de objeto a cada pixel de la imagen de entrada. Los mapas así creados son interpretables por personas.

    • '16. Understanding Patch-Based Learning of Video Data by Explaining Predictions:' Se cambia completamente de tercio para aplicar la explicabilidad al ámbito de las propiedades moleculares y la predicción de actividad biológica.

    • '17. Quantum-Chemical Insights from Interpretable Atomistic Neural networks:' Saltamos al campo dela química, para ver las posibilidades de uso en la predicción de propiedades químicas con base en redes neuronales profundas.

    • '18. Interpretable Deep Learning in Drug Discovery:' Un poco en línea con el capítulo anterior ahora se aborda el uso de la explicabilidad en el problema de las propiedades moleculares y la predicción de bioactividad.

    • '19. NeuralHydrology - Interpreting LSTMs in Hydrology:' En este caso contemplamos el uso de una red LSTM para la predicción de lluvia.

    • '20. Feature Fallacy: Complications with Interpeting Linear Decoding Weights in fMRI:' Se comentan los retos para la intepretación de modelos de inteligencia artificial en neurociencia, por ejemplo, en neuroimagen (fMRI).

    • '21. Current Advances in Neural Decoding:' Finalmente se aplica la explicabilidad a la reconstrucción de la experiencia visual de un sujeto, a partir de patrones de actividad neuronal.

  • 'PART VI: SOFTWARE FOR EXPLAINABLE AI:' Una parte final, compuesta por un sólo capítulo para ver alguna solución de software cocreta

    • '22. Software and Application Patters for Explanation Methods:' Se explica el uso de diferentes soluciones software como, por ejemplo, cómo implementar la técnica basada en gradiente con TensorFlow o las herramientas iNNvestigate.

'Explainable AI: Interpreting, explaining and visualizing deep learning' llena, probablemente, en el momento de escribir esta reseña, un cuasi-vacío en literatura técnica alrededor de la explicabilidad de la inteligencia artificial y proporciona una sólida guía, bien que no del toda sencilla, a tan interesante e innovadora materia.

Ficha técnica:

lunes, 13 de septiembre de 2021

Logro, realización y automatización

Casi desde el principio de los tiempos, de nuestros tiempos como especie, el ser humano ha usado tecnologías para ayudarle en su trabajo. Al principio cosas muy sencillas tecnológicamente aunque de enorme importancia,  como las hachas de sílex o la rueda, y poco a poco las hemos ido sofisticando.

El uso de la tecnología y de la automatización de tareas, ha sido creciente, con una explosión en la revolución industrial y, probablemente, una nueva explosión de grandes proporciones que vivimos ahora mismo, en estos años donde ya no sólo se automatizan tareas físicas y manuales sino también muchas tareas de naturaleza intelectual.

Si desarrollamos y usamos tecnología hay que pensar que lo hacemos porque queremos, porque nos interesa, porque nos es útil, porque, en definitiva, nos es beneficiosa de alguna manera.

Sin embargo ante el avance creciente de las tecnologías de automatización y, en especial, ante la posibilidad, discutida eso sí, que el desarrollo de la inteligencia artificial permita acometer la automatización masiva de tareas intelectuales, que se uniría a la automatización masiva de tareas manuales, dando como resultado un eventual desempleo masivo, surgen preguntas sobre si realmente eso es lo que queremos hacer.

No hay acuerdo ni sobre si realmente nos dirigimos hacia un desempleo masivo o, por el contrario, vamos a experimentar un crecimiento neto de empleo. Ni tampoco hay acuerdo sobre si una situación de ocio generalizado (financiado de alguna manera, eso sí, mediante renta básica universal o mecanismo similar) sería deseable o no.

Relacionado con este último aspecto, la deseabilidad o no de esa situación de ocio generalizado, traigo a colación unas consideraciones que hace el filósofo John Danaher en su libro 'Automation and Utopia: Human Flourishing in a World without Work': El autor, dedica unos pocos párrafos a analizar qué es lo que nos motiva a los humanos, que es lo que conduce a la sensación de logro y realización y si la automatización puede afectarle.

Y recurre para ello, primero, a los tres factores que según otra filósofa, Gwen Bradford, conducen a que un proceso genere sensación de logro, de realización en un ser humano. Son estos tres:

  • Hemos seguido un proceso que produce un resultado valioso en el que estamos interesados

  • El proceso seguido es suficientemente difícil.

  • Es un proceso que no se produce por suerte, sino que precisa de habilidad o competencia por nuestra parte.


Una vez identificados estos tres factores, Danaher reflexiona brevemente sobre el impacto de la automatización y entiende que ésta, la automatización, erosiona los dos últimos factores. Un proceso o tarea automatizado pasa a ser sencillo o incluso trivial (en buena medida, para eso lo automatizamos). Y, además, pasa a ser un proceso o tarea que deja de precisar habilidad o competencia por nuestra parte. Eso sí, el resultado sigue produciéndose (y, apunto yo, probablemente en mayor medida) y sigue siendo valioso.

Hasta aquí parece que la automatización va en contra de la motivación, la sensación de logro y la realización ¿no? Si, eso parece pero no es del todo así, no solo para mi, sino para el propio Danaher.

Y no lo es porque, en primer lugar, salvo que pensemos en una automatización realmente extrema, siempre quedarán tareas y trabajos en los que podemos intervenir los humanos y que serán valiosos, difíciles y precisen de habilidad por nuestra parte. La idea es que además, justamente, lo que se automatice tenderá a ser lo que menos satisfacción suele producirnos.

Y no lo es porque, de nuevo, salvo que pensemos en una automatización realmente extrema, las tecnologías de automatización en realidad en muchos casos, más que sustituir totalmente, ayudarán a los humanos o colaborarán de alguna forma con ellos para potenciar otro tipo de tareas de orden superior. En el libro se ejemplifica con la atención médica indicando como el diagnóstico puede verse ampliamente automatizado (por ejemplo, en análisis de imagen) pero al final el médico toma la decisión diagnóstica. En ese caso, es cierto que habría una automatización parcial de la tarea, pero una automatización que sirve de ayuda. El médico, la persona, seguiría encontrándose con un resultado valioso, razonablemente difícil de obtener (aunque es cierto que en este punto habría habido una simplificación) y que aún precisa de competencia por su parte, por parte del médico.

No creo que el problema del impacto de la automatización en el empleo ni en nuestra motivación sea realmente un problema resuelto ni mucho menos. 

Pero tiendo a ser optimista. 

Tiendo a pensar que siempre habrá trabajo que hacer (y por tanto empleo) y que siempre encontraremos tareas que nos resultan satisfactorias y que, en realidad, la tecnología y la automatización, en general eliminarán aquello que no nos resulta satisfactorio más que aquellas otras actividades más humanas y que conducen más probablemente a la sensación de logro y realización.


miércoles, 8 de septiembre de 2021

Transferencia digital de estados de ánimo

A través de las redes sociales y de los medios digitales, podemos transmitir muchas cosas. Podemos transmitir información y noticias, ya sea del mundo en general, de nuestro entorno cercano o de nosotros mismos y nuestro micro-mundo, personal o profesional. Podemos transmitir opiniones, tengan éstas mayor o menor fundamento. Podemos transmitir ogras literarias y artísticas. Y podemos transmitir, por desgracia, bulos y mentiras. 

Y podemos también contar nuestro propio estado de ánimo, nuestras alegrías, motivaciones, disgustos o frustraciones.

¿Algo más?

Si, algo más. Resulta, o al menos eso parecen indicar las investigaciones, que no sólo se puede hablar de estados de ánimo (transmitir nuestro estado de ánimo no deja de ser, en el fondo, transmitir una información acerca de nosotros mismos) sino que también podemos influir en el estado de ánimo de muestra red.

Claro, si eso lo hacemos a nivel particular, su impacto es mínimo, pero la cosa puede ser diferente si hablamos de una 'manipulación' del estado de ánimo general desde instancias más poderosos.

¿A qué me refiero?

Leyendo el libro 'Weapons of math destruction' de la matemática norteamericana Cathy O'Neil, encuentro un pasaje en que la autora cita un estudio realizado en 2012 por Adam D. I. Kramer, Jamie E. Guillory y Jeffrey T. Hancock y recogido en el artículo 'Experimental evidence of massive-scale emotional contagion through social networks'.

En ese estudio se trabajaba sobre la red social Facebook  y, en concreto, sobre un público de 680.000 usuarios de esta red,. Lo que se hacía era clasificar las publicaciones en función de si transmitían un estado de ánimo positivo o negativo. A continuación se manipulaban las actualizaciones que recibían esos usuarios de forma que predominasen, o bien las positivas, o bien las negativas. Y, por último, se analizaba la positividad o negatividad de las actualizaciones realizadas por esos usuarios tras haber sido expuestos a los mensajes del experimento.  

¿El resultado?

Pues, como estoy seguro de que ya se imagina el lector, los usuarios que habían sido expuestos en su feed a mensajes con estado de ánimo positivo, se comportaban emitiendo ellos mismos actualizaciones predominantemente positivas. Por el contrario, los usuarios expuestos a mensajes fundamentalmente negativos se comportaban ellos mismos emitiendo actualizaciones más negativas.

La conclusión, tal como la leo en el libro de O'Neil es:


Emotional states can be transferred to others..., leading to experience the same emotions without their awareness


O sea, que podemos transmitir estados de ánimo a terceros (no información sobre estados de ánimo, sino el propio estado de ánimo) y lo podemos hacer usando redes sociales. Y eso, sin que los receptores sean conscientes de ello. En el fondo, si lo pensamos bien, no sorprende demasiado el hallazgo. Casi luce natural, y tampoco parece, en absoluto, que sea un fenómeno propio de los medios digitales sino que, es algo propio de nuestra naturaleza social y de nuestra integración en grupos.

Lo relevante, y lo que puede preocupar, es la escala y la posibilidad de manipulación. 

Con base en este fenómeno una compañía como Facebook (y menciono Facebook no sólo porque es la usada en el estudio, sino por su tamaño,  comportamiento e impacto reales), una compañía que llega, a más de 2.500 millones de personas, y una compañía que, como bien sabemos, selecciona y filtra en cierta medida los feeds y actualizaciones que recibimos, tiene la capacidad de influir en el estado de ánimo de millones de personas en la dirección que desee. 

La propia Cathy O'Neil se pregunta qué puede ocurrir si Facebook se propone influir en el estado de ánimo en un día de elecciones. Pero podemos añadir otras situaciones como podría ser un crack bursátil, un atentado o, siendo más positivos, un evento deportivo o el lanzamiento de un producto comercial (n nuevo dispositivo de Apple o una nueva serie en Netflix, por decir algo) a escala mundial.

El poder en sus manos, o en el de redes de similar alcance, es enorme. Un poder subrepticio y no evidente pero muy real y un poder que espero seas sólo latente pero que se puede desplegar en cualquier momento.

¡Uf!


lunes, 6 de septiembre de 2021

Machine learning y las sombras del pasado

El truco que supone el enfoque conexionista, de todo el concepto de machine learning, en realidad, frente al enfoque simbólico de la inteligencia artificial, es que, en lugar de intentar conocer unos conceptos y unas reglas por anticipado, conceptos y reglas que luego trasladamos a un algoritmo, dejamos que sea el algoritmo el que detecte los patrones y, por tanto, deduzca los conceptos y sobre todo las reglas por sí mismo.

Le enseñamos (lo codificamos, realmente) cómo debe calcular, le enseñamos (lo codificamos realmente) cómo debe de aprender y luego le proporcionamos datos, muchos datos, para que aprenda de forma efectiva y para que, en el curso de ese aprendizaje, detecte los patrones y las reglas que nosotros no hubiésemos sabido 'explicarle' (codificarlo, realmente).

Esa es la esencia y el enfoque del machine learning. Un enfoque que ha traído consigo enormes avances, innumerables éxitos en los últimos años.

Sin embargo, y por desgracia, también trae consigo algunos riesgos si no gestionamos adecuadamente los datos y el proceso de aprendizaje. Y el motivo es intrínseco al funcionamiento del machine learning y lo refleja de forma muy sucinta la matemática norteamericana Cathy O'Neil en su libro 'Weapons of math destruction' cuando dice:


mathematical models, by their nature, are based on the past, and on the assumtions that patterns will repeat.


Simplemente es eso: entrenamos a los algoritmos con datos del pasado suponiendo que eso nos vale para el futuro. Parece lógico ¿de qué datos vamos a disponer si no son datos del pasado? Así que tomamos datos de una realidad pretérita y los usamos para que entrenar el algoritmo y con la idea de que éste detecte los patrones que subyacen en ellos.

¿Qué tiene eso de malo?

A priori nada. Nada siempre que ese pasado se vaya a mantener en el futuro. O aún más, siempre que deseemos que ese pasado se mantenga en el futuro.

Si entrenamos un algoritmo de visión artificial que reconoce dígitos de la matrícula de un coche, no tenemos ningún problema con utilizar datos del pasado. Por un lado, podemos estar razonablemente seguros de que los dígitos de una matrícula van a tener aproximadamente la misma forma, o muy similar, en el pasado que la que tendrán en el futuro. Por otro lado, no hay nada que nos incomode, especialmente en el plano moral, con que esos dígitos sigan teniendo la misma forma en el futuro.

Pero hay otras situaciones en que esto no es así. En que el futuro no es como el pasado o no queremos que sea como el pasado. En estos casos, entrenar con datos del pasado nos puede traer, al menos, tres problemas: sesgo, obsolescencia profecía autocumplida.


Sesgo


El problema surge cuando el futuro no tiene por qué ser igual que el pasado, es más, cuando por motivos en muchas ocasiones morales, preferimos que el futuro sea diferente del pasado. 

¿Qué quiere decir eso? Muy sencillo: veamos el tan traído y llevado caso del sesgo de género en la selección de personal o en el ascenso a cargos directivos. En ese caso, que ya ha sucedido por cierto, hablamos de un modelo matemático pensado para ayudar a un departamento de recursos humanos en la selección de lo(a)s mejores candidato(a)s para un puesto, ya sea un puesto de entrada, o mejor, para una promoción. Se alimenta a ese modelo con datos de procesos de selección del pasado para que deduzca los mejores criterios subyacentes de selección.

El problema es que los criterios del pasado no son 'los mejores'. Todos sabemos que, por desgracia, la mujer ha estado en desventaja en el ámbito laboral, en el pasado. Puede que también en el presente, pero desde luego en el pasado. Es decir, que si nos basamos en datos del pasado, y no hacemos nada más, vamos a trasladar al algoritmo esos criterios que dejaban en desventaja a la mujer. Es decir, el algoritmo estará sesgado en su contra.

Seamos claros: no es 'culpa' del algoritmo, que en realidad puede ser matemáticamente perfecto. No es tampoco un defecto o sesgo moral del desarrollador que lo ha implementado o del científico de datos que lo ha entrenado, que pueden incluso ser feministas, si se quiere. Y no es, por supuesto, que el algoritmo tenga algún tipo de 'intención oculta'. Los algoritmos no tienen intenciones propias. Ni siquiera es, necesariamente que hayamos hecho un mal muestreo de datos (que, en ocasiones también es fuente de sesgos). Es, simplemente, que el pasado era así pero ahora queremos un futuro diferente del pasado, un futuro que no perjudique laboralmente a la mujer, por lo que parece que un algoritmo entrenado con datos del pasado, sin más, no nos va a dar las mejores recomendaciones para el futuro.


Obsolescencia


Otro problema, quizá de bastante más sencilla solución, es el de la obsolescencia. 

Entrenamos el modelo con datos del pasado. Y vamos a suponer que lo hemos hecho bien y sin sesgos. Perfecto. Así que lo usamos... 

.Y lo seguimos usando, y lo seguimos usando...

El problema de la obsolescencia es que, en ocasiones la realidad va cambiando por lo que un modelo matemático, que funcionó bien durante un tiempo puede no ser ya válido y precisar de 're-entrenamiento', so pena de dejar de actuar correctamente.

Esto realmente, parece resoluble con medidas metodológicas y de buenas prácticas.


Profecía de autocumplimiento


Quizá, la sombra del pasado más elusiva, más difícil de detectar, y puede que más peligrosa es el de convertirse en profecía de auto-cumplimiento, algo que la autora citada, Cathy O'Neil, muestra con varios ejemplos.

En este caso, un modelo que se basa en datos del pasado y sesgado, proyecta ese sesgo hacía el futuro, reforzándolo o incluso agravándolo, en la medida que tomamos decisiones y actuamos en el mundo basado en lo que dice el algoritmo. 

Volvamos al caso del sesgo de género.

Hemos hecho un modelo que presenta sesgo de género. Pero no nos damos cuenta. Así que lo utilizamos en nuestros procesos de selección / promoción. Y como tiene sesgo de género va a favorecer las contrataciones / promociones de varones.

Eso sí, somos muy conscientes del problema de la obsolescencia. Así que reentrenamos el modelo cada cierto tiempo. Pero, en lo que a sesgo de género se refiere, da exactamente igual que lo reentrenemos. Incluso puede ser peor. Puesto que, como en el mundo real seguimos seleccionado con sesgo de género, al realimentar al modelo con las últimas selecciones / promociones, haremos que se re-afirme, incluso puede que profundice aún más, en ese sesgo.

En este caso, no se trata ya únicamente de que el modelo no nos proporcione la mejor sugerencia es que, además, las sombras del pasado se proyectan hacia el futuro manteniendo o agravando un problema del pasado.


Conclusiones


De todo el razonamiento anterior, que entiendo bastante conocido por aquellos que trabajan en machine learning y en ética de la inteligencia artificial, quisiera destacar algo que a veces en las fantasías y discursos ambiguos se pierde: muchos de los sesgos, muchos de los comportamientos inadecuados de los algoritmos son eso, meras sombras del pasado. Normalmente no hay mala intención por parte de las personas que los diseñan y entrenan. Es más, muchas veces están hechos con la mejor de las intenciones. Y por supuesto, no hay intencionalidad en absoluto por parte del algoritmo.

Se trata de problemáticas a veces sutiles, elusivas y no siempre fáciles de detectar,

Eso, desde un punto de vista moral y de culpabilidad nos alivia bastante (no hay mala intención la mayor parte de las veces) pero quizá, curiosamente, complique algo la problemática desde un punto de vista técnico para evitar, detectar y enmendar esas situaciones sin perder por el camino toda la indudable potencia y aportación del machine learning.


viernes, 3 de septiembre de 2021

Los robots software según... Ignacio G.R. Gavilán

'Robots en la sombra' es un libro dedicado a los robots software, un concepto en el que el autor engloba lo que el subtítulo anuncia, a saber, 'RPA, robots conversacionales y otras formas de automatización cognitiva'. Quizá, el mayor foco se pone en la Automatización Robótica de Procesos (RPA por sus siglas en inglés). También tienen mucho peso los robots conversacionales, categoría que incluye los chatbots, los voicebots, los asistentes virtuales o los altavoces inteligentes y que el autor suele agrupar bajo el término general de chatbot por simplificación. El resto de formas robóticas se tratan ligeramente pero sin ocupar mucha extensión.

El tratamiento que se hace de los robots software es de mirada amplia, explicándolos desde una triple perspectiva:
  • Funcional, es decir, explicando lo que son capaces de hacer.
  • Tecnológica, aportando una explicación de las tecnologías que subyacen a estos robots.
  • Empresarial, poniendo a los robots software en el contexto de la automatización de procesos y explicando sus implicaciones de gestión y en el negocio.
El libro se estructura en dieciséis capítulos agrupados en tres partes que se corresponden con las perspectivas antes indicadas.
  • 'PARTE I: ENTENDIENDO LOS ROBOTS SOFTWARE:' Aporta la visión funcional y conceptual de los robots software e incluye cuatro capítulos:

    • '1. Los habitantes de las sombras: ¿Qué es un robot software?:' Pone en contexto la temática de los robots software intentando acotar primero el concepto de robot, revisando a continuación otro tipo de robots como los robots industriales o los vehículos robóticos, para finalizar con una explicación de lo que es un robot software.

    • '2. Robots en la oficina: Automatización Robótica de Procesos:' Un capítulo bastante extenso que explica lo que es la Automatización Robótica de Procesos (RPA) y qué capacidades podemos esperar de este tipo de soluciones. Además, ejemplifica el tipo de tareas y escenarios en que se emplea. Finalmente, cuenta cómo se enfoca el desarrollo y explotación de los robots y aporta algún concepto adicional como el de robot atendido o no atendido.

    • '3. Robots parlanchines: chatbots, voicebots y asistentes virtuales:' Trata de la otra gran categoría de robots objeto del libro: los robots conversacionales. Explica lo que es un chatbot entendido en sentido amplio, sus bloques funcionales y los elementos que componen una conversación así como escenarios típicos de aplicación.

    • '4. Otras especies robóticas:' Revisa otro tipo de robots como los financieros o los usados en medios sociales pero, sobre todo, explica el concepto de trabajador digital que el autor entiende como una convergencia de RPA y chatbots.

  • 'PARTE II: LA TECNOLOGÍA QUE ANIMA A LOS ROBOTS:' Se centra en la visión tecnológica, desgranando cada una de las tecnologías en que se apoyan los robots software a lo largo de los siguientes siete capítulos:

    • '5. Aplicaciones en la chistera. Screen scraping, teclado y ratón:' Explica los mecanismos por los que los robots de tipo RPA interactúan con las interfaces de usuario de aplicacienes mediante la técnica del screen scraping para obtener información y cómo simular el comportamniento humano ante dispositivos de entrada como el teclado y el ratón.

    • '6. Papeleo robótico. Ineracción con ficheros y documentos:' Detalla cómo se manejan documentos y ficheros, principalmente en los robots RPA.

    • '7. Hasta las nubes y más allá: Computación en la nuve e integración' Tras aportar alguna idea básica sobre cloud computing y web services, se explica la forma en que los robots software pueden utilizar estas tecnologíaas para integrarse con otras solucuiones empresariales o para acceder a servicios en la nube, especialmente servicios con capacidades cognitivas.

    • '8. En el cerebro del robot. Inteligencia artificial y machine learning:' Un largo capítulo para explicar, primero, los conceptos básicos sobre algoritmos, inteligencia artificial y machine learning y para luego entrar en algo más de detalle en las redes neuronales y el 'deep learning.'

    • '9. ¿Cómo ven los robots? Visión artificial y OCR:' Un capítulo cortito donde, de una forma muy ligera, se explican ideas sobre visión artificial y reconocimiento óptico de caracteres (OCR) y cómo lo emplean los robots software para acceder a información.

    • '10. ¿Cómo hablan, escuchan y leen los robots? Lenguaje natural y tratamiento de la voz:' Otro capítulo sencillo que explica los rudimentos del procesamiento de lenguaje natural y de la voz y cómo esto se emplea para la comunicación con personas o el procesamiento de texto libre.

    • '11. A lo grande. Escalabilidad y seguridad:' Se abordan dos conceptos técnicos importantes para el despliegue masivo en entornos empresariales. Por un lado, se aportan conceptos de escalabilidad, es decir, como tener soluciones robustas para uso intensivo`en usuarios, datos y transacciones. Por otro, se revisan aspectos de ciberseguridad y cómo se enfocan en los robots software.

  • 'PARTE III: EL NEGOCIO DE LOS ROBOTS:' Constituye la visión de negocio e incluso social, explicando cómo gestionar la robotización en la empresa y estudiando el impacto de los robots software en el negocio y en la sociedad. Y a ello dedica los últimos cinco capítulos:

    • '12. Los robots software en el contexto de la automatización:' Se pone a los robots software dentro de un mapa general de automatización de procesos de negocio. Primero se hace un repaso del concepto de proceso de negocio y se describe bastante detalladamente el mapa de soluciones existentes para su automatización, de las cuales los robots software son sólo una opción más. Se finaliza explicando, precisamente, cuál es el lugar de los robots software en ese mapa de automatización.

    • '13. Criterios de aplicación de robots software:' Se proponen una serie de criterios acerca de cuándo se deben aplicar, tanto los robots RPA como los robots conversacionales.

    • '14. En marcha: gestión de iniciativas de robotización:' Consiste en una explicación metodológica sobre la gestión de iniciativas de robotización enmarcadas en una gestión de procesos de negocio (BPM).

    • '15. Modelos de negocio robóticos:' Es una visión de carácter más estratégico explorando cómo puede afectar la robotización a los modelos de negocio. Primero se explica el concepto de modelo de negocio y su representación mediante el famoso 'business model canvas' y luego indica impactos de los robots en los distintos elementos de ese canvas para terminar explorando modelos de negocio basados en robots.

    • '16. Robots y sociedad:' Una visión final mas social y humanista y, en cierto sentido, más de opinión. Se trata la problemática del impacto en el empleo y la idea de la renta básica universal. También se habla de la eventual fiscalidad sobre los robots, posicionándose el autor en contra. Se trata asimismo el complejo asunto de las decisiones autónomas en los robots, la explicabilidad de esa decisiones y su impacto real en el caso de los robots software. Y se finaliza con unas breves consideraciones éticas.

Enmarcando todo lo anterior, el libro se abre con un prefacio titulado 'Una noche en la oficina' y cierra con un posfacio denominado 'Amanecer' que aportan una visión más ligera y levemente literaria mediante el desarrollo de una pequeña historia centrada en los robots software.

'Robots en la sombra' es, en resumen, una visión abarcadora del mundo de los robots software que, si bien aporta una base tecnológica clara, no está orientado tanto al mundo del desarrollo o la arquitectura técnica, sino a entender el fenómeno en su conjunto y emplearlo luego para la decisión empresarial o como un paso inicial de aprendizaje técnico.
 
Ignacio G.R. Gavilán

(Fuente: Elaboración propia)

Ignacio G.R. Gavilán
Ignacio G.R. Gavilán (Ignacio González de los Reyes-Gavilán) es asesor empresarial, profesor, escritor y conferenciante, especializado en innovación y transformación digital de procesos y modelos de negocio con especial foco en la automatización inteligente y la robotización de procesos.

Desde 2018 dirige su propia firma de asesoría y formación, Reingeniería Digital, especializada en la definición de planes de transformación digital de compañías y de mejora de procesos de negocio mediante la aplicación de tecnología digital. Además, es profesor y mentor de proyectos en EOI (Escuela de Organización Industrial) y colabora con otras instituciones como OBS (Online Business School) o UNIR (Universidad Internacional de La Rioja).

Ha publicado, hasta la fecha, dos libros: 'La Carrera Digital' (ExLibric, 2019) sobre transformación digital y 'Robots en la sombra' (Anaya Multimedia 2021) sobre robots software.

Ignacio es, ademas, fundador y líder del Foro de Humanismo Digital EOI y es, además, socio de OdiseIA (Observatorio del Impacto Social y Ético de la Inteligencia Artificial) donde ejerce el doble rol de ser Director de Operaciones y Director del Área de Relación Robots-Personas.

Anteriormente, entre 1992 y 2018, prestó servicios como mando en diversas unidades de Telefónica.

Allí estuvo más de doce años (1992 a 2005) en Telefónica Investigación y Desarrollo, donde tuvo responsabilidad en proyectos de desarrollo de sistemas de CRM, gestión de red, provisión y trouble ticketing de servicios de telecomunicación y donde participó activamente en el plan de innovación, trabajando en los ámbitos de historia clínica electrónica y soluciones de colaboración P2P desarrolladas con metodología agile.

Posteriormente, y encuadrado en Telefónica Soluciones de Informática y Comunicaciones (2005 a 2012), fue responsable del desarrollo de negocio y ejecución de proyectos y servicios para grandes clientes, fundamentalmente en el ámbito del puesto de trabajo digital y soluciones de conectividad LAN.

Desde 2012 a 2018, ya en Telefónica de España, coordinó los trabajos de la unidad de Operaciones y Red, tanto en el lanzamiento del servicio Movistar Fusión Empresas como, posteriormente, en una ambiciosa iniciativa de compañía en materia de reingeniería de procesos y sistemas.

Anteriormente a su ingreso en Telefónica, entre 1990 y 1992, prestó servicios en GADD S.A., donde participó en proyectos de desarrollo de sistemas de gestión documental y receta electrónica.

Ignacio G.R. Gavilán es ingeniero superior industrial por la Universidad de Oviedo, con especialidad en Electrónica y Automática. Tiene un Executive MBA en 2000 por IE Business School y mantiene las certificaciones PMP (Project Management Professional) en dirección de proyectos y OCEB2 (Object Management Group Certificate Expert in Business Process Management) en gestión de procesos de negocio.

Nació en Oviedo (Asturias), pero actualmente, y desde hace más de veinticinco años, reside en Madrid. Está casado y es padre de dos hijas.

Entre sus aficiones se cuentan la literatura y el deporte, habiendo sido practicante en su juventud del baloncesto, estando más enfocado en la actualidad a golf, pádel y sobre todo, y modestamente, al atletismo, formando parte del Club Corredores de Alcobendas (Madrid).

Ignacio es muy activo en medios sociales y le puedes encontrar en su página oficial (ignaciogavilan.com), en su blog Blue Chip (ignaciogavilan.com/blue-chip), Twitter (@igrgavilan) y YouTube.


miércoles, 1 de septiembre de 2021

El concepto de arma de destrucción matemática de Cathy O'Neil

A estas alturas mucha gente, al menos aquella que se ha interesado por tecnologías y algoritmos relacionados con datos (Business Intelligence, Big Data, Machine Learning, Analítica,...) ) y a problemáticas éticas con ellos relacionados, es consciente de la existencia de una serie de riesgos como, y no son los únicos, los sesgos o la violación de la privacidad.

Dentro de la visión más contraria, más activista contra el empleo incorrecto de datos, se ha hecho célebre la matemática y científica de datos americana Cathy O'Neil a través de su famoso libro 'Weapons of math destruction' y su también popular charla TED 'The era of blind faith in big data must end'.

He terminado hace unas pocas fechas de leer el libro (la charla la visualicé hace más tiempo). Concepto esencial en esa obra es el de arma de destrucción matemática (WMD, 'Weapon of Math Destruction') que da título al libro.

Como registro de algo de lo aprendido, y como beneficio para aquellos lectores del blog que no conozcan el libro, resumo en este post a qué llama O'Neil arma de destrucción matemática. No nos proporciona la autora exactamente una definición, pero a pesar de ello queda bastante claro de qué habla. 

Habla de cálculos algorítmicos basados en datos (datos masivos en general) con base en los cuales se adoptan decisiones y que esas decisiones generan un gran daño y que, además, se trata de un daño que tiende a concentrarse en los más pobres, en las minorías, en los más vulnerables.

De todas formas, bastante al principio del libro, la autora sí que resume en las tres características de las armas de destrucción matemática, a saber:


  • Opacidad: Se trata de algoritmos que llegan a conclusiones o generan decisiones sin que se conozca, al menos por los afectados por esas decisiones, los criterios usados.

  • Escala: Se trata de soluciones algorítmicas que se emplean a gran escala, no en entornos reducidos.

  • Daño: Y se trata, evidentemente, de soluciones algorítmicas que generan daño, un gran daño.


Aunque la autora no lo recoge en estas tres características, a lo largo de su obra quedan claras al menos otro par de características. 

Así, por ejemplo, se trata de soluciones algorítmicas que de alguna forma tienden a perpetuar o aumentar el problema. Por decirlo de alguna manera en muchos casos se convierten en profecías de autocumplimiento, idea a la que la autora suele referirse como reincidencia ('recidivism')

Y se trata de soluciones algorítmicas que, como decíamos antes, y en opinión de O'Neil, tienden a perjudicar a los más pobres y vulnerables.

Anticipo, cosa que recogeré en la reseña que haga del libro, que no me ha gustado demasiado ni el planteamiento del libro ni aspectos concretos de los razonamientos de la autora ni del mensaje que transmite.

Pero, a pesar de todo, lo que es indudable es que los riesgos que señala, al igual que las 'meigas', existir, existen, y muchas de las historias que completan el libro e ilustran los riesgos y malos usos, son, en efecto, casos de una aplicación incorrecta y perjudicial de los algoritmos. Y es también indudable, además, que Cathy O'Neil es un personaje popular en este ámbito de la crítica al uso de los datos.

Así que vale la pena conocer sus planteamientos, entender que son esas armas de destrucción matemática, que hay de cierto en ellas y qué podemos hacer para no crearlas y no utilizarlas.

 Y eso sí que es positivo e importante.


lunes, 30 de agosto de 2021

Big Data, Machine Learning y la democracia automática

Es éste post especulativo, ligeramente transgresor, casi un escenario de ciencia ficción. Me planteo: ¿sería posible automatizar la democracia o, más exactamente, la participación ciudadana en la política y la administración? 

Vamos a ver algunas ideas al respecto, algunas reflexiones al vuelo, más unas ideas espontáneas que un estudio pormenorizado.


Las bases tecnológicas: Big Data, Machine Learning e Internet de las Cosas.


Tenemos, no cabe duda, tecnología muy avanzada para el tratamiento de datos y la analítica. Tenemos, fundamentalmente, Big Data y Machine Learning pero también sensores e Internet de las Cosas.

Big Data nos aporta la capacidad de tratar, en tiempo real o cuasi-real, volúmenes ingentes de datos incluyendo datos no estructurados (imágenes, vídeo, texto libre...). Y para ello se apoya en componentes tecnológicos como los sistemas de ficheros distribuidos, el procesamiento distribuido, las bases de datos NoSQL, etc. Sobre esos datos los sistemas de Business Intelligence tradicionales ya nos permiten hacer interesantes cálculos, informes e indicadores. 

Pero tenemos además, la inteligencia artificial y muy especialmente el machine learning. Y ello nos permite procesamientos muy avanzados de datos, procesamientos que incluyen el entendimiento del lenguaje natural, la detección de sentimientos, la clasificación de imágenes, el reconocimiento facial, etc. Y, además, nos aporta capacidades analíticas para detectar patrones y correlaciones (muchas de ellas no detectadas por los humanos) y clasificar poblaciones mediante afinidades diversas. Aún más, nos permite hacer predicciones del comportamiento de variables de todo tipo.

Y, como complemento, tenemos muchas formas de obtener datos. No se trata sólo de las bases de datos de los sistemas de información 'de toda la vida'. Se trata también de los datos presentes en las redes sociales, de los captados mediante sensores de todo tipo incluyendo cámaras y micrófonos o todo tipo de dispositivos integrados en el Internet de las Cosas.


El conocimiento del ciudadano y la democracia automática


Esa combinación de tecnologías nos permite, pues, conocer fenómenos y realizar predicciones sobre ellos. ¿Qué pasa si ahora el fenómeno que queremos entender, reducir a patrones y predecir es el comportamiento y las preferencias de los ciudadanos?

Bien, las administraciones públicas ya disponen de muchos datos sobre los ciudadanos: datos, por ejemplo, laborales, sanitarios y fiscales. Datos sobre localidad de residencia y propiedades inmobiliarias, de vehículos, etc.

Junto con estos datos, las administraciones podrían recabar datos públicos, ya sea a nivel individual o agregado, presentes en redes sociales e, incluso, datos sobre movimientos de personas (tráficos o itinerancia de dispositivos móviles) y así un larguísimo etc

Y, aunque sujeto a cierta controversia y a límites éticos y legales, podrían recabar datos de cámaras de vigilancia, de tráfico, etc.

Además, las administraciones pueden hacer, y hacen de hecho, estudios sociológicos que permiten obtener otro tipo de informaciones como opiniones, inquietudes o intenciones de voto.

Es decir, las administraciones disponen de todo tipo de información sobre el ciudadano y posibilidad de obtener e integrar muchos más datos. Si a todo ello se le aplican de forma inteligente las tecnologías de Big Data y Machine Learning, parece se podría conocer con mucho detalle la realidad de la ciudadanía y, sobre todo, y relativo a la temática de este artículo, sus preferencias no sólo comerciales (que analizan ya las empresas) sino también ideológicas: posicionamiento en cuanto a, por ejemplo, impuestos, inmigración, servicios sociales, iniciativa privada, educación, etc.

Parece que la esencia de la democracia es que los ciudadanos puedan participar en los asuntos públicos expresando su opinión, normalmente a través de unos representantes por ellos elegidos y en algún caso de una forma más directa mediante referénda u otros mecanismos de participación directa. Pero ¿Qué pasaría si lo que quiere de manera agregada la ciudadanía fuese perfectamente conocido con base en la recopilación de datos de todo tipo, la detección de patrones sobre esos datos y la realización de predicciones de preferencias ante problemáticas actuales o futuras? ¿Qué pasaría si los gobernantes, quizá más tecnócratas y menos políticos, decidiesen y actuasen conforme a lo que dicten las preferencias de los ciudadanos según se obtuviese de esos datos procesados? 

Ese escenario es el que apunta brevemente, lo cual no supone una propuesta sino solo la expresión de una posibilidad, Ángel Gómez de Ágreda en su libro 'Mundo Orwell: Manual de supervivencia para un mundo hiperconectado' y que me ha inspirado para este artículo. En concreto, el párrafo clave es en el que nos dice:


El conocimiento del ciudadano a través de los datos adquiridos se plantea en ocasiones como una alternativa a la misma democracia, o a las consultas populares. No existiría la necesidad de preguntar una opinión que ya se conoce.


Si eso fuese así, si llegásemos al punto en que tuviésemos suficientes datos, y modelos analíticos y predictivos suficientemente potentes y ajustados como para de una forma acertada expresar la opinión de la ciudadanía, podríamos encontrarnos ante lo que he denominado democracia automática: una democracia en que los ciudadanos no participarían de manera directa porque no sería necesario, porque lo que pensasen en su conjunto sería perfectamente conocido. La participación sería indirecta, mediante la generación de datos en su día a día, quizá complementada con la participación en sondeos o, quizá, manifestaciones y actos públicos.

Sería un modelo de democracia probablemente algo más eficiente, que, paradójicamente, pudiera estar más cercana a la opinión de la ciudadanía pero... ¿es realmente viable? y, sobre todo ¿es deseable?


¿Es viable una democracia automática?


Desde un punto de vista técnico, probablemente sea mucho más viable de lo que parece. 

Creo que es viable (o cercano a la viabilidad) en el sentido de que las bases tecnológicas fundamentales ya están puestas aunque, quizá, solo quizá, pudiéramos necesitar idear e implantar formas de capturar algún dato necesario del cual no dispongamos hoy en día o pudiéramos tener algún problema de capacidad (de almacenamiento y proceso) ante la magnitud de la información requerida.

Eso sí, aparte de la pura tecnología de base, identifico como mínimo dos tareas bastante hercúleas a realizar desde el punto de vista técnico para su implantación:

  • Procesamiento e integración de todos los datos necesarios y, cualquiera que haya trabajado con fuentes diversas de datos sabe lo complejo, farragoso, laborioso y largo que es este punto.

  • Desarrollo y prueba de todos los modelos analíticos y predictivos necesarios, unos modelos que, aparte de ser probablemente muy numerosos, deberían ser exhaustiva y exquisitamente probados (y puede que en algunos casos hasta nos faltasen criterios sobre cómo probarlos correctamente).

Pero mucho más complejo serían, me parece, otros aspectos de 'implantación' que no tienen que ver con el ámbito técnico, temas como el masivo cambio legislativo y normativo necesario, el cambio a gran escala de procesos y procedimientos de administración y gestión públicas y un enorme cambio que podríamos denominar 'cultural', ya que toda la ciudadanía debería aceptar y acostumbrarse al nuevo esquema. Y el establecimiento del mecanismo para seleccionar a las personas que, aunque fuese con base en lo que indicasen los modelos, deberían decidir y actuar.

Todo esto hace que, aunque estrictamente hablando, creo que esta democracia automática podría ser viable, a efectos prácticos, al menos a corto y medio plazo, roza la inviabilidad y, caso que quisiéramos llegar a este modelo, probablemente debamos avanzar poco a poco, integrando algunos datos y desarrollando modelos uy enfocados para temas concretos.

Eso en caso de que queramos esta democracia automática pero ¿es realmente deseable?


¿Querríamos una democracia automática?


Una democracia automática, tendría, creo, algunas ventajas:


  • Podría ser algo más eficiente ya que evitaría, por ejemplo los costosos procesos electorales o los inacabables y poco productivos debates parlamentarios, comisiones, etc

  • Paradójicamente, podría ser más cercana a las necesidades y preferencias de los ciudadanos. ¿Por qué? Pues porque en las democracias actuales los ciudadanos participan sólo puntualmente (elecciones y referenda). Sin embargo, en esta democracia automática, los modelos se podrían actualizar de manera cuasi-continua y proporcionar en todo momento una visión actualizada de las opiniones y preferencias de la ciudadanía.

  • Y tendría el potencial para ser más objetiva, menos sujeta a las opiniones de líderes y partidos políticos, a sus intereses y sus estrategias de negociación

Sin embargo, parece que se abren muchos interrogantes y que los riesgos pueden ser muy altos.

Podría resultar muy difícil conseguir la aceptación por la ciudadanía no sólo de la propia democracia automática sino de las decisiones así adoptadas y ello, simplemente, porque los ciudadanos, seguramente, no se sentirían realmente partícipes. Es como una especie de problema de gestión del cambio a gran escala. Una buena práctica de gestión del cambio en proyectos transformadores es involucrar lo máximo posible a las partes interesadas en ese cambio, en esa transformación, en las grandes decisiones. Ello no solo asegura tomar mejores decisiones sino que, además, promueve apoyos y aceptación. Sin embargo, en la democracia automática, aunque en teoría se tuviesen en cuenta las opiniones de los ciudadanos, sería sin su concurso directo. Sería una especie de neo-tecno-ilustración: 'todo para el pueblo pero sin el pueblo (aunque sí con sus preferencias)'. Así que, probablemente, los ciudadanos contemplasen las decisiones tomadas en la democracia automática como algo ajeno, lejano y seguramente rechazable.

Los modelos, fácilmente, pueden presentar sesgos o degradarse con el tiempo. ¿Cómo garantizaríamos que esos modelos son neutrales, que expresan realmente la opinión popular  y que, además, se actualizan de manera continua para que sigan reflejando fielmente la opinión de la ciudadanía?

¿Y quién sería la autoridad que gestionaría los datos y los modelos? ¿Cómo garantizar que los modelos no se manipularían, de manera intencionada, para conseguir unos fines o para favorecer alguna opción ideológica? 

¿No parece, sobre todo, muy evidente y difícilmente controlable, la tentación autoritaria en este esquema que tanto se acerca a una especie de 'gran hermano'? ¿No podría suceder que la democracia automática se convirtiese  realmente en una dictadura con soporte tecnológico?


Conclusión


¡Uf! Da un poco de miedo, la verdad.

Es cuestionable si esta democracia automática sería viable, al menos a corto o medio plazo, aunque es posible que sí lo sea. Pero lo que asustan bastante sus implicaciones y riesgos.

Quizá sea mejor dejarlo estar, al menos por el momento ¿no? 

Si, casi mejor dejarlo estar, pero el reflexionar sobre ello, sobre las bondades y los riesgos de esta eventual democracia automática nos puede llevar a debates mucho más urgentes y quizá necesarios  que afectan ya mismo, a nuestra propia democracia actual por un lado y, por otro, al uso de los datos y la inteligencia artificial, a cómo promover su uso para el bien, cómo garantizar su empleo ético y cómo garantizar sobre todo los derechos y bienestar de la ciudadanía.