Big stream: procesamiento de datos en tiempo real para un mundo de dispositivos y sensores

Cuando hablamos de procesamiento de datos, especialmente de analítica, y de tratamiento de grandes datos, tendemos a pensar, y la verdad es que es bastante razonable, en un almacén de datos, más o menos ordenado, sobre el que lanzamos consultas o algoritmos de machine learning para obtener indicadores, resúmenes, tendencias o predicciones.

Pero no siempre es así. Existen cada vez más casos de uso, y más posibilidades, de explotar y analizar flujos de datos en tiempo real.

Vayamos poco a poco.

Almacenes de datos 

Desde casi los primeros tiempos de la informática han existido los almacenes de datos. Inicialmente eran meros ficheros pero muy pronto la necesidad de tratar datos en abundancia, garantizando su coherencia y escalabilidad llevó a la invención de las bases de datos, y con ellas, los Sistemas de Gestión de Bases de Datos (SGBD), de entre las cuales, las 'reinas' fueron, y en el fondo casi que siguen siendo, las bases de datos relacionales con sus sistemas de gestión de bases de datos relacionales. Sobre esas bases de datos relacionales, se podían ya hacer consultas, informes y análisis.

Sin embargo, a medida que el volumen de datos crecía y la complejidad de los análisis también, hacer analítica sobre la misma base de datos relacional operativa generaba problemas de prestaciones. Por ello, y como explico en mi primer libro 'La carrera digital', surgieron, en primer lugar los ODS ('Operational Data Store'), meras réplicas de una base de datos pero físicamente soportada en ficheros diferenciados.

Y luego, con la misma motivación de prestaciones, pero impulsado también por el interés en mejorar las capacidades analíticas, y de la mano de los conceptos de Business Intelligence y OLAP ('Online Analytical Processing') surgieron los denominados datamarts o datawarehouses, creo que a finales de los años 90.

Big Data y datalakes

Y en eso llegó el Big Data que, en el fondo, y en cuanto a utilidad y resultados, casi aspira a lo mismo que el Business Intelligence pero que surge en un entorno nuevo, donde el volumen de datos, que ya era grande, explota hacia niveles muy superiores y donde, sobre todo, cobran enorme importancia los datos semiestructurados (ficheros XML y JSON, por ejemplo) y no estructurados (texto libre, imágenes, vídeos, etc) y todo esto unido a una exigencia cada vez mayor de disponer de análisis en tiempo real, superando los típicos informes basados en datos del día anterior tan comunes usando datawarehoueses.

Esto da lugar al concepto de Big Data, donde las tres ideas expresadas se recogen en las famosas tres Vs de Doug Laney, Volumen, Variedad y Velocidad, a las que, de una forma algo espuria en mi opinión, luego se le han ido añadiendo otras Vs.

Asociado a Big data tenemos otra forma de repositorio de datos: los famosos datalakes que, en concepto, no son muy diferentes de los datamarts o datawarehouses pero que experiementan ese incremento en volumen y variedad de datos.

Big Stream

Sin embargo, y un poco 'a la chita callando' se va desarrollando un concepto, muy unido al Big data, pero en el fondo bastante diferente: el del 'Big stream', que se centra en el procesamiento de datos pero no unos datos contenidos en un repositorio sino unos datos que van llegando en tiempo real en una suerte de flujos de datos.

Leo acerca de este concepto en 'Internet of things: architectures, protocols and standards' de Simone Cirani, Gianluigi Ferrari, Marco Picone y Luca Veltri donde los autores comparan el concepto de big data con el de big stream y nos dicen:

The main differences between the Big Data  and Big Stream paradigms are the nature of data sources and the real-time/latency requirements of the consumers.

En efecto, hay que diferenciar el origen de datos que, en el caso del Big Data tienden a ser sistemas de información más o menos convencionales, mientras que en el caso del Big Stream con frecuencia, aunque no exclusivamente, hablamos de información procedente de sensores y dispositivos, con frecuencia en estrecha conexión, por tanto, con el mundo físico.

La segunda diferenciación, igualmente relevante, son los requisitos de latencia (es decir, la necesidad de una rápida respuesta) y de funcionamiento en tiempo real, algo que es habitual en la interacción con el mundo físico, especialmente en aplicaciones críticas.

En la misma obra, y poco después, los autores nos amplían esa comparativa diciendo:

In brief, while both Big data and Big Stream systems deal with massive amounts of data, the former focuses on the analysis of data while the latter focuses on the management of flows of data

En efecto, ambas tecnologías, Big Data y Big Stream, tratan con grandes cantidades de datos, pero mientras que en el Big Data más tradicional éstos tienden a estar ya recogidos en algún tipo de almacén de datos (típicamente un datalake), en el caso del Big Stream nos llegan como flujos en tiempo real y el volumen no deriva tanto del tamaño de cada bloque de información sino de la hiper-abundancia y continuidad de esos bloques de información.

No es extraño encontrar una explicación sobre Big Stream en un libro de Internet de las Cosas porque, seguramente, éste sea el campo donde más sentido adquiere para procesar toda la abundantísimo información que generan 'las cosas' que incluyen, por ejemplo, dispositivos y sensores para telemedida. 

Sin embargo, no es éste el único, y así, en el post 'Stream Processing – Tecnologías y Comparativa' Óscar Fernández nos identifica otra serie de usos

• Monitorización de sistemas, de redes y de aplicaciones
• Dispositivos Internet of Things (IoT)
• Sistemas de recomendación y optimización de resultados
• Transacciones financieras, detección de fraude y trading
• Seguimiento de usuarios en páginas web y comercio electrónico
• Notificaciones en dispositivos y aplicaciones móviles en tiempo real

No voy a profundizar aquí, aunque es muy interesante, en los retos técnicos que esto supone y me quedo, de momento, con resaltar este interesante y prometedor concepto de Big Stream

Conclusiones

Aunque menos popular que el Big Data, el Big Stream es una forma de procesamiento de datos que, probablemente, vaya adquiriendo más y más importancia (aunque no sé si relevancia mediática) a medida que se expandan Internet de las Cosas y los sistemas ciber-físicos, y que incorporemos, por tanto, más y más dispositivos y sensores a la 'conversación y, por tanto, a la creación de datos.

La manipulación de estados de ánimo sociales y el pensamiento crítico

A estas alturas del partido, ya somos muy conscientes de la importancia de los datos en la vida digitalizada actual. 

Los datos

Somo conscientes de que existen muchísimos datos disponibles, entre ellos nuestros propios datos, somos conscientes de que existen potentes tecnologías (básicamente las agrupadas bajo el término Big Data) para procesar esos datos, y somos conscientes de la existencia de sofisticados algoritmos (típicamente procedentes del campo del machine learning) para extraer todo tipo de informaciones explícitas y sobre todo implícitas en esos datos y para obtener conclusiones y hacer predicciones..

Pero no sólo se pueden utilizar datos para conocer y analizar la realidad. También con base en los datos y con las plataformas digitales, se puede influir sobre personas, sobre colectivos y sobre la sociedad en general. 

 Influencia y manipulación basada en datos

No digo nada original a estas alturas, si hago notar, por ejemplo, el uso de información de clientes, obtenidos quizá mediante interacción con webs de comercio electrónico, para conocer sus gustos, sus preferencias, y orientar campañas tanto de marketing general como propuestas específicas y personalizas de compra.

No digo nada novedoso tampoco si hago notar como mediante condiciones de uso leoninas (y que casi nadie lee) de muchísimos canales digitales o mediante un uso no ético (y puede que tampoco legal) de la información de nuestros móviles, las diferentes empresas y canales digitales saben mucho de cada uno de nosotros. 

Tampoco digo nada original si hago constar que al igual que existe un marketing comercial, existe igualmente un marketing ideológico y un marketing político que intenta vender ideas, candidatos y partidos.

El caso es que, con base en los datos obtenidos de personas (ya sean clientes o ciudadanos en general) podemos no sólo conocer a esas personas, sino también influir en sus elecciones.

Y esto es un tema delicado. No es que no se haya hecho 'de toda la vida'. Por supuesto que antes de la explosión digital y del Big Data, las empresas intentaban conocer y segmentar a sus clientes, y los políticos conocer a su electorado potencial, mejorar la venta de sus productos o sus candidaturas. Cambia ahora, y quizá eso es lo que nos preocupa, la escala, la potencia, la eficacia... y en parte también cómo se obtiene la información sobre cada uno de nosotros, no siempre excesivamente respetuosa con la privacidad.

Un experimento sobre estados de animo

En realidad, todo lo dicho más arriba es conocido y he dudado si valía la pena escribir este post. Pero lo hago espoleado por un aspecto algo puntual pero llamativo. Y es por la constatación de lo relativamente sencillo (y añado que de lo potencialmente peligroso) que es influir ya no solo en la compra o incluso el voto, sino también en el estado de ánimo, y no de personas particulares sino de toda una sociedad.

Y me viene esa idea leyendo el librito 'Big data: Conceptos, tecnologías y aplicaciones' de David Ríos Insúa y David Gómez-Ullate Oteiza. 

En un pasaje del mismo, y antes de comentar el famoso escándalo de Cambridge Analytica mencionan un experimento realizado en 2022 un grupo de investigadores de Facebook (ahora Meta) y de la Cornell University. En el experimento, realizado sobre 700.000 individuos, el algoritmo que selecciona qué mensajes de amigos (o sugeridos) se muestran a los usuarios, se modificaba con un cierto filtro, de manera que a una parte de los usuarios les llegaban mensajes positivos mientras que otro le llegaban mensajes negativos. Cabe destacar que, en ambos casos, los mensajes eran absolutamente reales, de usuarios reales, amigos reales de los que los recibían, sin más manipulación que ese filtrado por positividad o negatividad.

Y el resultado fue que, aquellos usuarios que recibían mensajes negativos, emitían a su vez mensajes negativos, mientras que los que recibían mensajes positivos, tendían a emitir mensajes positivos. Es decir, de alguna forma, se había logrado influir en el estado de ánimo de las personas o al menos en el que manifestaban.

Piénsese ahora esto trasladado a estados de opinión en el ámbito político o ideológico.

Y lo que quizá asusta más, es que es muy sencillo de hacer. De hecho los autores escriben:

lo que resulta llamativo es que un ingeniero informático, modificando unas pocas líneas de código, era capaz de propagar estados de ánimo sobre una población entera.

Es para inquietarse un poco ¿no?

¿Y qué podemos hacer? El pensamiento crítico

¿Y qué se puede hacer ante esto?

Realmente, no soy del todo optimista. 

A pesar de la creciente preocupación por el uso ético de los datos, a pesar del foco, en concreto, en temas como la privacidad y la no manipulación, a pesar de la existencia en Europa del Reglamento de Protección de Datos y la próxima ley de la Inteligencia Artificial así como otras iniciativas parecidas, creo que el uso no siempre ético de los datos se va a producir y los intentos de influir en todo tipo de opiniones de la población, también.

Entiendo que hay que reforzar todo lo relativo a las salvaguardas legales pero no creo que podamos confiar al 100% en su eficacia práctica. así que, como ciudadanos individuales, creo que debemos ser conscientes de que nuestros  datos están expuestos y que los mensajes que recibimos, por todo tipo de medios, van a buscar la influencia de todo tipo: comercial, ideológica, política, etc.

Además, de intentar (sabiendo que nunca vamos a tener un éxito total) proteger nuestra privacidad e intimidad, debemos desarrollar ese famoso pensamiento crítico: ser conscientes de que los mensajes que recibimos pueden estar sesgados y manipulados, contrastar opiniones en medios diferentes, analizar, acceder a opiniones incluso de aquellos que somos conscientes de que no piensan como nosotros.

Pero esto se dice muy fácil y se consigue muy difícilmente. El problema es que el pensamiento crítico, aparte de a veces ambiguo, es una habilidad y una actitud. Existen técnicas específicas de pensamiento crítico pero creo que ante todo es una actitud. Y una actitud en cierto sentido elevada y cultural. Y, por tanto, difícil y lenta de adquiririr. Y muy difícil de generalizar para toda una sociedad.

Conclusiones

Aunque en el fondo ya lo sabemos, conviene insistir una y otra vez en el hecho de que hoy en día, nuestros datos están en mayor o menor media expuestos, y que son usados para conocernos (individualmente o como colectivos) y para, con base en ellos, intentar influir en nuestros comportamientos de compra, en nuestras opiniones, nuestra ideología y nuestro voto.

No es fácil responder a esto pero, de momento al menos, me quedo con la prudencia en la exposición voluntaria de nuestros datos y la búsqueda del contraste y la aplicación del pensamiento crítico.

 

Las armas de destrucción matemática de Cathy O'Neil

'Weapons of math destruction' es un libro, muy afamado, que busca, de manera muy crítica, poner al descubierto el mal uso uso y el impacto negativo de lo que la autora suele denominar Big Data pero sería, más bien, algoritmos de analítica o machine learning o si quiere, la propia ciencia de datos. Y hace esa crítica basándose en primer lugar en su propia experiencia y trayectoria profesional trabajando durante un par de años como científica de datos, y luego mediante el análisis de casos ordenados de una forma aproximadamente sectorial.

A lo largo del libro se ejemplifican esas armas de destrucción matemática que son algoritmos caracterizados por su opacidad, por su uso a gran escala y por su efecto negativo, así como por una cierta tendencia a la reincidencia y la profecía autocumplida, y por perjudicar en general a los más pobres y vulnerables.

El libro se inicia con una larga introducción, escrita en buena medida en primera persona y en clave personal, donde la autora nos cuenta su pasión por las matemáticas, sus primeros pasos profesionales como científica de datos y cómo se desilusionó con lo que observó. A continuación, desarrolla el cuerpo central del libro, estructurado en diez capítulos como sigue:

• '1. Bomb Parts. What is a Model?:' Tras una historia de aplicación de modelos matemáticos en el deporte, aporta algunas ideas sobre el funcionamiento de los modelos matemáticos. Luego describe un caso en el ámbito judicial con un resultado negativo del uso de modelos y resume en tres características, ya mencionadas, lo distintivo de las 'armas de destrucción matemática: opacidad, escala y daño.


• '2. Shell Shocked: My Journey of Disillusionment:' Describe su negativa experiencia personal en la firma D.E.Shaw, su salto a RiskMetrics, y a continuación a Intent Media, su participación en el movimiento 'Occupy' y como tras dos años trabajando en el campo de lo que la autora denomina, de una forma que considero algo equívoca, Big Data, y como todo ello completó su proceso de decepción y se planteamiento de investigar por ella misma.


• '3. Arms Race: Going to College:' Inicia la visión sectorial con en el mundo de la educación hablando de malos usos de algoritmos para evaluar la calidad de instituciones docentes, explicando el caso del ranking elaborado por U.S. News y algún caso en China.


• '4. Propaganda Machine: Online Advertising:' Salta ahora al marketing digital y los anuncios online. Habla de alguna anécdota en IntentMedia, cuenta practicas predatorias que se aplican en la publicidad digital, menciona casos como la generación de anuncios de empleo falsos y dedica bastante espacio al caso de la publicidad de instituciones educativas.


• '5. Civilian Casualties: Justice in the Age of Big Data:' Ahora le toca el turno a la justicia y, sobre todo, al ámbito policial. Así explica experiencias en el uso de sistemas de predicción de delitos como forma de ayudar a la planificación de la actividad policial, dedicando, en concreto, a hablar de PredPol, usado en Reading (Pensilvania) o CompStat (Nueva York) y como su uso puede generar profecías autocumplidas de criminalidad.


• '6. Inelligible to Serve: Getting a Job:' Un capítulo para hablar del mundo de los recursos humanos y, sobre todo, de la selección para empleos. Nos habla, por ejemplo, del modelo desarrollado por la empresa Kronos, de posibles intromisiones en aspectos casi médicos y de salud mental y la posible creación de un círculo vicioso que elimine en la práctica personas del mercado laboral. También profundiza en el caso de las admisiones de St Georges Hospital Medical School.


• '7. Sweating Bullets: On the Job:' Seguimos con el mundo laboral pero ahora no hablamos de selección, sino el día a día, ya en el trabajo. Abre el capítulo hablando de los horarios irregulares, es decir cuando se aplican turnos u otras formas de asignar trabajos de forma no uniforme y previsible en el tiempo y cómo ese tipo de horarios, que atribuye a la economía de los datos, afecta a la vida de las personas y extiende la problemática, en general, a la investigación de operaciones. También aborda la problemática de la evaluación del desempeño automatizada en diferentes ámbitos incluyendo algún caso en el ámbito de la educación y de la evaluación de profesores.


• '8. Collateral Damage: Landing Credit:' Entra en el mundo financiero y de los préstamos. Describe, por ejemplo, el caso del modelo FICO para 'scoring' de riesgo y cómo ha sido imitado por otros modelos que la autora considera arbitrarios y con frecuencia injustos. Afirma, además, que este tipo de soluciones crean un círculo vicioso de pobreza y que el efecto de una mala calificación puede prolongarse durante años, incluyendo además, casos de los que da algún ejemplo, en que se cometió algún error de identidad.


• '9. No Safe Zone: Getting Insurance:' Y saltamos al mundo de los seguros. Se cuenta, por ejemplo, un informe desarrollado por un empleado Prudential Life Insurance Company y luego usado por muchas aseguradoras que discriminaba, por un error de análisis estadístico a la población de raza negra. Igualmente se aporta algún ejemplo en el campo del seguro de automóviles o de casos de clasificación de poblaciones en clústeres de significado poco claro.


• '10. The Targeted Citizen. Civic Life:' Una visión, si se quiere, menos sectorial y más de vida común o pública donde se comentan algunas prácticas realizadas por Facebook, el uso de algoritmos y redes en el caso de elecciones mediante el denominado 'microtargeting' y prácticas parecidas utilizadas en diferentes lobbies.

Tras esto finaliza con un capítulo final 'Conclusions' que resume algunos de los hallazgos, plantea aspectos regulatorios, habla de instituciones que auditan algoritmos y pide unos modelos abiertos y disponibles.

El libro, de mediana tirando a corta extensión, se desarrolla, no tanto como una explicación conceptual, sino como una serie de historias, una serie de casos reales, en que alguna forma defectuosa de uso de modelos algorítmicos, causa un perjuicio. Con base en esa historia, la autora explica algunas ideas, superficiales, del funcionamiento de los modelos, hace sus considerandos y extrae algunas conclusiones. Ese estilo, digamos narrativo, tan propio de autores norteamericanos, hace la lectura bastante entretenida y probablemente accesible a un público muy amplio pero, a cambio, le resta profundidad, estructura e, incluso, diría que cierto rigor.

Aunque, como digo, la lectura es bastante entretenida, y los ejemplos que aporta, razonablemente documentados y explicados, son interesantes y desvelan riesgos muy reales, el libro en su conjunto me ha producido una impresión negativa. ¿Por qué? Pues porque creo que transmite una visión sesgada y destructiva de la algoritmia, el Big Data y la ciencia de datos. Sesgada, porque lo único que presenta es una especie de 'museo de los horrores' de todo lo que puede ir mal, incluyendo usos maliciosos o poco éticos, efectos secundarios inesperados, errores metodológicos, errores de interpretación, etc sin contrapesarlo, apenas, con todos los usos positivos y buenas prácticas. Y destructiva por la visión tan pesimista que plantea y por no aportar, apenas, visos de soluciones o cómo hacer un uso correcto.

Una forma de tratar la ética en el uso de la tecnología y los riesgos asociados a esa tecnología, riesgos que, no hay que negarlos, son reales, de una manera que, en mi opinión, transmite una visión deformada y hace mucho más daño que beneficio.

 
Cathy O'Neil

(Fuente: Ligera elaboración propia de su su entrada en Wikipedia)

Cathy O'Neil

Catherine ("Cathy") Helen O'Neil es una matemática estadounidense y autora del blog mathbabe.org y varios libros sobre ciencia de datos, entre los que se incluye 'Armas de destrucción matemática'. Fue Directora del Programa Lede en Prácticas de Datos en la Escuela de Periodismo de la Universidad de Columbia, Tow Center y trabajó como Consultora de Ciencia de datos en Johnson Research Labs.​

Vive en la ciudad de Nueva York y es activa en el movimiento Ocupy.

O'Neil asistió a la Universidad de Berkeley, consiguió un doctorado en matemáticas por la Universidad de Harvard en 1999. Luego ocupó cargos en los departamentos de matemática del MIT y del Barnard College, haciendo investigación en geometría algebraica aritmética.

Dejó la academia en 2007 y trabajó durante cuatro años en la industria financiera, incluyendo dos años en el fondo de cobertura D. E. Shaw. Después de desilusionarse del mundo de las finanzas, O'Neil se involucró en el movimiento Occupy Wall Street, participando en su Grupo Bancario Alternativo.​

O'Neil vive en Nueva York con su marido Aise Johan de Jong y sus tres hijos.​

Es coautora (con Rachel Schutt) de 'Doing Data Science: Straight Talk from the Frontline' (O'Reilly 2013, ISBN 1449358659). También escribió un libro electrónico 'On Being a Data Skeptic' (O'Reilly Media. 2013, ISBN 1491947233). Su libro 'Armas de destrucción matemática' ('Weapons of Math Destruction') fue publicado en 2016 (Corona, ISBN 1449358659) y fue incluido en la lista larga para el National Book Award 2016 de no-ficción

Puedes saber más de la autora siguiéndola en Twitter donde se identifica como @mathbabedotorg.

Ficha técnica:

TITULO: Weapons Of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

AUTOR: Cathy O'Neil

EDITORIAL: Penguin Books

AÑO: 2017 

ISBN: 978-0141985411

PAGINAS: 272

Artículos de este blog relacionados

• Transferencia digital de estados de ánimo
• Machine learning y las sombras del pasado
• El concepto de arma de destrucción matemática de Cathy O'Neil

La empresa data-driven explicada por Richard Benjamins

'A data-driven company' es un libro que aborda, exactamente lo que promete su subtítulo: '21 lessons for large organizations to create value from AI', es decir, ataca todos los aspectos a considerar en una organización (en general una empresa grande) para sacarle el máximo provecho a los datos y la inteligencia artificial alcanzando el concepto de empresa data-driven. Y enfoca el tratamiento de esas materias, precisamente, como la contestación a 21 preguntas clave, 21 decisiones a adoptar por la dirección de la empresa.

Se trata, pues, de un libro no técnico sino claramente de gestión aunque el elemento a gestionar sea de base tecnológica.

Siguiendo la idea comentada, cada capítulo de la obra se dedica a una de las preguntas formuladas y, a su vez, estas preguntas/capítulos se agrupan en cinco partes, como sigue:

• 'PART I - ORGANIZATION:' Se centra inicialmente en los aspectos organizativos y recoge cinco preguntas:
  
  
  • '1. Where should the Chief Data Officer be placed on the organizational chart?:' evalua alternativas, con sus pros y sus contras en cuanto a la situación organizativa de la figura del Chief Data Officer y su cercanía o lejanía al CEO.
  
  
  • '2. Data and IT - How do they live together?:' De manera muy similar, presenta y valora las distintas opciones en cuanto a la relación de las eventuales área de TI y Datos.
  
  
  • '3. Is AI included in the data organization or is it separate?:' Trata ahora de valorar si se debe diferenciar la Inteligencia Artificial como una unidad diferente o incluirla dentro de la unidad de datos. También compara los perfiles de científico de datos ('data scientist') e ingeniero de datos ('data engineer') buscando entender las verdaderas necesidades respecto a ambos perfiles en una compañía.
  
  
  • '4. How to measure your data maturity?:' En una orientación ligeramente diferente, analiza las diferentes dimensiones de la madurez en datos, las fases en alcanzar esa madurez y esboza cómo hacer una evaluación de esa madurez.
  
  
  • '5. External monetization of data:' Finaliza esta primera parte abordando la posibilidad de monetizar los datos: la creación de una nueva proposición de valor, la estrategia de monetización y su implementación, la estructuración organizativa y el 'go to market'.


• 'PART II - BUSINESS AND FINANCE:' Es el turno ahora de los aspectos económicos y fianancieros que originan las siguientes cinco cuestiones:
  
  
  • '6. How to select AI and Big Data use cases:' Proporciona algunas ideas para la selección de los casos de uso más adecuados mediante el uso de la 'Matriz de oportunidad'.
  
  
  • '7. How to measure economic impact:' Ideas para medir el impacto económico, viendo cómo se puede reducir costes, cómo se puede optimizar el negocio y cómo se pueden generar nuevos ingresos.
  
  
  • '8. How to fund your data journey:' Presenta diferentes alternativas de financiación y analiza cómo decidir la cantidad a invertir.
  
  
  • '9. How to approach open data:' Aborda un tema algo diferente, el de los datos abiertos y la actitud ante los mismos. Primero explica el concepto de 'open data'. Luego explica algunas formas en que el uso del open data (externo) puede enriquecer los datos propios de la organización, incluyendo los retos que implica y cómo afrontarlos y finaliza introduciendo brevemente la opción contraria: publicar datos propios como datos abiertos.
  
  
  • '10. AI and Big Data in small and medium-sized enterprises:' Comienza aportando algunas estadísticas sobre el uso de Inteligencia Artificial y Big Data en PYMEs para luego identificar unas condiciones mínimas para que este tipo de compañías puedan hacer un buen uso de los datos y la inteligencia artificial.
  
  
• 'PART III - TECHNOLOGY:' Se contemplan ahora cinco preguntas esencialmente técnicas:
  
  
  • '11. Cloud or on-premise?:' Primero analiza por qué es interesante el cloud computing para la inteligencia artificial y el Big Data presentando diversas ventajas y luego analiza pros y contras de mantenerse 'on-premise' así como de las diferente estrategias cloud (pura o híbrida).
  
  
  • '12. Local or global storage? Unified data model or not?:' Trata dos problemas relacionado con los puros datos. Por un lado si conviene o no buscar un modelo de datos unificado y, por otro. si el almacenamiento debe ser local o global. Con estas dos variables crea y analiza unos escenarios que combinan las diferentes opciones.
  
  
  • '13. Where to run the analytcs:' En este caso se plantea una decisiones que aunque tiene matices técnicos, en el fondo es una decisión de negocio: dónde situar la realización de analíticas (de forma centralizada, en las unidades de negocio, etc)
  
  
  • '14. Data collection strategy:' Aborda al asunto de la recolección de datos, un problema nada menor. Se identifican fuentes de datos ejemplificándolo con el caso de una telco. Luego se analizan algunos aspectos a considerar como si los datos están en un proveedor o aspectos como la privacidad, los datos abiertos, etc. Finaliza identificando los aspectos que debe incluir una estrategia de recolección de datos.
  
  
  • '15. Workinf with external providers and partners:' Estudia la relación con proveedores y socios, comenzando por analizar las ventajas que puede aportar esa externalización, siguiendo con la exposición de modelos de colaboración y finalizando con ejemplos de experiencias concretas y la identificación de algunos errores a evitar.
  
  
• 'PART IV - PEOPLE:' Toca al turno de las personas y la gestión del cambio, para lo que se contestan a tres preguntas:
  
  
  • '16. Winning over sceptics:' Analiza el escepticismo y la resistencia al cambio y cómo conseguir vencerlas. Estudia los motivos para esa resistencia y formas de trabajar con los escépticos.
  
  
  • '17. Data democratization:' Presenta ideas para extender el uso de los datos, algunas organizativas como el acrecentar equipos para absorber más demandas de datos y otras más orientadas a herramientas, que estructura en la típica división de analítica descriptiva, predictiva y prescriptiva. Y aporta al final alguna idea sobre formación y gestión de datos.
  
  
  • '18. How to create momentum with data:' Un capítulo breve para ir más allá de vencer resistencias e intentar generar apoyo e impulso a las iniciativas de datos.


• 'PART V - RESPONSIBILITY:' Y, finalmente, se aborda un tema muy querido por el autor, cual es el uso responsable de los datos y la Inteligencia Artificial, que se recoge en las tres últimas preguntas:
  
  
  • '19. The social and ethical challenges of AI and Big Data:' Identifica y explica algunos de los retos éticos relacionados con el uso de los datos y la inteligencia artificial como son los sesgos, la explicabilidad, la privacidad, la autonomía, la responsabilidad, etc y da alguna breve pista de cómo afrontar dichas problemáticas.
  
  
  • '20. From AI principles to responsible use of AI:' Un poco como continuación de lo iniciado en el capítulo anterior, se profundiza algo más en el uso responsable de los datos y la inteligencia artificial, hablando de la selección de unos principios éticos y contando luego cómo implementarlos.
  
  
  • '21. Data as a force for good:' Defiende el uso de los datos como herramienta para el bien, para lo que primero comenta los objetivos de desarrollo sostenible, y luego aporta el caso del uso de datos en la lucha contra el COVID. Luego aporta unas consideraciones sobre la incorporación de una compañía al movimiento de 'Data for good'. Sigue profundizando bastante en ideas sobre cómo poner en marcha esa inciativa y finaliza con una breve análisis del estado actual del movimiento 'Data for good'.

Cada capítulo de los anteriores se cierra con la opinión de un experto reconocido sobre la materia tratada.

'A data-driven company' es un libro muy valioso por ese enfoque abarcador y esencialmente de negocio del tratamiento de datos, pero con unas sólidas bases técnicas y avalado, además, por la experiencia práctica y real del autor, Richard Benjamins en la gestión de datos, analítica e inteligencia artificial en grandes compañías, incluyendo su puesto actual en Telefónica.

 

Richard Benjamins

(Fuente: Traducción y ligera elaboración propia de su perfil en LinkedIn)

Richard Benjamins

Entre las 100 personas más influyentes en negocios data-driven, según DataIQ 100. Anteriormente Group Chief Data Officer en AXA (seguros). Más de 10 años de experiencia en Telefónica en diferentes cargos de gestión relacionados con Big Data y Analítica. Co-fundador de startups y ONGs. Speaker frecuente en eventos sobre Big Data e Inteligencia Artificial. Miembro del grupo de expertos en compartición de datos de la Comisión Europea. Co-autor de 'El mito del algoritmo' y 'El algoritmo y yo.'.

Su pasión es la creación de valor a partir de los datos. Valor comercial pero también valor para la sociedad. Es el fundador del departamento de Telefónica Big Data for Social Good. Actualmente trabaja en cómo hacer los datos y la Inteligencia Artificial más sostenibles desde una perspectiva tanto de negocio como social y ética. Es asesor estratégico de Focus360 y de BigML, una startup que pone el Machine Learning en manos de la gente de negocio.

Antes de unirse a Telefónica, fue director y miembro del consejo en ISOCO, de la cual fue co-fundador en 1999. Con base en su trabajo ISOCO recibió el National Award for Computer Science.

Benjamins ha ocupado puestos en la Universidad Politécnica de Madrid, la Universidad de Amsterdam, la Universidad de Sao Paulo en Brasil, la Universidad de París-Sur en Francia y el Instituto español para la Investigación de la Inteligencia Artificial en Barcelona.

Es co-fundador del Observatorio del Impacto Social y Ético de la Inteligencia Artificial (OdiseIA) y uno de los miembros fundadores de la Incubadora Europea para startups da Datos Abiertos ( http://opendataincubator.eu/).

Ha publicado más de cien artículos científicos sobre Inteligencia Artificial, Ética e Inteligencia Artificial, sistemas basados en conocimiento, y web semántica. Ha co-presidido numerosos talleres y conferencias internacionales. Es asesor de varias startups y proyectos internacionales de investigación. Fue presidente de la conferencia K-CAP 2013 y co-presidente de la sección industrial en ISWC 2014.

Es miembro del comité editorial de IEEE Intelligent Systems y de la task force de GSMA sobre Big Data para el Bien Social.

El doctor Benjamins recibió en 1993 su doctorado en Ciencias Cognitivas / Inteligencia Artificial por la Universidad de Amsterdam.

Puedes saber más del autor visitando su perfil en LinkedIn o siguiéndole en Twitter donde se identifica como @vrbenjamins.

Ficha técnica:

TITULO: A Data-Driven Company: 21 lessons for large organizations to create value from AI

AUTOR: Richard Benjamins

EDITORIAL: LID Publishing

AÑO: 2021 

ISBN: 978-1912555888

PAGINAS: 232

Artículos de este blog relacionados

• Desafíos para la monetización de productos de datos
• Síntomas de madurez en la gestión de datos
• Datos corporativos y la fuente única de la verdad

La equívoca relación de inteligencia artificial y datos: cinco mitos comunes

En el post de hace un par de días, titulado 'Privacidad versus donación de datos, un equilibrio ético' mencionaba de pasada una presunta íntima relación entre inteligencia artificial y datos, una relación que calificaba de equívoca.

En realidad esa relación no es equívoca en sí misma. Lo que es equívoca es la comunicación al respecto que con frecuencia se puede observar en artículos, blogs, tuits, ponencias etc. 

Esa relación equívoca, esa comunicación equívoca en realidad, se sustancia en una casi identificación (a veces sin el casi) de tratamiento de datos, big data e inteligencia artificial, como si fuesen lo mismo, como si una disciplina , tecnología o actividad, no pudiese existir sin la otra.

A pesar de la frecuencia de esa identificación, es profundamente incorrecta. Y no sé si el origen de esa confusión está en la pura ignorancia, en la retransmisión acrítica de ideas de terceros o, en algún caso, incluso el interés por confundir las cosas, por perpetuar un estado de comprensión superficial e inexacto de la realidad tecnológica.

Para que quede claro: inteligencia artificial es una cosa, big data otra y el tratamiento de datos otra y, aunque pueden converger (y converjan, de hecho) en muchos usos y aplicaciones, no son lo mismo y pueden existir cada una de las tres sin la concurrencia de las otras dos.

Una explicación completa puede ser muy larga, pero sí me voy a concentrar en intentar desmontar algunos mitos, o al menos dar pistas para hacerlo tras reflexión y estudio posteriores por parte del lector.

Mito 1: la inteligencia artificial necesita datos

Con frecuencia se traslada la imagen de que los algoritmos de inteligencia artificial necesitan datos, necesitan muchos datos. Y los necesitan de forma obligatoria e imperiosa. 

Bueno, esto no es cierto del todo. Sólo a veces.

La inteligencia artificial acoge en su seno un conjunto muy amplio y muy variado de algoritmos. Insisto, muy amplio y muy variado. Poco tiene que ver un algoritmo de búsqueda, con uno de planificación. con una red neuronal, con un K-means, con un SVF. Muy poco realmente. 

Y si, algunos de estos algoritmos, quizá los más exitosos y populares de los últimos años, necesitan datos, muchos datos para ser entrenados. Pero existen otros algoritmos, perfectamente útiles dentro del campo de la inteligencia artificial, que no son especialmente demandantes de datos. En general, y tampoco conviene tomar esto de forma absoluta, precisan de datos los algoritmos que se incluyen dentro del campo del machine learning. Pero, otros algoritmos, por ejemplo los que caen dentro de la inteligencia artificial simbólica, o de la lógica, no precisan especialmente de datos.

Más aún, aquellos algoritmos que precisan de datos, los necesitan normalmente durante su etapa de entrenamiento, pero no una vez ya están en producción. Si nosotros, como empresa final, usamos un algoritmo entrenado por, digamos, Google, Microsoft, IBM o Amazon, por ejemplo en el campo del procesamiento del lenguaje natural o del OCR, un algoritmo ya entrenado insisto, nosotros no necesitamos especialmente datos, salvo que lo queramos re-entrenar al algoritmo cosa que con frecuencia no tendría mucho sentido.  Si lo usamos tal cual es, no necesitamos datos. Lo usamos y ya está,

Así que si, la inteligencia artificial a veces necesita datos, a veces muchos o muchísimos datos. Pero no siempre. Y no siempre dependiendo del tipo de algoritmo y en que fase de su ciclo de vida lo usemos. No hay, por tanto, identificación de inteligencia artificial con necesidad de datos.

Mito 2: la inteligencia artificial necesita muchos datos. Cuantos más, mejor.

Aparte del hecho de precisar datos, se suele hablar de cantidades gigantescas de datos. De nuevo, esto necesita matizarse.

Sí que es cierto que aquellos algoritmos que necesitan datos en su entrenamiento, suelen necesitar muchísimos datos. Entrenar un algoritmo 'fino' de visión artificial o de procesamiento de lenguaje natural puede necesitar cantidades ingentes de datos. Eso es cierto.

Pero hay otros que son más frugales. Un K-means, o una red bayesiana, por ejemplo, no precisan necesariamente de muchos datos. Un K-means puede descubrir patrones con un número limitado de datos, aunque, quizá, a más datos pueda ser más fino en su segmentación.

Más importante que eso, en realidad la necesidad de muchos datos no es una virtud, sino un lastre para aquellos algoritmos de inteligencia artificial que sí los precisan. Falta mucho por investigar y conseguir al respecto, pero algunos de los objetivos de áreas de trabajo como el transfer learning o el aprendizaje por refuerzo buscan, entre otras cosas, ser mas económicos en datos, disminuir esa dependencia de los datos, sobre todo de los grandes volúmenes de datos.

Mito 3: Realizar análisis de datos es inteligencia artificial

No. No siempre. No la mayoría de las veces.

En cualquier empresa, se puede y se debería hacer análisis de datos. Se debería recoger información de sus ERP, sus CRM, sus BPMS, o cualesquiera otros sistemas y, ya sea directamente en esos sistemas o sobre  un repositorio que reúna los datos de diversas fuentes (un ODS, un datamart, un datalake), o incluso, mediante visualizadores de datos como PowerBI o Tableau que actuan de manera directa sobre repositorios originales, obtener indicadores, tendencias y, eventualmente, reunirlos en cuadros de mando o informes.

Pero hacer eso no significa que estemos haciendo inteligencia artificial. Obtener un indicador (por ejemplo, el tiempo medio de proceso) mediante una 'query' más o menos compleja sobre una base de datos no es hacer inteligencia artificial. Hacer predicciones basados en simples valores medios del pasado, no es inteligencia artificial. Es un uso razonable y aconsejable de los datos, pero no es inteligencia artificial.

Lo sería si sobre esos datos, aplicamos, por ejemplo, un algoritmo de machine learning para hacer segmentación descubriendo patrones no evidentes subyacentes a los datos. Entonces sí. 

Es decir, sólo algunas explotaciones y análisis avanzados de los datos son inteligencia artificial. 

Pero otras cosas, otras consultas e indicadores, son business intelligence o incluso, ni eso, meros indicadores e informes básicos. Son muy útiles, Son muy aconsejables. Se deberían hacer si o si. Pero no son inteligencia artificial.

Mito 4: La inteligencia artificial es lo mismo que la analítica de datos

Igual que, como veíamos en el punto anterior, gran parte de la analítica que se realiza sobre datos, una analítica sencilla que casi no merece ni ese nombre, no es inteligencia artificial, tampoco se puede identificar inteligencia artificial con analítica de datos.

¿Por qué lo digo?

Pues porque leyendo o escuchando a ciertos autores, parece como si se identificase analítica de datos con inteligencia artificial, como si lo único que se pudiese hacer con inteligencia artificial fuese la analítica de datos.

En absoluto es así.

La analítica de datos es un área de aplicación de la inteligencia artificial, muy útil, muy común, muy generalizable a sectores y empresas, pero no es lo único que se puede hacer ni de lejos.

Con inteligencia artificial se puede procesar el lenguaje, se puede procesar la voz, se puede analizar imágenes, se pueden planificar movimientos, se pueden crear vídeos e imágenes, se pueden hacer juegos, etc, etc, etc. Un campo inmenso y creciente de usos.

La analítica de datos es sólo uno de esos muchos campos. Uno solo. Un pequeño subconjunto.

No hay identificación.

Mito 5: Big Data implica Inteligencia Artificial y viceversa

De nuevo, tiende a identificarse Big Data con Inteligencia Artificial. No es así. Son dos cosas diferentes aunque puedan solapar, y solapen de hecho, en algunos casos.

Big Data es tecnología para procesar grandes volúmenes de datos, de diversas tipologías (incluyendo datos no estructurados) a grandes velocidades, en tiempo real o cuasi-real.

Esa tecnología se puede aplicar, sí, para analítica sobre grandísimos conjuntos de datos y, en ese caso, estaríamos uniendo inteligencia artificial y Big Data.

Pero Big Data se puede utilizar también, por ejemplo, para el llamado Complex Event Processing donde no hay, por sí mismo, analítica ninguna ni necesariamente inteligencia artificial.

Y la inteligencia artificial, como ya hemos visto, no siempre necesita muchos datos, y cuando no necesita muchos datos, no necesita Big Data.

De nuevo, no hay identificación, solo una útil convivencia e interacción en ciertos casos.

Conclusiones

En conclusión, no identifiquemos, en primer lugar, términos que designan cosas diferentes. No es lo mismo análisis de datos, que Big Data, que inteligencia artificial. A veces concurren, pero no son lo mismo y ninguno de los tres implica necesariamente a ninguno de los otros dos.

Y ya en el campo de la inteligencia artificial. no asumamos que necesita datos, porque no siempre es así. Y no asumamos que, cuando la inteligencia artificial necesita esos datos, es algo positivo porque, en realidad, suele ser una necesidad pero también un lastre.

Espero que esto ayude al lector.

Y espero a contribuir a clarificar las cosas aunque, debo confesar que, en este respecto, me siento un poco como 'una voz que clama en el desierto' y que muchos preferirán ignorar estos avisos y mantener sus concepciones o mensajes erróneos en lugar de reflejar la realidad.

¡Qué le vamos a hacer!

Privacidad versus donación de datos, un equilibrio ético.

Cuando se habla de inteligencia artificial, especialmente cuando se habla de ética en inteligencia artificial, se suele poner mucho énfasis en el uso, especialmente en el mal uso, de los datos.

Se establece por un lado una íntima relación entre datos e inteligencia artificial, una relación que, en mi opinión, es algo equívoca, o más bien se transmite de una forma equívoca, cosa que desarrollaré en algún artículo futuro.

Pero sobre todo se pone el énfasis en las explotaciones inadecuadas de los datos, en la falta de respeto por la privacidad y en el riesgo para nuestra intimidad.

Los riesgos para la privacidad

Me gustaría poder decir lo contrario, pero lo cierto es que esos usos inadecuados de los datos son absolutamente reales, y los riesgos para nuestra privacidad muy ciertos y muy elevados. Entregamos, constantemente, datos a nuestros clientes y proveedores, datos a empresas con las que interactuamos siquiera de forma mínima, datos en encuestas telefónicas, datos en todo tipo de transacciones, datos a las apps de nuestros smartphones y datos en redes sociales.

Es cierto que, desde el nacimiento del GDPR esos datos se entregan normalmente con consentimiento explícito, pero todos sabemos que, aunque teóricamente el consentimiento es un mecanismo fuerte de protección, en la práctica, los leoninos y farragosos 'términos y condiciones' ligados a esa cesión de datos y nuestra propia comodidad y cultura de la gratuidad nos llevan a cederlos sin la más mínima consideración ni protección.

Y no son sólo los datos que entregamos de forma explícita, que ya son muchos, sino la información que se puede deducir, de manera indirecta, correlando datos y detectando patrones mediante aplicación de técnicas de machine learning, a partir de nuestra propia imagen en fotografías, a partir de lo que visitamos y hacemos 'Like' en redes sociales, a partir de lo que expresamos en esas redes, a partir de los sitios por los que nos movemos (conocido mediante nuestra geoposición), a partir del lugar donde vivimos, etc. Es impactante darse cuenta todo lo que se puede deducir sobre una persona, la precisión del perfilado que se puede llegar a hacer. Por poner un ejemplo, ayer mismo visualizaba una TED Talk  en que una investigadora del MIT, Rébecca Kleinberger decía por ejemplo que, a partir del sonido de la voz de una mujer, se puede deducir si está embarazada o no. ¡Sólo por el sonido de su voz!

Todo ese conocimiento que una empresa o un estado puede adquirir sobre nosotros se puede usar, se usa de hecho, para labores probablemente admisibles, aunque en algún caso molestas, como el perfeccionamiento de los algoritmos o la optimización de la acción comercial. Pero ese conocimiento profundo se puede usar también, por ejemplo, para la manipulación, sobre todo política, y no digamos ya nada para el ciberdelito. 

Todo ello es una llamada de atención, a nivel individual pero también a estados y administraciones para la toma de medidas, cosa que, afortunadamente, ya está en marcha, al menos, en la Unión Europea.

Uso ético y donación de datos

A pesar de lo que antecede, debo decir que siempre me he declarado tecno-optimista, y siempre he afirmado que la tecnología, en conjunto, es motor de progreso y bienestar social. Todavía recientemente lo afirmaba en la presentación de mi libro 'Robots en sombra' y también en la presentación de libro de mi amiga Valvanera Castro 'La aventura de innovar'.

Y con el uso de los datos soy de la misma opinión.

Son absolutamente ciertos, e incluso preocupantes, todos los malos usos de los datos que he mencionado anteriormente. Pero también son ciertos, y en el fondo mucho más abundantes, todos los usos positivos de los datos para la actividad económica e incluso para el bienestar social.

La recolección y análisis de los datos permite a cualquier empresa u organización, conocerse mejor a sí misma y a su mercado y tener una base más sólida para la toma de decisiones. Y eso es bueno para la empresa individual, claro, pero también para la economía en su conjunto y, por tanto, para el progreso de la sociedad.

La recolección y análisis de datos permite entrenar y optimizar tantos y tantos algoritmos de machine learning en campos como la visión artificial, el procesamiento del lenguaje natural o la predicción meteorológica, que luego usamos despreocupadamente como si la disponibilidad de esos algoritmos fuese algo sencillo o evidente. Y no lo es. Se necesita mucho ingenio, mucho trabajo... y muchos datos.

Por no decir nada de la importancia del uso de los datos en atención medica como el diagnóstico por imagen, en estudios epidemiológicos o, como hemos asistido recientemente de manera muy vívida, el desarrollo de vacunas.

Por eso necesitamos datos. Necesitamos cierta cesión consciente de datos.

 Un poco en esa línea van  Idoia Salazar y Richard Benjamins cuando en su último libro 'El algoritmo y yo' afirman

¡La donación de datos puede salvar vidas!

No es una idea nueva en estos autores. De hecho, en su libro anterior 'El mito del algoritmo' eran, quizá aún más expeditivos al afirmar:

No es ético no usar los datos para el bien social

frase que inspiró un artículo mío en este blog, 'Datos para el bien y la ética tecnológica positiva', un poco en la misma línea del que ahora escribo.

Son bonitas, y resaltan tanto la voluntariedad como el interés social, las palabras que emplean Idoia y Richard: donación de datos.

Conclusión: el equilibro ético

Y es que la ética no se puede hacer sólo en negativo, como prohibición y limitación, aunque a veces sí sea necesario actuar en esa línea. Y es que, los riesgos para la privacidad que el uso de datos pueden tener, que son ciertos, evidentes y graves, no pueden hacernos olvidar que igual que los datos se pueden usar para el mal, en mucha mayor medida esos datos se pueden utilizar para el bien, para el desarrollo económico, para el progreso, para la acción social y para el bienestar de la humanidad.

No caigamos en una hemiplejía ética contemplando sólo los riesgos. Hagamos un uso consciente de los datos, minimizando los riesgos de su mal uso pero promoviendo también, incluso más, su utilización para el progreso y para el bien.

 Donemos datos.

El concepto de arma de destrucción matemática de Cathy O'Neil

A estas alturas mucha gente, al menos aquella que se ha interesado por tecnologías y algoritmos relacionados con datos (Business Intelligence, Big Data, Machine Learning, Analítica,...) ) y a problemáticas éticas con ellos relacionados, es consciente de la existencia de una serie de riesgos como, y no son los únicos, los sesgos o la violación de la privacidad.

Dentro de la visión más contraria, más activista contra el empleo incorrecto de datos, se ha hecho célebre la matemática y científica de datos americana Cathy O'Neil a través de su famoso libro 'Weapons of math destruction' y su también popular charla TED 'The era of blind faith in big data must end'.

He terminado hace unas pocas fechas de leer el libro (la charla la visualicé hace más tiempo). Concepto esencial en esa obra es el de arma de destrucción matemática (WMD, 'Weapon of Math Destruction') que da título al libro.

Como registro de algo de lo aprendido, y como beneficio para aquellos lectores del blog que no conozcan el libro, resumo en este post a qué llama O'Neil arma de destrucción matemática. No nos proporciona la autora exactamente una definición, pero a pesar de ello queda bastante claro de qué habla. 

Habla de cálculos algorítmicos basados en datos (datos masivos en general) con base en los cuales se adoptan decisiones y que esas decisiones generan un gran daño y que, además, se trata de un daño que tiende a concentrarse en los más pobres, en las minorías, en los más vulnerables.

De todas formas, bastante al principio del libro, la autora sí que resume en las tres características de las armas de destrucción matemática, a saber:

• Opacidad: Se trata de algoritmos que llegan a conclusiones o generan decisiones sin que se conozca, al menos por los afectados por esas decisiones, los criterios usados.


• Escala: Se trata de soluciones algorítmicas que se emplean a gran escala, no en entornos reducidos.


• Daño: Y se trata, evidentemente, de soluciones algorítmicas que generan daño, un gran daño.

Aunque la autora no lo recoge en estas tres características, a lo largo de su obra quedan claras al menos otro par de características. 

Así, por ejemplo, se trata de soluciones algorítmicas que de alguna forma tienden a perpetuar o aumentar el problema. Por decirlo de alguna manera en muchos casos se convierten en profecías de autocumplimiento, idea a la que la autora suele referirse como reincidencia ('recidivism'). 

Y se trata de soluciones algorítmicas que, como decíamos antes, y en opinión de O'Neil, tienden a perjudicar a los más pobres y vulnerables.

Anticipo, cosa que recogeré en la reseña que haga del libro, que no me ha gustado demasiado ni el planteamiento del libro ni aspectos concretos de los razonamientos de la autora ni del mensaje que transmite.

Pero, a pesar de todo, lo que es indudable es que los riesgos que señala, al igual que las 'meigas', existir, existen, y muchas de las historias que completan el libro e ilustran los riesgos y malos usos, son, en efecto, casos de una aplicación incorrecta y perjudicial de los algoritmos. Y es también indudable, además, que Cathy O'Neil es un personaje popular en este ámbito de la crítica al uso de los datos.

Así que vale la pena conocer sus planteamientos, entender que son esas armas de destrucción matemática, que hay de cierto en ellas y qué podemos hacer para no crearlas y no utilizarlas.

 Y eso sí que es positivo e importante.

Big Data, Machine Learning y la democracia automática

Es éste post especulativo, ligeramente transgresor, casi un escenario de ciencia ficción. Me planteo: ¿sería posible automatizar la democracia o, más exactamente, la participación ciudadana en la política y la administración? 

Vamos a ver algunas ideas al respecto, algunas reflexiones al vuelo, más unas ideas espontáneas que un estudio pormenorizado.

Las bases tecnológicas: Big Data, Machine Learning e Internet de las Cosas.

Tenemos, no cabe duda, tecnología muy avanzada para el tratamiento de datos y la analítica. Tenemos, fundamentalmente, Big Data y Machine Learning pero también sensores e Internet de las Cosas.

Big Data nos aporta la capacidad de tratar, en tiempo real o cuasi-real, volúmenes ingentes de datos incluyendo datos no estructurados (imágenes, vídeo, texto libre...). Y para ello se apoya en componentes tecnológicos como los sistemas de ficheros distribuidos, el procesamiento distribuido, las bases de datos NoSQL, etc. Sobre esos datos los sistemas de Business Intelligence tradicionales ya nos permiten hacer interesantes cálculos, informes e indicadores. 

Pero tenemos además, la inteligencia artificial y muy especialmente el machine learning. Y ello nos permite procesamientos muy avanzados de datos, procesamientos que incluyen el entendimiento del lenguaje natural, la detección de sentimientos, la clasificación de imágenes, el reconocimiento facial, etc. Y, además, nos aporta capacidades analíticas para detectar patrones y correlaciones (muchas de ellas no detectadas por los humanos) y clasificar poblaciones mediante afinidades diversas. Aún más, nos permite hacer predicciones del comportamiento de variables de todo tipo.

Y, como complemento, tenemos muchas formas de obtener datos. No se trata sólo de las bases de datos de los sistemas de información 'de toda la vida'. Se trata también de los datos presentes en las redes sociales, de los captados mediante sensores de todo tipo incluyendo cámaras y micrófonos o todo tipo de dispositivos integrados en el Internet de las Cosas.

El conocimiento del ciudadano y la democracia automática

Esa combinación de tecnologías nos permite, pues, conocer fenómenos y realizar predicciones sobre ellos. ¿Qué pasa si ahora el fenómeno que queremos entender, reducir a patrones y predecir es el comportamiento y las preferencias de los ciudadanos?

Bien, las administraciones públicas ya disponen de muchos datos sobre los ciudadanos: datos, por ejemplo, laborales, sanitarios y fiscales. Datos sobre localidad de residencia y propiedades inmobiliarias, de vehículos, etc.

Junto con estos datos, las administraciones podrían recabar datos públicos, ya sea a nivel individual o agregado, presentes en redes sociales e, incluso, datos sobre movimientos de personas (tráficos o itinerancia de dispositivos móviles) y así un larguísimo etc

Y, aunque sujeto a cierta controversia y a límites éticos y legales, podrían recabar datos de cámaras de vigilancia, de tráfico, etc.

Además, las administraciones pueden hacer, y hacen de hecho, estudios sociológicos que permiten obtener otro tipo de informaciones como opiniones, inquietudes o intenciones de voto.

Es decir, las administraciones disponen de todo tipo de información sobre el ciudadano y posibilidad de obtener e integrar muchos más datos. Si a todo ello se le aplican de forma inteligente las tecnologías de Big Data y Machine Learning, parece se podría conocer con mucho detalle la realidad de la ciudadanía y, sobre todo, y relativo a la temática de este artículo, sus preferencias no sólo comerciales (que analizan ya las empresas) sino también ideológicas: posicionamiento en cuanto a, por ejemplo, impuestos, inmigración, servicios sociales, iniciativa privada, educación, etc.

Parece que la esencia de la democracia es que los ciudadanos puedan participar en los asuntos públicos expresando su opinión, normalmente a través de unos representantes por ellos elegidos y en algún caso de una forma más directa mediante referénda u otros mecanismos de participación directa. Pero ¿Qué pasaría si lo que quiere de manera agregada la ciudadanía fuese perfectamente conocido con base en la recopilación de datos de todo tipo, la detección de patrones sobre esos datos y la realización de predicciones de preferencias ante problemáticas actuales o futuras? ¿Qué pasaría si los gobernantes, quizá más tecnócratas y menos políticos, decidiesen y actuasen conforme a lo que dicten las preferencias de los ciudadanos según se obtuviese de esos datos procesados? 

Ese escenario es el que apunta brevemente, lo cual no supone una propuesta sino solo la expresión de una posibilidad, Ángel Gómez de Ágreda en su libro 'Mundo Orwell: Manual de supervivencia para un mundo hiperconectado' y que me ha inspirado para este artículo. En concreto, el párrafo clave es en el que nos dice:

El conocimiento del ciudadano a través de los datos adquiridos se plantea en ocasiones como una alternativa a la misma democracia, o a las consultas populares. No existiría la necesidad de preguntar una opinión que ya se conoce.

Si eso fuese así, si llegásemos al punto en que tuviésemos suficientes datos, y modelos analíticos y predictivos suficientemente potentes y ajustados como para de una forma acertada expresar la opinión de la ciudadanía, podríamos encontrarnos ante lo que he denominado democracia automática: una democracia en que los ciudadanos no participarían de manera directa porque no sería necesario, porque lo que pensasen en su conjunto sería perfectamente conocido. La participación sería indirecta, mediante la generación de datos en su día a día, quizá complementada con la participación en sondeos o, quizá, manifestaciones y actos públicos.

Sería un modelo de democracia probablemente algo más eficiente, que, paradójicamente, pudiera estar más cercana a la opinión de la ciudadanía pero... ¿es realmente viable? y, sobre todo ¿es deseable?

¿Es viable una democracia automática?

Desde un punto de vista técnico, probablemente sea mucho más viable de lo que parece. 

Creo que es viable (o cercano a la viabilidad) en el sentido de que las bases tecnológicas fundamentales ya están puestas aunque, quizá, solo quizá, pudiéramos necesitar idear e implantar formas de capturar algún dato necesario del cual no dispongamos hoy en día o pudiéramos tener algún problema de capacidad (de almacenamiento y proceso) ante la magnitud de la información requerida.

Eso sí, aparte de la pura tecnología de base, identifico como mínimo dos tareas bastante hercúleas a realizar desde el punto de vista técnico para su implantación:

• Procesamiento e integración de todos los datos necesarios y, cualquiera que haya trabajado con fuentes diversas de datos sabe lo complejo, farragoso, laborioso y largo que es este punto.


• Desarrollo y prueba de todos los modelos analíticos y predictivos necesarios, unos modelos que, aparte de ser probablemente muy numerosos, deberían ser exhaustiva y exquisitamente probados (y puede que en algunos casos hasta nos faltasen criterios sobre cómo probarlos correctamente).

Pero mucho más complejo serían, me parece, otros aspectos de 'implantación' que no tienen que ver con el ámbito técnico, temas como el masivo cambio legislativo y normativo necesario, el cambio a gran escala de procesos y procedimientos de administración y gestión públicas y un enorme cambio que podríamos denominar 'cultural', ya que toda la ciudadanía debería aceptar y acostumbrarse al nuevo esquema. Y el establecimiento del mecanismo para seleccionar a las personas que, aunque fuese con base en lo que indicasen los modelos, deberían decidir y actuar.

Todo esto hace que, aunque estrictamente hablando, creo que esta democracia automática podría ser viable, a efectos prácticos, al menos a corto y medio plazo, roza la inviabilidad y, caso que quisiéramos llegar a este modelo, probablemente debamos avanzar poco a poco, integrando algunos datos y desarrollando modelos uy enfocados para temas concretos.

Eso en caso de que queramos esta democracia automática pero ¿es realmente deseable?

¿Querríamos una democracia automática?

Una democracia automática, tendría, creo, algunas ventajas:

• Podría ser algo más eficiente ya que evitaría, por ejemplo los costosos procesos electorales o los inacabables y poco productivos debates parlamentarios, comisiones, etc


• Paradójicamente, podría ser más cercana a las necesidades y preferencias de los ciudadanos. ¿Por qué? Pues porque en las democracias actuales los ciudadanos participan sólo puntualmente (elecciones y referenda). Sin embargo, en esta democracia automática, los modelos se podrían actualizar de manera cuasi-continua y proporcionar en todo momento una visión actualizada de las opiniones y preferencias de la ciudadanía.


• Y tendría el potencial para ser más objetiva, menos sujeta a las opiniones de líderes y partidos políticos, a sus intereses y sus estrategias de negociación

Sin embargo, parece que se abren muchos interrogantes y que los riesgos pueden ser muy altos.

Podría resultar muy difícil conseguir la aceptación por la ciudadanía no sólo de la propia democracia automática sino de las decisiones así adoptadas y ello, simplemente, porque los ciudadanos, seguramente, no se sentirían realmente partícipes. Es como una especie de problema de gestión del cambio a gran escala. Una buena práctica de gestión del cambio en proyectos transformadores es involucrar lo máximo posible a las partes interesadas en ese cambio, en esa transformación, en las grandes decisiones. Ello no solo asegura tomar mejores decisiones sino que, además, promueve apoyos y aceptación. Sin embargo, en la democracia automática, aunque en teoría se tuviesen en cuenta las opiniones de los ciudadanos, sería sin su concurso directo. Sería una especie de neo-tecno-ilustración: 'todo para el pueblo pero sin el pueblo (aunque sí con sus preferencias)'. Así que, probablemente, los ciudadanos contemplasen las decisiones tomadas en la democracia automática como algo ajeno, lejano y seguramente rechazable.

Los modelos, fácilmente, pueden presentar sesgos o degradarse con el tiempo. ¿Cómo garantizaríamos que esos modelos son neutrales, que expresan realmente la opinión popular  y que, además, se actualizan de manera continua para que sigan reflejando fielmente la opinión de la ciudadanía?

¿Y quién sería la autoridad que gestionaría los datos y los modelos? ¿Cómo garantizar que los modelos no se manipularían, de manera intencionada, para conseguir unos fines o para favorecer alguna opción ideológica? 

¿No parece, sobre todo, muy evidente y difícilmente controlable, la tentación autoritaria en este esquema que tanto se acerca a una especie de 'gran hermano'? ¿No podría suceder que la democracia automática se convirtiese  realmente en una dictadura con soporte tecnológico?

Conclusión

¡Uf! Da un poco de miedo, la verdad.

Es cuestionable si esta democracia automática sería viable, al menos a corto o medio plazo, aunque es posible que sí lo sea. Pero lo que asustan bastante sus implicaciones y riesgos.

Quizá sea mejor dejarlo estar, al menos por el momento ¿no? 

Si, casi mejor dejarlo estar, pero el reflexionar sobre ello, sobre las bondades y los riesgos de esta eventual democracia automática nos puede llevar a debates mucho más urgentes y quizá necesarios  que afectan ya mismo, a nuestra propia democracia actual por un lado y, por otro, al uso de los datos y la inteligencia artificial, a cómo promover su uso para el bien, cómo garantizar su empleo ético y cómo garantizar sobre todo los derechos y bienestar de la ciudadanía.

Desafíos para la monetización de productos de datos

No cabe ninguna duda acerca del enorme valor de los datos y lo que un adecuado tratamiento de los mismos puede aportar a una organización.

Una buena disponibilidad de datos en cantidad y calidad, y un adecuado e intenso aprovechamiento de los mismos mediante indicadores, informes y análisis, incluyendo en los casos más avanzados el uso de inteligencia artificial, puede mejorar enormemente la gestión, la detección de tendencias y problemas, la toma de decisiones y por todo ello la posición competitiva de esa organización.

Pero el uso de los datos no tiene por qué limitarse a su empleo interno para la mejora de la propia operación sino que, en algunos casos, productos basados en datos pueden incorporarse al porfolio de productos y servicios de la empresa, ya sea como un complemento a los, digamos, productos y servicios 'nucleares' o incluso convertirse en la parte principal de ese porfolio haciendo que todo el modelo de negocio gire entorno a esa 'producción' y comercialización de 'insights', análisis o incluso datos 'per se'.

Pero, claro, si vamos a monetizar los datos, si éstos van a formar parte importante de nuestra proposición de valor, debemos estar preparados para ello.

En su libro 'A Data-Driven Company: 21 lessons for large organizations to create value from AI', Richard Benjamins identifica, en efecto, tres retos que hay que afrontar si se quiere ir a una monetización de datos. Son estos:

• Madurez: Con independencia de la forma en que evaluemos esa madurez, cosa no tan sencilla y de la que hablamos en el post anterior, lo que está claro es que si queremos ofrecer productos o servicios basados en datos debemos tener 'la maquinaria bien engrasada' en cuanto a la disponibilidad tanto en cantidad como en calidad de esos datos, así como en el procesamiento y  gestión de los mismos (obtención, gobierno, seguridad, etc). En cierto modo, esto es obvio.


• Privacidad: Un aspecto muy importante desde el punto de vista ético legal. Dado que con mucha frecuencia los datos disponibles y los que aportan información relevante incluyen datos personales o sensibles en algún sentido, se deben aplicar adecuadamente las técnicas de agregación y anonimización y respetar las regulaciones y legislaciones existentes, muy en especial el famoso GDPR.


• Reputación: Aunque se trate en este caso de un intangible, no basta sólo con cumplir escrupulosamente todo lo relativo a privacidad y todas las normativas existentes, sino que además es importante que se perciba entre el público y los clientes ese tratamiento ético y legal de los datos y su uso para el bien.

Como suele pasar en estos casos, formular los retos es mucho más fácil que resolverlos. Muy especialmente, el primer reto, el poner a punto toda la maquinaria de identificación, captura, limpieza y procesamiento de datos, puede ser realmente trabajoso. Pero si vamos a monetizar los datos, no cabe duda que se gestión pasa a formar parte de nuestro 'core business', así que no queda otra.