Tanto la terrible noticia, como los comentarios que he podido leer al respecto me han hecho pensar sobre varios aspectos, que he querido recoger en este post.
A modo de 'disclaimer'
Antes de comenzar, sólo indicar que los temas que voy a tratar en este post son delicados, que probablemente no todos los lectores estén de acuerdo con lo que digo y que, en el fondo, también me falta algo de información.
Invito al lector, pues, a mantener mente abierta y, en el probable caso de que esté en desacuerdo con lo que digo y lo quiera expresar con comentarios, lo haga también desde la prudencia y el respeto.
Indicar, además, y como insistiré luego, que lo escribo en la seguridad de que, al tratarse de un post en español y escrito en España, y del que a propósito he excluido de su título la mención a Adam Raine, su contenido no llegará a las personas directamente afectadas por este caso, y a las que no quiero, evidentemente, causar más dolor.
Los hechos
No poseo una descripción detallada de los sucedido, sino sólo algunos artículos en prensa como el publicado por la BBC 'Los padres de un adolescente que se quitó la vida demandan a OpenAI, creadora de ChatGPT'.
En esencia se indica que Adam comenzó a usar ChatGPT inicialmente como ayuda en sus estudios y consultas más o menos ligeras sobre sus intereses pero que, poco a poco, se fue adentrando en temáticas más personales, usando a ChatGPT como una suerte de amigo o confidente y llegando a conversar sobre la posibilidad del suicidio. Un suicidio que, finalmente, y desgraciadamente, se produjo.
Se indica también que ChatGPT indujo a Adam a aislarse del resto de sus relaciones humanas, que de hecho al final Adam se pasaba del orden de cuatro horas conversando con ChatGPT y que ChatGPT animó de alguna manera al chico a ese suicidio.
En la demanda interpuesta por los padres contra OpenAI se adjuntan los chats que presuntamente demuestran todo esto.
La responsabilidad legal de Open AI
¿Es legalmente responsable Open AI de estos hechos?
La responsabilidad legal, como es lógico, depende de las leyes y sistema legal aplicable, en este caso el norteamericano, y quién únicamente puede decidir la responsabilidad legal es el juez y/o jurado (si aplica) que se asignen al caso.
No tengo suficientes conocimientos ni legales en general, ni del sistema legal norteamericano en particular, como para asegurar nada, pero la intuición me dice que sí, que Open AI será condenada a indemnizar a la familia Raine y eso lo digo porque, hasta donde se me alcanza, en el sistema legal americano se castiga mucho el daño a terceros y, aunque ahora no soy capaz de recordar un caso concreto, sí he tenido conocimiento de sentencias que obligaban a indemnizar incluso en situaciones que en España consideraríamos casi disparatadas. En cualquier caso, esto es sólo una apuesta mía, nada más.
Además, no creo que Open AI vaya a extremar su defensa, porque, en el fondo, ya ha reconocido algunos fallos y porque, consideraciones éticas y legales aparte, creo que no le conviene
Tampoco me extrañaría en exceso un acuerdo extrajudicial que incluyese la indemnización.
En cualquier caso, todo estos son, como digo, apuestas por mi parte, sin mucha base, y el tiempo y los hechos dirán.
La responsabilidad moral de Open AI... hasta ahora
Más allá de la responsabilidad legal ¿Qué responsabilidad moral tiene Open AI?
Cuando hablo de responsabilidad me encuentro que la palabra 'responsable' en español abarca demasiado (frente al caso del inglés en que distingue 'responsibility', 'liability', etc).
Voy a plantear dos visiones:
Si hablamos de responsabilidad como rendición de cuentas, como, dicho familiarmente, 'dar la cara', ante la sociedad y ante un juzgado, explicar cómo entrenó a ChatGPT y qué precauciones ha tomado para evitar situaciones como las de este caso, por supuesto que sí tiene responsabilidad.
Si entendemos responsabilidad como 'culpabilidad', creo que eso dependerá de hasta qué punto Open AI fuese conocedora de este riesgo y hasta qué punto fuese diligente en intentar mitigarlo. Y eso, supongo, que se tratará en el juicio por esta demanda, si es que lo hay. Si tomó todas las medidas razonables para evitar este caso y no lo consiguió, creo que moralmente no sería culpable, lo cual no quiere decir que no sea responsable, y aún menos que legalmente no pueda ser acusada e incluso condenada por negligencia.
El interés de Open AI
Decía más arriba, al hablar de los elementos legales, que no pensaba que Open AI fuese a extremar su defensa y que no me extrañaría un acuerdo extrajudicial.
¿Por qué?
Pues porque, y a lo mejor en esto también me equivoco, creo que Open AI no tiene ningún interés en que se produzcan hechos como el desgraciado caso de Adam Rainer.
Por un lado, y aunque es fácil demonizar a una empresa como Open AI en un caso como el que nos ocupa, las empresas en el fondo son personas. No me puedo imaginar a ninguna persona de Open AI, empezando por Sam Altman y siguiendo hasta el último empleado, a los que no les importe, a los que no duela una muerte presuntamente impulsada por su producto estrella. Y tampoco me puedo imaginar que, si son conscientes del riesgo, simplemente 'pasen', si se me permite decirlo de forma familiar. No conozco a Open AI y sus empleados, pero, por principio, confío en ese mínimo de buenos sentimientos,
Incluso si pensamos en Open AI como una organización, como algo abstracto y frío que sólo busca maximizar beneficios, no creo que le convenga para nada la mala reputación que un caso como este le puede acarrear. O peor aún para su negocio, que se empiece a considerar ChatGPT como una aplicación peligrosa cuyo uso hay que limitar o que conviene evitar.
Por eso creo que, aunque supongo que intentará rechazar la idea de negligencia, y aunque supongo que puede luchar por que la indemnización no sea de exageradas proporciones, lo que no creo que luche es por no indemnizar a la familia Raine o por no comprometerse a adoptar nuevas medidas de seguridad en ChatGPT en el futuro inmediato.
Narrativas equivocadas
Un caso como el de Adam Raine es doloroso, y supone un aldabonazo a las conciencias y una llamada de atención. No sólo eso, reclama acción para que no vuelva a suceder.
Sin embargo, creo que hay que ser prudentes y responsables con los discursos sobre este tipo de situaciones.
Hace pocos días me encontré una publicación del 'Center for Humane Technology' en LinkedIn en que se comentaba brevemente este asunto y, sobre todo, se anunciaba, usando un breve vídeo, un episodio creo que de un podcast.
Y debo confesar que, aunque no voy a dudar de sus buenas intenciones, no me gustó cómo lo planteaban. Así, por ejemplo, en el texto de la publicación en LinkedIn se decía:
The AI preyed on his vulnerabilities, isolated him from his friends, and gave him detailed instructions on how to hurt himself.
Y, en el vídeo donde se mostraba un breve fragmento de la entrevista a Camille Carton, ésta decía, en un pasaje.
ChatGPT actively worked to displace Adam's real life relationships with his family and loved ones
Destaco dos verbos 'preyed on' y 'actively worked'. Hablar de esta forma de una solución de inteligencia artificial, en este caso ChatGPT, es presentarla como si tuviera alguna forma de personalidad e intención, intención malvada, además.
Seamos claros: ChatGPT no tienen ningún tipo de voluntad ni de intención, En absoluto. 'No sabe' lo que está 'diciendo'. Es meramente probabilista y se guía por lo que el usuario introduce y por el contexto incluyendo el historial de la conversación.
Atribuir, o insinuar, una intención a una solución de inteligencia artificial es alimentar una fantasía y desenfocar el problema.
Otra frase que aparece en el texto de la publicación dice literalmente
what Adam's story reveals about the dark design of today's AI models
No me gusta, en este caso, el uso de 'dark design'. Me parece que está juzgando y condenando, en este caso a Open AI, y atribuyéndole también en este caso, intenciones culpables e incluso delictivas, como si intencionalmente se hiciesen diseños a sabiendas de que son peligrosos.
Los jueces dictarán si en este caso es así, pero no creo que se deba afirmar a la ligera y además aplicado en general a los modelos de inteligencia artificial.
La responsabilidad de las personas
Lo que escribo a continuación es delicado, y lo hago por un lado desde el respeto y, por otro, y como decía en el 'disclaimer' inicial, en la absoluta confianza de que no será leído por la familia Raine, porque lo último que quiero es hacer ningún tipo de daño. Pero creo que hay cosas que debemos plantearnos.
El caso es que hay otro aspecto, en este caso indirecto, que me sugiere la publicación del Center for Humane Technology que mencionaba antes: aunque no se dice explícitamente: toda la responsabilidad y toda la presunta culpabilidad se descarga en el lado de Open AI.
Y yo me pregunto: ¿Sólo de Open AI?
Existe por un lado la responsabilidad individual. Cada uno de nosotros somos también responsables de nuestro comportamiento y en este caso del uso que hacemos de la tecnología. Aunque sea muy duro decirlo en este caso, quizá el propio Adam debiera haber sido consciente de que no era muy normal estar cuatro horas al día interactuando con ChatGPT, aislándose del resto del mundo y siguiendo su consejo en según qué temas. Debería ser consciente él se lo deberían haber dicho. Es cierto que la adolescencia es un periodo pleno de inseguridades y sin madurez psicológica, pero creo debemos educar y educarnos para ser capaces de gestionar nuestra relación con las tecnologías.
Más importante: ¿Y su entorno? ¿Y sus padres, sus amigos, sus educadores? ¿No notaron nada raro en todo el proceso?
¿Todo el problema fue ChatGPT?
No quiero profundizar más porque creo sólo puede causar dolor, y, en el fondo, lo que quiero decir me parece que queda claro.
Los límites del riesgo
Un poco al hilo de lo anterior, creo que también debemos ser conscientes que casi cualquier actividad humana y, en particular cualquier tecnología, entraña algunos riesgos.
Ir a la montaña tienes sus peligros, y de hecho de vez en cuando tenemos noticias desgraciadas de muertes de montañeros o senderistas. ¿Debemos prohibir la escalada o el senderismo?
Sabemos que los accidentes de tráfico son una de las mayores causas de mortalidad, sabemos que los aviones de vez en cuando sufren accidentes, que los barcos a veces se hunden. ¿Debemos prohibir coches, aviones y barcos?
Por desgracia, pocas cosas hay exentas de riesgo, incluso de riesgo mortal. Y no por ello renunciamos a todo ello.
Lo que es exigible, y también en este caso, es ser metódicos y responsables, identificando riesgos y tomando las medidas para reducirlos a un mínimo razonable y admisible. En el fondo, la presunta culpabilidad de Open AI y su eventual negligencia en este caso, dependerá en buena medida de si puede mostrar o no que realizó un análisis de riesgo suficientemente concienzudo y si adoptó o no las medidas correctoras razonables para mitigarlo.
El control de sistemas generalistas
Ese análisis y mitigación de riesgos es más claro en soluciones tecnológicas con casos de uso muy acotados.
En el caso que nos ocupa, ChatGPT, el tema me parece más complejo, porque los casos de uso son casi infinitos. Me parece difícil, puede que imposible, prever en todas las formas, en todos los contextos y con todas las informaciones que puede ser usado. Y me parece muy difícil prever todos los comportamientos posibles de un usuario frente a ChatGPT. En el fondo, ese es parte de su valor.
En ese sentido, supongo que, por un lado, hay que intentar estrategias genéricas para eliminar usos indebidos o maliciosos y, por otro, concretar en los casos de uso concretos, conocidos y más peligrosos para tomar medidas mitigadoras específicas. Pero no creo que se pueda prever todo ni eliminar el riesgo de forma absoluta, sólo reducirlo a límites tolerables.
¿Era este caso de uso, el de Adam, algo previsto o no? Hoy en día ya sabemos que, en efecto, usar ChatGPT como una especie de terapeuta psicológico, o confidente, o puede que incluso amigo, es muy común, especialmente entre adolescentes, así que hay que urge tomar medidas protectoras específicas.
¿Era previsible ese uso hace un año o dos?
La responsabilidad moral de Open AI a partir de ahora
Cuando hablaba más arriba de la responsabilidad moral de Open AI, sobre todo en el sentido de culpabilidad, en cierto sentido lo dejaba en el aire, porque dependía de hasta qué punto Open AI era consciente de este posible uso como confidente e incluyendo la temática de suicidio y si, con lo que se sabía, se habían tomado medidas de mitigación adecuadas.
Pero a partir de ahora ya no hay duda. A partir de ahora esta situación es conocida y está documentada. A partir de ahora Open AI, y quien dice Open AI dice Microsoft, Google, Anthropic, etc, tienen la obligación moral de tomar todas las medidas posibles para que un caso como el de Adam Raine no vuelva a suceder.
Conclusiones
El doloroso caso de Adam Raine, independientemente de cómo termine la demanda, nos ilustra la necesidad de tomar más precauciones, más medidas de seguridad, y puede que regulatorias, en los sistemas conversacionales basados en modelos de lenguaje.
Sin embargo, no conviene recurrir, o al menos esa es mi opinión, a narrativas engañosas, no conviene olvidar que el riesgo es casi imposible de erradicar plenamente y, sobre todo, sobre todo, que jamás debemos de renunciar a nuestro propio juicio y a nuestra responsabilidad personal e individual, en toda nuestra actividad, incluyendo el uso que hacemos de la inteligencia artificial y la tecnología.
