Aunque de alguna manera llueve sobre mojado al haberse producido, por ejemplo, incidentes en que agentes IA realizaron ataques no solicitados y saltándose las protecciones (como el famoso incidente en que un enjambre de agentes de OpenAI intentaron atacar Hugging Face), todo este ruido se disparó con la renuncia el 9 de Septiembre del investigador de Anthropic Jacob Coxon quien dimitió de su puesto en la empresa, supuestamente ante su disconformidad con la falta de responsabilidad de la misma (y también de su empresa anterior, OpenAI) en el desarrollo de los modelos frontera y la superinteligencia. El primer tuit de Coxon, al que seguían varios más, decía:
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives
A esto han seguido miríadas de publicaciones y comentarios en todo tipo de medios (seguramente, apreciado lector, tú mismo/misma hayas escuchado muchas cosas sobre esto en los últimos días).
Pero más que ese tuit, y más que los comentarios que le han seguido, me ha interesado, por ser quien es, la publicación hecha por Dario Amodei, CEO de Anthropic, el 12 de Septiembre, hace ahora, en el momento en que esto escribo, dos días, y tres días después del viral tuit de Jacob Coxon, sun antiguo empleado.
La publicación
La publicación, realizada en su página oficial, y titulada 'We must pace the frontier', pide, en esencia, acompasar el desarrollo de los llamados modelos frontera (los modelos generativos más avanzados y en camino hacia la superinteligencia) con nuevos controles y eventuales regulaciones. En concreto, propone una estrategia con tres pasos, a saber:
- Evaluadores incorporados ('embedded evaluators'): Como una forma muy transparente de control, consiste en dar acceso permanente a los sistemas de los creadores de modelos frontera (como el propio Anthropic), a evaluadores externos independientes, con similares permisos y accesos que si fueran un empleado, para que esos evaluadores puedan verificar prácticas de seguridad, y todo ello con derecho a publicar sus hallazgos sin control editorial por parte de la empresa. Unilateralmente, Anthropic se compromete a adoptar esta medida
- Coordinación democrática: coordinación de las empresas punteras de IA en países democráticos, una coordinación que incluye estándares, límites al ritmo de avance en los modelos frontera, y todo ello con apoyo regulatorio, entre otras cosas para superar posibles conflictos en materia de competencia (leyes 'antitrust').
- Coordinación global: EE.UU. y otros gobiernos democráticos intentan coordinar con potencias autoritarias (principalmente China), aunque reconoce que la verificación será muy difícil.
Algunas reacciones 'a bote pronto'
Soy consciente de que, en los dos días anteriores, y seguro que en los que siguen, ha habido y habrá muchas, muchísimas reacciones a esta publicación de Amodei. Aunque sin tiempo a profundizar en ello, he visto, que, en general, la publicación ha recibido el apoyo de algunos de los grandes líderes de la inteligencia artificial, como Sam Altman, de OpenAI, quien el mismo día de la publicación retuiteaba el tuit de Amodei, añadiendo:
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon.
o de Demis Hassabis de Google, quien un día después tuiteaba
Dario's essay points towards the right path forward. The details need working through, but the direction is correct for meeting this critical moment. This is also why we recently put out our proposal for an industry-wide standards body for frontier AI
y también he escuchado que, por el contrario, el presidente norteamericano Donald Trump estimaba que no era necesaria más regulación, creo que entendiendo que los riesgos que se alegaban eran exagerados.
Mis reflexiones
Y confieso que no he tenido tiempo de profundizar en las reacciones y argumentaciones tanto de los líderes mundiales de la IA como de personas a las que sigo en redes y cuya opinión aprecio y quiero conocer (y conoceré).
Pero como ya he hecho anteriormente en algún caso parecido quiero, antes de leer mucho lo que han dicho 'otros', intentar hacerme mi propia opinión.
Es posible que, en el alud de comentarios y opiniones que sobre el tema se han publicado, se están publicando y se publicarán, mi post tenga una importancia casi nula. Sin embargo, no quiero dejar de escribirlo.
En parte, claro, por los lectores de este blog, para que puedan tener, si les interesa, mi opinión. Pero también por mí mismo y mi proceso mental y crítico. Muchas veces he dicho que yo pienso cuando escribo y el redactar este artículo me ayuda por eso a poner en orden mis ideas, que reconozco que, en este tema, no están del todo consolidadas.
¿Por qué transitorias?
¿Y por qué hablo de reflexiones transitorias?
Bueno pues porque, como he dicho, son conclusiones preliminares que obtengo yo un poco sobre la marcha sin haber leído aún los comentarios y opiniones de muchas personas autorizadas y me pueden faltar datos y perspectivas para adquirir un opinión más firme.
Y porque, además, para estar yo más seguro de mi opinión, necesito investigar más sobre cómo se están implementando realmente estos modelos y sus protecciones.
Así que no es imposible que, en algún momento, pueda matizar o incluso cambiar de forma notable algunas de las conclusiones preliminares que voy a expresar en este post.
Los riesgos
Y lo primero es razonar sobre si realmente son tan peligrosos los modelos frontera actualmente, si realmente esta alarma tiene sentido o estamos exagerando.
Bueno, aunque no tengo una argumentación cien por cien racional, tiendo a pensar que hay una cierta exageración. Realmente, creo que acabar con nuestra civilización o con la raza humana es, por suerte, dificilísimo, así que sí, pienso que hay una cierta exageración.
Sin embargo, eso no me consuela, por decirlo de alguna manera, porque sí percibo que los riesgos, los riesgos graves y más allá de la pura ética, han aumentado considerablemente y que, aunque veo muy difícil que se puedan convertir en existenciales, sí podemos sufrir incidentes muy graves.
Y creo eso, por tres motivos, o con tres vectores de riesgo, por cierto, muy parecidos a los que apunta el propio Amodei, aunque puedo asegurar y aseguro que son opiniones propias.
- La dificultad del control
- La pérdida de comprensión
- Usos maliciosos y ciberataques
Veámoslos
Mi visión de los grandes riesgos 1: La dificultad del control
El primer vector tiene que ver con la dificultad del control. ¿A qué me refiero?
Cuando se lanzó ChatGPT, y con las evoluciones subsiguientes, ya supimos que estábamos hablando de unos modelos de base probabilista, que no siempre producen la misma respuesta, que no siempre 'aciertan', que no estamos seguros de lo que van a responder y que producen las llamada alucinaciones. Aunque eso es molesto, y tiene algún riesgo, mientras estemos hablando sólo de chabots que contestan a nuestras preguntas o que generan contenido, los riesgos son todavía bastante limitados y tenemos el control.
Pero es que los modelos han evolucionado, se han convertido en razonadores, capaces de crear planes de acción y, no sólo eso, sino que mucho más importante, ahora los estamos utilizando no sólo para que nos contesten preguntas o generen contenidos, sino que los estamos utilizando para automatización de procesos y tareas de manera autónoma en los denominados agentes. Y a estos agentes les dotamos, mediante las así llamadas herramientas, de acceso a todo tipo de recursos y sistemas e, incluso, en el caso de la IA física, a la interacción con y control de dispositivos.
Es decir, estamos creando sistemas autónomos, que deciden por sí mismos pero no con base en reglas conocidas a priori, sino con base en razonamiento propio en tiempo de ejecución y con un alto poder de interacción con el exterior.
Como su comportamiento no se basa en reglas prefijadas y conocidas, son mucho más difíciles de probar que una automatización tradicional y creo que, realmente, nunca puedes estar al 100% seguro de haber eliminado cualquier comportamiento incorrecto. Siempre te pueden sorprender. De igual manera, aunque se establezcan, como debe ser, guardarraíles éticos y de seguridad, no me parece viable el garantizar al 100% que esos guardarraíles evitan con total seguridad cualquier tipo de error o comportamiento inadecuado.
Y menos con unos modelos cada vez más potentes e 'inteligentes', que adivinan incluso cómo saltarse protecciones para cumplir sus objetivos.
Es decir, tenemos unos sistemas eventualmente poderosos, que no podemos garantizar que controlemos al 100%. Y eso, creo, deja la vía abierta a fallos y accidentes. Dependiendo de para qué utilicemos esos agentes y a qué les hayamos dado acceso, pueden ser más graves o menos, pero creo que el riesgo está ahí. Y son conocer en detalle, me parece que el incidente de OpenAI con Hugging Face es una materialización de este riesgo.
Si esto se traslada a sistemas críticos, el riesgo está servido.
Mi visión de los grandes riesgos 2: la pérdida de comprensión
Este segundo vector, en realidad, lo único que hace es agravar el anterior. A medida que los modelos se hacen más complejos, se nos hace más difícil a nosotros, humanos, entender o casi diría mejor abarcar su funcionamiento y, por tanto, se nos hace más difícil imaginar 'qué podría ir mal' y diseñar y adoptar medidas en cualquier punto del ciclo de vida para evitar esos problemas potenciales.
Esto se pude agravar, seguramente se esté agravando ya, con la estratega en que los modelos diseñan otros modelos sin concurso humano en el denominado 'Recursive Self Improvement'.
Si los modelos que introducimos en los agentes han sido creados de esta forma, si los entendemos peor, a priori tendremos aún menos capacidad de imaginar cómo controlarlos.
Mi visión de los grandes riesgos 3: el uso malicioso y los ciberataques.
Con todo y todo, confío en que los dos riesgos anteriores se puedan de alguna manera 'domar'. Por un lado, tengo una gran confianza en la tecnología y la ingeniería y en que haya quien imagine y desarrolle en algún momento métodos efectivos y 100% fiables para garantizar el control y que a lo mejor ahora no se nos ocurren o no conocemos.
Además, no veo que ninguna de las grandes empresas de IA tenga el menor interés en hacer modelos o sistemas peligrosos. Aparte de la, quiero confiar, motivación ética, es que me parece que, simplemente, no les interesa, incluso como puro negocio.
Pero cosa muy diferente, es el uso expresamente malicioso, el uso en forma de ciberataques ya no sólo por parte de hackers individuales u organizaciones de hackers sino, aún peor, por parte estados en la denominada guerra híbrida. Y eso me preocupa mucho porque, este tipo de colectivos sí tienen intereses y motivaciones, por más lamentables que sean, para hacer daño y para aprovecharse por un lado de la potencia de los modelos frontera y por otro de sus vulnerabilidades.
Por desgracia, estas organizaciones maliciosas ya han demostrado tener recursos, talento técnico e imaginación.
Valorando la propuesta
La propuesta de Amodei parece, pues, en la buena dirección o al menos, necesaria. Es decir, si esos riesgos son ciertos, y Amodei piensa que lo son (y yo también), algo hay que hacer.
Dando por hecho que no parece muy creíble, y Amodei no lo propone, una congelación del desarrollo de los modelos frontera, parece que hay que apuntar más en el sentido de muchos mayores mecanismos de control a nivel regulatorio, operativo y tecnológico.
En la propuesta de Amodei no aparece claramente ninguna propuesta tecnológica para mejorar el control. Me refiero a que no aparece ninguna orientación de un algoritmo o sistema de control que, realmente, garantice el control estricto y fiable de un agente. No sé si es que no la tiene o que no la quiere contar, pero no aparece en su propuesta, aunque es cierto que habla de temas como el alineamiento, la interpretabilidad o la excelencia operativa evitando errores de ejecución o, incluso, el establecimiento de estándares, que pudieran conectar con soluciones técnicas.
Pero el foco de la propuesta de Amodei está más en la supervisión (sobre todo con los evaluadores incorporados) y la coordinación mundial, en un primer nivel en estados democráticos y en un segundo a nivel global, incluyendo sobre todo a China.
Aunque la propuesta de Amodei tiene sentido, y así parecen reconocerlos muchas autoridades de la IA, no deja de generarme ciertas reservas.
Primera reserva: ¿es realmente suficiente?
No estoy muy seguro de si con lo que propone Amodei eliminamos realmente los riesgos. Seguro que operamos en la dirección de reducirlos, pero no veo claro que los eliminemos.
¿Por qué?
Pues porque creo que mientras no se pueda garantizar técnicamente un control total de los agentes, siempre habrá 'vías de escape', agujeros por lo que los agentes o sistemas inteligentes autónomos se puedan 'escapar' y producir incidentes graves. Y la propuesta no parece incidir en ello.
Mecanismos como la coordinación entre grandes empresas podrían llevar a la aparición de esa solución tecnológica, pero no parece evidente. Y mecanismos como el de los evaluadores embebidos que es un gran ejercicio de trasparencia y que, bien ejecutado, puede llevar a detectar y eliminar muchos problemas, pero tampoco me parece que garantice eliminar los problemas de raíz.
Es decir, trabajamos en la buena dirección, en detectar problemas, corregirlos y coordinar mejores prácticas... pero no ofrecemos, al menos de momento, una garantía total.
Es posible que es que ahora no podamos hacer otra cosa
Segunda reserva: el liderazgo americano
A pesar de que, con el permiso de China, nadie niega el liderazgo norteamericano y de sus empresas en materia de tecnología en IA, no me deja buen sabor de boca la insistencia en el documento en el liderazgo por parte de los Estados Unidos en esta materia.
Soy plenamente consciente de que, en concreto, Europa no tiene el nivel tecnológico ni de liderazgo que poseen los Estados Unidos, pero sí ha sido pionera, con mayor o menor acierto, en regulación y es un mercado importantísimo para la IA. Pues bien, a Europa ni se la menciona. Por supuesto, aún menos a Sudamérica o África.
Insisto en que tengo claro el liderazgo real de Estados Unidos tanto a nivel técnico como político y económico, pero no me acaba de parecer una buena forma de comenzar a plantear una consenso de países democráticos, con esa forma de imposición, por más que, 'de facto', seguro que ocurriría.
Tercera reserva: la viabilidad geoestratégica
Añadido a lo anterior, tengo dudas, el propio Amodei también, de la viabilidad de subir a China 'al carro'. Y, si no se consigue subir a China a este tren, probablemente todo quede en agua de borrajas', porque la competencia, tanto económica con geoestratégica llevarán seguramente, no sólo a que no se produzca la más mínima ralentización en el desarrollo de la IA, sino a todo lo contrario.
Aunque no es más que un detalle de comunicación, de la misma forma que afeaba en la reserva anterior el que se imponga el liderazgo de Estados Unidos, que se considere de forma tan secundaria, en realidad nula, a actores como Europa, tampoco me parece que la mejor forma de conseguir el interés de China sea echarles en cara desde el principio que son un estado autoritario como se hace en la publicación de Amodei.
Todos sabemos que China es un estado autoritario, pero si de verdad quieres que te acompañe, quizá se deberían haber utilizado algún eufemismo o algún rodeo.
Cuarta reserva: ¿por qué un artículo publico?
La última reserva que quisiera expresar, va hacia el propio sentido de esta propuesta y de hacerla pública como si fuese un post de un blog o una carta abierta.
Aquí no lo tengo claro, pero me hago varias preguntas.
Está claro que Amodei es un personaje importante hoy en día y con mucho poder real. Si quiere ponerse de acuerdo con OpenAI o con Google, por ejemplo, creo que no tiene más que levantar el teléfono y hablarlo. Probablemente puedan tener reuniones discretas para plantear una colaboración ¿Por qué entonces una comunicación abierta a la que luego 'los demás' reaccionan con su acuerdo? ¿Es sólo una puesta en escena de algo que realmente ya han hablado y acordado? Y, si fuese así ¿por qué no hacen una comunicación conjunta?
¿Es posible que, simplemente, ante el ruido creado por Jacob Coxon, Anthropic, a través de su CEO se hayan sentido obligados a hacer una forma de declaración pública en el sentido de una mayor control y responsabilidad? Y, si fuese así ¿se puede quedar todo en 'agua de borrajas', en pura estrategia de comunicación'?
¿Es posible que se busque solo un poco un cambio de imagen de las empresas de IA, ahora que parece que generan cierto miedo e incluso antipatía, ya sea como estrategia general de comunicación o ya sea para preparar las eventuales salidas a bolsa... o la explicación de por qué no salir a bolsa?
En una línea parecida, aunque con resultado diferente, al caso de la comunicación con las otras empresas de IA, me llama la atención la relación con la administración Trump. ¿Hace Amodei esta propuesta, que incluye regulación e importantes movimientos geoestratégicos, sin pulsar la opinión de Trump y su administración? Eso parece, visto lo visto, o a lo mejor es que sí la pulsó y sabía que la respuesta iba a ser negativa. Pero no deja de sorprenderme un poco y me hace preguntarme, sin que tenga una respuesta ahora mismo, qué significa esto realmente.
O, simplemente, ¿estamos ante un globo sonda'? ¿Es qué Amodei, y quizá las otras empresas líderes en IA quieren ver cómo reacciona la administración norteamericana, China y el mercado?
Una esperanza
¿O, quizá, me 'estoy pasando' de susceptible y desconfiado y realmente Amodei siente que debe hacer algo por la securización de la IA y este es un camino, un pistoletazo de salida para hacer algo realmente importante?
Como dije antes, aunque sólo sea con visión de negocio, creo que las primeras interesadas en una IA confiable son las empresas que crean los modelos.
Así que, tampoco podemos descartar el que, más o menos acertada, más o menos viable, la propuesta e intenciones de Amodei sean sinceras y que, sean estas acciones u otras, se comiencen a dar pasos firmes por una IA igual de poderosa pero mucho más segura.
¡Ojala!
Conclusiones
Por desgracia, creo que, en efecto, la IA actual comienza a exhibir riesgos no menores, riegos que, seguramente no estemos controlando bien.
Aunque hay elementos en la propuesta de Amodei que no me convencen o que me generan reservas, lo cierto es que algo tenemos que hacer, y quizá ese artículo sea el punto de partida para 'algo'.
Veremos.
No hay comentarios:
Publicar un comentario