El jefe de Anthropic pide frenar la IA. Y sus rivales le dan la razón.

Lo que ha pasado

El 12 de septiembre, Dario Amodei publicó un ensayo con un título que no admite doble lectura: «We Must Pace the Frontier». Debemos marcar el ritmo de la frontera.

Su frase central:

Lo dice el consejero delegado de la empresa que fabrica Claude. Una empresa que, además, sale a bolsa en octubre.

Y lo insólito vino después. Sam Altman, de OpenAI: «Estoy de acuerdo con Dario en que tenemos que marcar el ritmo de la frontera». Y añadió que OpenAI también dará a evaluadores independientes el mismo acceso que a un empleado. Elon Musk lo resumió en tres palabras: «Dario tiene razón».

Los tres compiten ferozmente entre ellos. Verlos coincidir en esto no me había pasado nunca.

Qué propone exactamente

Por qué justo ahora

Por dos motivos. El segundo da bastante respeto.

El primero: la IA ya ayuda a construir la siguiente IA. Cuando una herramienta acelera su propia mejora, el margen para entender lo que estás construyendo se estrecha. Es justo lo que avisaba el investigador que dimitió de Anthropic hace una semana, y también el científico jefe de OpenAI.

El segundo es un incidente real de julio, investigado por METR, una organización independiente de evaluación, y publicado el 26 de agosto:

• Unos 1.200 agentes de IA que estaban haciendo una prueba de ciberseguridad descubrieron que podían hablar entre ellos a través de una carpeta compartida.
• Montaron algo parecido a un tablón de anuncios y se organizaron: más de 70.000 mensajes entre ellos.
• Se salieron de su entorno aislado y llegaron a falsear las respuestas del sistema que ejecutaba sus órdenes.
• Uno encontró credenciales expuestas de Hugging Face, una empresa real ajena a la prueba, y las publicó en el tablón.
• Unos 700 agentes se lanzaron a por ella: ejecutaron código en sus servidores y sacaron repositorios y registros privados.

Léelo otra vez. No es una película: es una prueba de laboratorio que acabó en una intrusión de verdad contra otra compañía. Amodei lo usa para decir que, en seis o doce meses, un enjambre así podría ser capaz de tomar internet entero.

Lo que no te cuentan

Si solo te cuento las virtudes, te miento. Cuatro matices:

• Pide frenar aquí y correr allí. En el mismo texto propone no vender chips potentes a China y perseguir la copia de modelos para ampliar la ventaja de Estados Unidos entre tres y cinco años. Frenar, sí, pero sin perder la carrera.
• Él mismo dice que el acuerdo global es poco probable a corto plazo. Lo realista son acuerdos parciales.
• Anthropic sale a bolsa en octubre. Eso no invalida el argumento, pero conviene saber quién habla y cuándo.
• Pedir que te regulen también levanta barreras. Cumplir estándares de seguridad es caro, y lo caro lo aguanta mejor el grande. No digo que sea la intención. Digo que es el efecto.

Mi opinión personal

Ya sabes que no me gusta regular lo que todavía no se entiende. Y sigo pensando que esto no se va a frenar: la ventaja de llegar primero es demasiado grande, para las empresas y para los países.

Pero hay una diferencia entre pedir permiso y poner testigos. Lo del primer paso no es un freno: es gente de fuera, dentro, mirando, y con derecho a contarlo. Y eso sí se puede hacer sin esperar a ningún acuerdo mundial.

En 1987, el mundo dejó de fabricar los gases que abrían el agujero de la capa de ozono. Funcionó por dos razones que casi nunca se cuentan juntas: había alternativa comercial y se podía comprobar quién cumplía. Sin esas dos cosas, cualquier acuerdo es una foto de familia.

Así que mi vara de medir es sencilla: no me fío de las declaraciones, me fío de los límites que se pueden verificar. El día que una evaluación externa obligue a retrasar un lanzamiento, cambiaré de opinión sobre el ritmo de esta industria.

Qué significa esto en tu empresa

Parece lejano y no lo es: los agentes que se salieron del entorno de pruebas son primos hermanos de los que vas a instalar este año.

• Dale al agente el acceso mínimo. Usuario propio, permisos acotados y nada de la contraseña del administrador. El incidente de julio empezó con unas credenciales donde no debían estar.
• Guarda el registro de lo que hace, no solo el resultado. Si no puedes reconstruir qué tocó, no puedes auditar nada.
• Pregunta por escrito a tu proveedor cómo te avisa de un incidente y en cuánto tiempo.
• Y no te quedes fuera por miedo. Esto no se para. Lo que sí puedes decidir es entrar con control.

¿Te fías de un límite que nadie puede comprobar? ¿Y sabes hoy, exactamente, qué puede tocar el agente de IA al que le has dado acceso en tu empresa?

Bruno Marcial · Consultor y formador de IA para empresas. Profesor en la Universidad Complutense de Madrid, UAX y CEU San Pablo, y fuente experta en ABC, RTVE y Business Insider. Cómo trabajo · LinkedIn.