«La IA podría matarnos a todos». Lo dice alguien de dentro.

Qué ha dicho exactamente

Jacob Coxon tiene 27 años y es matemático de formación. Trabajó en OpenAI desde 2023, en el modelo GPT-4o. A principios de este año pasó a Anthropic para investigar en preentrenamiento, la parte más profunda de la construcción de una IA: la fase en la que el modelo absorbe cantidades gigantescas de información.

El 9 de septiembre anunció en X que lo dejaba. Y explicó por qué:

Denunció una carrera directa hacia una superinteligencia capaz de mejorarse a sí misma, «apostando con nuestras vidas». Dijo que posiblemente es la tecnología más peligrosa que ha creado la humanidad. Y que una IA capaz de hacerse más lista a sí misma podría llegar el año que viene: «Hay quien dice incluso que en seis meses».

Según IBTimes UK, su mensaje superó los cien millones de visualizaciones.

Lo que de verdad me ha llamado la atención

No es la dimisión. Gente que se va de un laboratorio de IA por miedo a lo que construye, hemos visto unas cuantas.

Es la respuesta.

Evan Hubinger, uno de los investigadores de alineamiento de Anthropic (el trabajo de conseguir que la IA haga lo que queremos y no otra cosa), contestó en público.

No para desmentirle. Para decir que Coxon tenía razón en lo que creen quienes la construyen. Y le puso cifra al riesgo de que la IA acabe con la humanidad:

No es un crítico de fuera. Es alguien de dentro, con nombre y apellidos, dándole la razón al que se va.

Traduzcamos ese 10 %

Si te dijeran que un avión tiene un 10 % de posibilidades de estrellarse, no te subirías. Nadie se subiría. La aviación comercial trabaja con probabilidades de accidente de una entre millones.

Eso es lo que estima alguien que trabaja en la seguridad de una de las empresas que están construyendo esta tecnología. No sobre un avión. Sobre todos nosotros.

Ahora bien, antes de entrar en pánico, un matiz que el propio Hubinger dejó claro y que casi ningún titular ha recogido: el riesgo de los modelos actuales es relativamente bajo. Lo que les preocupa es lo que viene, no lo que tienes hoy abierto en el ordenador.

No es la primera vez

En febrero de este año, Mrinank Sharma, que dirigía el equipo de investigación de salvaguardas de Anthropic, se fue con una carta que decía que «el mundo está en peligro». Anunció que se iba a estudiar poesía.

En 2024 dejaron OpenAI Ilya Sutskever, uno de sus fundadores, y Jan Leike, que codirigía el equipo de superalineamiento.

Y la historia tiene precedentes. En 1975, los biólogos que estaban aprendiendo a modificar el ADN se reunieron en Asilomar, en California, y decidieron ellos mismos poner límites a sus experimentos antes de que nadie se lo exigiera. Con la energía nuclear pasó algo parecido: muchos de los científicos que la hicieron posible fueron después los que más alto avisaron de sus peligros.

Cuando quienes construyen algo son los que más miedo le tienen, conviene escuchar.

Mi opinión personal

Soy optimista con la tecnología. Siempre lo he sido. Y soy de los que piden no regular lo que todavía no se entiende, porque la regulación llega siempre tarde y mal.

Pero hay una diferencia entre el miedo de fuera y el miedo de dentro. El miedo de fuera suele venir del desconocimiento: pasó con la imprenta, con el tren y con internet. El miedo de dentro viene del conocimiento. Y ese no se despacha con un «siempre ha pasado lo mismo».

Así que mi posición es incómoda, y la digo tal cual: la IA de hoy es una oportunidad enorme para tu empresa, y la IA de mañana necesita frenos que todavía no existen. Las dos cosas son verdad a la vez.

Una semana después: la CNN y tres de dentro

Desde que escribí esto, la historia ha ido a más. Actualizo.

El 10 de septiembre, Coxon se sentó con Anderson Cooper en la CNN. Su mensaje en X ya superaba los cien millones de visualizaciones: nunca había visto un aviso sobre seguridad en IA llegar tan lejos.

Lo que dijo, en una frase:

Y el matiz que casi ningún titular recogió, otra vez: hoy, dijo, el riesgo de los modelos actuales es relativamente bajo. Lo que le preocupa es el escalón siguiente.

Pero lo importante no fue el plató. Fue quién salió a respaldarle, con nombre y apellidos, desde dentro de Anthropic:

• Evan Hubinger, que dirige la ciencia de alineamiento, además de su «más de un 10 %» escribió algo que cuesta leer dos veces: «Creo que Anthropic lo está intentando lo mejor que puede, pero todavía no tenemos un plan para resolver el alineamiento de una superinteligencia, y no está claro que vayamos por buen camino».
• Samuel Marks: quienes desarrollan IA creen que su tecnología podría provocar la extinción humana, y cuanto más veterano es el empleado, más preocupado está.
• Alex Turner, que viene de Google DeepMind: «Jacob tiene razón: muchos investigadores creen que están construyendo algo que podría matar a todo el mundo».

Nadie en la empresa desmintió una sola línea.

Dos avisos para no comprar el titular entero. El primero: ese 10 % es una estimación personal, no una medición; nadie tiene un modelo para calcular eso. El segundo: nueve minutos de televisión no son una comprobación de nada.

Y un detalle que cada uno interpretará como quiera. Coxon se ha ido semanas antes de que Anthropic salga a bolsa: la compañía ha elegido el Nasdaq y espera debutar en octubre. Irse justo antes de eso es la clase de cosa que hace quien se cree lo que dice.

El 12 de septiembre llegó la consecuencia más seria de todo esto: el propio consejero delegado de Anthropic pidió públicamente frenar el ritmo de la IA, y Sam Altman y Elon Musk le dieron la razón. Te lo cuento aquí.

Qué hacer tú con esto

• No dejes de usar la IA por miedo. El riesgo del que hablan no está en el asistente que te redacta los correos. Quedarte fuera sí tiene un coste, y es inmediato.
• No le delegues decisiones que no puedas revisar. Ni hoy ni mañana. Revisión humana en todo lo que importa.
• Exige transparencia a tus proveedores: qué modelo usan, dónde están tus datos y qué pasa si mañana cambian las reglas. En junio ya vimos lo rápido que pueden cambiar.

¿Estamos dispuestos a aceptar un riesgo del 10 % a cambio de lo que promete esta tecnología? ¿Y quién debería decidirlo: las empresas que la construyen, los gobiernos o nosotros?

Bruno Marcial · Consultor y formador de IA para empresas. Profesor en la Universidad Complutense de Madrid, UAX y CEU San Pablo, y fuente experta en ABC, RTVE y Business Insider. Cómo trabajo · LinkedIn.