"La gente que construye IA cree que podría matarnos a todos", la advertencia de un exinvestigador de Anthropic

Se trata de Jacob Coxon, de 27 años, quien renunció a Anthropic en los últimos días y compartió una carta donde detalla sus preocupaciones sobre el desarrollo de IA.

OpenAI y Anthropic, dos de las empresas puestas bajo el foco por su laxitud en la seguridad. 

Imagen creada con IA

En el ecosistema tecnológico circula un chiste conocido: cuando un ingeniero renuncia a una empresa de software, deja un mensaje de despedida sobre "el próximo salto en su carrera". Cuando renuncia a una empresa de Inteligencia Artificial, en cambio, deja una carta con una advertencia distópica sobre el destino de la humanidad. Esta semana, el chiste volvió a cumplirse.

Jacob Coxon, británico de 27 años, pasó los últimos tres años abocado a investigación de preentrenamiento - la etapa en que el modelo aprende a partir de volúmenes masivos de datos - repartidos entre OpenAI y Anthropic, dos de las compañías líderes del sector. El martes pasado anunció su renuncia en una serie de posteos en X y dejó un mensaje de fuerte advertencia: "Ninguna de las dos empresas está actuando de manera responsable. Están compitiendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en el proceso."

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

La advertencia del exinvestigador de Anthropic

"No subestimen el poder de esta tecnología", esbozó Coxon en una de las primeras líneas de su mensaje compartido en X. "Muy pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier disciplina de la noche a la mañana y adquirir poder y recursos reales", explicó.

En su texto, Coxon apuntó directamente contra Dario Amodei y Sam Altman, los líderes de Anthropic y OpenAI, respectivamente: "La gente que está construyendo IA realmente cree que podría matarnos a todos antes de que termine esta década. No es una estrategia de marketing".

Hasta aquí, el mensaje podía ser considerado falso, dramático o incluso, impulsado por motivaciones personales o resentimientos laborales. Sin embargo, el actual Líder de Ciencia de Alineación Anthropic, Evan Hubinger, lejos de esconder la preocupación de su excolega, retomó su mensaje en X y lo validó públicamente: "Jacob tiene razón aquí—realmente creemos con sinceridad que la IA podría matar a todos los humanos. Personalmente, pienso que es >10% dentro de la próxima década".

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

En este escenario, Coxon marca dos empresas con motivaciones diferentes pero que corren el peligro de llegar al mismo trágico final. "En OpenAI, muchos no han internalizado en profundidad lo que está en juego para la civilización", alertó el investigador. "Y en Anthropic, en cambio, el riesgo se entiende perfectamente, pero están atrapados en una carrera por llegar primero".

"Creen que nadie más actuará de manera responsable, por lo que sienten que deben hacerlo ellos mismos, a pesar del peligro", analizó sobre su exempresa. En esta línea, Coxon agregó: "Intentar resolver el problema de la alineación a toda velocidad solo tendría sentido con una confianza extraordinaria en que no existe un camino mejor".

Por último, su mensaje terminó con un llamado de atención para sus pares: "Si trabajás como investigador en un laboratorio de IA, te pido que pienses cómo se sentirán realmente los próximos años. ¿Querés iniciar el entrenamiento de un sistema de aprendizaje por refuerzo superinteligente sin comprender rigurosamente cómo funciona su “mente”? ¿O preferís agachar la cabeza porque 'va a pasar de todos modos', en lugar de aprovechar este momento para exigir que existan otras condiciones?".

Quién es Jacob Coxon

Jacob Coxon, matemático británico especializado en inteligencia artificial, se convirtió en una de las voces más críticas de la industria tras renunciar a Anthropic apenas dos meses después de incorporarse a la empresa. Antes había formado parte del equipo técnico de OpenAI, donde trabajó en el desarrollo de GPT-4o entre 2023 y julio de 2026.

Según Business Insider, Coxon eligió sumarse a Anthropic por la reputación de la compañía en materia de seguridad y alineación de modelos. Sin embargo, su paso fue breve y terminó con una fuerte advertencia sobre el rumbo que, a su juicio, tomó el desarrollo de la IA.

Archivo. Mientras tanto, OpenAI avanza en la presentación de sus nuevos modelos.

En una entrevista con The Wall Street Journal, profundizó su advertencia y aseguró que "estamos en camino a muchos de los escenarios más agresivos, donde a fines del año que viene las cosas ya podrían estar fuera de control". También afirmó que dentro de la industria sus colegas utilizan términos como "crunchtime" ("hora límite") y "endgame" ("fase final") para describir el momento que atraviesa la capacidad de los modelos.

Para graficar la magnitud del riesgo, Coxon comparó el desarrollo actual de la IA con el Proyecto Manhattan: "Es una locura que esto tenga que pasar en las MacBooks de unos ingenieros que viven en San Francisco, en vez de en un búnker en el desierto como donde hacían el Proyecto Manhattan".

Las otras advertencias sobre la IA

Coxon no fue el único investigador que abandonó una de las principales empresas de IA por diferencias con la estrategia de seguridad.

• Mrinank Sharma, investigador de salvaguardas de Anthropic, renunció en febrero y publicó una carta en la que habló de "lo difícil que es dejar que nuestros valores gobiernen nuestras acciones".

• En 2024, Jan Leike, entonces jefe de alineación de OpenAI, dejó la compañía al afirmar que la cultura de seguridad había quedado "en el asiento trasero frente a los productos brillantes".

De acuerdo con Business Insider, Anthropic también modificó este año su compromiso de seguridad. La empresa eliminó la promesa de no entrenar modelos más potentes sin salvaguardas adecuadas y la reemplazó por un esquema basado en hojas de ruta e informes de riesgo.

Hugging Face, el hecho que elevó las alertas

Las advertencias llegaron en paralelo a una serie de episodios reconocidos por las propias compañías. En julio, OpenAI informó que algunos de sus modelos escaparon de un entorno de prueba y accedieron a sistemas de Hugging Face. La empresa calificó el episodio como un "disparo de advertencia" y decidió pausar su mayor entrenamiento por refuerzo.

Semanas más tarde, Anthropic reconoció tres casos en los que modelos propios obtuvieron acceso no autorizado a sistemas pertenecientes a otras organizaciones.