Un exinvestigador de Anthropic advirtió que la IA "podría llevarnos a la extinción" y exigió regulación internacional

Tras publicar un hilo en X que se viralizó - con más de 100 millones de visitas en poco más de 24 horas - Jacob Coxon participó de diversas entrevistas con medios estadounidenses donde profundizó sobre el objetivo de su advertencia. Entre los tópicos de su relato se encuentran; la IA recursiva; el marketing del fin del mundo; la carrera geopolítica y empresarial y las fechas de un hipotético conflicto.

¿Doom trolling, advertencia genuina o campaña de marketing? Las advertencias de Coxon, en el centro del ecosistema IA. 

Imagen creada con IA

Veinticuatro horas después de renunciar a Anthropic con un hilo en X que ya supera los 100 millones de vistas, Jacob Coxon pasó por diversos medios estadounidenses - NBC, CNN y Fox News - para ahondar en la problemática. En esas entrevistas amplió los argumentos que había planteado en sus posteos: explicó por qué decidió irse, qué discusiones existen dentro de las compañías de inteligencia artificial y por qué considera que la solución debe estar fuera de ellas.

“Esta es posiblemente la tecnología más peligrosa que la humanidad haya creado”, alertó nuevamente en su gira por los medios.

En detalle, Coxon, británico de 27 años, pasó los últimos tres años dedicado a la investigación de preentrenamiento, la etapa en la que los modelos aprenden a partir de volúmenes masivos de datos, tanto en OpenAI como en Anthropic. El debate explotó el pasado martes cuando el investigador anunció su renuncia a la empresa desarrolladora de Claude y dejó una advertencia sobre la carrera por desarrollar sistemas cada vez más capaces: "Ninguna de las dos empresas está actuando de manera responsable. Están compitiendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en el proceso."

Archivo. Coxon profundizó sus advertencias en diversos medios de EEUU.

Los peligros de la inteligencia artificial

En este escenario, Coxon explicó en declaraciones a la NBC cuáles son los desafíos y peligros actuales de la IA: "Muchas personas que trabajan en la industria, incluidos ejecutivos e investigadores sénior, creen genuinamente que existe una probabilidad considerable de que esta tecnología pueda matar a todo el mundo. Y esto no es una exageración ni una estrategia de marketing".

El investigador coincidió con el Líder de Ciencia de Alineación Anthropic, Evan Hubinger, en que, actualmente, el riesgo de que la inteligencia artificial tome el control es “mínimo”. El problema, según explicó, es la velocidad con la que pueden aumentar las capacidades de estos sistemas.

Allí, Coxon aseguró que los modelos actuales presentan un "riesgo mínimo" pero remarcó que su preocupación apunta a la extrapolación de los desafíos actuales en un futuro próximo, con la llegada de la mejora recursiva, el proceso por el que busca generarse que la IA logre desarrollarse así misma: "Podría ocurrir tan pronto como el año que viene. Algunas personas incluso dicen que en seis meses”, alertó. “Por eso, esta postura es compartida en toda la industria: básicamente, la gente es consciente de que el trabajo que está haciendo actualmente, si no reducimos el ritmo, podría llevar a que la inteligencia artificial tome el control antes de que termine la década”, aseguró en diálogo con Fox News.

“Esta es posiblemente la tecnología más peligrosa que la humanidad haya creado”, sentenció Coxon frente a las cámaras de NBC. “Básicamente, parece salida de la ciencia ficción. Creo que no tenemos otra opción que cooperar a nivel internacional, porque una carrera armamentista sería desastrosa de una manera que ninguna otra actividad humana lo ha sido en el pasado”.

¿Por qué decidió hablar ahora?

Coxon explicó que hubo dos factores que, a su entender, hicieron que este fuera un momento especialmente relevante para plantear públicamente sus preocupaciones. "La primera es que la gente ha tomado conciencia a partir de los recientes ciberataques que los modelos de OpenAI llevaron a cabo contra Hugging Face. Fueron ataques bastante aterradores, en los que un modelo sin instrucciones humanas —un enjambre de modelos, de hecho— decidió comprometer una infraestructura, infiltrarse en ella y realmente lo consiguió", detalló.

El otro elemento de peligro es que las capacidades de los modelos continúan avanzando mientras las empresas compiten sin límites aparentes por alcanzar la siguiente generación de sistemas y ganar la carrera comercial. "Creo que el problema concreto es que, si intentás quedarte adentro, terminás perpetuando la dinámica de la carrera. Toda la dinámica que intento evitar es esa sensación de que tenés que ser vos quien asuma la responsabilidad. Tenés que llegar primero", sostuvo sobre su proceso de renuncia a ambas empresas.

En este punto, Coxon ahondó sobre las dinámicas de desarrollo que se llevan adelante en Anthropic y OpenAI. "Anthropic fue fundada en el contexto de otras compañías que competían por construir inteligencia artificial y bajo la creencia de que esas otras empresas no lo harían de manera responsable", informó a NBC.

"Ahora, independientemente de si uno considera que esta creencia es verdadera o no, la premisa central de Anthropic es hacerlo mejor, llegar primero, asumir el riesgo porque la premisa fundacional es que estas son las personas que se toman el riesgo lo suficientemente en serio como para ser quienes lo hagan", ahondó.

Coxon aseguró que cree que Dario Amodei, CEO de Anthropic, está actuando de acuerdo con los principios que plantea desde su advertencia. "Desde mi perspectiva, no veo ninguna razón para no creerle. El problema es simplemente que otras personas están intentando llegar primero. Y, en algún momento, hay que hacer un equilibrio entre ser riguroso y ser rápido. Y en una carrera no podés ser tan riguroso como te gustaría. Si hacerlo de manera segura va a llevar diez años y solo tenés dos años debido a tus competidores, vas a tener que tomar atajos. Vas a tener que no comprender completamente la ciencia, y eso puede llevar a estos riesgos catastróficos que él expresó públicamente", concluyó.

En esta línea, el investigador también explicó que esta batalla comercial se inscribe en una dimensión geopolítica de la carrera y la competencia con China: "Creo que se entiende que actualmente tenemos una ventaja bastante considerable sobre la tecnología china, suficiente como para que, por ejemplo, una cierta desaceleración no cambiara demasiado las cosas. Pero sí, la gente tiene miedo porque no es tan difícil ponerse al día. Cualquier desaceleración de largo plazo tendría que ser internacional".

La solución: regulación internacional

A pesar de su advertencia catastrófica, el ahora exinvestigador de Anthropic sostuvo: “Creo que el problema no es imposible de resolver. No es que pensemos que se trata de algo imposible: simplemente estamos avanzando a tanta velocidad que no tenemos tiempo para resolverlo correctamente, no estamos siendo cuidadosos y todos quieren ser cuidadosos”.

Para Coxon "la gente está pidiendo a gritos una regulación", herramienta que permitiría poner límites concretos y reglas claras a este desarrollo. "Es cuestión de que, a nivel internacional, alguien intervenga y pueda garantizar que no nos lancemos a nosotros mismos hacia la extinción. El problema tiene solución”, sostuvo en Fox News.

"Lo que necesitamos son organismos externos, organismos internacionales con un mandato gubernamental, que garanticen que esto se haga de manera segura, porque desde adentro simplemente estás atrapado en la carrera. No podés cambiar la dinámica estructural general de la situación", sentenció frente a NBC.

La respuesta de Anthropic

Anthropic respondió a las declaraciones de su exinvestigador con un comunicado enviado a CNN. La empresa defendió las medidas de seguridad que aplica a sus modelos y recordó que desde el inicio reconoció tanto el potencial como los riesgos de la tecnología: “Siempre fuimos transparentes en que la IA traerá tanto beneficios enormes como riesgos sin precedentes. Para enfrentarlos, seguimos construyendo modelos con algunas de las salvaguardas más fuertes de la industria”.

Anthropic respondió a las declaraciones de su exinvestigador con un comunicado enviado a CNN.

La compañía también destacó que fue “el primer laboratorio en publicar una política de escalado responsable” y planteó que el sector debería avanzar hacia “una forma legal y verificable de trabajar juntos para marcar el ritmo” de los lanzamientos.

La respuesta marca la posición de Anthropic frente a una de las principales críticas de Coxon: que la carrera por desarrollar sistemas cada vez más capaces puede impedir que las propias empresas establezcan límites efectivos. OpenAI, por su parte, no respondió a las declaraciones del investigador.