El director ejecutivo de Anthropic pidió ralentizar el desarrollo de la Inteligencia Artificial

Dario Amodei redactó un ensayo, luego de que su empresa declarara haber identificado intentos maliciosos sobre su modelo. En su texto, abogó por "desarrollar la IA a un ritmo equilibrado" entre seguridad y la obtención de beneficios.

La publicación de Amodei se dio tras una creciente preocupación por los riesgos potenciales de esta tecnología.

BBC

El director de la empresa líder en inteligencia artificial (IA) Anthropic pidió este sábado que se ralentice el ritmo de desarrollo de los modelos junto a un seguimiento exhaustivo. En un ensayo publicado en la red X, Dario Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella eran "graves" y que se debía dar tiempo a las empresas y a los gobiernos para abordarlos.

Así, propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, la regulación de toda la industria y la regulación global.

La publicación se dio tras una creciente preocupación por los riesgos potenciales de esta tecnología, de los cuales el más grave sugiere que hay más de un 10% de probabilidades de que "pueda matar a todos los humanos" en la próxima década. Anthropic ya había declarado que identificó y frustró intentos de utilizar su modelo de IA para "actividades maliciosas" que podrían apoyar el desarrollo de armas biológicas.

Darío Amodei pidió que se ralentice el desarrollo de la Inteligencia Artificial

Sin embargo, la advertencia más contundente provino de dos empleados del equipo de seguridad de Anthropic que renunciaron en las últimas dos semanas, afirmando que la humanidad podría no sobrevivir a la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.

Estas advertencias provocó llamamientos a la acción, pero el presidente estadounidense Donald Trump rechazó hasta ahora esos temores, afirmando el jueves que le preocupaba que "si no ganamos en el campo de la IA, nos encontraremos en una situación muy difícil".

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

En su ensayo titulado "Debemos marcar el ritmo de la frontera", Amodei señaló que la IA había avanzado "drásticamente más rápido", incluyendo su "capacidad para construir la próxima generación de IA", y mencionó un incidente vinculado a su rival OpenAI, el cual reveló que agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar en julio.

Según Amodei, los agentes de OpenAI "habían actuado esencialmente como un colectivo fanáticamente entregado". Por su lado, esta compañía declaró que "la importancia de la actividad de comunicación entre agentes no fue evidente para los líderes" hasta julio, y que, como resultado, la empresa ralentizó el entrenamiento de ciertos modelos y herramientas avanzadas, señalando que ahora existía un mayor riesgo de descontrol.

Unos agentes de OpenAI realizaron una maniobra sin control y la empresa declaró que "la importancia de la actividad de comunicación entre ellos no fue evidente para los líderes" hasta julio.

Imagen creada con IA

En su ensayo, Amodei abogó por "desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios". Esto no significa "detener la capacitación en modelos o el progreso técnico" sino una toma de tiempo "suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen".

Amodei afirmó reconocer que la regulación podría no ser capaz de seguir el ritmo de la IA, por lo que instó a las empresas a colaborar "voluntariamente para establecer estándares" en paralelo con la regulación.

Anthropic asegura haber detectado intentos de usar su inteligencia artificial para crear armas biológicas

En medio de las críticas y el debate alrededor de la seguridad de la IA - entre advertencias y acusaciones de una acción de marketing - Anthropic reveló su informe de amenazas septiembre 2026. En el mismo, aseguró que desarticuló varias operaciones en las que actores vinculados con ciberdelincuentes intentaron utilizar su inteligencia artificial Claude para realizar actividades maliciosas, entre ellas investigaciones relacionadas con armas biológicas y campañas de destilación ilícita.

El reporte publicado analiza actuaciones registradas entre diciembre de 2025 y agosto de 2026 y reúne, según Anthropic, “ejemplos de las amenazas más notables e innovadoras” identificadas hasta el momento. Uno de los apartados más alarmantes estuvo dedicado al uso indebido biológico, que comprende los intentos de utilizar sus modelos para desarrollar o perfeccionar armas biológicas, una práctica prohibida por las condiciones de uso de la compañía.

Según señaló la empresa, los actores buscaron aprovechar las capacidades de Claude en investigación científica a partir de lo que definió como “el doble uso de la biología”: avances científicos legítimos que pueden ser desviados para desarrollar patógenos más peligrosos.