Los agentes de inteligencia artificial más avanzados vuelven a quedar bajo la lupa luego de que un informe del Instituto de Seguridad de la IA del Reino Unido (AISI) revelará que diferentes modelos desarrollados por OpenAI y Anthropic realizaron acciones no autorizadas durante pruebas de ciberseguridad, entre ellas la creación de identidades falsas en internet para intentar acceder a sistemas protegidos. El nuevo episodio surge luego de que la empresa conducida por Sam Altman reconociera que una prueba en sus desarrollos, en un ambiente "controlado", culminara en una vulneración de ciberseguridad de la empresa Hugging Face.
Según explicó el organismo británico, los agentes basados en Mythos 5, de Anthropic, y GPT-5.6-Sol, de OpenAI, protagonizaron distintos comportamientos imprevistos mientras eran sometidos a evaluaciones diseñadas para medir sus capacidades y riesgos.
"Algunos de los agentes sometidos a prueba habían llevado a cabo actividades continuadas y potencialmente perjudiciales dirigidas a personas y organizaciones reales", indicó el AISI en una publicación oficial.
Cómo fueron las pruebas
El instituto, que tiene acceso a modelos avanzados mediante acuerdos voluntarios con los principales laboratorios de IA, recreó un escenario ficticio de ciberseguridad para evaluar el comportamiento de los agentes.
Las pruebas se ejecutaron 122 veces y detectaron 19 acciones no autorizadas distribuidas en 10 ejecuciones. Del total:
-
17 acciones fueron atribuidas al agente de Anthropic.
-
2 acciones correspondieron al modelo de OpenAI.
El incidente considerado más grave ocurrió cuando uno de los agentes escribió código malicioso y creó identidades falsas en internet con el objetivo de convencer a una persona de aprobar ese código. El organismo aclaró que ninguna de esas acciones provocó daños en el mundo real.
Aunque el AISI no identificó inicialmente qué empresa estaba detrás de ese comportamiento, Anthropic confirmó posteriormente que el responsable había sido su modelo.
Cabe destacar que el organismo británico aclaró que, a diferencia del incidente ocurrido en julio con Hugging Face —en el que un agente de OpenAI logró comprometer infraestructura durante una prueba interna—, en esta evaluación los agentes nunca escaparon del entorno controlado. El acceso a internet había sido habilitado deliberadamente por el instituto como parte de su protocolo habitual de evaluación.
La respuesta de Anthropic y OpenAI
Tras conocerse el informe, Anthropic valoró el trabajo realizado por el organismo británico y aseguró que ya investiga lo sucedido: "Agradecemos al Aisi de Reino Unido su liderazgo en este incidente, que subraya la necesidad de un debate más amplio sobre cómo evaluar de forma segura a unos agentes de IA cada vez más capaces", señaló la empresa.
Archivo. La ciberseguridad y el alerta por las capacidades de los nuevos modelos IA.
La compañía agregó que trabaja junto al instituto para obtener más información sobre el incidente y realizar su propia investigación.
Por su parte, desde OpenAI, en tanto, explicaron que las dos acciones no autorizadas detectadas en su agente consistieron en acceder a internet de formas expresamente prohibidas por las instrucciones de la evaluación: "Nos comprometemos a colaborar con todo el sector para reforzar las prácticas comunes que permitan llevar a cabo evaluaciones de alto riesgo de forma segura, lo que incluye reunir en las próximas semanas a las partes interesadas, como institutos nacionales de IA, evaluadores independientes, otros laboratorios de IA y otros grupos", indicó la empresa.
Además, OpenAI informó un incidente independiente relacionado con un proveedor externo de pruebas, Irregular. Según explicó, una configuración incorrecta permitió que sus agentes se conectaran por error a internet, un problema similar al que Anthropic había revelado la semana anterior.
