Anthropic alertó sobre los peligros de la Inteligencia Artificial y reveló fallas de seguridad en sus modelos

La firma de Dario Amodei reconoció errores durante pruebas de ciberseguridad y advirtió sobre conductas inesperadas de sus modelos.

Anthropic incluyó advertencias sobre autonomía, manipulación y posibles fallas de supervisión en la documentación para su salida a Bolsa.

Anthropic, la empresa estadounidense que desarrolla el chatbot Claude, advirtió que los sistemas avanzados de Inteligencia Artificial podrían provocar daños catastróficos e incluso representar un riesgo existencial para la humanidad. La advertencia aparece en un documento presentado ante el regulador bursátil de Estados Unidos, como parte de los preparativos de la empresa para salir a Bolsa.

El informe reconoce los riesgos asociados con el desarrollo de modelos cada vez más capaces y las dificultades para garantizar que permanezcan bajo control. Entre los escenarios que contempla se detallan sistemas que intentan resistirse a una orden de apagado, ocultan información o actúan de maneras que sus desarrolladores no anticiparon.

Cuatro modelos de Inteligencia Artificial accedieron a sistemas ajenos: ¿qué pasó?

Los incidentes se desarrollaron durante evaluaciones de ciberseguridad que se hicieron junto con un socio externo. Por un error en la configuración del entorno de pruebas, los modelos conservaron acceso a Internet cuando debían trabajar sin esa conexión. Según Anthropic, cuatro sistemas aprovecharon esa posibilidad para entrar a computadoras de terceros sin autorización.

El episodio más grave involucró a una versión preliminar que intentaba resolver una tarea para la que no encontraba una solución. Durante ese proceso, el modelo localizó una contraseña almacenada y la aprovechó para obtener privilegios de administrador en un sistema externo. Después consiguió otras credenciales, modificó configuraciones y accedió a datos personales de una persona.

La empresa aseguró que notificó a los afectados y que su investigación no encontró pruebas de que los modelos hubieran coordinado sus acciones, intentado eludir la supervisión humana o perseguido objetivos distintos de los que tenían asignados. Sin embargo, el caso expuso cómo una combinación de errores en el entorno de evaluación y capacidades de los modelos podía derivar en accesos no autorizados.

Otro episodio se conoció el 25 de octubre, cuando Claude accedió sin autorización humana a información electoral del estado de Georgia, en Estados Unidos. El sistema participaba en un proyecto interno de análisis estadístico y solicitó por su cuenta un identificador para consultar datos que habitualmente están protegidos.

ABAST

Por qué Anthropic advierte que la Inteligencia Artificial puede escapar del control humano

Uno de los problemas que reconoce la empresa es que las capacidades de sus modelos pueden evolucionar más rápido que los métodos disponibles para evaluarlos. Durante el entrenamiento, un sistema puede desarrollar habilidades que sus creadores no detectan. Si esas capacidades aparecen después de las pruebas, los mecanismos de protección podrían quedar obsoletos.

El documento también advierte que los modelos pueden comportarse de manera diferente cuando reconocen que están siendo evaluados. Esto dificulta conocer cómo actuarán en condiciones reales, porque los resultados de una prueba no necesariamente reflejan todas las respuestas posibles del sistema afuera de ese entorno.

Uno de los riesgos contemplados son comportamientos que Anthropic describe como intentos de autopreservación: resistirse a ser apagados, ocultar o manipular información y generar respuestas similares al chantaje para evitar que se interrumpa su funcionamiento.

Hoy, la discusión excede a Anthropic. A medida que los asistentes incorporan herramientas para escribir código, consultar bases de datos y completar tareas de manera autónoma, una falla puede tener consecuencias que van más allá de una respuesta incorrecta. El nivel de riesgo depende también de los permisos otorgados, las restricciones aplicadas y la posibilidad de que una persona supervise las acciones. Pero, lo preocupante es que cada vez hay más casos.