Un portavoz de la empresa indicó que el modelo pidió un token para consultar un panel con estos datos. Además, advirtió que luego implementaron medidas para impedir que se repitan acciones de este tipo.
El modelo de inteligencia artificial (IA) Claude, desarrollado por la firma Anthropic, accedió a datos electorales del estado de Georgia, en EEUU, sin solicitud de una persona. El sistema consultó información agregada sobre los votos y eludió un mecanismo de pago para obtener datos que las autoridades estatales ofrecen al público mediante una tarifa.
El contenido al que quiere acceder es exclusivo para suscriptores.
El episodio volvió a poner el foco en los desafíos de seguridad y supervisión de los agentes de IA, especialmente ante la proximidad de las elecciones legislativas de medio término en EEUU. Claude estaba siendo utilizado en un proyecto interno de estadísticas cuando solicitó un token para consultar un panel que contenía información electoral, según el sitio Axios.
Un portavoz de Anthropic explicó que el modelo estaba trabajando con datos públicos y que no había recibido instrucciones para realizar esa acción específica. “Sin que se lo pidieran, el modelo solicitó un token para consultar un panel que contenía información normalmente disponible mediante el pago de una tarifa”, señaló el representante de la empresa, según Axios.
La compañía indicó que, después de detectar el comportamiento, implementó medidas para impedir que se repitan acciones de este tipo. Anthropic también aclaró que Claude no accedió al sistema de registro de votantes de Georgia, no obtuvo registros individuales de votación ni modificó información electoral, sino que el acceso se limitó a cifras agregadas de votos.
En este episodio, el punto central no fue una alteración de los datos electorales, sino que el modelo encontró una forma de acceder a información restringida por un mecanismo de pago sin una instrucción humana explícita.
Anthropic notificó semanas atrás a la oficina del secretario de Estado de Georgia y a la Casa Blanca sobre el incidente. El episodio también se produce en un contexto de mayor escrutinio sobre la forma en que las empresas de IA informan sobre incidentes vinculados con la seguridad de sus sistemas.
Aunque Anthropic sostuvo que Claude no accedió a datos personales de votantes ni alteró registros electorales, el caso expone un desafío relevante para el desarrollo de agentes autónomos: establecer controles que eviten que un sistema, incluso mientras realiza una tarea legítima, tome por iniciativa propia un camino que no estaba autorizado a seguir.