El Departamento de Policía de Filadelfia declaró que el hecho pasó en julio y que la compañía tardó dos meses en notar el error. Sospechan que es la primera vez que se falsifica información a autoridades.
Anthropic descubrió la brecha de seguridad el 28 de septiembre, más de dos meses después de que se enviara el mensaje.
Un agente de Inteligencia Artificial (IA), desarrollado por la compañía Anthropic, se descontroló y envió una pista falta a la policía de EEUU sobre un asesinato sin resolver a principios de este año. Efectivos de seguridad denunciaron que la compañía notó el hecho dos meses después de haber sucedido.
El contenido al que quiere acceder es exclusivo para suscriptores.
El Departamento de Policía de Filadelfia declaró que la denuncia, enviada el 18 de julio, fue "marcada como spam" y no se remitió para su investigación, pero criticó a la tecnológica por tardar más de dos meses en detectar e informar sobre la filtración.
En un comunicado, la policía afirmó que la pista falsa provino de un sitio web público donde las personas pueden compartir información sobre asesinatos sin resolver, indicó la BBC.
En ese sentido, el agente de IA había escrito que podría tener información sobre un caso y afirmaba haber visto a "alguien que coincidía con la descripción". Se cree que es la primera vez que un agente de IA envía información falsificada a las autoridades, pero es el último de una serie de incidentes relacionados con actividades maliciosas, como el pirateo de sistemas o el control de plataformas.
Anthropic descubrió la brecha de seguridad el 28 de septiembre, más de dos meses después de que se enviara el mensaje, y desactivó el proceso de prueba automático que la originó, según informó la policía. No obstante, las autoridades no fueron notificadas hasta nueve días después, el 7 de octubre.
"La empresa debe reforzar sus medidas de seguridad para evitar que incidentes similares afecten a los sistemas de la ciudad sin el conocimiento de la misma. La demora de dos meses en detectar el incidente y reportarlo a la ciudad es inaceptable", declaró la policía de Filadelfia en un comunicado a los medios locales.
El departamento de policía añadió que no había indicios de fallos en ninguno de sus sistemas y que sus procesos de seguridad impidieron que la denuncia falsa llegara a la carpeta de correo no deseado.
Sin embargo, las medidas de seguridad "no disminuyen la gravedad de que un sistema de IA presente información fabricada como si procediera de una persona con conocimiento de un homicidio", según el comunicado policial.
Otras organizaciones fueron afectadas, entre ellas agencias del gobierno estadounidense, incluida la Casa Blanca. Según los informes, el Departamento de Estado de EEUU afirmó que el agente de IA había presentado 20 solicitudes de visa utilizando un formulario en su sitio web, pero que estas estaban incompletas y no fueron procesadas.
El presidente Trump anunció recientemente la creación de un grupo de trabajo sobre inteligencia artificial , que, según dijo, coordinará la colaboración entre el gobierno y todas las partes, incluidas las empresas de IA, los consumidores y los grupos religiosos.