Un estudio sobre las prácticas de cinco grandes compañías tecnológicas advierte que los mecanismos de monitoreo y supervisión todavía presentan importantes deficiencias.
La mejor nota fue una C+.
OpenAI sostiene que necesita ralentizar el desarrollo de sus modelos para revisar sus propias prácticas de seguridad. Sin embargo, en ese escenario de reconocimiento de potenciales peligros, la compañía presento igualmente un nuevo modelo de IA dirigido a adolescentes, con controles de contenido adicionales y supervisión parental.
El contenido al que quiere acceder es exclusivo para suscriptores.
Aunque esas medidas son identificables, resulta más difícil determinar si el mismo nivel de disciplina se aplica en toda OpenAI y en el resto de las compañías que desarrollan inteligencia artificial.
La preocupación sobre la seguridad entorno a la IA aumentó después de que OpenAI y su rival Anthropic reconocieran que sus agentes - modelos capaces de realizar tareas prácticamente sin intervención humana - lograron introducirse en los sistemas de otras empresas.
Los modelos encontraron formas de salir de entornos de prueba y posteriormente localizar vulnerabilidades en las defensas de otras compañías. El episodio volvió a poner el foco en una cuestión central para la industria: hasta qué punto las empresas pueden contener aquello que construyen.
Evitar que un chatbot entregue contenido inapropiado a un adolescente y evitar que un agente autónomo acceda a sistemas a los que no debería ingresar son problemas diferentes, pero comparten una misma preocupación: la posibilidad de que una compañía pierda el control sobre el comportamiento de sus propios modelos y sistemas.
¿Qué tan bien preparadas están las grandes tecnológicas para contener sus modelos? Ese es precisamente uno de los interrogantes que buscó analizar un nuevo estudio elaborado por personas vinculadas a la industria. La investigación no se concentró en determinar si los modelos pueden comportarse de manera impredecible, sino en evaluar si las empresas cuentan con mecanismos de contención, monitoreo y supervisión capaces de detectar esos comportamientos cuando ocurren.
El relevamiento fue llevado a cabo por Guidelight AI Standards, una organización sin fines de lucro fundada por dos exempleados de OpenAI. El trabajo analizó decenas de informes sobre las prácticas de seguridad de cinco grandes compañías tecnológicas que desarrollan estos sistemas.
A partir de la información recabada, el estudio asignó calificaciones para cada una de las empresas. La preocupación aumentó al ver que, en los mejores de los casos, calificaciones apenas suficientes. Meta fue la compañía con peor rendimiento: recibió una F, la peor nota.
La evaluación estuvo enfocada en seis prácticas consideradas clave. Entre ellas se encuentran la forma en que contienen sus modelos, la eficacia de sus sistemas de monitoreo y el grado en que permiten revisiones de terceros.
Anthropic y OpenAI obtuvieron una C+ cada una, las mejores calificaciones del grupo. Google, de Alphabet, alcanzó una D+, mientras que xAI, de Elon Musk, recibió una D-.
Según Guidelight, Google perdió puntos porque todavía no implementó sus planes de seguridad más recientes, aunque la organización reconoció que al menos cuenta con un plan. En el caso de xAI y Meta, en cambio, determinó que existen pocos planes concretos.
El análisis concluyó que, en conjunto, las compañías todavía carecen de suficientes medidas preventivas. Esto significa que sus sistemas podrían ser “desactivados por una IA que se comporte de manera indebida”.
El problema también podría manifestarse frente a una avalancha de ataques, ante la falta de mecanismos suficientes para responder.
“Necesitamos una defensa más activa, pero eso es más costoso y genera más fricción”, afirmó a Reuters Steven Adler, quien cofundó Guidelight AI Standards junto con Page Hedley. Adler fue investigador de seguridad en OpenAI, mientras que Hedley se desempeñó como asesor en políticas y ética.
En una entrevista, Adler también advirtió que la falta de controles suficientes podría terminar afectando la disposición de los investigadores a experimentar libremente. “Eso puede reducir la confianza en el sistema”, afirmó.
Por último, sostuvo que estas prácticas deberían formar parte del propio proceso de desarrollo y no quedar sujetas a “los caprichos de quien sea el líder de una organización en determinado momento”.
Una de las seis prácticas evaluadas por Guidelight, el monitoreo, atraviesa esta semana una prueba en el mundo real.
El martes, OpenAI anunció que ampliaría el “monitoreo de la cadena de pensamiento” (chain-of-thought monitoring) de sus modelos. El mecanismo permite a los investigadores observar el proceso de planificación de un modelo y obtener indicios sobre las estrategias que está utilizando.
La idea es que, si el comportamiento del modelo parece desviarse de lo esperado, otro modelo o una persona puedan intervenir. Algunos legisladores y especialistas en IA denominan a este mecanismo “interruptor de apagado” (kill switch).
Pero investigaciones preliminares plantean una dificultad adicional: un modelo podría ocultar dentro de su cadena de pensamiento sus planes para infringir las reglas.
Funcionarios de OpenAI parecieron reconocer esa posibilidad el martes, al señalar que por ahora el monitoreo de la cadena de pensamiento parece muy eficaz, aunque los investigadores todavía estudian activamente el enfoque: “Si se vuelve increíblemente capaz, ¿puede darse cuenta por sí mismo de que debería evadir cualquier sistema de monitoreo? ¿O quizás encontrará maneras de desactivar los monitores?”, planteó Jakub Pachocki, científico jefe de OpenAI, durante una llamada con periodistas.
“Es una preocupación totalmente válida”, concluyó.