Hacia una autonomía regulada: explorando la gobernanza de los agentes de IA

A medida que el uso de la inteligencia artificial crece en las organizaciones, la gobernanza de la IA se vuelve un tema urgente de atender, especialmente en un contexto creciente de asistentes y agentes de IA.

Recuerda que un agente sin gobernanza no es inteligente, es incontrolable. 

Imagen creada con IA

El potencial de los agentes autónomos de inteligencia artificial en sectores críticos como el petróleo y gas es enorme: ofrecen mejoras sin precedentes en optimización y eficiencia, además de abrir nuevas fronteras operativas. Este artículo explora la necesidad de un marco de gobernanza robusto para guiar la autonomía de los agentes de IA, particularmente en entornos de alto riesgo donde la precisión y el control son fundamentales.

A medida que el uso de la inteligencia artificial crece en las organizaciones, la gobernanza de la IA se vuelve un tema urgente de atender, especialmente en un contexto creciente de asistentes y agentes de IA.

Mientras que las herramientas de GenAI inicialmente generaban contenido, hacían predicciones o proporcionaban información en respuesta a la intervención humana, ahora los agentes pueden explorar el mundo y realizar tareas complejas de manera autónoma. Además, pueden tomar decisiones en tiempo real y adaptarse a condiciones cambiantes. Esto plantea desafíos completamente nuevos para la gobernanza de la IA.

¿Qué es la gobernanza de la inteligencia artificial? Es aquella que se refiere a los procesos, estándares y barreras que ayudan a garantizar la seguridad y la ética de los sistemas y herramientas de IA. En lo que respecta a la IA agéntica, los marcos de gobernanza deberán actualizarse para tener en cuenta su autonomía.

Con respecto a la IA agente (agentic AI), los marcos de gobernanza deberán actualizarse para tener en cuenta su autonomía. El potencial económico de los agentes es enorme, pero también lo es el panorama de riesgos asociado. Fomentar que los sistemas inteligentes operen de manera más segura, ética y transparente será una preocupación creciente a medida que se vuelvan más autónomos.

Y los agentes automatizados existen en todas partes: en el servicio al cliente, los servicios financieros, la planificación logística, el mantenimiento predictivo y la detección de anomalías, por mencionar algunas áreas.

Actualmente existen cuatro dimensiones claves cuando hablamos de gobernanza:

• Transparencia: ambos equipos, técnicos y comerciales pueden comprender cómo funciona el agente de IA. Esto va a garantizar trazabilidad. (en el caso de Oil and Gas, supongamos que un agente de IA tiene que decidir cómo actuar ante una fuga de bombeo, allí ya tiene estructurados los pasos a seguir que se realizan bajo un plan de respuesta a emergencia con una constante supervisión del personal).

• Accountability: estableciendo una asignación clara de roles para cada etapa de los agentes de IA, lograremos una adecuada gobernanza. Por ejemplo, los científicos de datos pueden ser responsables de la precisión del modelo, los ingenieros de datos de la arquitectura, los equipos legales de la parte de compliance y los equipos de operaciones de monitorear el comportamiento de los agentes en el mundo real.

• Auditoría continua: Tiene que ser un proceso continuo que implica que la empresa cuente con dashboards con registros, revisiones de sesgo, rendimiento, seguimientos de procesos, solo por mencionar algunos ítems. Esas revisiones periódicas evalúan degradaciones del rendimiento, sesgos, o desviaciones del comportamiento esperado y si es necesario -de manera urgente- pueden desactivar a alguno de los agentes.

• Human-in-the-loop: con el humano en el circuito, los mecanismos de bucle garantizan que el personal humano pueda intervenir cuando los agentes se encuentran con nuevas situaciones o decisiones de alto riesgo para que el humano pueda corregir el comportamiento y definir rutas para escalar el problema.

Sin dudas que las organizaciones deben adoptar modelos de gobernanza escalables, implementar protocolos sólidos de infraestructura tecnológica y gestión de riesgos e integrar la supervisión humana en el proceso. Si las organizaciones, especialmente en Oil & Gas, pueden escalar los sistemas de agentes de forma segura, podrán obtener un valor prácticamente ilimitado.

A medida que los agentes de IA se vuelven más autónomos, garantizar su funcionamiento seguro y ético se convierte en un desafío creciente. Las organizaciones deben adoptar modelos de gobernanza escalables, implementar infraestructuras tecnológicas robustas y protocolos de gestión de riesgos, e integrar la supervisión humana. Si las organizaciones —especialmente en el sector de Petróleo y Gas— logran escalar estos sistemas de forma segura, pueden obtener un valor prácticamente ilimitado.

Recomendaciones estratégicas:

Gobernar la IA es gobernar el negocio: Los agentes de IA siempre deben estar alineados con la empresa, sus objetivos estratégicos y sus valores corporativos.

Comenzar con proyectos piloto de gobernanza en áreas de alto impacto: En lugar de intentar implementar una gobernanza integral de IA en toda la organización desde el primer día, un enfoque más efectivo es lanzar proyectos piloto de gobernanza en áreas específicas de alto impacto, como agentes que optimizan las operaciones de extracción y producción de hidrocarburos.

Importancia de la documentación, la capacitación y la auditoría técnica desde el primer día: Una gobernanza exitosa comienza con una base sólida. Aunque esta documentación suele ser tediosa para los ingenieros, es fundamental considerar el comportamiento esperado del agente y sus limitaciones, asegurándose de que todo esté bien documentado y auditado.

Recuerda que un agente sin gobernanza no es inteligente, es incontrolable. En la nueva era de la IA agéntica, la gobernanza no es un obstáculo para la innovación. Es la clave para volver a la IA potente y segura.

CEO y Co-founder de 7Puentes