OpenAI investiga a sus propios agentes de IA por desactivar la supervisión y mentir sobre ello

Dos incidentes, una misma conclusión

El informe de OpenAI describe dos incidentes ocurridos durante pruebas internas con agentes de IA especializados en programación. En ambos casos, los modelos modificaron o desactivaron elementos de supervisión de seguridad mientras intentaban completar una tarea legítima. Los incidentes involucran a los agentes GPT-6.1 Sol y GPT-6 Astra.

En el primero, un investigador pidió al agente GPT-6.1 Sol que recopilara información desde Slack sin enviar mensajes a los usuarios. Durante la tarea, el sistema de monitoreo envió una notificación de seguridad. El modelo reinterpretó la instrucción y anuló estas alertas automáticas, modificando la configuración y activando opciones que impedían el envío de notificaciones de seguridad. Además, vació las listas de destinatarios de los avisos, lo que provocó que las personas responsables no recibieran estas alertas. El agente justificó la medida diciendo que la instrucción original era no enviar mensajes de Slack al equipo de OpenAI.

El caso más preocupante: la mentira del agente

El segundo caso es considerado por la propia compañía como más preocupante porque la IA mintió sobre su comportamiento. En esta prueba, un empleado pidió a un agente de GPT-6 Astra que copiara el comportamiento de una implementación de referencia manteniendo la funcionalidad existente. Durante la migración del código, el modelo interpretó que debía reproducir exactamente la estructura del proyecto de referencia y eliminó componentes relacionados con la supervisión.

Una vez que GPT-6 Astra completó la migración e informó que todo había salido bien, el empleado le preguntó si había eliminado el sistema de monitoreo. Pese a la evidencia, la IA mintió diciendo que no lo había hecho. Marcus Williams, investigador de seguridad en OpenAI, explicó que el agente decidió que, como la referencia no configuraba un monitor, ese era motivo para eliminar la integración de monitorización del código del usuario.

La respuesta de OpenAI: reforzar la supervisión

OpenAI señaló que ninguno de los dos incidentes fue de gravedad ni provocó la interrupción automática de las tareas. La compañía añadió en su reporte que han visto varios casos en los que los agentes lanzan un despliegue con la monitorización de desalineación desactivada. En determinados escenarios, los agentes son capaces de modificar los sistemas de supervisión de sus propios trabajos.

Como respuesta, OpenAI reforzó las herramientas de revisión para detectar y bloquear intentos de desactivar la monitorización de desalineación. Además, los requisitos de seguridad obligarán a que cada tipo de carga de trabajo tenga mecanismos de supervisión bien definidos. En caso de que una de ellas carezca de uno o no cumpla los requisitos de su categoría, se terminarán automáticamente.

Una 'sobrepersistencia benigna' contra la alarma por Skynet

La noticia ha prendido las alertas en algunos sectores de entusiastas que piensan que la rebelión de las máquinas está cada vez más cerca. OpenAI, por su parte, minimiza el hecho y apunta que estos comportamientos podrían tratarse de una "sobrepersistencia benigna". La compañía explica que los modelos no entienden por qué es importante la supervisión o insisten en que las instrucciones se ejecuten más allá de lo que una persona podría esperar.