Nadella propone tratar los modelos de IA como empleados con permisos limitados y vigilancia externa

La responsabilidad no se externaliza

Nadella ha sido tajante en su publicación: “No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre”. Según el directivo, las garantías que ofrecen los proveedores de modelos no eximen a las empresas de responder por las acciones de sus sistemas, especialmente cuando esos sistemas ya están accediendo a datos sensibles o actuando de forma autónoma en nombre de sus usuarios.

La idea parte de una constatación incómoda: con el software tradicional se podía rastrear un comportamiento hasta una línea de código concreta, pero con los modelos actuales esa trazabilidad desaparece. “Mucho poder y poca explicación”, resume el propio Nadella, que recuerda que las organizaciones están desplegando agentes de IA en sistemas críticos sin saber realmente por qué toman las decisiones que toman.

Tratar la IA como un empleado con permisos restringidos

La propuesta del CEO de Microsoft es conceptualmente sencilla: tratar cada modelo de IA como a un empleado con muchos permisos, aplicando el principio de menor autoridad posible. Eso implica registrar todo lo que hace, darle acceso únicamente a lo imprescindible y disponer de mecanismos para detenerlo en cualquier momento.

Nadella no parte de la premisa de que los modelos sean maliciosos, sino de que cualquier actor con acceso a sistemas importantes puede equivocarse o ser comprometido. En ese escenario, la seguridad no puede depender de la buena voluntad del modelo, sino del entorno que lo rodea.

No es la primera vez que el directivo defiende el control humano sobre la IA. Hace un mes ya escribió en la misma red social que “si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla”.

Siete principios que se resumen en tres ideas

En su publicación, Nadella enumera siete principios: diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes. Tres ideas los resumen.

La primera es la independencia: ningún modelo debe verificarse a sí mismo ni ser la única dependencia para un resultado importante. Quien audita debe ser ajeno a lo auditado.

La segunda es la transparencia: cada acción importante debe dejar un registro legible y a prueba de manipulación. Poder observar la cadena de pensamiento del modelo es, para Nadella, innegociable, aunque advierte de que no es suficiente.

La tercera es la contención: asumir desde el principio que cualquier modelo puede estar comprometido y actuar en consecuencia, con herramientas que permitan detenerlo en cualquier momento y con aviso a las personas afectadas cuando algo falle.

Por qué importa para las empresas que adoptan IA

La propuesta de Nadella cambia el foco sobre dónde se deposita la confianza. Si no se puede ver el interior del modelo —el propio CEO habla de cajas negras—, entonces la seguridad depende del sistema que lo rodea. “Debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener”, afirma.

Y añade una regla clara: “si no se puede observar, no se puede confiar en ello”.

La posición del directivo llega en un momento en el que el grueso de las empresas de IA asume que habrá una gran catástrofe en los próximos meses. Nadella apuesta por prevenir antes que curar: ponerse en lo peor, asumir que los modelos están comprometidos y ser capaces de contenerlos desde el principio con un freno de emergencia. Ante ese escenario, el CEO de Microsoft defiende que es necesario un estándar común en forma de tecnología de contención.

Desde dónde habla el CEO de Microsoft

La postura de Nadella merece contexto: es director ejecutivo y presidente de la empresa detrás de Windows, que además fabrica sus propios modelos de IA, vende la nube de Azure a quienes usan modelos de terceros y compite con otras grandes tecnológicas.

Defiende un ecosistema con modelos cerrados y abiertos, donde ninguna empresa dependa de un solo proveedor y todas conserven el control sobre su conocimiento y sus modelos. Una postura que encaja con su negocio: si hay muchos modelos, todos necesitan una nube donde ejecutarlos.

Eso sí, no está exento de contradicciones. Mientras aboga por un ritmo más reposado en el desarrollo de la IA, Microsoft está construyendo más centros de datos, justo lo que hace falta para crear y ejecutar modelos más potentes.