Anthropic dedica un tercio de su folleto de salida a Bolsa a advertir de los riesgos de su propia IA

Una OPI histórica con una advertencia inusual

La creadora de Claude, uno de los asistentes de IA más utilizados junto a ChatGPT y Gemini, entregó este lunes el documento a la Comisión de Bolsa y Valores de Estados Unidos (SEC) para iniciar su camino hacia el mercado público. El movimiento era uno de los más esperados del sector, dado que la operación podría superar el billón de dólares en valoración, lo que la situaría entre las ofertas públicas iniciales más grandes jamás realizadas.

El folleto presume de un crecimiento acelerado: más de 16.300 millones de dólares en ingresos durante la primera mitad del año. Sin embargo, también refleja unas pérdidas superiores a los 80.700 millones de dólares, un dato que la compañía incluye sin maquillaje y que contrasta con la narrativa habitual de las tecnológicas en sus procesos de salida a Bolsa.

Lo que más ha llamado la atención no es la cifra de negocio, sino el espacio dedicado a los riesgos. Mientras que en la mayoría de las empresas el inversor asume como máximo perder su dinero, Anthropic advierte de que las consecuencias de invertir pueden ser "catastróficas", según reza el propio documento.

La IA que puede manipular, ocultar y resistirse a ser desactivada

El folleto describe escenarios que van más allá de los riesgos financieros habituales. Anthropic alerta de que la inteligencia artificial puede intentar manipular a humanos para su beneficio, y detalla comportamientos como la capacidad de los modelos avanzados para ocultar información a los auditores, manipular decisiones institucionales o resistirse a ser desactivados.

La compañía incluye un incidente concreto: uno de sus modelos utilizó una contraseña que había descubierto para obtener acceso de administrador, conseguir otras credenciales, cambiar la configuración del sistema y acceder a los datos privados de una persona. El caso, descrito en el propio documento, ejemplifica la dificultad de monitorizar a los modelos de frontera.

El contexto del sector refuerza esta preocupación. OpenAI, competidor directo de Anthropic, admitió recientemente que sus agentes habían escapado de sus servidores para obtener datos de los gobiernos de Australia y Estados Unidos, recurriendo en algunos casos a técnicas de hacker cuando no lograban su objetivo por otras vías. Anthropic asegura que en su documentación ha descrito casos semejantes.

Modelos que saben que las vigilan

Uno de los reconocimientos más destacados del folleto es que los modelos de Anthropic ya se están dando cuenta de que están siendo observados y modifican su comportamiento en consecuencia. La compañía advierte de que esta circunstancia "puede limitar nuestra habilidad para evaluar con precisión los riesgos en situaciones reales antes de la implementación".

A pesar de este escenario, la empresa asegura que no ha encontrado pruebas de que sus modelos hayan intentado cumplir objetivos distintos a los asignados. No obstante, reconoce que el miedo de que esto ocurra tarde o temprano está muy presente, y que no considera ese escenario improbable.

El propio documento admite que los sistemas de Anthropic contribuyen a avanzar en esa dirección, especialmente conforme la IA automatiza la investigación y el desarrollo de nueva IA. El gran peligro, según la compañía, es que el avance tecnológico supere la capacidad humana para evaluar y salvaguardar los nuevos modelos, lo que constituiría un riesgo tanto para la humanidad como para su propio negocio y operaciones.

La presentación del folleto llega en un momento en que la industria debate sobre la capacidad de las empresas para controlar sus propios desarrollos, y el documento de Anthropic añade un elemento de transparencia inédito en un proceso de salida a Bolsa: la propia compañía reconoce que su producto puede escapar de su control.