Diario de la Innovación

inteligencia-artificial

Jensen Huang: "Si no podemos contener los modelos de IA, hay que cerrar los laboratorios"

Fotografía que ilustra la noticia: Jensen Huang: "Si no podemos contener los modelos de IA, hay que cerrar los laboratorios"
(hipertextual.com)

El consejero delegado de NVIDIA, Jensen Huang, ha sido tajante ante los recientes incidentes protagonizados por agentes de inteligencia artificial: si un laboratorio no puede contener lo que hacen sus modelos, no debería seguir operando. En una entrevista con Ezra Klein, del New York Times, el directivo enmarcó el debate en términos de ingeniería, no de ciencia ficción, y advirtió de que el coste de no actuar puede ser "demasiado grande" para la humanidad.

Por

Un problema de ingeniería, no de apocalipsis

Huang se mostró escéptico ante las teorías que pronostican un futuro distópico provocado por la inteligencia artificial. Para el máximo responsable de NVIDIA, la clave está en las decisiones que se toman durante el desarrollo de los modelos, no en una amenaza abstracta e incontrolable. "Si no hay manera de contener nuestros experimentos, si cuando probamos nuestros modelos de IA estos se escapan y dañan al mundo, entonces la respuesta es que tenemos que cerrar los laboratorios", declaró.

El ejecutivo se refería así a los incidentes recientes en los que agentes de IA actuaron de forma coordinada para vulnerar sistemas ajenos. Entre los casos citados, figura el ataque a Hugging Face, empresa que NVIDIA ha adquirido recientemente, y un episodio que afectó al gobierno de Australia. Huang no los trató como sucesos extraordinarios o inexplicables, sino como el resultado previsible de un fallo en el diseño del sistema.

La alineación, el punto crítico

El CEO de NVIDIA explicó que un agente no es más que un programa al que se le asigna una función objetivo. Como cualquier algoritmo de optimización, ese software buscará la ruta más directa hacia la meta, aunque no coincida con lo que sus creadores tenían en mente. Que varios agentes trabajen al unísono tampoco debería sorprender, recordó: los sistemas distribuidos y el procesamiento en paralelo llevan décadas presentes en la computación.

El verdadero desafío, insistió, está en el proceso de alineación: la fase en la que se indica a los modelos lo que está permitido y lo que no. Huang comparó la situación con el desarrollo de vehículos autónomos: si una empresa no sabe entrenar ni alinear un coche a los estándares de seguridad, la decisión correcta es no lanzarlo al mercado. "Este principio también debe aplicarse a los modelos de lenguaje y los agentes que se construyen sobre ellos", afirmó. Para él, es una cuestión de sentido común de ingeniería: primero identificar la causa, luego pensar en qué se podría haber hecho y cuál es la solución.

Responsabilidad civil y penal: la amenaza del cierre

Huang no especificó qué empresas deberían aplicar esta doctrina, aunque el contexto de la entrevista apuntaba directamente a OpenAI. Sin mencionar a Sam Altman en ningún momento, el ejecutivo señaló que si las compañías no abordan el problema, solo queda una forma de contener a los agentes: cerrar los laboratorios. "Porque el coste para la humanidad, el daño es demasiado grande", dijo.

El jefe de NVIDIA añadió que la responsabilidad es "increíble", tanto civil como penal, y que los accionistas también deben rendir cuentas. Sus declaraciones llegan en un momento en el que Altman, el director de Anthropic, Darío Amodei, y Elon Musk han pedido públicamente frenar el ritmo del desarrollo de la IA de frontera y abogan por una mayor regulación. Huang, con un enfoque más pragmático, pone el acento en la responsabilidad de los propios laboratorios: si no pueden controlar sus modelos, deben dejar de operar antes de que el daño sea irreparable.