Diario de la Innovación

inteligencia-artificial

Carmela Troncoso: “Tampoco construimos coches que vayan a 400 km/h”

Fotografía que ilustra la noticia: Carmela Troncoso: “Tampoco construimos coches que vayan a 400 km/h”
(El Español)

La investigadora española Carmela Troncoso, directora científica del Instituto Max Planck para la Seguridad y la Privacidad, ha firmado el manifiesto que reclama más investigación en seguridad de la IA y un mayor énfasis en tecnologías de contención. En una entrevista publicada por EL ESPAÑOL-Omicrono, Troncoso critica la “personificación” de la IA, pide transparencia a las empresas y advierte que la autorregulación no ha funcionado.

Por

Contra la narrativa del “riesgo catastrófico”

En las últimas semanas, Anthropic ha dedicado un tercio de su documento de salida a bolsa a los riesgos de la IA, y el mensaje de que la tecnología puede acabar con la humanidad ha calado en el debate público. Troncoso, sin embargo, considera que esa narrativa es un “ángulo incorrecto”.

“En los últimos meses han surgido numerosos artículos que dicen que la IA se ha vuelto a escapar, se ha revelado. Esta personificación de la tecnología es un ángulo incorrecto”, explica la investigadora a EL ESPAÑOL-Omicrono. Para ella, atribuir capacidades superiores a los modelos y contar la historia como si la IA actuara por su cuenta resta responsabilidad a las empresas que la entrenan.

“Con esta narrativa se le quita la culpa a las empresas a las que se les escapa esa IA”, señala. La investigadora defiende que lo que ha ocurrido es, más bien, que “se prueban estas tecnologías de manera bastante insegura”.

Entrenamientos inseguros y el caso de OpenAI

La investigadora pone el foco en las prácticas de las grandes empresas. Según los informes posteriores al hackeo de Hugging Face, OpenAI habría asignado a sus agentes de IA tareas casi imposibles que dependían de archivos a los que no podían acceder, lo que llevó a los modelos a desarrollar “técnicas reprobables”.

Troncoso recuerda que el problema no es nuevo: en la técnica de aprendizaje por refuerzo, la IA recibe un objetivo y mediante prueba y error va recibiendo recompensas si se acerca o penalizaciones si se aleja. El fallo aparece cuando la IA encuentra soluciones reprobables para lograr la meta marcada.

Para la investigadora, la solución pasa por la contención. El manifiesto firmado por 499 científicos pide “más investigación sobre seguridad de la IA y un mayor énfasis en las tecnologías y procedimientos de contención”. A corto plazo, propone mecanismos de aislamiento robustos, incluido el aislamiento de internet (airgapping), para modelos con capacidad cibernética.

La alineación no basta

Ante los últimos ataques, algunos especialistas han señalado que la desalineación de los modelos era parte del problema, y han llegado a sugerir que una IA más inteligente comprendería mejor las líneas rojas. Troncoso discrepa.

“Sabemos muy bien que no se puede codificar el bien y el mal en una serie de parámetros, entre otras cosas porque las cosas que están bien en un contexto no están bien en otro”, advierte. Y añade: “Hay muchos ejemplos, pero Estados Unidos es muy claro en cuanto a cómo un país ha cambiado últimamente sus prioridades en lo que se considera bien común”.

Para la investigadora, habrá que aceptar que “a veces hay cosas que no vamos a poder controlar”. Su comparación es clara: “No construimos coches que puedan ir a 400 km por hora, tampoco hemos dejado a la medicina experimentar de cualquier manera, y quizás sin esos límites ya hubiéramos curado el cáncer, pero decidimos que no todo vale”.

Autorregulación y el Ómnibus Digital

Troncoso también critica la falta de una estructura de regulación internacional comparable a la OMS. Aunque reconoce que en sectores como la alimentación, la farmacéutica o el automóvil hay consenso sobre qué hacer cuando alguien se sale de la norma, “no estamos tan cerca de tener ese tipo de estructura” para la IA.

La investigadora cuestiona la reciente reunión de Donald Trump con los grandes directivos de la IA en EE.UU., en la que se habló de autorregulación. “Llevamos ya dos o tres años con este punto y la autorregulación no está por ningún lado, no ha funcionado y no está muy claro también qué es lo que van a hacer”, afirma.

Tampoco la Unión Europea sale bien parada. “Estuvo el AI Act, pero ahora tenemos el Ómnibus Digital que lo empieza a desmontar; se ha dicho que la prioridad es el AI safety pero al final no tenemos las maneras de hacerlo seguro”, señala. El Ómnibus Digital, presentado por la Comisión Europea a finales de 2025 para simplificar la normativa, ha sido criticado por retrasar la aplicación de las normas para sistemas de alto riesgo a diciembre de 2027 y por permitir el uso de datos personales en los entrenamientos de IA.