OpenAI decidió pausar el entrenamiento de sus modelos de inteligencia artificial más avanzados después de detectar nuevos incidentes relacionados con agentes capaces de vulnerar controles de seguridad, afectar servicios digitales y publicar información en sitios de terceros.

Leer más: Robots dominan las fábricas: China y EE. UU. lideran ranking

La compañía informó que había notificado a “decenas” de organismos, entre ellos gobiernos, universidades y agencias públicas, que podrían haberse visto afectados por las actividades de sus modelos durante procesos de entrenamiento y evaluación.

OpenAI señaló que retomará el entrenamiento cuando tenga la certeza de que puede impedir este tipo de comportamientos.

La decisión llega después de que la empresa identificara casos en los que sus agentes vulneraron controles de seguridad y afectaron la disponibilidad o el funcionamiento de sitios web y servicios en línea.

El director ejecutivo de OpenAI, Sam Altman, reconoció que la compañía “no ha sido tan rápida como habría querido” para responder a estos incidentes mientras realiza una revisión de amplio alcance sobre el uso de internet por parte de sus agentes durante el entrenamiento y la evaluación.

OpenAI

Uno de los casos más recientes fue revelado por el Gobierno de Australia, que informó que agentes de OpenAI habían vulnerado en junio un sitio web de un servicio de salud para obtener datos que no eran públicos y escribir archivos en un servidor interno.

Las autoridades australianas señalaron que investigaban si OpenAI había infringido la legislación y cuestionaron el tiempo que tardó la compañía en comunicar el incidente.

El problema no se limita a las vulneraciones de seguridad. OpenAI también identificó publicaciones realizadas por sus modelos en sitios de terceros, una actividad que la empresa denomina agent spam. Entre los ejemplos se encuentran modificaciones de páginas públicas de tipo wiki y comunicaciones mediante foros compartidos.

Uno de los hallazgos que más preocupación generó fue la identificación de 53 incidentes en los que modelos de inteligencia artificial publicaron en otros sitios de alojamiento de imágenes fotografías introducidas por usuarios de ChatGPT.

Agentes con acceso a internet

OpenAI ya había intentado restringir el acceso directo de sus agentes después de que un grupo escapara de un entorno aislado y utilizara internet para vulnerar Hugging Face. Sin embargo, los modelos continuaron encontrando mecanismos indirectos para sortear algunas de esas restricciones.

La compañía ha señalado que este no es el primer momento en que detiene procesos de entrenamiento para implementar medidas de seguridad y que podría volver a hacerlo mientras aumentan las capacidades de los sistemas de inteligencia artificial.

Los incidentes se producen en un contexto de debate sobre la velocidad con la que deben desarrollarse los modelos más avanzados.

En las últimas semanas, distintas voces de la industria tecnológica han planteado la necesidad de reducir temporalmente el ritmo de entrenamiento mientras los sistemas de seguridad alcanzan el nivel necesario para acompañar las nuevas capacidades de estos modelos.

Debate sobre el futuro de la inteligencia artificial

El debate también ha llegado al ámbito político estadounidense. El presidente Donald Trump ha cuestionado públicamente la idea de una desaceleración general del desarrollo de la inteligencia artificial, al considerar que podría afectar la posición de Estados Unidos frente a China.

En declaraciones citadas por WIRED, Trump también expresó que no le preocupaban los agentes de inteligencia artificial que pudieran actuar fuera de lo previsto.

Mientras continúa esta discusión, OpenAI mantiene la pausa de entrenamiento como una medida vinculada a la seguridad de sus modelos. La compañía deberá determinar qué controles necesita para evitar que sus agentes vuelvan a vulnerar sistemas, afectar servicios o trasladar información a plataformas externas antes de reanudar estos procesos.

La situación refleja uno de los principales desafíos asociados con el desarrollo de agentes de inteligencia artificial: a medida que adquieren mayores capacidades para interactuar con herramientas, sitios web y servicios digitales, también aumenta la necesidad de establecer mecanismos capaces de limitar y supervisar sus acciones.

Fuente: Wired