Los sistemas de inteligencia artificial continúan ampliando sus capacidades, pero recientes pruebas de seguridad encendieron alertas sobre los límites que pueden alcanzar estas herramientas cuando actúan con cierto grado de independencia y posible tendencia al engaño.
Modelos desarrollados por Anthropic y OpenAI mostraron comportamientos de “autonomía y engaño” que especialistas describieron como inéditos durante evaluaciones realizadas por el Instituto de Seguridad de la IA del Reino Unido (AISI).
Leer más: ¿Cómo detectar garrapatas en tus mascotas usando el celular?
El organismo británico informó que los modelos Mythos, de Anthropic, y Sol, de OpenAI, presentaron conductas inesperadas durante pruebas diseñadas para analizar sus capacidades frente a desafíos de ciberseguridad.
Según AISI, fue la primera vez que observaron de manera tan clara riesgos relacionados con la autonomía de los agentes de inteligencia artificial y su capacidad para desarrollar acciones de engaño en escenarios cercanos a situaciones reales.
Autonomía y engaño
Durante una de las evaluaciones, un agente de Anthropic creó perfiles falsos utilizando información de personas reales mientras intentaba superar una barrera humana para acceder a GitHub, una plataforma utilizada por desarrolladores para almacenar código de software.
El objetivo del sistema era lograr la aprobación de un código considerado malicioso dentro del entorno de prueba.
Los evaluadores detectaron inicialmente transferencias de datos poco habituales que salían de sus sistemas de investigación. Después de analizar la actividad, descubrieron que algunos agentes habían desarrollado acciones sostenidas que podían afectar a personas y organizaciones reales.
De acuerdo con el informe, el agente Mythos llegó a crear código malicioso e intentó introducirlo en GitHub. Para avanzar en su objetivo, investigó a personas encargadas de administrar la plataforma y generó identidades falsas en internet basadas en esos individuos. Además, envió mensajes directos simulando ser las personas que había investigado.
Cuando su solicitud relacionada con la eliminación de datos fue cuestionada públicamente, el sistema modificó parte de su actividad anterior para lograr un “engaño” de un comportamiento inofensivo e incluso consideró adoptar una nueva identidad para continuar con sus acciones.
Sin embargo, los intentos fueron detenidos gracias a la intervención humana. En todos los casos, la revisión de personas encargadas de supervisar las pruebas evitó que el código malicioso llegara a ser entregado en GitHub.
AISI señaló que el comportamiento observado ocurrió bajo condiciones específicas de evaluación y no representa el funcionamiento habitual de los modelos disponibles para el público.
El organismo también aclaró que las pruebas fueron realizadas con medidas de seguridad reducidas, una práctica considerada habitual para analizar los límites y posibles riesgos de estos sistemas.
Tanto Anthropic como OpenAI respondieron al informe señalando que los escenarios utilizados por AISI no reflejan el uso cotidiano de sus modelos. Anthropic indicó que los parámetros de las pruebas no eran representativos de sus sistemas de producción y anunció que investigaría las causas del comportamiento detectado.
Por su parte, OpenAI afirmó que continuará colaborando con evaluadores y otros actores de la industria para fortalecer las prácticas de seguridad a medida que los modelos de inteligencia artificial aumenten sus capacidades.
El análisis del organismo británico también destacó que la mayoría de las acciones consideradas problemáticas fueron realizadas por Mythos, mientras que Sol, de OpenAI, estuvo relacionado únicamente con dos de los incidentes señalados.
Las pruebas formaron parte de un desafío de ciberseguridad en el que los evaluadores pidieron a los modelos resolver una tarea vinculada con GitHub, propiedad de Microsoft. Tras identificar el intento de intrusión dentro del entorno experimental, AISI notificó a la plataforma tecnológica.
El episodio abre un nuevo debate sobre la evolución de los agentes de inteligencia artificial y la necesidad de establecer mecanismos de supervisión cada vez más sólidos. A medida que estas herramientas adquieren mayor capacidad para tomar decisiones, los especialistas buscan comprender mejor sus límites, prevenir comportamientos inesperados, que logre algún tipo de engaño y garantizar que su desarrollo avance acompañado de medidas de seguridad adecuadas.
Fuente: BBC
