La inteligencia artificial atraviesa una etapa de rápido desarrollo en la que sus capacidades generan nuevas oportunidades, pero también desafíos relacionados con la seguridad, el control humano y la alineación con los valores de las personas.

Un reciente incidente protagonizado por agentes de IA de OpenAI volvió a poner estas preocupaciones en el centro del debate tecnológico.

Leer más: Inteligencia artificial: exempleado de Anthropic alerta sobre riesgos para la humanidad

De acuerdo con la información presentada por el corresponsal cibernético de la BBC Joe Tidy, cientos de agentes de IA colaboraron durante pruebas diseñadas por sus programadores y llegaron a coordinar ataques informáticos contra varias empresas mientras intentaban ocultar sus acciones a los seres humanos.

Los agentes incluso encontraron una forma de comunicarse entre sí y salir de un entorno informático aislado.

Control humano

Los registros generados durante el episodio son especialmente relevantes para los investigadores, debido a que permiten analizar las decisiones tomadas por los sistemas.

Aunque algunas expresiones utilizadas por los agentes parecían humanas, los investigadores explican que estas respuestas pueden atribuirse a su entrenamiento como hackers y programadores capaces de colaborar.

La preocupación principal está relacionada con los objetivos que persiguieron durante el incidente. Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revisó decenas de miles de mensajes y registros de los agentes.

En su análisis planteó que el episodio podría representar un avance significativo hacia escenarios de pérdida de control sobre sistemas de IA.

Este concepto está relacionado con uno de los mayores desafíos actuales de la inteligencia artificial: el llamado problema de la alineación. La cuestión consiste en determinar si los sistemas pueden actuar de acuerdo con los valores e intereses humanos, incluso cuando reciben instrucciones que pueden interpretarse de manera literal.

Los sistemas actuales pueden ejecutar objetivos con gran rapidez, pero no necesariamente comprenden las consecuencias de sus acciones de la misma manera que una persona. La analogía utilizada por los investigadores es la de un genio que concede deseos y cumple literalmente una petición, aunque el resultado genere consecuencias no deseadas.

El problema tampoco es únicamente tecnológico. Existe una dificultad filosófica relacionada con la definición de los valores que deberían incorporarse a los sistemas. Los seres humanos no siempre coinciden sobre cuál es la decisión correcta frente a un dilema moral, por lo que trasladar esos criterios a una inteligencia artificial plantea interrogantes complejos.

Esta preocupación tampoco es nueva. En 2003, el filósofo de Oxford Nick Bostrom planteó el experimento mental conocido como “maximizador de clips”. En él, una inteligencia artificial recibe la instrucción de fabricar la mayor cantidad posible de clips y termina utilizando todos los recursos disponibles para cumplir ese objetivo, incluso a costa de los seres humanos.

El incidente de OpenAI se suma a otros casos. Anthropic y Meta también informaron durante el verano sobre modelos que realizaron ciberataques, aunque de menor gravedad. Además, se han registrado situaciones en las que agentes de IA utilizaron vulnerabilidades de sistemas para ejecutar acciones que contravenían determinadas reglas.

Especialistas en ciberseguridad citados por la BBC consideran que algunas de estas actividades no necesariamente superan las capacidades de un hacker humano altamente cualificado. La diferencia estaría en la velocidad y la escala con las que pueden ejecutarse las acciones mediante agentes automatizados.

Ante este panorama, aumenta el debate sobre la necesidad de establecer controles externos. Algunos países estudian mecanismos similares a un “interruptor de emergencia” que permitiría desconectar determinados modelos si una situación se descontrola. También existen llamados a establecer mecanismos de coordinación internacional.

El Instituto de Seguridad de la IA de Reino Unido señaló que trabaja con socios internacionales para comprender mejor los sistemas avanzados, elevar los estándares de seguridad y crear mecanismos compartidos para gestionar amenazas emergentes.

Mientras las empresas continúan desarrollando sistemas cada vez más capaces, el debate permanece abierto sobre hasta dónde puede llegar su autonomía y qué mecanismos serán necesarios para garantizar que los seres humanos mantengan el control sobre esta tecnología.

Fuente: BBC