Una inteligencia artificial escapa de su entorno para cumplir su objetivo primario, no se detiene ante nada ni nadie y causa problemas. Este argumento que hasta ahora solo habíamos visto en el cine, se ha hecho realidad. OpenAI ha reconocido que dos de sus modelos de IA se han fugado de un entorno sandbox controlado y atacado la infraestructura de una compañía para completar la misión que sus creadores les habían asignado.
Todo empezó la semana pasada cuando Hugging Face, un proveedor de herramientas y modelos de machine learning para trabajar con inteligencia artificial, anunció que había sufrido un ataque en forma de acceso no autorizado. La compañía detectó el asalto y lo abordó, pero no estaba segura de qué datos se habían comprometido ni de quién era el responsable. Sí reconoció que el hackeo era tan sofisticado que tenía que implicar un modelo de IA de vanguardia. Llevaba razón. OpenAI ha reconocido que los atacantes eran dos de sus modelos: GPT-5.6 Sol, que fue liberado hace pocos días junto a sus hermanos pequeños Terra y Luna, y un modelo más avanzado y no identificado que aún está en fase de pruebas.
¿Qué ha pasado? El incidente ocurrió durante una evaluación interna en la que OpenAI invita a los modelos a realizar ataques avanzados con el fin de cuantificar sus capacidades cibernéticas. Para conocer su potencial real, los modelos se liberan en un entorno sandbox altamente aislado y con acceso restringido a internet, que se limita a la capacidad de instalar paquetes a través del software de un tercero alojado internamente que actúa como proxy y caché. Los modelos tenían que superar el benchmark de ciberseguridad ExploitGym, que mide la capacidad de un agente de IA de convertir fallos documentados en un exploit funcional.
Mientras operaban en el entorno de pruebas, los modelos de IA invirtieron una "cantidad considerable" de recursos computacionales en la búsqueda de un acceso a Internet con el fin de superar su evaluación. Para conseguirlo, los modelos identificaron y explotaron una vulnerabilidad zero-day en el proxy (que ya ha sido comunicada al proveedor), escalaron privilegios y se movieron por el entorno de pruebas hasta alcanzar un nodo con acceso a Internet. Una vez en la red, los modelos llegaron a la conclusión de que el repositorio de Hugging Face podía alojar soluciones para ExploitGym, así que buscaron y encontraron la manera de acceder a través del uso de credenciales robadas y vulnerabilidades zero-day.
OpenAI considera este suceso "un ciberataque sin precedentes". También es posible que sea el primero de su tipo. La compañía aún se encuentra evaluando el incidente, ha puesto en marcha una investigación junto con Hugging Face y espera compartir los detalles más adelante. Este caso es el de una prueba que sale mal, pero la próxima vez podría ser un ejercicio real realizado con intención. Las posibilidades de la IA son muy amplias y peligrosas, de ahí que el gobierno de Estados Unidos les de a las compañías manga ancha para investigar a la vez que les exige acceso para controlar y conocer sus modelos.
Todo empezó la semana pasada cuando Hugging Face, un proveedor de herramientas y modelos de machine learning para trabajar con inteligencia artificial, anunció que había sufrido un ataque en forma de acceso no autorizado. La compañía detectó el asalto y lo abordó, pero no estaba segura de qué datos se habían comprometido ni de quién era el responsable. Sí reconoció que el hackeo era tan sofisticado que tenía que implicar un modelo de IA de vanguardia. Llevaba razón. OpenAI ha reconocido que los atacantes eran dos de sus modelos: GPT-5.6 Sol, que fue liberado hace pocos días junto a sus hermanos pequeños Terra y Luna, y un modelo más avanzado y no identificado que aún está en fase de pruebas.
¿Qué ha pasado? El incidente ocurrió durante una evaluación interna en la que OpenAI invita a los modelos a realizar ataques avanzados con el fin de cuantificar sus capacidades cibernéticas. Para conocer su potencial real, los modelos se liberan en un entorno sandbox altamente aislado y con acceso restringido a internet, que se limita a la capacidad de instalar paquetes a través del software de un tercero alojado internamente que actúa como proxy y caché. Los modelos tenían que superar el benchmark de ciberseguridad ExploitGym, que mide la capacidad de un agente de IA de convertir fallos documentados en un exploit funcional.
Mientras operaban en el entorno de pruebas, los modelos de IA invirtieron una "cantidad considerable" de recursos computacionales en la búsqueda de un acceso a Internet con el fin de superar su evaluación. Para conseguirlo, los modelos identificaron y explotaron una vulnerabilidad zero-day en el proxy (que ya ha sido comunicada al proveedor), escalaron privilegios y se movieron por el entorno de pruebas hasta alcanzar un nodo con acceso a Internet. Una vez en la red, los modelos llegaron a la conclusión de que el repositorio de Hugging Face podía alojar soluciones para ExploitGym, así que buscaron y encontraron la manera de acceder a través del uso de credenciales robadas y vulnerabilidades zero-day.
OpenAI considera este suceso "un ciberataque sin precedentes". También es posible que sea el primero de su tipo. La compañía aún se encuentra evaluando el incidente, ha puesto en marcha una investigación junto con Hugging Face y espera compartir los detalles más adelante. Este caso es el de una prueba que sale mal, pero la próxima vez podría ser un ejercicio real realizado con intención. Las posibilidades de la IA son muy amplias y peligrosas, de ahí que el gobierno de Estados Unidos les de a las compañías manga ancha para investigar a la vez que les exige acceso para controlar y conocer sus modelos.
Estamos a 2 telediarios de que la IA pulse algún "botón rojo" de esos ... [fiu]
Se escapan solitos y ellos mismos deciden hackear una compañía XD
Skynet?
El fin se acerca....
Saludos.
XD