Ekir escribió:Yo lo que veo es que cada vez más gente contiene la respiración en cuanto los agentes y modelos "se exceden" o resulta que han hecho más caso del que esperaban los creadores en origen.
Matrix cada vez más cerca
![[360º]](/images/smilies/nuevos/vueltas.gif "como la niña del exorcista")
OpenAI admite que su IA atacó de forma autónoma a Hugging Face en un incidente "sin precedentes"
OpenAI ha revelado que uno de sus modelos aprovechó una vulnerabilidad para escapar de un entorno de pruebas controlado y acceder a los servidores de Hugging Face, en lo que su consejero delegado califica como un ataque autónomo "sin precedentes".OpenAI, la empresa creadora de ChatGPT, afirmó el martes por la noche que su sistema de inteligencia artificial irrumpió por sí solo en otra compañía de IA en lo que la empresa calificó de "incidente cibernético sin precedentes". "Durante la evaluación de nuestros modelos hemos sufrido un importante incidente de seguridad", declaró Sam Altman, consejero delegado de OpenAI, en un comunicado publicado en redes sociales.
La empresa emergente de IA Hugging Face afirmó la semana pasada que había detectado una intrusión en sus sistemas de procesamiento de datos que sospechaba que había sido causada por un agente de IA que actuaba de forma autónoma.
"Sospechábamos que el ciberataque de la semana pasada podía proceder de un laboratorio puntero, dada la sofisticación del agente", señaló el cofundador y consejero delegado de Hugging Face, Clément Delangue. "Resulta que así fue".
Esto significa que el ataque fue tan avanzado y estaba tan bien ejecutado que Hugging Face sospechó que procedía de los sistemas de una de las principales compañías de IA, no de un pirata informático cualquiera.
Qué ha ocurridoOpenAI estaba realizando una prueba interna para medir hasta qué punto sus modelos de IA son capaces de piratear, un baremo conocido como ExploitGym. Para evaluar la capacidad máxima de intrusión de los modelos, la empresa desactivó deliberadamente los filtros de seguridad que normalmente impiden que lleven a cabo actividades informáticas peligrosas.
La prueba debía ejecutarse en una 'sandbox', un entorno aislado sin acceso real a internet, salvo por una herramienta que permite a los modelos descargar el software que pudieran necesitar para completar la tarea. Sin embargo, los modelos se obsesionaron con resolver la prueba. En lugar de hacerlo del modo previsto, buscaron un atajo y encontraron la forma de abrirse paso hasta la internet abierta, a la que nunca debían tener acceso.
Para lograrlo siguieron una cadena de pasos con la que fueron ganando, sin levantar sospechas, cada vez más acceso dentro de los propios sistemas de OpenAI hasta alcanzar un punto con conexión a internet. Una vez conectados, los modelos dedujeron que Hugging Face, una gran plataforma que aloja modelos y conjuntos de datos de IA, probablemente contenía las respuestas de la propia prueba que debían resolver.
Así que irrumpieron en los servidores de Hugging Face para robar esas respuestas y, en la práctica, hacer trampas, utilizando credenciales robadas y otras vulnerabilidades para entrar.
Modelos chinos al rescateComo mercado abierto en el que cualquiera puede publicar, Hugging Face alberga un volumen enorme de modelos desarrollados en China. Cuando el equipo de Hugging Face intentó analizar el ataque, introdujo los datos en bruto, el código y las órdenes utilizadas para explotar su sistema, en modelos de IA comerciales para ayudar a reconstruir lo ocurrido.
Pero esos modelos de IA cuentan con filtros de seguridad integrados diseñados para bloquear cualquier cosa que parezca un intento de pirateo y, para esos filtros, las pruebas de un ataque se parecen exactamente a un ataque en sí. De este modo, los modelos se negaron a ayudar, incapaces de distinguir entre un pirata informático que causa daño y una empresa que se defiende.
Al verse bloqueado, Hugging Face recurrió a un modelo chino de pesos abiertos, GLM 5.2 de Z.ai, que podía ejecutar localmente dentro de sus propios sistemas y que procesó el material sin rechazarlo.
Laboratorios chinos como DeepSeek y Qwen de Alibaba se han convertido en algunas de las familias de modelos más descargadas de la plataforma y, según algunos indicadores, los desarrolladores chinos representan ya una mayor cuota de las descargas de Hugging Face que sus homólogos estadounidenses.
Grave preocupación por la seguridadEsta revelación llega en un contexto de creciente preocupación por las capacidades de ciberataque de los modelos más potentes, que llevó en junio al presidente de Estados Unidos, Donald Trump, a firmar una orden ejecutiva que crea un marco para que el Gobierno federal evalúe durante hasta un mes los riesgos para la seguridad nacional de los sistemas de IA más avanzados antes de su lanzamiento público.
"La IA está acelerando el descubrimiento y la explotación de vulnerabilidades", afirmó OpenAI en su comunicado del martes. "La principal lección de este incidente es que la seguridad y la protección de los modelos deben seguir el ritmo de unas capacidades que avanzan rápidamente".
Delangue explicó que había pasado las últimas 24 horas trabajando con OpenAI "y creemos firmemente que no hubo intención maliciosa por su parte. Resulta bastante alucinante que todo esto haya ocurrido de forma autónoma". Delangue añadió que "podría ser el primer incidente de este tipo".
OpenAI afirmó que la intrusión se debió a una combinación de sus modelos de IA, entre ellos su recién estrenado GPT-5.6 Sol y otro modelo "aún más capaz" que sigue en fase de pruebas internas. La empresa añadió que su IA utilizó credenciales robadas y descubrió una vulnerabilidad hasta ahora desconocida para acceder a los servidores de Hugging Face.
Según OpenAI, el sistema "llegó a extremos extraordinarios para lograr un objetivo de prueba bastante limitado" y "encontró formas de obtener acceso a información secreta que podía utilizar para hacer trampas en la evaluación".
FuenteVerás las risas el día en que le dé por hackear algún banco
![[+risas]](/images/smilies/nuevos/risa_ani3.gif "más risas")
![[reojillo]](/images/smilies/nuevos2/ooooops.gif "reojillo")
