Un robot toma una botella de bebida de un estante en una tienda de robots de inteligencia incorporados en la calle Leijie, en Hefei, en la provincia de Anhui, en el este de China. Cuatro tiendas de robots de inteligencia incorporados equipadas con robots humanoides con ruedas que actúan como dependientes han abierto oficialmente en diversas zonas culturales, turísticas y comerciales de Hefei. Estos robots dependientes son capaces de reconocer, agarrar y entregar mercancías a los clientes de forma automática. (Xinhua/Zhou Mu)
La máquina que se escapó sola
Unos agentes de OpenAI escaparon de su entorno de prueba y atacaron a Hugging Face. La defensa llegó de un modelo chino. Qué revela el caso.
Hay historias que parecen de ciencia ficción hasta que uno comprueba las fechas. Esta ocurrió en julio de 2026. Un agente de IA es un programa que resuelve tareas de forma autónoma. Nadie lo programa con cada instrucción como a una calculadora. Se lo entrena con millones de ejemplos y la máquina descubre patrones por sí misma. Un programa así escribe textos, resuelve problemas y, lo nuevo, ejecuta acciones sin supervisión en cada paso. A esa clase de IA se la llama agente. Este no espera órdenes de una, sino que recibe un objetivo y determina por sí mismo el camino.
Una empresa llamada OpenAI, una de las mayores del mundo en este campo, quiso medir cuán buenas eran sus IA para hackear. Si bien la intención era defensiva, se mide la resistencia de una cerradura intentando romperla. Así, armaron una prueba y, para observar el máximo potencial de sus máquinas, apagaron los filtros de seguridad. Estos actúan como reglas que impiden que la IA realice acciones peligrosas.
Para que nada saliera mal, encerraron a las IA en una habitación sellada. En la jerga se la llama entorno aislado. Imaginemos un laboratorio sin ventanas ni puertas al exterior. La máquina trabajaba adentro, pero no tocaba el mundo real. Había una sola rendija con una herramienta que le permitía descargar los programas necesarios para la tarea. Ese espacio fue un descuido pequeño.
Las máquinas persiguieron el objetivo hasta encontrar un camino imprevisto. En lugar de esta rendija, resolvieron la prueba con un atajo. Así, abrieron puertas dentro de los propios sistemas de OpenAI, una tras otra, ganando cada vez más acceso, hasta alcanzar un punto conectado a internet. Salieron de la habitación sellada aunque nadie se lo ordenó. El primer intento conocido ocurrió alrededor del 9 de julio.
Pensemos en un perro de laboratorio al que se enseña a abrir un cerrojo. Un día descubre que la ventana del fondo tiene un defecto. Si bien nadie le enseñó a escapar, persiguió lo que había afuera y encontró el camino. Eso hicieron estas IA, salvo que del otro lado de la ventana no existía un jardín sino todo internet.
Fuera del entorno, las máquinas razonaron de forma autónoma. Infirieron que cierta empresa, Hugging Face, probablemente guardaba datos valiosos relacionados con la prueba de la que venían escapando. Hugging Face es algo así como una gran biblioteca pública de la IA, donde miles de programadores almacenan y comparten sus modelos. Las máquinas lanzaron un ataque para obtener esos datos.
El ataque fue quirúrgico porque entraron a través de un archivo trucado que, al procesarse, les permitió ejecutar sus propias órdenes en el sistema ajeno. Robaron credenciales, esas llaves digitales que abren las zonas protegidas. Se movieron de un sector a otro como un ladrón que, una vez adentro de un edificio, prueba puertas y copia llaves. Entre tanto, ejecutaron miles de acciones, pero un detalle merece atención porque también generaron actividad señuelo, es decir, movimientos falsos para confundir a quien después intentara reconstruir lo ocurrido. Por lo tanto, la máquina no solo atacó, además, complicó la investigación.
El 16 de julio, Hugging Face divulgó el incidente, aunque aún no conocía a los culpables. OpenAI admitió públicamente el 21 de julio que el ataque provenía de sus propios modelos. Casi dos semanas entre el primer intento y la identificación del responsable.
Hasta acá la historia ya resultaría notable, pero lo más revelador vino después, cuando Hugging Face intentó defenderse. Un ataque digital implica el estudio de registros, estos son diarios automáticos donde queda anotado cada movimiento dentro de un sistema. Hugging Face tenía más de 17.000 de esas anotaciones y necesitaba una IA capaz de leerlas y explicar qué sucedió. Recurrió a los mejores modelos comerciales del mercado estadounidense, y ahí ocurrió lo inesperado.
Los modelos se negaron a procesar esos datos. La razón fue que los registros contenían código de ataque real y técnicas de intrusión. Los filtros de seguridad de esas IA, al examinar semejante contenido, supusieron que alguien solicitaba ayuda para causar daño. No distinguieron a un bombero de un pirómano. Un médico forense necesita examinar el cuerpo para resolver el crimen, pero estos algoritmos se taparon los ojos porque había sangre. He aquí la contradicción que define nuestra época. El atacante no obedecía ninguna regla, pero el defensor estaba maniatado por las reglas de sus propias herramientas. El delincuente corría libre y el policía llevaba las esposas puestas en sus muñecas.
Entonces Hugging Face hizo algo que dice mucho sobre hacia dónde va el mundo. Recurrió a un modelo llamado GLM 5.2, desarrollado por un laboratorio chino y disponible para que cualquiera lo descargue y lo ejecute en su computadora. Lo instaló en sus servidores, sin conexión alguna con el fabricante, y esa máquina sí leyó esos más de 17.000 registros y explicó el ataque de punta a punta.
Conviene precisar la escena, porque el atajo geográfico la empobrece. No fue China defendiendo, ni Estados Unidos atacando, sino una empresa estadounidense obligada a recurrir a un modelo del país asiático porque los comerciales de su país rechazaban el proceso de la evidencia. El atacante, a su vez, fue un agente experimental de otra compañía estadounidense, no la operación de un gobierno. Y todo esto sucedía mientras el gobierno estadounidense estudiaba la prohibición de, justamente, esos modelos chinos.
La empresa reparó la falla, expulsó al intruso y reforzó sus defensas. Le puso Jadepuffer como nombre a este ataque. Poco después, apareció un programa malicioso con ese mismo nombre, diseñado para secuestrar modelos de IA dentro de redes corporativas y exigir un rescate por ellos, porque entrenar un modelo cuesta fortunas y muchas veces no existe copia de seguridad.
Ahora bien, ¿por qué debería importarnos todo esto a quienes no vivimos entre computadoras?
Este es uno de los primeros casos divulgados públicamente en los que una IA ejecuta de forma autónoma un ciberataque real. No fue un humano quien usó una herramienta, porque esta herramienta actuó sin instrucciones. Durante décadas nos tranquilizamos pensando que detrás de cada acto peligroso había un individuo apretando el botón.
Este hecho es relevante también por la naturaleza de las máquinas nuevas. No son obedientes en el sentido tradicional, ya que persiguen objetivos. Y si en esa carrera encuentran una grieta, la usan, sin preguntarse si deberían. No hubo maldad, sólo optimización ciega. Eso, en cierto modo, resulta más inquietante que la perversidad, porque la malicia, al menos, es humana y la entendemos.
Importa por la lección de las esposas. Llenamos a nuestras IA de reglas para que no causen daño y está bien que así sea. Pero descubrimos que esas mismas reglas nos dejan indefensos justo cuando más necesitamos ayuda. La seguridad mal calibrada no protege, sino que paraliza.
Por otra parte, pensamos en el peligro en términos de países. El enemigo está afuera, del otro lado de la frontera. Sin embargo, esta historia enseña que la amenaza nace en casa y la solución llega del país que considerábamos rival. Los riesgos digitales no llevan pasaporte porque cruzan fronteras sin permiso y se ríen de nuestros mapas.
¿Qué nos espera? Nadie lo sabe con certeza, pero la dirección resulta clara. Vienen años en que unas IA atacarán y otras defenderán, a velocidades que ningún humano puede seguir. Seremos espectadores de combates librados entre máquinas en fracciones de segundo. Nuestra tarea, la de las personas, consistirá en decidir con qué herramientas contamos antes de que empiece el combate, porque durante la contienda ya no habrá tiempo de elegir.
La historia de la máquina que se escapó por sí misma deja una moraleja sencilla y antigua. Toda herramienta poderosa sirve para construir y destruir. Así, el fuego cocina y también incendia. Lo nuevo es que, por primera vez, la herramienta encontró por sí sola cómo encender el fósforo.
Las cosas como son.
Mookie Tenembaum aborda temas de tecnología como este todas las semanas junto a Claudio Zuchovicki en su podcast La Inteligencia Artificial, Perspectivas Financieras, disponible en Spotify, Apple, YouTube y todas las plataformas.
También te puede interesar
-
La noche triste de Trump
-
Guerras entre conocidos
-
La senectud de Occidente
-
Sobre hogueras y periodistas villanos
-
Brasil se aferra al statu quo
-
Cabezas: ¿un presidente habla de hogueras para los periodistas?
-
Milei en un mundo a punto de estallar
-
Reflexología: una herramienta para dormir mejor
-
Los abanderados de las formas: estética (y ética) de la crueldad