Grok lo volvió a hacer. Como ya nos tiene acostumbrados desde que salió en noviembre de 2023, la IA generativa desarrollada por la empresa xAI, propiedad de Elon Musk, volvió a estar en el centro de las críticas por su ausencia de filtros y límites en su herramienta generadora de imágenes. ¿El resultado esta vez? Una masiva creación de fotografías sexualizadas de los usuarios, sin su consentimiento.
21 de enero 2026 - 10:01
¿Puede desnudarnos Grok?: qué fue lo qué pasó con la IA de Elon Musk y cómo podemos protegernos
Una vez más, la IA propiedad del multimillonario estuvo en el centro de la polémica. Esta vez, la ausencia de restricciones para generar provocó una ola de contenido sexualizado, que incluyó material de abuso sexual infantil.
-
OpenAI busca que se aumente el uso global de la IA en el día a día
-
El truco de WhatsApp para volver a ver las imágenes de un solo uso
Otra vez, Grok fue protagonista por la falta de filtros.
El modus operandi era simple: los usuarios solicitaban a Grok replicar fotos para mostrar a las personas – mayormente mujeres - en bikini, lencería o poses sexualizadas. En segundos, la IA generaba y compartía las imágenes como respuesta. Un análisis de la organización AI Forensics reveló que, entre el 25 de diciembre de 2025 y el 1° de enero de 2026, de 50.000 casos el 25% de las imágenes generadas respondieron a términos como “bikini” o “quitar ropa”.
La situación, ya problemática de por sí, tomó un giro más oscuro cuando los internautas notaron que el mismo pedido era realizado sobre fotografías de menores de edad.
El último episodio de Grok se sumó a un ya amplio prontuario que va desde respuestas extremadamente sarcásticas y la manipulación de imágenes sin límites hasta la integración de avatares eróticos.
La primera reacción oficial al escándalo llegó desde un integrante del equipo técnico de xAI, que afirmó estar “ajustando los guardrails” del producto ante lo sucedido. Luego, la cuenta oficial reconoció haber “identificado fallas en las medidas de seguridad” que derivaron en resultados no deseados. En la misma línea, Musk advirtió en X que “cualquiera que utilice Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”. Tras varios días de denuncias, la empresa anunció que implementará “medidas tecnológicas para evitar que permita la edición de imágenes de personas reales con ropa reveladora, como bikinis”.
Grok, la IA “disruptiva”: ¿error técnico o diseño de producto?
Repasado el episodio, es válido preguntarse: lo ocurrido con Grok, ¿fue un error o es el resultado de un diseño de producto?
Para entender las causas detrás del hecho, Ámbito dialogó con Nicolás D'Ippolito, PhD en Ciencias de la Computación por Imperial College London y Licenciado por la UBA, VP de IA en Veritran y director de la Maestría en IA de la Universidad de San Andrés, quien describió la misión asignada como “un juego de adivinar la caja negra”.
D’Ippolito explicó que los modelos que funcionan detrás de la creación de imágenes son generalmente de la familia de los conocidos como diffusion. “¿Cómo funcionan? Ponés una foto de un perro y le decís: esto es un perro. Y después lo que hace es meterle ruido a la imagen, pixelado. Y ese pixelado lo que va haciendo es ‘compactando’ la información y hace esto hasta que llega una imagen totalmente negra y dice ‘esto es un perro’. Entonces, lo que sabe hacer el modelo es ir de ‘negro a perro’”.
“El tema es que no sabemos cuál fue el proceso de ‘compactamiento’ y con qué se entrenó, cómo y qué tomó de la imagen”, ahondó el investigador.
En este punto, recordó que “el efecto esperado y natural de cualquier modelo de IA es que genere algo que antes nunca vio, pero que está basado en ecos de cosas que vio” y puso el foco, justamente, sobre los datos que se usan en las instancias de entrenamiento: “Cuando genera algo que no esperás, que no te gusta, puede ser que repita exactamente lo que vio”.
Al ser consultado por el escándalo, el investigador puso sobre la mesa una hipótesis clara: “El problema de fondo con Grok específicamente es que lo ocurrido es una decisión de producto, no un problema técnico”. Y agregó: “Claro que es vista como la más disruptiva, porque está tomada la decisión para que eso pase. Por ejemplo, es el único que te deja desde el principio hacer cosas que tienen copyright”.
En este punto, sirve la comparación con otras IA generativas sobre las que el D'Ippolito aseguró que todas “tienen un ‘motor’ más o menos parecido” que les permitiría crear las mismas imágenes sexualizadas a las que llegó Grok. Por lo que, el problema no estaría en su concepción. “El tema no es el 'motor'. En este caso es el 'chasis', el 'volante', por decir. Hay autos que tienen ‘filtros’ que se reflejan en un límite de velocidad, pero que no es un tema del motor en sí. Esto es lo mismo”, ahondó.
Esta capacidad de generación provocó que, durante los últimos 3 años, otras IA presentaran errores o bugs no deseados en sus respuestas. Sin ir más lejos, hubo un momento en que ChatGPT podía enseñar cómo hacer una bomba casera.
“El bug puede estar, pero el error está en que el producto no esté con ingeniería en software que establezca reglas de otro tipo, validando qué estás haciendo. Que digan ‘che, me está pidiendo que entregue una foto de alguien desnudo’”, agregó D’Ippolito. Según su explicación, eso se genera con “software a mano” que bloquee, en el citado ejemplo, todas las formas en las que se puede "pedir armar una bomba” y así filtrar “todos los prompts que sean variaciones de eso”.
“No es tan difícil de hacer. No lo están queriendo hacer”, aseguró. “Si subís una foto de un tercero, una de un menor de edad… a xAI no le cuesta nada preguntar quiénes son estas personas, dónde están, si tenés su consentimiento. Esa información la podés preguntar y la podés filtrar”, agregó el experto en IA.
Explicar técnicamente los guardrails que tienen las IA generativas para lograr outputs que se ajusten a los términos y usos que determina la herramienta no es el objetivo de esta nota. Sin embargo, no está de más destacar que estos mecanismos existen y son utilizados. Los mismos pueden ser filtros de Input (de intención, por ejemplo, que analizan el objetivo que tiene el usuario con su solicitud o buscan keywords problemáticas) o de output (cuando la AI Generativa procesa el pedido, devuelve una respuesta y rápidamente la censura).
También es verdad que los filtros pueden, en ocasiones, vencerse a través de métodos de ofuscación, por ejemplo. Sin embargo, las solicitudes de los usuarios en X fueron, en su mayoría, bastante directas.
Parte de la hipótesis de D’Ippolito no solo se basa en la reiteración de Grok, sino que la propia empresa demoró varios días en desactivar la herramienta. Primero, para suscriptores no pagos (el 9 de enero) y luego, con los últimos anuncios hechos menos de una semana atrás.
“Yo además quisiera saber qué hacen con las fotos que generaste y con la previa de las fotos”, agregó D’Ippolito, una preocupación que está por demás justificada si comprendemos que los términos y condiciones de uso de xAI detallan que la empresa tiene derecho a “ usar, copiar, almacenar, modificar, distribuir, reproducir, publicar, mostrar en foros públicos”, sobre las imágenes generadas.
Grok, deepfakes y regulación: qué puede hacer el usuario en Argentina
Antes de abordar la legislación vigente en la Argentina, es clave remarcar que el uso de Grok en el episodio analizado violó los términos y condiciones tanto de xAI como de la red social X, que prohíben “representar imágenes de personas de forma pornográfica” y “la sexualización o explotación de los niños”.
La problemática se agranda si resaltamos que no existe hoy en la Argentina una ley integral que penalice la generación, divulgación o tenencia de contenido sexualizado creado con IA a partir de personas reales sin consentimiento.
La situación cambia un poco en casos de menores de edad. En diálogo con este medio, la abogada especialista en Género, Cibercrimen y Evidencia Digital, Florencia Zerdá, detalló: “El art.128 del Código Penal castiga lo que es la producción, financiamiento y tenencia de material de abuso sexual infantil”, y si bien aunque “no aplica para los generados con IA, hay muchos proyectos de ley que buscan penalizar los porn deepfakes para menores de edad”.
El marco jurídico es también ligeramente diferente para las mujeres, principales afectadas por este tipo de problemáticas. “En cuestiones de género está la ley Olimpia que modifica la ley integral de violencia hacia la mujer e incorpora la violencia digital”, comentó Zerdá. Según la legislación, se entiende por violencia digital a “toda conducta, acción u omisión en contra de las mujeres basada en su género que sea cometida (…) con la asistencia, utilización y/o apropiación de las tecnologías de la información y la comunicación, con el objeto de causar daños físicos, psicológicos, económicos, sexuales o morales”.
“Esto establece una serie de medidas de protección, que son medidas cautelares que pueden solicitar las víctimas ante la justicia” ahondó Zerdá. Entre las mismas, se incluye “la posibilidad de que las mujeres puedan pedir a un juez que se elimine el contenido que esté subido a una página de Internet, que sea una forma de violencia digital, por ejemplo, un montaje realizado con inteligencia artificial”.
“El problema es que muchas veces estas plataformas están en el extranjero y no tienen canales de comunicación tan directos. Hay más trabas y hay que tramitar los pedidos vía exhorto”, ahondó según su experiencia al frente de GENTIC , organización que promueve el activismo contra la ciberviolencia de género
Según la especialista, hoy “se puede denunciar penalmente” a quien realice estos actos aunque todavía “no es un delito tipificado en nuestro Código Penal”.
En este apartado, D’Ippolito afirmó que las empresas deben comenzar a aplicar ciertas tácticas que permitan, aunque sea, mitigar los daños del mal uso de sus herramientas: “Vos le podrías pedir a las compañías que generen una marca esteganográfica, que es algo que está escondido en una imagen”, información de utilidad mayor en la investigación posterior durante un peritaje informático. “La verdad que hoy no escuché que lo hagan, pero es absolutamente factible”, sentenció.
“Tiene que haber regulación y el Estado tiene que tener lo que tiene que tener para imponerse”, adhirió el investigador sobre las posibles soluciones y puso como norte la Ley de Inteligencia Artificial de la Unión Europea.
Más allá de legislar, Zerdá también advirtió: “La ley penal llega cuando el daño ya está hecho, esto hay que prevenirlo. La Ley Olimpia prevé la creación de contenidos curriculares en las escuelas en todos los estadios para que se les enseñe a los chicos buenas prácticas en el uso de las TIC, cómo identificar las violencias digitales".
A pesar de leves espasmos legislativos – a los que hay que sumar la Ley 14.297 de Santa Fe y el proyecto de ley Belén, impulsado por la ONG Gentic – los esfuerzos por poner un límite a Grok y otras IA Generativas parecen, por el momento, insuficientes. Y mientras esta tecnología avanza, el usuario parece estar cada vez más desprotegido.
Dejá tu comentario