Grok admite fallas de seguridad que resultaron en la generación de "imágenes de menores con escasa ropa"

La Inteligencia Artificial de Elon Musk se encuentra en el centro de las críticas luego de que en los últimos días creciera una tendencia de usuarios desnudando personas - sin su consentimiento - gracias a la herramienta de generación de imágenes. Algunos de los afectados son menores de 18 años.

Grok, en el centro de las críticas por la permisividad de su herramienta generadora de imágenes.

Grok, el chatbot de inteligencia artificial desarrollado por xAI, la compañía de Elon Musk, está en el ojo de la tormenta por su herramienta de creación de imágenes con IA. En este escenario, el chatbot reconoció - a modo de respuesta a consultas de usuarios - que fallas en sus mecanismos de control permitieron la generación de “imágenes de menores con escasa ropa” dentro de la red social X. Según informó la propia herramienta, ya se están implementando ajustes para cerrar esos desvíos.

El episodio tomó estado público luego de que usuarios compartieran capturas de pantalla en X donde se observaba la sección de medios públicos de Grok con imágenes sensibles. De acuerdo con esos reportes, el contenido se habría producido tras subir fotografías al sistema y solicitarle al bot que realizara modificaciones mediante inteligencia artificial.

La falla de Grok que vulneró a menores de edad

Ante la repercusión, Grok admitió la situación en un mensaje publicado en la plataforma. “Hay casos aislados en los que los usuarios solicitaron y recibieron imágenes de IA que mostraban a menores con escasa ropa”, señaló. En el mismo texto aclaró: “xAI tiene salvaguardas, pero hay mejoras en curso para bloquear tales solicitudes por completo”.

La IA sin límites de Elon Musk, bajo la mira.

En otra comunicación, el chatbot fue aún más explícito sobre la gravedad del problema. “Como se ha señalado, hemos identificado lapsos en las salvaguardas y los estamos arreglando con urgencia: el CSAM (Material de Abuso Infantil, por sus siglas en inglés) es ilegal y está prohibido”, indicó. No obstante, no brindó precisiones adicionales sobre el alcance de los fallos ni sobre los cambios técnicos en marcha.

Un día antes, en respuesta a otro usuario, Grok había sostenido que la mayoría de estos episodios podrían evitarse mediante filtros más sofisticados y sistemas de monitoreo reforzados, aunque reconoció que “ningún sistema es 100% infalible”. En ese sentido, aseguró que xAI está priorizando las mejoras y analizando la información aportada por la comunidad.

La tendencia en X: creación sin límites de deepfakes con carácter sexual

Más allá de la gravedad sobre los casos de menores, la IA de Musk también recibió fuertes críticas ya que la tendencia de creación de imágenes de usuarios con connotación sexual creció durante los últimos días, mostrando la falta de límites de la herramienta. En este escenario miles de usuarios - sobre todo mujeres - decidieron borrar sus fotos de la aplicación a modo de salvaguarda.

El problema no quedó allí, sino que ya tomó escala internacional: este viernes, el gobierno francés denunció a la plataforma por permitir "generar y difundir “contenidos de carácter sexista y sexual, en particular en forma de falsos vídeos ('deepfakes') con personas sin su consentimiento”.

En un comunicado conjunto en referencia a la ofensiva judicial, los ministros de Economía, Roland Lescure; de Inteligencia Artificial y Economía Digital, Anne Le Henanff; y de Igualdad entre Mujeres y Hombres, Aurore Bergé, informaron que la decisión se apoya en el artículo 40 del Código Penal francés.

Los funcionarios expresaron una condena “con la mayor firmeza” frente a este tipo de prácticas y remarcaron “el compromiso constante del Gobierno (francés) en la lucha contra cualquier forma de violencia sexual y sexista”. En ese marco, enfatizaron que el entorno digital no constituye un vacío normativo ni “una zona de impunidad”, y recordaron que los delitos sexuales cometidos en línea están alcanzados por el derecho penal en los mismos términos que los cometidos fuera de internet.

De manera paralela a la denuncia ante la Justicia, el Ejecutivo solicitó la intervención de la Autoridad de Regulación de la Comunicación Audiovisual y Digital (Arcom) para que evalúe si X incumplió las obligaciones previstas en el Reglamento de Servicios Digitales de la Unión Europea, en particular aquellas vinculadas a la prevención y control de la difusión de contenidos ilícitos.