La base de datos expuesta de un generador de imágenes de IA revela para qué la gente realmente lo usó

Además de CSAM, dice Fowler, hubo imágenes pornográficas generadas por IA de adultos en la base de datos más imágenes potenciales de “intercambio facial”. Entre los archivos, observó lo que parecía ser fotografías de personas reales, que probablemente se usaron para crear “imágenes explícitas desnudas o generadas por IA sexuales”, dice. “Así que estaban tomando fotos reales de personas e intercambiando sus rostros allí”, afirma de algunas imágenes generadas.

Cuando estaba en vivo, el sitio web de Gennomis permitió imágenes explícitas para adultos de IA. Muchas de las imágenes que aparecen en su página de inicio, y una sección de “modelos” de IA incluía imágenes sexualizadas de mujeres, algunas eran “fotorrealistas”, mientras que otros estaban completamente generados por IA o en estilos animados. También incluyó una galería “NSFW” y “Marketplace” donde los usuarios podrían compartir imágenes y potencialmente vender álbumes de fotos generadas por IA. El lema del sitio web dijo que las personas podrían “generar imágenes y videos sin restricciones”; Una versión anterior del sitio de 2024 dijo que se podría crear “imágenes sin censura”.

Las políticas de usuario de Gennomis declararon que solo se permite el “contenido respetuoso”, diciendo que se prohíbe “violencia explícita” y discurso de odio. “La pornografía infantil y cualquier otra actividad ilegal están estrictamente prohibidas en Gennomis”, decía sus directrices de la comunidad, diciendo que las cuentas que publicarían contenido prohibido se terminarían. (Investigadores, defensores de las víctimas, periodistas, empresas tecnológicas y más han eliminado en gran medida la frase “pornografía infantil”, a favor de CSAM, durante la última década).

No está claro en qué medida Gennomis utilizó cualquier herramienta o sistema de moderación para prevenir o prohibir la creación de CSAM generado por IA. Algunos usuarios publicaron en su página de “comunidad” el año pasado que no podían generar imágenes de personas que tenían relaciones sexuales y que sus indicaciones fueron bloqueadas para el “humor negro” no sexual. Otra cuenta publicada en la página de la comunidad que debe abordarse el contenido “NSFW”, ya que “los federales podrían considerar”.

“Si pudiera ver esas imágenes con nada más que la URL, eso me muestra que no están tomando todos los pasos necesarios para bloquear ese contenido”, alega Fowler sobre la base de datos.

Henry Ajder, un experto en Deepfake y fundador de la consultora Latent Space Advisory, dice que incluso si la creación de la creación de contenido dañino e ilegal no fue permitido por la compañía, la marca del sitio web, referenciando la creación de imágenes “sin restricciones” y una sección “NSFW”, indicada allí puede haber una “asociación clara con el contenido íntimo sin medidas de seguridad”.

Ajder dice que está sorprendido de que el sitio web en inglés esté vinculado a una entidad surcoreana. El año pasado, el país estaba plagado de un profundo no consensuado “emergencia“Eso apuntó chicasantes de tomar medidas para combatir la ola de abuso de defake. Ajder dice que se debe poner más presión en todas las partes del ecosistema que permite generar imágenes no consensuadas utilizando IA. “Cuanto más vemos esto, más obliga a la pregunta a los legisladores, a las plataformas tecnológicas, a las empresas de alojamiento web, a los proveedores de pagos. Todas las personas que de alguna forma u otra, a sabiendas o de otro tipo, muy sin saberlo, están facilitando y permitiendo que esto suceda”, dice.

Fowler dice que la base de datos también expuso archivos que parecían incluir indicaciones de IA. No se incluyeron datos de usuario, como inicios de sesión o nombres de usuario, en los datos expuestos, dice el investigador. Las capturas de pantalla de los indicaciones muestran el uso de palabras como “Tiny”, “Girl” y referencias a actos sexuales entre miembros de la familia. Las indicaciones también contenían actos sexuales entre las celebridades.

“Me parece que la tecnología ha corrido por delante de cualquiera de las pautas o controles”, dice Fowler. “Desde un punto de vista legal, todos sabemos que las imágenes explícitas para niños son ilegales, pero eso no impidió que la tecnología pueda generar esas imágenes”.

Como los sistemas generativos de IA han mejorado enormemente lo fácil que es crear y modificar imágenes en los últimos dos años, ha habido una explosión de CSAM generado por IA. “Las páginas web que contienen material de abuso sexual infantil generado por IA se han cuadruplicado más que en 2023, y el fotorrealismo de este horrible contenido también ha saltado en sofisticación, dice Derek Ray-Hill, CEO interino de la Fundación de Watch de Internet (IWF), una organización sin fines de lucro con sede en el Reino Unido que aborda el CSAM en línea.

El IWF tiene documentado Cómo los delincuentes crean cada vez más CSAM generado por IA y desarrollan los métodos que usan para crearlo. “Actualmente es demasiado fácil para los delincuentes usar IA para generar y distribuir contenido sexualmente explícito de niños a escala y a velocidad”, dice Ray-Hill.