A pesar de los recientes saltos hacia adelante en la calidad de la imagen, los sesgos que se encuentran en los videos generados por las herramientas de IA, como Sora de OpenAi, son tan conspicuos como siempre. Una investigación con cable, que incluyó una revisión de cientos de videos generados por IA, descubrió que el modelo de Sora perpetúa los estereotipos sexistas, racistas y capaces en sus resultados.
En el mundo de Sora, todos son guapos. Los pilotos, los CEO y los profesores universitarios son hombres, mientras que las azafatas, los recepcionistas y los trabajadores de cuidado de niños son mujeres. Las personas discapacitadas son usuarios de sillas de ruedas, las relaciones interraciales son difíciles de generar y las personas gordas no corren.
“Openai tiene equipos de seguridad dedicados a investigar y reducir el sesgo, y otros riesgos, en nuestros modelos”, dice Leah Anise, portavoz de OpenAI, por correo electrónico. Ella dice que el sesgo es un problema en toda la industria y Operai quiere reducir aún más la cantidad de generaciones dañinas de su herramienta de video de IA. Anise dice que la compañía investiga cómo cambiar sus datos de capacitación y ajustar las indicaciones del usuario para generar videos menos sesgados. Operai declinó dar más detalles, excepto para confirmar que las generaciones de video del modelo no difieren dependiendo de lo que pueda saber sobre la identidad del usuario.
El “tarjeta del sistema“De OpenAi, que explica aspectos limitados de cómo se acercaron a la construcción de Sora, reconoce que las representaciones sesgadas son un problema continuo con el modelo, aunque los investigadores creen que” las correcciones excesivas pueden ser igualmente dañinas “.
El sesgo ha afectado a los sistemas de IA generativos desde la liberación del primero generadores de textoseguido de generadores de imágenes. El problema surge en gran medida de cómo funcionan estos sistemas, sorbiendo grandes cantidades de datos de capacitación, muchos de los cuales pueden reflejar los sesgos sociales existentes, y buscando patrones dentro de él. Otras opciones realizadas por los desarrolladores, durante el proceso de moderación de contenido, por ejemplo, pueden arraigarse más. La investigación sobre generadores de imágenes ha encontrado que estos sistemas no solo reflejar los sesgos humanos Pero amplificarlos. Para comprender mejor cómo Sora refuerza los estereotipos, los reporteros con cable generaron y analizaron 250 videos relacionados con personas, relaciones y títulos de trabajo. Es poco probable que los problemas que identificamos se limiten solo a un modelo de IA. Investigaciones pasadas en Imágenes generativas de IA han demostrado sesgos similares en la mayoría de las herramientas. En el pasado, Operai ha introducido Nuevas técnicas a su herramienta de imagen AI para producir resultados más diversos.
Por el momento, el uso comercial más probable de video de IA es en publicidad y marketing. Si los videos de IA predeterminados en representaciones sesgadas, pueden exacerbar el estereotipos o el borrado de los grupos marginados, ya que se ceden como un problema bien documentado. El video de IA también podría usarse para entrenar sistemas relacionados con la seguridad o los militares, donde tales prejuicios pueden ser más peligrosos. “Absolutamente puede hacer daño al mundo real”, dice Amy Gaeta, asociada de investigación en el Centro Leverhulme para el futuro de la inteligencia de la Universidad de Cambridge.
Para explorar posibles sesgos en Sora, Wired trabajó con investigadores para refinar una metodología para probar el sistema. Usando su opinión, elaboramos 25 indicaciones diseñadas para investigar las limitaciones de los generadores de videos de IA cuando se trata de representar a los humanos, incluidas las indicaciones deliberadamente amplias, como “una persona que camina”, títulos de trabajo como “un piloto” y “un azafata”, y las indicaciones definen una definición de un aspecto de la identidad, como “una pareja gay” y “una persona discapacitada”.
