- Un estudio encontró que una base de datos utilizada para entrenar generadores de imágenes de IA incluye contenido de abuso sexual infantil.
- Los hallazgos aumentan los temores de que las herramientas de inteligencia artificial puedan provocar una ola de contenido de abuso sexual infantil.
- La base de datos LAION ahora se ha desconectado mientras sus creadores eliminan las imágenes.
- ¿Ya conoces nuestra cuenta en Threads? Síguenos.
Según un informe, un conjunto de datos utilizado para entrenar generadores de imágenes de IA contiene miles de imágenes sospechosas de abuso sexual infantil.
Una investigación realizada por el Centro de Política Cibernética de la Universidad de Stanford encontró que la base de datos LAION-5B, que se ha utilizado para entrenar varios generadores de imágenes de IA —incluido Stable Diffusion— contenía más de 3,200 materiales de presuntos abusos infantiles.
Se confirmó que poco más de 1,000 de esas imágenes eran material de abuso sexual infantil. El informe advierte que su presencia en el conjunto de datos puede permitir que se utilicen herramientas de IA generativa basadas en ellos para crear contenido de abuso infantil.
LAION-5B es un archivo público masivo de alrededor de 5,000 millones de imágenes extraídas de la web abierta.
Este ha sido utilizado por una variedad de empresas de inteligencia artificial; estas requieren enormes cantidades de datos para entrenar modelos de IA generativos para producir nuevas imágenes en segundos.
Los generadores de imágenes de IA presentan un mayor peligro del que se cree
Los expertos han advertido durante mucho tiempo que los generadores de imágenes de IA pueden desatar un tsunami de contenido ultrarrealista de abuso sexual infantil. La Internet Watch Foundation (IWF) advierte que tales imágenes ya están circulando ampliamente en la dark web.
Mientras tanto, las organizaciones de seguridad en línea en el Reino Unido han pedido «medidas urgentes» sobre los casos de niños que utilizan generadores de imágenes de IA en la escuela para crear contenido indecente para sus compañeros.
Las aplicaciones de IA que utilizan tecnología similar para «desvestir» a las mujeres en fotografías también están ganando popularidad, según datos de Graphika.
Las empresas de IA no están logrando mitigar la cantidad de contenido sexual que se genera con sus herramientas
Stable Diffusion es el modelo más conocido que utiliza la base de datos LAION. La herramienta, desarrollada por la empresa Stability AI, con sede en el Reino Unido, se ha convertido en uno de los generadores de imágenes más extendidos y populares desde su lanzamiento en 2022.
Un portavoz de LAION, detrás del conjunto de datos, dijo a Bloomberg que el grupo estaba eliminando temporalmente sus conjuntos de datos de Internet mientras los limpiaba de contenido ilegal.
Mientras tanto, un portavoz de Stability AI dijo a Business Insider que la compañía introdujo filtros para evitar que los usuarios creen contenido ilegal con Stable Diffusion. También dijo que los modelos de Stability AI solo están entrenados en un subconjunto filtrado de LAION-5B.
La compañía lanzó el año pasado Stable Diffusion 2.0, que tiene controles más estrictos sobre contenido sexual explícito; sin embargo, la versión 1.5, que sí genera contenido explícito, todavía está disponible en la web abierta.
El portavoz dijo que Stable Diffusion 1.5 fue lanzado por la startup de video AI RunwayML, no por Stability AI. Sin embargo, Runway le dijo a Bloomberg que se trataba de una colaboración entre los dos.
LAION-400M, una versión anterior de la base de datos 5B que, según los investigadores de Stanford, contenía «imágenes pornográficas, insultos racistas y estereotipos sociales dañinos», fue utilizada por Google para entrenar una versión temprana de su programa Imagen de texto a generador de imágenes. Desde entonces, Google dejó de utilizar los conjuntos de datos de LAION.
Business Insider contactó a LAION para obtener más comentarios, pero no recibió respuesta de inmediato.
AHORA LEE: TikTok y Snapchat se comprometen a combatir imágenes de abuso sexual infantil generadas por IA
TAMBIÉN LEE: Instagram es la principal plataforma para redes de abuso sexual infantil, señala informe
