El contenido sexual y racista generado por IA alcanza millones de visualizaciones en TikTok

Los bulos crecen, la desinformación se propaga a gran velocidad y buena parte de la culpa de esto la tienen las redes sociales y las cientos de cuentas que obtienen miles de millones de visualizaciones al difundir contenido generado por inteligencia artificial (IA) como deepfakes o vídeos falsos generados a partir de diferentes instrucciones (prompts). 

Un estudio de AI Forensics asegura que en la actualidad, en TikTok existen 354 cuentas centradas en IA que difundieron 43.000 publicaciones creadas con herramientas generativas y que, a su vez, acumularon 4.500 millones de visualizaciones en un periodo de un mes. El problema es que mucho de ese material es antiinmigración y sexualizado, según relatan los investigadores, y la mayoría de cuentas tienen menos de un año.

Según AI Forensics, una organización sin ánimo de lucro con sede en París, algunas de estas cuentas intentan manipular el algoritmo de TikTok, ese que decide qué contenido ven los usuarios, publicando mucho material con la esperanza de que se vuelva viral.

Esto provoca un aluvión de contenidos, como en una de estas cuentas que llegó a publicar hasta 70 veces al día o siempre a la misma hora, lo que indica que se trataba de una cuenta automatizada. Es lo que popularmente se denomina bot.

Gran cantidad de material

En noviembre TikTok reveló que había al menos 1.300 millones de publicaciones generadas por IA en la plataforma. Teniendo en cuenta que al día se suben cerca de 100 millones de vídeos y piezas de contenido, cabe deducir que la IA no inunda el catálogo de la compañía china, pero AI Forensics sí ha alertado de que menos del 2% llevaba la etiqueta ‘Generado con IA’. 

“Este es el problema”, alertan desde la consultora y certificadora Zertia, “que no hay una ley común y fuerte para proteger a la ciudadanía del uso de la IA”. Algo que, como también alerta la ONG que publica el estudio, “puede aumentar el potencial engañoso del material”.

De las cuentas que publicaron contenido con mayor frecuencia, la mitad se centraba en material relacionado con el cuerpo femenino. “Estas mujeres generadas por IA son siempre estereotípicamente atractivas, con atuendos sexualizados o escotes”, señala el informe y, en muchas ocasiones está sin etiquetar. La categoría del cuerpo femenino representaba la mitad de las 10 cuentas más activas, según AI Forensics y, en muchos casos, los cuerpos femeninos parecen de menores de edad. 

Otra parte del contenido adoptaba la forma de falsas noticias en televisión con narrativas antiinmigración o falseaban portales de noticias o pantallazos de portadas de medios como Sky News, The Guardian o ABC.

El daño

Uno de esos casos más ilustrativos es el de la política británica Cara Hunter que vio cómo se difundía un vídeo pornográfico falso, generado con IA utilizando su rostro. Es lo que se conoce como deepfake. El vídeo, extremadamente explícito, llegó a hacerse viral y obligó a Hunter a demostrar que ella no era la protagonista real de las imágenes.

Finalmente se comprobó que era falso, pero el caso mostró que la tecnología ha llegado a cotas difíciles de diferenciación entre lo real y lo inventado. También el presentador del Canal 24 Horas de RTVE, Àngel Pons, ha denunciado la utilización de este tipo de vídeos en los que animan a invertir usando su imagen.

Las consecuencias psicológicas, sociales y políticas pueden llegar a ser irreversibles. El contenido sexual no consentido se ha convertido en una forma de agresión digital, como el caso de los jóvenes de Almendralejo, recientemente multados por Protección de Datos con 2.000 euros, al difusor de aquel vídeo generado por IA en el que se veía un falso desnudo de unas compañeras de clase. 

La creación de contenido sexual falso con menores aunque sea generado digitalmente constituye un delito en muchos sistemas jurídicos. Sin embargo, como muestran los estudios legales recientes, e indica José Manuel Mateu de Ros, CEO de Zertia, “no todos los países están preparados para enfrentarse a estas nuevas formas de abuso”.

¿Hay respuesta?

Algunos gobiernos han comenzado a reaccionar. España, por ejemplo, anunció en marzo una regulación específica que tipifica como delito la fabricación y difusión de deepfakes sexuales, así como el grooming (engaño a una persona menor utilizando una identidad ficticia) mediante herramientas digitales. 

Pero como explica Sara G., abogada, “no hay un delito de deepfake como tal, por ello hay que encuadrar estas conductas dentro de tipos penales que ya existen y están en el marco jurídico español”. 

Acudimos a Tirant Lo Blanch, una editorial especializada en asuntos jurídicos o de Humanidades. Y nos recuerdan que un deepfake puede vulnerar el derecho a la intimidad, lesionar el honor, constituir suplantación de identidad o alterar la prueba en un proceso. Es lo que, señala el periodista Bruno Guerra —especializado en comunicación política, institucional y tecnológica— hemos visto en las “últimas semanas con Cerdán o Leire Díaz asegurando que no se reconocen en los audios que aporta la UCO”.

Moderación

Los investigadores de AI Forensics añadieron que las cuentas a veces escapan a la moderación de TikTok durante meses, a pesar de publicar contenido prohibido por sus condiciones de servicio y, pese a que son eliminadas posteriormente, en ocasiones ya han “hecho” un daño irreversible. 

La red social calificó las afirmaciones del informe de la ONG de “infundadas” y aseguró que los investigadores se habían centrado exclusivamente en ella cuando el problema afecta a múltiples plataformas o a YouTube.

“En TikTok eliminamos contenido dañino generado por IA, bloqueamos la creación de cientos de millones de cuentas bot, invertimos en tecnologías de etiquetado de IA líderes en la industria y ofrecemos a las personas herramientas y educación para controlar cómo experimentan este contenido en nuestra plataforma”, dijo un portavoz en The Guardian.

Es por esto que, desde la ONG, se acoge con "satisfacción” la decisión de la compañía de permitir a los usuarios limitar la cantidad de contenido de IA que ven, pero insisten en que, pese a que invierta en tecnologías de etiquetado líderes en la industria, "seguimos siendo escépticos respecto al éxito de esta función" por lo que "el etiquetado debe mejorar".

Pero, ante un alud diario de contenidos, cada vez es más difícil que los moderadores puedan trabajar con tal cantidad de vídeos por hora, lo que implica que se usen esas tecnologías autónomas y automáticas para etiquetar contenido.

“Esta investigación muestra cómo el contenido generado por IA ya está integrado en las plataformas y en un ecosistema de viralidad más amplio”, alertan los investigadores que indican cómo “la línea cada vez más difusa entre el contenido humano auténtico y el generado sintéticamente por inteligencia artificial en la plataforma señala un nuevo giro hacia una mayor presencia de contenido de IA en los feeds de los usuarios”.

AI Forensics propone a TikTok considerar la creación de una función exclusiva para contenido generado por IA dentro de la aplicación, con el fin de separar el material creado por máquinas del creado por humanos. “Las plataformas deben ir más allá de las etiquetas débiles u opcionales y considerar segregar el contenido generativo del material creado por personas, o encontrar un sistema justo que imponga un etiquetado sistemático y visible del contenido generado por IA”, dijeron.