La inteligencia artificial (IA) está involucrada en nuestras vidas más de lo que pensamos y tiene una influencia decisoria sobre ellas. "Actualmente la IA está en todo, no hay sector en el que no esté, desde la búsqueda de trabajos hasta la vigilancia en espacios públicos", explica Oyidiya Oji, experta en análisis de datos, a infoLibre. Analizar quién crea estas herramientas y cómo funcionan nos puede llevar a comprender las problemáticas que surgen en la sociedad a raíz de su uso.
Partiendo de que a la IA se le ha dotado de cualidades humanas se puede decir que el racismo también ha llegado a las máquinas y ahora tienen poder sobre las minorías. "La tecnología está creada por personas y todas las ideas de la misma se vierten en ella, al final son herramientas que vuelven a reproducir prejuicios que ya existen en la sociedad", analiza Oji.
A mediados de la década anterior, varias activistas antirracistas estadounidenses denunciaron que la inteligencia artificial se estaba utilizando con fines racistas. En 2016 ProPublica alertaba en su página web cómo el algoritmo de los ordenadores de las cárceles estadounidenses evaluaban el riesgo de las personas a que volviesen a delinquir basándose en su perfil racial. En el caso que nos cuenta este artículo, la chica negra fue calificada como “alto riesgo” en comparación con su amigo blanco –a quien habían detenido a la vez, acusados ambos por el mismo delito –quien fue calificado como “bajo riesgo”. En Arizona, Colorado, Delaware, Kentucky, Luisiana, Oklahoma, Virginia, Washington y Wisconsin, los resultados de estas evaluaciones se entregan a los jueces durante el proceso penal.
"Las personas que crean la tecnología son personas blancas de clase media/alta, es decir, un perfil bastante equidistante", explica Oyidiya Oji. "Esas personas, consciente o inconscientemente, tienen unos prejuicios sobre otras comunidades, sobre qué está bien y qué está mal". Aclara que no conocen la sociedad como tal porque se relacionan con personas que se parecen a sí mismas y acaban reproduciendo el racismo o la discriminación por sexo y género, entre otros sesgos.
Por otro lado, la denuncia llega hasta la incrustación de palabras, un algoritmo popular que se usa para procesar y analizar grandes cantidades de datos en lenguaje natural y que caracteriza los nombres europeos y estadounidenses como agradables y los afroamericanos como desagradables. De este mismo modo, las búsquedas de Google imágenes demuestran desde hace años los datos sesgados que rigen los resultados, en los que cuesta encontrar una “familia feliz” que no sea blanca o “niños jugando” que sean negros. Al parecer, para Google, las familias felices y los niños jugando no pueden ser otra cosa más que blancos.
La inteligencia artificial y las fronteras, un muro digital
La gestión de las fronteras es otro ámbito en el que se ha notado el auge de la inteligencia artificial. Los gobiernos y los defensores de la tecnología señalan el potencial de la IA para ayudar a protegerlas de manera más eficiente y, en algunos casos, “más segura”. En 2018 el Aeropuerto Internacional de Dubái empezó a utilizar un “túnel inteligente” que escanea el rostro y el iris de los viajeros, permitiendo su identificación en cuestión de segundos sin tener que presentar documentos de identidad. Este tipo de sistemas ha generado preocupación, sobre todo en lo que respecta a la privacidad de las personas.
La Unión Europea lleva trabajando desde hace años en la creación de una “frontera inteligente” en los límites del espacio Schengen, centrándose en la frontera sur. Esto ha despertado una inquietud y desconfianza entre aquellos que no aceptan la idea de que ciertos algoritmos dicten si algunos individuos pueden suponer un riesgo para la sociedad europea. Organizaciones de derechos humanos como Red Acoge, Oxfam Intermón, Rights International, RegularizaciónYa, entre otras más de 40, y expertos en el impacto social de la inteligencia artificial, lanzaron un manifiesto alertando de los potenciales riesgos de este plan. Advierten de la amenaza que supone el uso de estas tecnologías a la vulneración de los derechos fundamentales de las personas que cruzan la frontera hispano-marroquí. Por otra parte, otras entidades han sido creadas con el fin de denunciar y profundizar sobre el tema, como es por ejemplo el caso de AlgoRace.
La explicación de por qué se quiere implementar este sistema se puede resumir en el reforzamiento del Convenio de Dublín. A través de este documento se establece que "una persona que entra a Europa buscando asilo o refugio tiene que pedirlo en el primer país que pise". “Es decir, si tú entras por la frontera de Ceuta, quieres ir a Francia porque tienes a tu mujer y a tu hija allí, no puedes ir porque has pisado España y tienes que iniciar todo el procedimiento de asilo en España y quedarte como exiliado en España”, explica Youssef M. Ouled, periodista e integrante de la organización AlgoRace. ”Con esta recogida de datos biométricos lo que se va a hacer es reforzar ese convenio, porque se van a recoger estos datos de todas las personas migrantes que cruzan por ahí y van a colocar a todos en el sur de Europa”, añade.
Aclara que estas personas que cruzan la frontera se encuentran en una situación de vulnerabilidad máxima y que sus datos biométricos sean registrados complica aún más su realidad y viola su privacidad como personas. Además, a estas personas no se les pide permiso para recoger estos datos, ese permiso que los ciudadanos europeos deciden voluntariamente si ceder o no. El problema de esto recae no sólo en la supresión de la privacidad de ciertas personas, sino también en que esto se produce en un marco contra la inmigración "ilegal" y la lucha contra el terrorismo. En ese contexto se podrían producir situaciones de abuso y discriminación.
No existe ningún tipo de transparencia
Uno de los grandes problemas que surgen a raíz de la IA y de su utilización en la economía, medicina, educación, fronteras, entre otros, es, según M. Ouled, la opacidad. “Hay una falta de transparencia tan grande que apenas sabemos en España qué sistemas de inteligencia artificial se aplican”. Además, señala que “muchos de estos sistemas son implementados por nuestro propio gobierno y por lo tanto los pagamos con nuestros propios impuestos y no sabemos cuál es el resultado de estos sistemas”.
Es por esto por lo que CIVIO denunció en 2018 que el Gobierno se negaba a explicar cómo funciona la aplicación para conceder o no el bono social energético. David Cabo, director de la Fundación Ciudadana CIVIO, explica a infoLibre cómo se dieron cuenta de que en el BOE se cambiaba el sistema de ayudas del abono social eléctrico. "En este proceso vimos cómo había cosas en la ley que no están demasiado claras", apunta.
Bosco es una aplicación que utilizan las empresas energéticas para decidir quiénes pueden acceder a la ayuda a la energía de sus casas. Esta herramienta aplica una normativa en base a unos criterios traduciendo un algoritmo, "y cuando meten los datos de la persona a la que quiere pedir el bono, te dice si tiene o no tiene derecho”, explica M. Ouled. A pesar de que CIVIO llegase a los tribunales, “el Gobierno se ha negado a dar esa información porque considera que dar esa información es un peligro para el interés público”, señala Cabo.
El equipo de CIVIO ha continuado su "batalla" por la solicitud de información. "En 2019 recibimos información y vimos que había fallos, los cuales el ministerio corrigió", profundiza Cabo, "si había fallos en el proceso de convertir la ley en una especificación técnica, no se puede saber si se ha cometido también en la siguiente fase que es convertir esa especificación técnica en un programa que se ejecuta". No obstante, actualmente todo este proceso sigue abierto.
”Si viviéramos en una sociedad donde no hubiese ningún tipo de desigualdad, pues diríamos genial, no pasa nada, porque estos sistemas facilitan la vida, ahorran recursos, etcétera, pero no es así”, señala M. Ouled. No obstante “vivimos en una sociedad que es racista, que es machista, que es clasista. Por lo tanto, quienes programan este tipo de algoritmos son personas que forman parte de esa sociedad, que tienen esos sesgos”, añade.
Movilización de distintas organizaciones de la sociedad civil
Desde diferentes organizaciones de la sociedad se enviaron una serie de propuestas a consulta pública el 29 de abril para la elaboración de una Ley Orgánica contra el Racismo, la Discriminación Racial y formas conexas de intolerancia. Abierta hace más de un mes por el Ministerio de Igualdad, busca garantizar la transparencia y publicación técnica de los algoritmos, incorporación sistemática de observadores de derechos humanos en las fronteras de la UE, entre otras.
Dichas organizaciones –que son AlgoRace, Algorights y Lafede.cat – reclaman un papel activo en la Agencia Española de Supervisión de Inteligencia Artificial. El último fin de semana de mayo organizaron la primera edición de las jornadas Democracia, Algoritmos y Resistencias. El objetivo principal se encontraba en abordar los contextos que impone la proliferación de la IA desde la perspectiva de los derechos humanos. Demandan una acción conjunta para evitar las desigualdades y piden la creación de estándares y criterios de evaluación algorítmica para asegurar un buen uso de la IA.
Piden además que se reviertan los sesgos de discriminación, segregación y exclusión que a menudo los mismos algoritmos perpetúan, y que garanticen una administración de los datos en clave de justicia social. También persiguen el objetivo de compartir experiencias, crear puentes entre agentes y alinear estrategias de intervención.
Además de racista, también puede ser sexista
En 2019 Joy Adowaa Buolamwini, una científica informática, fundadora de la Liga de la Justicia Algorítmica, contaba en la revista Time cómo descubrió en 2015 que un software de análisis facial no podía detectar su rostro a no ser que se pusiese una máscara blanca. Desde entonces decidió compartir su experiencia sobre el sesgo en la inteligencia artificial que puede conllevar a la discriminación y la exclusión.
Su investigación llegó a conclusiones como que aparte de existir un sesgo racial, también existía uno de género en aquellos sistemas de inteligencia artificial vendidos por gigantes tecnológicos como Amazon, Microsoft o IBM. Buolamwini comprobó que estos servicios a la hora de adivinar el sexo de un rostro, todas las empresas adivinaban mejor los rostros masculinos que los femeninos. Indica en el artículo que las empresas que evaluó “tenían tasas de error de no más del 1% para los hombres de piel más clara. Para las mujeres de piel más oscura, los errores se dispararon al 35%. Los sistemas de IA de empresas líderes no han logrado clasificar correctamente los rostros de Oprah Winfrey, Michelle Obama y Serena Williams”.
Ni 'Black Mirror' ni 'Minority Report': así quiere la UE regular la inteligencia artificial
Además de este problema universal, en España se podría decir que la IA no favorece a las mujeres respecto a la violencia de género. En julio de 2007 se puso en funcionamiento el Sistema de Seguimiento Integral en los casos de Violencia de Género (Sistema VioGén) que se utiliza en todo el Estado excepto en Cataluña y en Euskadi. Uno de los problemas fundamentales que tiene es que “nunca se le ha hecho una auditoría total de todos los datos que tiene almacenados y los resultados que ha dado y nunca se ha hecho una auditoría pública”, explica M.Ouled. “Entonces no sabemos tampoco si discrimina o si genera problemas para las mujeres”, añade.
Los objetivos de este sistema van desde la integración de toda la información de interés que se crea necesaria, hasta la predicción de riesgo y después, “atendiendo al nivel de riesgo, realizar seguimiento y protección a las víctimas en todo el territorio nacional”. Hasta este punto todo es coherente y parece favorable para las mujeres denunciantes. Sin embargo, M. Ouled apunta que otro dilema respecto a este tema recae en que en el momento en el que las mujeres están denunciando se les hace un cuestionario predeterminado y lo van rellenando los propios agentes. En base a las respuestas, se consigue una calificación no apreciado, bajo, medio, alto o extremo riesgo. “No sabemos los detalles de cómo funciona o porque asigna un riesgo u otro. Esto es totalmente opaco”, apunta. “No hay ninguna auditoría pública, se ha pedido esta información al Ministerio del Interior, que se ha negado a dar esa información para hacer una auditoría interna”.
Las preguntas realizadas a las víctimas son muy rígidas, el sistema no comprende ni el contexto, sino cuestiones muy concretas, infravalorando la violencia psicológica que ha podido sufrir esa persona. “Se le hace una pregunta a la víctima, sí o no, o responder de una forma muy esquematizada”, señala M. Ouled. Una organización sin ánimo de lucro que trabaja para proteger a las personas en procesos tecnológicos, Eticas Foundation, realizó una auditoría externa en marzo de este año según la cual se comprobó que “en función de los recursos policiales que haya en determinada comisaría y en determinado lugar, se va a asignar un nivel de riesgo a la víctima”. De nuevo, hay un intermediario entre la herramienta tecnológica y la víctima que puede producir ese sesgo. Por ejemplo, Éticas Foundation señala que “no se puede conocer si VioGén tiende a estimar un riesgo demasiado alto o demasiado bajo en ciertos tipos de casos, como podría ser cuando las denunciantes pertenecen a un particular grupo social”. Además, uno de los resultados que da esta auditoría externa es que el 45% de los casos acaban siendo considerados como riesgo no apreciado.
La inteligencia artificial (IA) está involucrada en nuestras vidas más de lo que pensamos y tiene una influencia decisoria sobre ellas. "Actualmente la IA está en todo, no hay sector en el que no esté, desde la búsqueda de trabajos hasta la vigilancia en espacios públicos", explica Oyidiya Oji, experta en análisis de datos, a infoLibre. Analizar quién crea estas herramientas y cómo funcionan nos puede llevar a comprender las problemáticas que surgen en la sociedad a raíz de su uso.