Inteligencia Artificial y administración pública: entenderla(s) para dominarla(s)

Esta semana se vota en el parlamento europeo una legislación que repercutirá en la vida de todo el mundo: el Artificial Inteligence Act , la legislación sobre inteligencia artificial.

La Inteligencia Artificial (IA) puede mejorar prodigiosamente la vida de todos, siempre y cuando se plantee como una tecnología democráticamente desplegada y respetuosa con los derechos humanos desde el diseño y por defecto.

En la historia hemos visto muchas veces cómo el alarmismo en torno a la tecnología en muchos casos esconde otros intereses: si le tenemos miedo, aceptaremos que otros "que saben más" la controlen. Esto aleja la tecnología de su democratización.

Esta legislación, aunque perfectible, llega a tiempo para reconducir los excesos que ya se comienzan a vislumbrar. En las instituciones, la IA se está desplegando dando bandazos entre la fe ciega en la tecnología, permitiendo a las máquinas decidir quién es digno de ayuda y quién de castigo, o la tecnofobia por la cual mejor quedarnos con boli y papel en la ineficiencia más obtusa.

La solución es que la ciudadanía pueda controlar el uso de esta (y todas) las tecnologías.

Aquí queremos aportar algunos elementos a conocer para juzgar si nuestras administraciones nos están sometiendo a una IA suficientemente democrática.

Desde el punto de vista de los derechos y libertades fundamentales, los elementos a considerar cuando se habla de IA (en las administraciones) son:

- La eficiencia: es el gran y justo argumento para el uso de IA. Ciertamente puede contribuir a mejorar los servicios. Ahora bien, en nombre de la eficiencia no deben sacrificarse derechos y libertades.

- La seguridad: el derecho a la seguridad es también un bien del que deben poder disfrutar, pero con demasiada frecuencia se confunde la seguridad con el control de la población. La escalada en el ámbito de la identificación de las personas en aras de la seguridad a menudo colisiona con su derecho legítimo a no ser perfiladas ni vigiladas. El frenesí con el reconocimiento facial es un claro ejemplo de una deriva que debemos frenar, puesto que el rostro, de todos los datos biométricos, datos que nunca podremos cambiar o borrar, es el elemento personal más expuesto y público.

- La privacidad: es un derecho fundamental que debe priorizarse en todas las consideraciones respecto al uso del IA y biometría para que eficiencia y seguridad no la perjudiquen.

La auditabilidad de la IA se refiere al hecho de que sea pública la "receta" de los procedimientos, de las "órdenes" que se dan a ejecutar a la IA y los "ingredientes" utilizados, la información sobre las personas con la que se la nutre

Para integrar esta perspectiva en los aspectos prácticos de la creación de IA se deben aplicar en cómo se diseña, por lo que se habla de usabilidad [1], y en cómo se informa sobre el diseño, por lo que se debe hablar de auditabilidad. Decimos "se debe hablar" porque podréis fijaros fácilmente en que es el elemento que más a menudo se oculta cuando una institución aplica IA, mientras es la conditio sine qua non para que la aplicación se haga con garantías democráticas verificables.

La auditabilidad de la IA se refiere al hecho de que sea pública la "receta" de los procedimientos, de las "órdenes" que se dan a ejecutar a la IA y los "ingredientes" utilizados, es decir las bases de datos, la información sobre las personas con la que se la nutre, se le pide trabajar.

También debería significar que esta auditoría no debe llevarse a cabo sólo por parte de las instituciones involucradas, sino que la información debe ser accesible, incluyendo los datos utilizados para el entrenamiento, información sobre su origen y cómo se han recogido, los mecanismos (como los mecanismos de anonimización de los datos personales) y funciones utilizadas, etc. Esta información debería hacerse pública de forma pormenorizada, como se hace, por ejemplo, con los medicamentos. Es decir, la auditabilidad debe ser distribuida, pública, en abierto.

Para mayor precisión sobre qué tipo de información debe ser pública y trazable, estas son las definiciones aportadas por la Comisión Europea[1]:

- La trazabilidad se ha de aplicar sobre los métodos utilizados para el diseño y desarrollo del algoritmo, incluyendo qué datos se han recogido y seleccionado, cómo se ha hecho y por qué; las metodologías utilizadas para probar y validar el algoritmo; los escenarios o casos utilizados para probar y validarlo; y los resultados obtenidos.

- La explicabilidad al público se ha de aplicar sobre las decisiones tomadas por el sistema de IA; el grado de influencia del algoritmo en los procedimientos de decisión de una entidad; el motivo por el que se aplica IA; garantizar que se utiliza el modelo más simple y explicable.

- La comunicación, es decir, informar a las personas usuarias finales de que están interactuando con un sistema de IA y no con una persona. Se requiere claridad e inteligibilidad de la información; procedimientos para tener en cuenta los comentarios de los usuarios a fin de adaptar el sistema; información sobre los riesgos de los sesgos y cómo se han paliado; información sobre el objetivo de la IA y quién o qué se beneficia; la información sobre todo esto ha de ser comprensible y tiene que tener en cuenta el sesgo de confirmación y la fatiga cognitiva.

El marco es, pues, favorable. A lo que tendremos que prestar esfuerzo y atención será, por un lado, a que las instituciones lo implementen con la mirada puesta en el interés común y, por el otro, que no se burocratice de manera que los desarrollos de IA solo se los puedan permitir grandes monopolios tecnológicos, dejando fuera el magnífico desarrollo distribuido en Open Source que se está llevando a cabo.

Este texto es la adaptación de una parte de la contribución de Xnet al Proyecto Gavius, para la EU Urban Innovative Actions (marzo 2023)

[1] Las normas internacionales ISO 9241-11 [2]y 25010[3] la definen como la capacidad de un producto para ser entendido, aprendido, utilizado y resultar atractivo para que los usuarios alcancen objetivos específicos con efectividad, eficiencia y satisfacción en un contexto específico.

[2] UNE-EN ISO 9241-11:2018. Ergonomía de la interacción hombre-sistema. Parte 11: Usabilidad. Definiciones y conceptos.

[3] ISO/IEC 25010:2011. Systems and software engineering -- Systems and software Quality Requirements and Evaluation (SQuaRE) -- System and software quality models.

________

Simona Levi es fundadora de Xnet. El artículo es la adaptación de una contribución al Proyecto Gavius, para la EU Urban Innovative Actions, en colaboración con Miriam Carles.