En enero de 2021, la caída del Gobierno neerlandés se debió a un escándalo que pone de relieve los peligros que entraña el tratar de administrar servicios públicos esenciales mediante inteligencia artificial. Entre 2009 y 2019, en el que ahora se conoce como el toeslagenaffaire (el asunto de las prestaciones), alrededor de 26.000 padres fueron acusados por error de cometer fraude con las prestaciones por cuidado de los hijos.

Los servicios fiscales neerlandeses pusieron en su punto de mira principalmente a las familias de entornos más pobres y a aquellas con nombres de “sonoridad extranjera”, obligándolas en algunos casos a devolver injustificadamente decenas de miles de euros de subsidios por el cuidado de los hijos. Las personas afectadas a menudo no tuvieron acceso a recursos legales, lo que llevó a muchas familias a endeudarse y a divorciarse. Algunas familias incluso perdieron su vivienda.

Parte del escándalo se debe a un algoritmo. Uno de los medios utilizados por el Gobierno neerlandés para detectar fraudes era un sistema automatizado que analizaba posibles indicios de fraude.

A raíz de este señalamiento, las familias fueron seriamente acosadas por funcionarios de la administración fiscal. Sin embargo, resultó que el sistema estaba sesgado: tener doble nacionalidad era uno de los motivos para ser señalado por el sistema.

“Causó enormes estragos”, comenta Nadia Benaissa, asesora de políticas de la ONG neerlandesa Bits of Freedom, que trabaja temas como la libertad en Internet y la discriminación algorítmica. “En este caso predominaron la discriminación y la exclusión del Estado de derecho”.

El toeslagenaffaire es solo un ejemplo de discriminación algorítmica. Se ha demostrado que los algoritmos reproducen prejuicios sociales contra, por ejemplo, las minorías étnicas en las sentencias penales, la policía predictiva e incluso la contratación. Sin embargo, se observa un creciente movimiento para imprimir mayor ética a estos sistemas. Por ejemplo, dos grandes ciudades europeas iniciaron recientemente un proceso de apertura de los algoritmos que utilizan, con la idea de brindar a los ciudadanos la oportunidad de revisarlos. Estas iniciativas de transparencia se denominan registros de algoritmos (o de inteligencia artificial). Es así como en septiembre de 2020, Ámsterdam y Helsinki se convirtieron en las primeras ciudades del mundo en ofrecer esta posibilidad.

¿Son suficientes los registros de inteligencia artificial para proteger a los ciudadanos?

Los registros de Ámsterdam y Helsinki ofrecen una lista de algoritmos, indican los datos que incluyen, cómo se almacenan e incluso qué riesgos entrañan. En el caso de un algoritmo para cámara de vigilancia que detecta si las personas que transitan por la calle respetan las directrices de distanciamiento social de 1,5 metros para la covid-19, la ciudad de Ámsterdam señala que el modelo no necesariamente funciona bien para todos los “colores de piel, edades, tallas o estilos de vestimenta”. Asimismo, la ciudad de Ámsterdam menciona su sistema automatizado de control de estacionamiento, cuyo fin consiste en el escaneo de las matrículas para comprobar si el coche está autorizado a estacionarse en el centro de la ciudad. En Helsinki, el registro incluye un chatbot para clínicas de maternidad que responde a preguntas relacionadas con el embarazo y el desarrollo infantil.

Ambos registros fueron creados por la empresa finlandesa Saidot. Su directora general, Meeri Haataja, señala que se trata de algo más que una iniciativa de transparencia. “Es una plataforma de gobernanza de la inteligencia artificial”, afirma. “Proporcionamos a las organizaciones públicas y privadas que utilizan la inteligencia artificial a escala las herramientas para ayudarles a abordar los riesgos de esos sistemas”.

Esencialmente, venden un servicio informático que proporciona a las organizaciones una mejor supervisión sobre los algoritmos que emplean. Antes, incluso los funcionarios podían no tener muy claro cuáles eran los algoritmos utilizados por la administración pública. Los algoritmos podían abarcar diferentes departamentos y la información fundamental, es decir, los datos en los que se basa el sistema podían no estar accesibles para ser supervisados.

La plataforma de Saidot recopila toda esa información en un solo lugar, lo que permite a las organizaciones evaluar mejor los riesgos planteados por la inteligencia artificial e informar abiertamente sobre ellos al público o a los trabajadores.

“Creemos que la transparencia es una herramienta esencial para gestionar riesgos de orden ético como los prejuicios o la injusticia”, señala Haataja. “Nuestra plataforma permite que se realicen evaluaciones, lo que ayuda a la rendición de cuentas dentro de la organización. A su vez, puede dar la información a las partes interesadas, por ejemplo, los trabajadores”.

Hasta la fecha, Saidot ha vendido bien su propuesta, y cuenta entre sus clientes desde Finnair hasta Espoo, la ciudad finlandesa más pequeña. También han empezado a surgir iniciativas similares en otros lugares. En los Países Bajos, se han convocado licitaciones para crear un órgano de control de los algoritmos, acompañado de normas que obliguen a las organizaciones a divulgar los algoritmos que utilizan. Asimismo, los expertos piden mecanismos para auditar los algoritmos y sus datos subyacentes.

No obstante, es posible que estos elementos no sean suficientes. “Creo que estos registros son un buen paso hacia una mayor transparencia”, comenta Benaissa. “Lo cual es algo a lo que los ciudadanos [de la Unión Europea] tienen derecho, tal como se codifica en el Reglamento general de protección de datos (RGPD).Sin embargo, tenemos que proteger a los ciudadanos de mejor manera, algo que un registro no ofrece”. Haataja, de la firma Saidot, está de acuerdo: “Los registros de inteligencia artificial por sí solos no resolverán todo”, afirma. “La transparencia es un primer paso necesario, pero al final, una mejor gobernanza de la inteligencia artificial requiere un enfoque integral”.

Utilizar los algoritmos para disciplinar a los trabajadores

La amenaza que representa el sesgo algorítmico es muy clara, y se propaga al mundo del trabajo. Aída Ponce Del Castillo, investigadora principal del Instituto Sindical Europeo (ETUI), señala el caso de Amazon, donde las cámaras equipadas con inteligencia artificial vigilan automáticamente la productividad de los trabajadores de almacén; ha habido casos en los que se ha despedido a aquellos considerados como no suficientemente productivos. Sin embargo, a juicio de Ponce Del Castillo, esta lógica podría ir más lejos. “Los algoritmos proporcionan a la dirección información sobre los trabajadores”, afirma. “Por ejemplo, durante un intento de sindicalización, estos algoritmos podrían rastrear quiénes son las personas con las que hablan determinados trabajadores”.

De esta manera, los algoritmos podrían disciplinar a los trabajadores, algo que los seres humanos han hecho durante siglos, pero que ahora son mecanismos que se integran en sistemas automatizados. La pandemia de coronavirus, por ejemplo, obligó a muchos trabajadores a realizar sus tareas desde casa, lo que suscitó un aumento de la vigilancia a distancia. “Las empresas a veces rastrean y analizan las horas que una persona trabaja frente a su ordenador”, señala Ponce Del Castillo. “En algunos casos, el programa puede incluso acceder a la cámara web sin que el trabajador lo sepa. Para los trabajadores de algunos centros de llamadas existe un programa que analiza qué palabras utilizan, para determinar cuán atentos se muestran con los clientes”.

Hacer públicos estos sistemas automatizados podría ser un paso en la dirección correcta, pero es solamente una pieza del rompecabezas. Ponce Del Castillo señala cómo la actual normativa europea ya ofrece un marco para combatir ciertos problemas. “Tenemos el RGPD”, comenta. “Aborda los datos y la privacidad, pero también los algoritmos y la toma de decisiones automatizada. No aporta todas las respuestas, pero es una gran puerta de entrada para lograr mejores normas. Es una legislación revolucionaria”.

Uno de los derechos planteados en el RGPD es la denominada “explicabilidad”. Un algoritmo o sistema automatizado de toma de decisiones debería, en teoría, ser capaz de dar una explicación sobre el motivo por el que ha tomado una determinada decisión. Cuando un algoritmo decide si concede o no un préstamo a una determinada persona, el cliente tiene derecho a exigir cuales son las razones por las que el algoritmo tomó esta decisión. Este concepto de explicabilidad puede parecer sencillo, pero este tipo de cuestiones plantean toda una serie de dificultades.

“De acuerdo con el RGPD cada decisión automatizada debe ser explicable cuando afecta negativamente a las personas”, señala la investigadora. “Pero ¿qué es la explicabilidad? ¿Es el código del algoritmo? Porque este código puede cambiar con el tiempo, o podría protegerse como secreto empresarial. ¿O quizás se refiere a los datos de formación que alimentan el código? La explicabilidad aún no está muy bien definida en la práctica”.

Ponce Del Castillo menciona una técnica que podría cumplir con el criterio de explicabilidad, denominado contraste de hipótesis, es decir, un sistema automatizado tendría que plantear situaciones en las que su decisión podría haber sido diferente. Si un algoritmo decide rechazar su solicitud de préstamo, podría preguntarle bajo qué circunstancias se lo habría concedido. La hipótesis de contraste podría entonces indicar simplemente que el préstamo le habría sido concedido si su salario mensual fuera más alto. El contraste de hipótesis también podría revelar que su decisión se basó en una variable más cuestionable, como el género o la etnia, tras lo cual la decisión podría ser cancelada y el algoritmo suprimido o rediseñado.

Decisiones automatizadas que penalizan

Benaissa, de Bits of Freedom, pide una regulación más específica sobre los algoritmos. “La Unión Europea ya está trabajando en nuevas normativas para la inteligencia artificial”, afirma. “Cabe esperar una mejora en este ámbito en un futuro cercano”.

Bits of Freedom quiere ir más lejos de lo establecido en el RGPD. “Estamos a favor de la prohibición de ciertas aplicaciones”, comenta Benaissa. “Los algoritmos no deben decidir si alguien puede acceder a los servicios esenciales. En este terreno no podemos correr el riesgo de que las personas sean penalizadas por una decisión automatizada. También quisiéramos prohibir los sistemas policiales predictivos porque violan la presunción de inocencia”.

Katleen Gabriels, profesora asistente especializada en ética informática en la Universidad de Maastricht, Países Bajos, añade: “Tenemos que promover la interdisciplinariedad. Necesitamos que haya diferentes tipos de personas que reflexionen sobre estas cuestiones, lo que podría imprimir diversidad en la etapa de diseño entre las personas que diseñan los algoritmos. Sin embargo, esta diversidad también es necesaria en el ámbito de las políticas, porque muchos responsables políticos carecen de formación técnica, lo que a veces les impide evaluar de manera realista estas tecnologías”.

Estas medidas tienen sus limitaciones, como lo demuestran los despidos de Timnit Gebru y Margaret Mitchell del equipo de ética para la inteligencia artificial de Google. Sin embargo, para Gabriels, la educación desempeña un papel importante no solo para enseñar la ética a los programadores, sino también para que el ciudadano de a pie pueda entender cómo funcionan los algoritmos y cómo afectan a su vida. “Los algoritmos no son neutros”, aclara Gabriels. “Visto que se basan en las matemáticas solemos dar por sentado que son neutros, pero no lo son. Una mejor educación puede ayudar a combatir estos estereotipos”.