Desde hace bastante tiempo, aunque de forma casi imperceptible, gran parte de la sociedad ha comenzado a estar condicionada por la Inteligencia Artificial (IA). Más allá de aplicaciones tecnológicas que facilitan el día a día, como coches que aparcan solos o teléfonos móviles que monitorizan la salud, la IA también incluye un mecanismo invisible de vigilancia y escrutinio social que se está encargando de decidir las posibilidades de futuro de millones de personas.

Sistemas automatizados de toma de decisiones (algoritmos) deciden cuestiones tan relevantes como quiénes serán preseleccionadas para un empleo, qué familias obtienen ayudas sociales, a qué personas se admitirán en un centro educativo, quiénes reciben un préstamo hipotecario, e incluso qué perfil de mujeres víctimas de violencia de género merecen contar con una orden de alejamiento de su agresor.

Los defensores de la IA afirman que su aplicación permite desarrollar un trabajo más rápido y eficiente y que, al operar con ecuaciones matemáticas, se obtiene una mayor precisión y "neutralidad" en los resultados. Sin embargo, esta asepsia que siempre se nos ha vendido como inherente a la IA es fuertemente cuestionada por una serie de expertas/os quienes afirman que, contrario a lo que se nos dice, los algoritmos lo que hacen es reproducir patrones históricos de poder y privilegio.

Para el científico peruano, Omar Flores, doctor en Ciencias de la Computación que ha trabajado en Silicon Valley diseñando un algoritmo de reconocimiento facial que oculte datos como el género y la raza, es imposible que la IA sea neutral por una razón muy simple: los algoritmos son programados por personas y, por tanto, contienen los mismos sesgos de raza, género y clase (entre otros) que tienen las personas que los programan. En este sentido, afirma que "todo algoritmo es un punto de vista".

En la misma línea, Virginia Eubanks, autora de La automatización de la desigualdad, sostiene que "la tecnología es todo menos neutral". Esta cientista política, que en su obra analiza en detalle cómo las políticas estadounidenses basadas en algoritmos reproducen desigualdades sociales, afirma que en la IA "los sesgos de raza, género y clase son estructurales y sistémicos".

Algo que no nos debería sorprender si pensamos en el perfil endogámico de quienes diseñan los algoritmos en las grandes empresas tecnológicas: hombres blancos de clase media, o media alta, que han pasado por las mismas universidades y que la mayoría de las veces viven en los mismos barrios y se desenvuelven en los mismos círculos sociales.

El problema del sesgo algorítmico

En lenguaje sencillo, la IA es la combinación de algoritmos que se instalan en un sistema con el propósito de simular los procesos cognitivos de la inteligencia humana. De esta manera, se "entrena" a las máquinas para que realicen acciones que antes hacían los seres humanos, como tomar decisiones o hacer análisis predictivos.

El problema ocurre cuando este entrenamiento se hace con algoritmos que parten de una base sesgada. Por poner un ejemplo simple: si se "enseña" a un ordenador a predecir perfiles de potenciales delincuentes descartando los datos de aquellas personas que han cometido "delitos de guante blanco" (fraude fiscal, malversación de fondos públicos, evasión de impuestos, blanqueo de capitales, etc.), difícilmente la máquina va a arrojar como posible perfil a una mujer o a un hombre blanco de clase alta, residente del barrio Salamanca en Madrid.

Por el contrario, si solo se incluyen datos de personas que han cometido delitos comunes (hurtos, robos, tráfico de drogas, etc.), el perfil que se obtendrá probablemente sea el de una mujer u hombre de clase media o media baja, residente en algún barrio obrero con alta presencia de población migrante y racializada.

En este ejemplo, el "perfil" del potencial delincuente va es estar claramente determinado por los prejuicios de quien programó el algoritmo al decidir incluir unos datos y descartar otros, lo cual podría determinar que la atención policial se concentre en determinados barrios y sobre determinadas personas, produciendo y reproduciendo el círculo de criminalización y estigmatización. Algo que ya está ocurriendo en varias ciudades de Estados Unidos mediante la implementación de la llamada "policía predictiva": un software que predice dónde, cuándo y qué perfil de personas van a cometer un delito, y que deriva en una sobrepresencia policial en barrios de personas latinas y afroamericanas.

Además, teniendo en cuenta el carácter sistémico del racismo y la manera en la que este condiciona la realidades materiales de las personas migrantes y racializadas, así como por la forma en la que se actúa policialmente contra ellas, los datos que alimentan esta programación tienen una raíz condicionada. Podríamos preguntarnos si las actuaciones policiales en barrios obreros y racializados responden a unos índices de criminalidad o a la necesidad de proyectar una determinada imagen que legitime su presencia y alimente una lógica (e industria) de la securitización, y también si hay más criminalidad en barrios pobres y racializados como consecuencia de una mayor fiscalización.

La denuncia de los sesgos algorítmicos no es nueva. En 1988 la Comisión de Igualdad Racial de Reino Unido acusó a la Escuela de Medicina del Hospital St. George’s Geoffrey de discriminar por raza y sexo en sus pruebas de admisión. Esta facultad realizaba un primer cribado mediante un programa informático que crearon en los años 70 y que analizaba, entre otras cosas, el nombre o el lugar de nacimiento del candidato/a. De este modo, durante años fueron descartadas de forma automática mujeres y hombres de origen no europeo.

¿Cuántas personas al realizar una solicitud ante una entidad pública o privada han recibido por respuesta "lo siento, el sistema no aprueba/acepta la operación"? ¿Qué sabemos de los algoritmos que se están utilizando para acceder a una entrevista de trabajo, obtener una beca o una ayuda social?

En España, de los 2,3 millones de personas que estaba previsto que recibieran el ingreso mínimo vital (IMV), solo 800 mil personas han podido acceder a esta prestación, según los últimos datos publicados por el gobierno. De hecho, un informe reciente de Cáritas señala que solo uno de cada cinco hogares postulantes consigue obtenerlo. Diversas informaciones apuntan a que uno de los grandes problemas en esta materia se relaciona con el empadronamiento. Si dos unidades familiares solicitantes están empadronadas en la misma vivienda, se les niega la prestación. Si un miembro de una unidad familiar solicitante está empadronado en una dirección distinta al resto de su familia, también se les niega la prestación.

Según el Análisis de Impacto sobre Igualdad Racial (AIIR) desarrollado por organizaciones antirracistas y coordinado por Righst International Spain, el principal motivo de denegación es la pertenencia a una Unidad de Convivencia diferente a la de la solicitud realizada (29,77%). Esta situación afecta gravemente a familias de personas migrantes y gitanas que, por cuestiones estructurales, además de compartir viviendas suelen empadronar a familiares y amigos, o empadronan a sus hijas/os en direcciones diferentes para poder acceder a una plaza en un centro educativo. Esta misma investigación identifica como principales obstáculos la brecha digital y las trabas burocráticas que plantea una prestación destinada a los más vulnerabilizados

La falta de transparencia en materia de utilización de la IA a nivel gubernamental nos impide conocer qué tipo de programas informáticos se están utilizando en el análisis de las solicitudes del IMV, pero observamos un sesgo racial y de clase, que impide que este beneficio llegue a todas las familias que lo necesitan.

Software que no reconocen tu rostro o te confunden con un animal

Otro de los grandes problemas demostrados en la IA es el relativo a los algoritmos de reconocimiento facial, es decir, la identificación de personas a través de una imagen digital. Se trata de un mecanismo que conlleva la vulneración de los derechos más fundamentales como lo son los relativos a la privacidad o a tener conocimiento de que estos datos se están registrando, además de los riesgos de seguridad que plantea la filtración de una información de la que no nos podemos deshacer.

Por otra parte, estos algoritmos plantean el problema descrito por la investigadora del MIT y fundadora de la Algorithmic Justice League, Joy Buolamwini, de ascendencia ghanesa, que descubrió que diversos programas de reconocimiento facial eran incapaces de "leer" su rostro, a menos que se pusiera una máscara blanca.

Tras esta experiencia, Buolamwini decidió probar la precisión de los sistemas de IBM, Microsoft y Megvii sobre una base de datos de 1.270 rostros de políticos. Al finalizar las pruebas, estableció dos cosas: primero, que los software identificaban con mayor precisión a hombres que a mujeres; y segundo, que identificaban mejor a hombres de piel blanca que de piel oscura y que también identificaban mejor a mujeres de piel blanca que de piel oscura. Mientras que en el caso de varones blancos el margen de error era inferior al 1%, este aumentaba a 35% cuando se trataba de rostros de mujeres negras.

Las deficiencias en los programas de reconocimiento facial llevan años poniéndose sobre la mesa. En 2019, el Instituto Nacional de Estándares y Tecnología, agencia de la Administración de Tecnología del Departamento de Comercio de los Estados Unidos, analizó 189 algoritmos de 99 desarrolladores, entre ellos, Microsoft, Intel y SenseTime.

Tras analizar 18,27 millones de imágenes de 8,49 millones de personas, el estudio concluyó que la mayoría de software de reconocimiento facial tienen problemas graves para identificar rostros de personas no caucásicas. En concreto, descubrieron que se producían "falsos positivos" con rostros de personas negras y asiáticas, es decir, que los programas identificaban a dos seres humanos diferentes como si fueran la misma persona.

Cuatro años antes, en 2015, Google se vio obligado a pedir disculpas tras demostrarse que su aplicación Google Photos etiquetaba a personas negras como "gorilas". Algo similar ocurrió el año pasado con Facebook, que también debió ofrecer disculpas públicas cuando se descubrió que uno de sus algoritmos identificaba a hombres negros con primates en un vídeo.

La IA perpetúa e intensifica la discriminación al destinarse sobre todo a grupos raciales sistemáticamente vigilados y controlados, a los que se les aplica de manera desproporcionada y sin las mismas garantías que al resto de población europea. Así es el caso del gobierno italiano, que frente a los dos millones de imágenes digitales de personas italianas que tiene registradas, alberga casi tres veces más imágenes de personas migrantes y refugiadas.

Esta lógica de funcionamiento se vuelve todavía más problemática cuando se aplica a las fronteras. A fines del año pasado supimos que el gobierno de España tiene pensado implementar durante la segunda mitad de 2022 la denominada "frontera inteligente" en Ceuta y Melilla, con el objetivo de regular las entradas y salidas de personas extracomunitarias del espacio Schengen y "combatir el terrorismo". Esta herramienta registrará a todos los viajeros de terceros países, e incluirá sus nombres y datos biométricos, es decir, huellas dactilares e imagen facial.

Tomando en cuenta los numerosos fallos que arrojan los programas de reconocimiento facial, y la gran situación de vulnerabilidad en que se encuentran las personas racializadas y migrantes que entran por frontera sur, podemos suponer el terrible impacto que va a provocar esta herramienta, la que vendrá a actuar como un nuevo dispositivo racista dentro del Estado español.

Además de los debates legales y éticos que plantean estos mecanismos, y que son omitidos cuando las personas afectadas son migrantes, no se aporta información sobre quiénes o qué organismos e instituciones se encargarán de registrar y almacenar esos datos o cuáles serán los protocolos para evitar se den usos aún más perversos de los mismos.

La IA no solo no es neutral por estar sesgada, también lo es por emplearse en un contexto social y político donde no hay neutralidad. Lejos de tratarse de un sistema aséptico que reduce las desigualdades, amplifica y reproduce viejos patrones de discriminación racial y social. Ante esta situación, es imprescindible que desde el antirracismo se comience a abordar esta problemática con voz propia. Algunas ya formamos parte de proyectos que están intentando visibilizar esta realidad.

La IA no puede ser un campo que quede fuera del escrutinio público y la vigilancia de los movimientos sociales, porque está determinando el futuro de millones de personas. Es un nuevo frente de lucha para las comunidades y pueblos racializados, y debemos estar preparadas para ello.