“Ahora sabemos que las herramientas automatizadas están lejos de ser neutrales, y no son necesariamente menos discriminatorias. Este informe demuestra que el sesgo forma parte del desarrollo de algoritmos”, indica la Agencia de los Derechos Fundamentales (FRA) de la UE en un trabajo con el que ha demostrado ese riesgo.
El informe, “Sesgos en los algoritmos. Inteligencia artificial y discriminación” se ha servido de simulaciones informáticas con datos reales para demostrar que el uso de algoritmos para tomar decisiones puede vulnerar derechos humanos.
Lea más: Facebook aumentó la supresión de mensajes de odio y acoso a finales de 2020
“Nuestras simulaciones ponen de relieve la facilidad con la que los algoritmos pueden estar sesgados o desarrollar sesgos con el paso del tiempo. Y esto puede conducir a la discriminación”, señala en el informe Michael O’Flaherty, director de la FRA.
Algoritmos utilizados en predicción de delitos
Los expertos de esta agencia de la UE alimentaron con datos de reportes y denuncias un algoritmo de predicción de delitos que decide a qué barrios enviar más presencia policial.
Si los agentes van más a un barrio, se observan y denuncian más delitos, una información que se inserta de nuevo en el algoritmo, que responde proponiendo más presencial policial.
Ese exceso de vigilancia en unas zonas sobre otras puede ser discriminatorio si produce un trato desfavorable a ciertas personas o grupos.
“Por ejemplo, el uso de algoritmos policiales predictivos puede dar lugar a una vigilancia excesiva de zonas habitadas principalmente por determinadas minorías étnicas, en las que la propia zona se convierte en un indicador indirecto del origen étnico”, señala la FRA.
El informe indica que el algoritmo acaba influyendo en la realidad, que a su vez impacta en el algoritmo, creando un “bucle de retroalimentación” que, si no se corrige, se va exagerando con el tiempo.
Algoritmos se alimenta con datos defectuosos
El problema, explica a EFE David Reichel, autor del informe, es que los datos con los que se alimenta al algoritmo son defectuosos.
Por ejemplo, no todos los delitos se denuncian por igual. Hay más denuncias de robos de coches que de fraude. Y no toda la población acude por igual a la Policía.
Así, los inmigrantes o miembros de minorías pueden tener desconfianza hacia las autoridades o pensar que no sirve de nada su denuncia, o incluso desconocer a dónde acudir.
Además, como ha denunciado la FRA en informes anteriores, hay muchos prejuicios entre los policías de Europa, lo que hace que ser gitano, subsahariano o norteafricano dispare la probabilidad de ser parado por la Policía y, por tanto, que las estadísticas que alimentan al algoritmo estén desequilibradas.
Algoritmos utilizados por la policía
“Hay un riesgo muy real de bucles de retroalimentación. Si la policía va a usar este tipo de algoritmos para decidir dónde desplegar agentes, tienen que estar sometidos a una evaluación”, advierte Reichel sobre la necesidad de usar filtros y controles humanos.
Otra forma de mejorar el algoritmo es mejorar los datos con los que se alimentan: no sólo que haya más denuncias policiales, sino que se refieran a todos los tipos de delitos y sean presentadas por todos los grupos de población.
Reichel señala que la simulación se ha aplicado a algoritmos de predicción de delitos, pero que el mismo efecto de “bucle de retroalimentación” puede darse en sistemas automáticos de concesión de créditos o contratación de personal.
Palabras cargadas de odio
El segundo caso de estudio en el que la FRA ha querido demostrar que el uso de algoritmos puede generar discriminación es el de las herramientas de detección de lenguaje de odio.
En ese caso, se tomaron mensajes en alemán, inglés e italiano de las redes sociales Twitter y Facebook marcados como ofensivos en trabajos de investigación ya existentes, y se crearon frases ofensivas y no ofensivas usando palabras como musulmán o gay.
El resultado fue que frases como “soy musulmán” o “soy judío” fueron clasificadas como ofensivas por algunos algoritmos.
Según Reichel, eso se debe a que son palabras que están tan cargadas de odio en las redes sociales, que son automáticamente relacionadas con algo ofensivo.
Además, en italiano y alemán, donde el género es más detectable que en inglés, las referencias, por ejemplo, a “musulmana” generaban más detecciones de lenguaje de odio que “musulmán”, en lo que Reichel califica de discriminación múltiple.
La FRA insiste en que cuando los algoritmos se crean y se aplican correctamente, son herramientas útiles. Pero advierte de que son necesarios sistemas para analizar y mitigar los sesgos y prejuicios para proteger a la gente de la discriminación.