Esta semana un grupo de investigadores, junto con la Unión Americana de Libertades Civiles, lanzaron un esfuerzo para identificar y destacar el sesgo algorítmico. La iniciativa AI Now fue anunciada en un evento celebrado en el MIT para discutir lo que muchos expertos ven como un desafío creciente.

El sesgo algorítmico se está convirtiendo en un importante problema social en un momento crítico de la evolución del aprendizaje automático y la IA. Si el prejuicio que se esconde dentro de los algoritmos que toman decisiones cada vez más importantes no se reconoce y no se controla, podría tener graves consecuencias negativas, especialmente para las comunidades más pobres y las minorías. El eventual clamor puede también obstaculizar el progreso de una tecnología increíblemente útil (véase "Inspección de algoritmos para sesgo").

Algoritmos que pueden ocultar prejuicios ocultos ya se usan rutinariamente para tomar decisiones financieras y legales vitales. Los algoritmos patentados se utilizan para decidir, por ejemplo, quién obtiene una entrevista de trabajo, quién obtiene libertad condicional y quién obtiene un préstamo.

Kate Crawford, investigadora de Microsoft, y Meredith Whittaker, una investigadora de Google, dicen que los prejuicios pueden existir en todo tipo de servicios y productos.

"Todavía son primeros días para entender el sesgo algorítmico", dijeron Crawford y Whittaker en un correo electrónico. "Sólo este año hemos visto más sistemas que tienen problemas, y estos son sólo los que han sido investigados".

Ejemplos de sesgo algorítmico que han salido a la luz últimamente, dicen, incluyen sistemas defectuosos y poco representativos utilizados para clasificar a los maestros, y modelos basados ​​en el género para el procesamiento del lenguaje natural.

Cathy O'Neil, matemático y autor de Armas de Destrucción de Matemáticas, un libro que destaca el riesgo de sesgo algorítmico en muchos contextos, dice que las personas a menudo están demasiado dispuestas a confiar en modelos matemáticos porque creen que eliminará el prejuicio humano. "[Los algoritmos] reemplazan los procesos humanos, pero no se mantienen con los mismos estándares", dice. "La gente confía en ellos demasiado."

Un desafío clave, afirman estos y otros investigadores, es que las partes interesadas cruciales, incluidas las empresas que desarrollan y aplican sistemas de aprendizaje automático y reguladores gubernamentales, muestran poco interés en controlar y limitar el sesgo algorítmico. Las compañías financieras y de tecnología utilizan todo tipo de modelos matemáticos y no son transparentes sobre cómo operan. O'Neil dice, por ejemplo, que le preocupa cómo funcionan los algoritmos detrás del nuevo servicio de búsqueda de empleo de Google.

O'Neil trabajó previamente como profesor en Barnard College en Nueva York y analista cuantitativo en la compañía D. E. Shaw. Actualmente es la directora de Online Risk Consulting & Algorithmic Auditing, una empresa creada para ayudar a las empresas a identificar y corregir los sesgos en los algoritmos que utilizan. Pero O'Neil dice que incluso aquellos que saben que sus algoritmos están en un riesgo de sesgo están más interesados en la línea de fondo que en erradicar el sesgo. "Seré honesto contigo", dice. "No tengo clientes en este momento."

O'Neil, Crawford y Whittaker también advierten que la falta de interés de la administración Trump por la AI -y en la ciencia en general- significa que no hay movimiento regulatorio para resolver el problema (ver "El Gaping, Dangerous Hold in the Trump Administration") .

Crawford y Whittaker escriben: "La Oficina de Política Científica y Tecnológica ya no participa activamente en la política de AI, ni en gran parte de acuerdo con su sitio web". "El trabajo de política ahora debe hacerse en otra parte".