¿Puede ser sexista un algoritmo?

Vicente Ordoñez es un profesor de la Universidad de Virginia especializado en aprendizaje automático, cuyo trabajo se centra en el campo del reconocimiento automático de imágenes. Cuál no sería su sorpresa al descubrir que uno de los programas en los que estaba trabajando empezó a etiquetar ciertas actividades como propias de mujeres, incluso cuando eran hombres los que aparecían en las imágenes.

La pregunta surgió de inmediato. ¿Somos nosotros los que introducimos el sesgo de género o existe éste con independencia de nuestra intervención? Para comprobarlo inició un experimento con otros colegas en el que se utilizaron juegos de imágenes seleccionadas por Microsoft y Facebook, que se suponen que estaban exentas de sesgos en este sentido. El resultado fue que no sólo volvía a aparecer, sino que el algoritmo amplificaba el efecto de cualquier indicio que hubiera inferido del proceso de aprendizaje.

Noticias como que un bot se vuelve racista o que el sistema de Gogle etiquete a personas de raza negra como “gorilas” genera bastante inquietud. Tendemos a considerar que los algoritmos de aprendizaje automático extraen información desconocida y relevante para la toma de decisiones y se pone una fe casi ciega en las bondades de esta tendencia. Pero ¿qué pasa cuando las conclusiones son políticamente incorrectas? ¿Debemos buscar fallos en el desarrollo, aceptar las conclusiones de la máquina o parchear el software para que sea más aceptable en sociedad?

Más información en Wired.

Fotografía de Werner Heiber.