Las máquinas suelen ser injustas. Por eso debemos trabajar en arreglarlas.

Ingrid Briggiler
Llamando al Doctor
Published in
4 min readDec 23, 2019
“GQ Magazine — Vast Intelligence” by Jason Solo (CC BY-NC-ND 4.0)

Solemos atribuirle a las computadoras una cierta infalibilidad. Asumimos que siguiendo su fría matemática no pueden equivocarse y que, a diferencia de los humanos, no siguen sus emociones para tomar decisiones sino que estas son orientadas por la pura lógica. Pero en su funcionamiento suelen ocultar sesgos que en la mayoría de los casos son incorporados sin que nadie se percate de ellos.

En los últimos años la postura de la comunidad científica frente a los desarrollos de inteligencia artificial, entre los que se cuentan algoritmos de machine learning, deep learning y otras soluciones de búsqueda de patrones y organización de información, cambió notablemente. Ya no se los considera ejemplos de razonamiento lógicos y racionales, sumamente objetivos, sino que se ha empezado a prestar especial atención a que sus resultados muchas veces son cuestionables y discriminatorios. Pero el motivo por el cual nuestros mejores ejemplos de inteligencia artificial aplicada tienen estos problemas es algo compleja y no puede ser sencillamente resumida sin hacer ciertas consideraciones.

Como señala The Medical Futurist, los ejemplos de sesgos en soluciones de inteligencia artificial se han multiplicado recientemente. Sin ir más lejos, hace apenas dos años Google se encontró con un problema de relaciones públicas cuando un estudio encontró que al buscar imágenes “black hands” la mayoría de los resultados arrojados mostraban imágenes peyorativas, como una mano blanca ayudando a una mano negra, o manos negras trabajando la tierra. Hoy las cosas no han cambiado tanto, aunque los ejemplos más obscenos dentro de los resultados han sido modificados.

Muchas veces se ha apuntado que los algoritmos de reconocimiento facial suelen funcionar un 11 a 20% peor con caras de tez oscura que con personas blancas. No solo esto, sino que en el caso de mujeres negras los resultados funcionaban aún peor. Esto tampoco se reduce únicamente al reconocimiento facial, sino que se extiende también a los programas que se usan para asesorar en la contratación de nuevo personal. Tan bochornoso fue el resultado que obtuvo el equipo de RRHH de Amazon con un software de este tipo que debieron abandonarlo: por lejos el algoritmo elegía candidatos hombres y aunque se intentó corregir este sesgo no se lo logró arreglar.

The Medical Futurist identifica tres principales motivos por los cuales los algoritmos suelen estar sesgados: data sets incompletos o de mala calidad; injusticias sociales que inadvertidamente son incorporadas en la programación; y decisiones individuales conscientes o inconscientes.

En tanto los algoritmos son entrenados con data sets, colecciones de datos específicos, la calidad de los mismos es crucial a su desarrollo: “Si el data set es incompleto, no lo suficientemente diverso, proviene de un solo área de estudio, el sistema de IA puede que funcione perfectamente durante las pruebas pero devuelva resultados sesgados en el ‘mundo real’”.

Otro problema es el de las injusticias sociales, profundamente arraigadas. Muchas veces incluso cuando el data set es lo suficientemente representativo y diverso el algoritmo igualmente llega a conclusiones discriminatorias. “El motivo puede que sea que una práctica social está tan profundamente arraigada que será automáticamente transferida al proceso por el cual la IA juzga”. Si un algoritmo revisa las aplicaciones de candidatos de las últimas décadas es esperable que encuentre que muchos más varones aplican a posiciones técnicas, por ejemplo, priorizándolos. Pero eso no necesariamente refleja lo calificadas que están las mujeres para ese mismo rol.

Por último, en el armado de los data sets necesariamente se toman decisiones respecto de lo que estos datos describen. Por ejemplo, muchas veces se asume que un código postal es un dato inofensivo, pero cuando se establece una correlación entre código postal y nivel socioeconómico, inseguridad, o nivel educativo alcanzado, se puede formar un sesgo en contra del mismo. Estas decisiones de diseño muchas veces son inocentemente tomadas por quienes programan el sistema y sin prever las consecuencias insospechadas que estas decisiones implican se puede inclinar injustamente la balanza hacia un lado y no otro.

En cuanto a la salud, todas estas limitaciones y problemas se vuelven elementos fundamentales a tener en cuenta: la fuente, calidad y diversidad de los datos, las prácticas sociales históricas reflejadas en esos datos, y las decisiones individuales de diseño, sean conscientes o inconscientes, determinan hasta qué punto el sistema de inteligencia artificial estará o no sesgado.

Los datos médicos, como se ha señalado numerosas veces, son extremadamente masculinos y extremadamente blancos. En un estudio de 2014, se señalaba cómo la mayor mortalidad en casos de cáncer en poblaciones afroamericanas podría deberse a que este grupo demográfico estaba muy subrepresentado en los datos de investigación. Y en otro estudio acerca de investigación genética se encontró que en el 81% de los datos genéticos los participantes son de ascendencia europea. Esto tiene como consecuencia que las especificidades de otros grupos, como africanos, asiáticos, hispánicos o mediorientales, no estaban disponibles. Si consideramos que estos datos luego son procesados por sistemas de inteligencia artificial empezamos a ver por qué esto supone un problema enorme.

Para solucionar estas dificultades podemos tener en cuenta dos acercamientos, igualmente importantes: generar mayor conciencia respecto de los sesgos algorítmicos, y empujar el desarrollo de nuevas versiones de tecnologías existentes que estén más balanceadas y minimicen sesgos.

Lo que en última instancia los desarrollos de IA nos demuestran es que las personas de hecho solemos actuar de forma profundamente sesgada, incluso si no lo reconocemos. Solemos atribuirnos mayor racionalidad y objetividad que la que de hecho ejercemos. Ahora que las máquinas dejaron esto en evidencia quizás sea momento de trabajar para resolverlo.

Ingrid Briggiler es founder y CEO de Llamando al Doctor, aplicación de telemedicina que facilita la comunicación entre pacientes y médicos a través de videollamadas.

--

--

Ingrid Briggiler
Llamando al Doctor

Emprendedora. Tocoginecóloga. Fundadora y CEO de @LlamandoAlDr Vivo dándole forma a la idea que cambiará el mundo ingrid@llamandoaldoctor.com