Armas de Destrucción Matemática (O’Neil, 2016)

Cómo el big data aumenta la desigualdad y amenaza la democracia

Una reseña por Jimena Villacorta

Puedes leer la versión en inglés aquí.

La matemática, científica de datos y escritora Cathy O’Neil ha sido una de las mayores defensoras a favor de restringir la influencia de los algoritmos en nuestras vidas, negando que los algoritmos sean “impersonales” y, por lo tanto, justos e imparciales. Su libro, Armas de Destrucción Matemática, explora el sesgo que está presente en el análisis de datos, las consecuencias imprevistas del big data y la ética que lo rodea, aspectos que tendemos a ignorar cuando pensamos en tecnología.

Los algoritmos afectan cada vez más a la vida de las personas, hasta el punto de que las decisiones sobre la universidad, las solicitudes de empleo, el seguro médico, la obtención de un préstamo o el voto ya no están controladas únicamente por nosotros, los humanos, sino también por modelos matemáticos. Algunos creen que este uso de los algoritmos implica una mayor equidad, ya que se dice que eliminan los prejuicios al juzgar a todos por las mismas reglas.

Sin embargo, O’Neil caracteriza estos modelos, a los que llama armas de destrucción matemática (ADM), como generalizados y llenos de discrecionalidad, ya que nadie parece darse cuenta ni preocuparse de que tomen decisiones en nombre de muchas personas. También los califica de misteriosos, porque no está claro cómo se fabrican y las personas a las que se dirigen estos modelos no saben cómo funcionan. Por último, O’Neil califica estos modelos de destructivos, ya que, a pesar de estar creados para resolver problemas, a menudo los empeoran al ser injustos y sesgados hacia determinadas personas.

“Las armas de destrucción matemática son algoritmos utilizados en todo tipo de empresas como una forma de control social que se dirige a los más vulnerables codificando el racismo o los prejuicios.”
— Cathy O’Neil

Entre los ejemplos de ADM que analiza O’Neil, hay tres en particular que muestran el mensaje de la autora a lo largo del libro, que es cómo estos algoritmos tienen consecuencias inesperadas en la vida de las personas debido a su imprevisibilidad y a la incapacidad de las personas para entenderlos en su totalidad.

Educación

En primer lugar, habla de un algoritmo de reforma educativa muy extendido, destinado a responsabilizar a los profesores de la buena enseñanza, que hizo que se despidiera a profesores de Washington DC y Chicago. O’Neil critica el algoritmo por tener poca transparencia y, sin embargo, puntuar la responsabilidad de los profesores en el sistema. Esto fue incluso responsable de despedir a una mujer basándose en las puntuaciones del modelo de valor añadido que nadie puede entender o mejorar porque está prohibido que nadie en el sistema educativo vea dentro de él.

Justicia

O’Neil también habla del sistema de justicia, en el que hay cuatro niveles. En primer lugar, los datos proceden de los actos policiales que, como sabemos, son desiguales, como el stop-and-frisk en Nueva York, ya que explica que estas técnicas tienen en cuenta factores externos como la raza. Luego vienen la policía predictiva y las sentencias basadas en pruebas: cuando alguien es declarado culpable, los jueces piden una puntuación de riesgo de reincidencia para decidir cuánto tiempo debe ir a la cárcel esa persona.

O’Neil critica estos modelos por ser opiniones arraigadas que promueven los prejuicios. Escribe que en “un estudio realizado en 2013 por la Unión de Libertades Civiles de Nueva York descubrió que, aunque los varones negros y latinos de entre catorce y veinticuatro años de edad representaban solo el 4,7 por ciento de la población de la ciudad, representaban el 40,6 por ciento de los controles de parada y cacheo realizados por la policía. Más del 90 por ciento de los parados eran inocentes”. O’Neil acusa a estos modelos de castigar a los más vulnerables de la sociedad y de criminalizar la pobreza.

Política

El siguiente ejemplo del que habla O’Neil es el de la política de “microtargeting” destinada a conocer a los votantes. Las campañas lo utilizan para identificar lo que quieren los votantes, para conocer cómo son sus perfiles, probando el comportamiento de la gente a través de diferentes mensajes y anuncios en las redes sociales, y utilizar esto para conseguir que voten a un determinado candidato. “La creciente ciencia del “microtargeting”, con sus perfiles y predicciones, encaja demasiado bien en nuestra oscura colección de armas de destrucción masiva”, escribe O’Neil, “…es vasta, opaca e irresponsable. Proporciona cobertura a los políticos, animándoles a ser muchas cosas para muchas personas”.

Al proporcionar una mayor comprensión de cómo a menudo nos sorprenden estos modelos matemáticos, este libro nos anima a cambiar nuestros hábitos en lo que respecta a la tecnología. Si bien O’Neil desea modelos más responsables y una mayor regulación de su uso por parte de los políticos, deja claro que depende de cada uno de nosotros asumir la responsabilidad de cómo permitimos que influyan en nuestras vidas.

Armas de Destrucción Matemática es un libro muy técnico lleno de una amplia gama de estadísticas; sin embargo, también es entretenido y muy atractivo hasta el final, donde O’Neil propone ideas sobre cómo luchar contra estas armas de destrucción masiva y utilizar los big data para mejorar la vida de las personas y promover la igualdad y la justicia, en lugar de amenazarlas. O’Neil escribe: “los procesos de Big Data codifican el pasado. No inventan el futuro. Hacerlo requiere imaginación moral, y eso es algo que sólo los humanos pueden proporcionar. Tenemos que integrar explícitamente mejores valores en nuestros algoritmos, crear modelos de Big Data que sigan nuestra línea ética. A veces eso significará poner la equidad por delante de la utilidad”.

Jimena Villacorta estudia Relaciones Internacionales en la Universidad de Navarra | LinkedIn