“Automating Society Report 2020”. Algoritmos en el poder, opacidad frente a utilidad social.
David Corral apunta las grandes tendencias de la sociedad algorítmica de la mano de este reputado informe.
Hace unos días la ONG alemana Algorithm Watch publicaba su informe titulado “Automating Society Report 2020”. A través de sus casi 300 páginas repasa las actuaciones y políticas en Europa, y algunos países en concreto, sobre el uso de tecnologías de Inteligencia Artificial (IA) y los procesos de toma de decisiones automatizados (ADM). El texto también analiza el impacto que tienen en las personas y las sociedades.
Los autores del informe alertan sobre algunos hallazgos, “sorprendentes”, como que el cambio y la adopción de la IA y los sistemas ADM se están produciendo rápidamente pero que, en lo que respecta a la transparencia de los mismos, no ocurre lo mismo, especialmente en el sector público. Este problema se solucionaría con un registro público que enumere los sistemas y las reglas vinculantes para el acceso a los datos.
En el paso o transición de automatizar una sociedad a o hacia una sociedad automatizada, se encuentra una falta de auditoría, cumplimiento, habilidades para que se pueda evaluar la calidad de las decisiones y explicaciones adecuadas ya que, consideran, las tecnologías se introdujeron sin informar al público y sin generar un amplio apoyo social. En toda Europa rara vez los avances han ido acompañados de los debates públicos adecuados y es habitual caer en el paradigma que Algorithm Watch define como “tecno-solución”, que podría traducirse como “solucionismo tecnológico”. Este enfoque, típico de muchos políticos europeos, identifica la solución a todos los problemas tecnológicos elevando el “solucionismo tecnológico” a una posición en la que es incuestionable y situando, a aquellas personas que plantean preguntas más profundas, en ser casi sospechosas de conspiración. Creen conveniente que, en un futuro en el que se automatizarán cada vez más decisiones de gran alcance y con una influencia humana menos directa, debe de garantizarse que la sociedad civil tenga la oportunidad de opinar y criticar.
EL PAPEL DE LOS ESTADOS Y LA GESTIÓN
Los representantes políticos, además de apoyar a la investigación y el desarrollo empresarial en el campo de la automatización, deben fomentar un amplio debate público cuando la autonomía digital de la población se vea afectada, para que puedan participar en este cambio y se reduzca la hostilidad tecnológica.
El problema, como sucede casi siempre, no es inherente a la tecnología sino al uso que se le da y al enfoque elegido. En el caso de Europa, a medida que los sistemas automatizados de adopción de decisiones pasan a ocupar un lugar central en la gestión de derechos y servicios, las instituciones de toda la región reconocen cada vez más su función en la vida pública, tanto en lo que respecta a las oportunidades como a los desafíos dado que, muy a menudo, los sistemas ADM han dado resultados útiles para toda la sociedad. Por ello, desde la ONG alemana proponen una batería completa de recomendaciones de políticas.
En el repaso que se da a los más de 100 casos en 16 países de Europa, continente donde muchos estados ya tienen regulaciones que rigen los ADM, es extremadamente raro encontrar ejemplos positivos, afirman los autores, aunque existen muchos usos posibles que podrían ser de utilidad para el público en general y la ciudadanía. Entre los casos con excelentes resultados encontramos algunos como el sistema centralizado automatizado para reducir el fraude en el ámbito médico que ha implantado Portugal y que, por sí solo, ha logrado reducir esta práctica ilegal en un 80% o el de Estonia, país en el que estos sistemas han llevado a una reducción considerable en el consumo de electricidad.
España, páginas 222 a 239 (para el que quiera localizarlas), tiene como ejemplo de uso el Sistema de Seguimiento Integral en los casos de Violencia de Género (Sistema VioGén), de la Secretaría de Estado de Seguridad del Ministerio del Interior, puesto en marcha en 2007 para evaluar el riesgo en casos de violencia doméstica y que, a lo largo del tiempo, ha mostrado “índices de desempeño razonables” ayudando a proteger a muchas mujeres de la violencia. Negativos encontramos situaciones como las vividas por algunos estudiantes de Reino Unido, donde un sistema ADM decidió las notas de los alumnos que no pudieron asistir a clase debido al coronavirus y que, finalmente, tuvo que retirarse por las acusaciones de “prejuicios” por privilegiar a los alumnos de familias ricas y a discriminar a los niños de familias de clase media/baja.
Basándose en estos ejemplos los autores del informe opinan que los sistemas ADM no son necesariamente malos, pero que sí que es necesario tener cuidado en su uso, identificando los principales errores y subsanándolos rápidamente y teniendo claro que, por sí mismo y desde el inicio, un sistema ADM no resuelve automáticamente todos los problemas.
UN MOSAICO DE RIESGOS A RESOLVER
Sobre los riesgos, como la recolección de datos, incluyendo los inútiles o poco decisivos, o la creación y difusión de un instrumento, los autores concluyen que “cuando se mira el estado actual de los sistemas ADM en Europa, los ejemplos positivos con claros beneficios son poco comunes y la gran mayoría de los usos tienden a poner en riesgo a las personas en lugar de ayudarlas”. Un ejemplo claro de esta reflexión es la gestión de la pandemia y el uso de aplicaciones de rastreo de contactos. En su intervención el 29 de octubre ante la Asamblea General de las Naciones Unidas celebrada en Nueva York el Relator Especial de las Naciones Unidas sobre el derecho a la privacidad, Joseph Cannataci, afirmó que: “La vigilancia generalizada no es una panacea para el Covid-19… Si bien las emergencias de salud pública siempre han proporcionado una base legítima para el procesamiento de datos y si bien el rastreo de contactos se puede clasificar como una medida necesaria para contener una pandemia, les recuerdo urgentemente a los Estados que cualquier respuesta al coronavirus debe ser proporcionada, necesaria y no discriminatoria”.
En 2020, la tecnología de mayor preocupación es el reconocimiento facial, “probado y utilizado a un ritmo alarmante en toda Europa” y presente “en escuelas, estadios, aeropuertos y casinos”, utilizado “para arrestar delincuentes”, contra el racismo y la lucha contra la pandemia. El Estado no debe decidir unilateralmente sobre el uso de tales sistemas si pueden tener consecuencias de tan largo alcance para los derechos fundamentales y, según el informe, es mejor prohibir esto porque el riesgo de vigilancia masiva es demasiado grande. En el texto se subraya que no existen reglas detalladas o claridad de intención sobre la adopción generalizada de estas soluciones. Aunque en el momento de la promulgación del GDPR (General Data Protection Regulation) no hubo mucho debate sobre el reconocimiento facial, sí que es cierto que el Reglamento fue diseñado para que pudiera adaptarse con el tiempo a medida que evolucionan las tecnologías. El supervisor europeo de privacidad, Wojciech Wiewiórowski, cree que “ahora es el momento de que la UE determine si la tecnología de reconocimiento facial puede permitirse (o no) en una sociedad democrática. Si la respuesta es afirmativa, entonces será oportuno hacer preguntas sobre las garantías y responsabilidades en su uso”. Ésta es una premisa importante porque no da por sentada la legitimidad del uso de tales sistemas para el control de la población.
ALLANANDO EL CAMINO: ¿QUÉ FUTURO CERCANO QUEREMOS?
El informe, pese a sus muchas advertencias, también habla de un “potencial para mejorar la vida de las personas, apoyándolas en los procesos de toma de decisiones”, “respetando los derechos humanos y la democracia” y asegurando “la transparencia y subsanando los errores ya cometidos”. Para los que toman las decisiones el mensaje “no podría ser más claro” y les ofrecen tres consejos: aumentar la transparencia, crear un marco legislativo y de rendición de cuentas claro y promover el debate público, además de un principio general: la inteligencia artificial debe trabajar con la inteligencia humana, incrementándola y no reemplazándola.
La tercera ley de Arthur C. Clarke, citada en el informe para subrayar la adopción y promoción de estas tecnologías, dice que “cualquier tecnología lo suficientemente avanzada es indistinguible de la magia”. Pero la magia es obra y arte de un mago y, en el caso de las tecnologías, no existen reglas vinculantes que aclaren las responsabilidades. Los algoritmos son, en última instancia, creados por humanos y según los autores “no son ni neutrales ni objetivos”. Las suposiciones y creencias incorporadas harían responsables a los creadores de las decisiones de los algoritmos “espeluznantes” pero… “siempre humanos”.
David Corral Hernández es Responsable de Innovación de Contenidos en RTVE y Socio de OdiseIA.
[Este artículo no representa la posición oficial de RTVE ni de OdiseIA en su conjunto]
