Viés Algorítmico: da culpabilidade à proximidade com a realidade técnica
Extinguir a discriminação de raças e géneros sempre foi um grande objetivo a ser alcançado e o aparecimento de tecnologias algorítmicas impôs novos desafios a esta luta. Sistemas como o “modelo de valor acrescentado”, utilizado para decidir sobre a carreira de professores; o algoritmo de risco de reincidência, que calcula a probabilidade de se repetir uma ofensa; e outros tantos sistemas de machine learning que decidem as oportunidades a que cada um tem acesso, têm automatizado comportamentos preconceituosos e discriminatórios por tomarem decisões que afetam os indivíduos com base na sua raça, género ou classe social. Retirar a subjetividade e as tendências preconceituosas do ser humano através da automatização dos processos de decisão levou a considerar os algoritmos como um aperfeiçoamento destes processos (Newman et al., 2020, pág. 150). Contudo, sistemas de reconhecimento facial que não reconhecem caras negras e algoritmos de contratação que excluem candidatos femininos são alguns exemplos do que é chamado por Noble (2018) de “algoritmos de opressão”. As questões são, portanto, as seguintes: de quem é a culpa de tais problemas, da tecnologia em si, dos seus desenvolvedores ou da própria sociedade; e o que pode ser feito no combate a estes problemas.
Definição de algoritmo e viés algorítmico
Primeiramente, é fundamental definir o que é um algoritmo e o que se entende por viés algorítmico. O’Neil (2017) oferece uma explicação: um algoritmo são dados + uma definição de sucesso. Dados são o que utilizamos para ensinar padrões às máquinas (Buolamwini em Coded Bias, 2020), e a definição de sucesso é o objetivo definido para o algoritmo. Ilustra como usamos algoritmos não-tecnológicos no nosso dia-a-dia: quando quer decidir o que cozinhar, os dados são o tempo e os ingredientes disponíveis e a sua definição de sucesso é fazer com que os seus filhos comam vegetais. Por outras palavras, um algoritmo é um sistema de inteligência artificial criado para recolher toda e qualquer informação a que tenha acesso e a partir dessa recolha gerar ligações e tomar decisões referentes ao propósito para que foi criado. Contudo, decidir, por exemplo, a contratação de determinado indivíduo por meio da análise matemática das suas características biométricas, financeiras, sociais, entre outras, faz com que este possa ser alvo de viés algorítmico, resultado da influência de vários agentes e fatores no complexo processo de criação, treino e utilização de um algoritmo que diferencia indivíduos nas suas decisões.
Culpabilidade dos desenvolvedores
Analisemos a culpabilidade dos desenvolvedores pegando no exemplo de O’Neil: a sua definição de sucesso na cozinha é fazer com que os seus filhos comam vegetais; no entanto, se a decisão coubesse ao seu filho mais novo a definição seria “comer Nutella”. Os desenvolvedores têm influência sobre a forma como o algoritmo agirá; se a forma como o arquitetam apresentar tendências preconceituosas, por exemplo omissão de dados ou dados insuficientes sobre determinada população no conjunto de treino, o sistema resultará tendencioso. Enquanto seres humanos, temos sempre embutido algum nível de preconceito que acaba por ser transferido. A fraca representatividade e carência de diferentes pontos de vista culturais nos grupos de desenvolvimento torna-se um obstáculo. Desde que o termo “inteligência artificial” foi cunhado, tudo o que provém desta área deve-se a um grupo pequeno e homogéneo não representativo de toda a população e por isso incapaz de compreender todos os possíveis impactos sociais que podem resultar do uso dos seus sistemas, como desconfiança da sua eficácia, marginalização ou até mesmo morte (Akter et al., 2021, pág. 8). Webb (2019) defende que os gigantes tecnológicos não devem ser considerados vilões que projetam algoritmos discriminatórios mas sim a maior esperança na resolução destes infortúnios, e tal passa pelo aumento da diversidade nas equipas de desenvolvimento. Acresce-se o problema da falta de conhecimento sobre como funcionam os algoritmos que, por serem machine learning, aprendem sozinhos quanto mais são utilizados, estabelecem conexões entre informações e decidem com base nessas relações desconhecidas até mesmo para os proprietários do código que “não têm controlo total sobre os resultados, nem estão totalmente cientes do que acontece no interior dos seus sistemas” (Rieder e Hofmann, 2020, pág.8).
Culpabilidade do algoritmo e da sociedade
Eubanks (2018) desresponsabiliza a inteligência artificial (IA) argumentando que esta apenas intensifica o sistema social. “A estrutura matemática subjacente do algoritmo não é racista ou sexista, mas os dados assimilam o passado” (O’Neil em Coded Bias, 2020). Se a história é marcada por desigualdades, os dados refletirão tais dissemelhanças, os sistemas automatizarão as diferenças de tratamento e perpetuarão os preconceitos e as “desigualdades estruturais” (Kuhlman et al., 2020). No entanto, as pessoas não são apenas vítimas dos algoritmos, elas também exercem influência na sua atividade pois estes aprendem quanto mais são utilizados e com a forma dessa utilização (Akter et al., 2021, pág.6).
O que pode ser feito
Se é fundamental discutir política por ser algo que influencia a nossa vivência quotidiana, é igualmente importante falarmos sobre o desenvolvimento, utilização e impacto dos sistemas que tomam decisões por e sobre nós, preveem o nosso comportamento e decidem quais as oportunidades a que temos acesso. Introduzir o tema da Ética na Inteligência Artificial (Kuhlman et al. , 2020) nas escolas seria um bom ponto de partida. Discutir algoritmos e os seus impactos é debater questões de igualdade e equidade fortalecendo estes valores desde cedo na mentalidade dos cidadãos. O fomento desta conversa despertará o interesse e incentivará mais pessoas a enveredar pelo estudo da ética ou desenvolvimento tecnológico diversificando os pontos de vista e combatendo a homogeneidade. Kuhlman et al. (2020) apresentam três maneiras de atingir e assegurar tal diversidade: colaborações com instituições que apoiam minorias para incentivar a sua entrada no campo; priorização de pesquisas colaborativas entre investigadores do campo da ética na IA e grupos sub-representados nesta área e, por fim, mentoria de aprendizes com investigadores experientes.
Deve ser exigida transparência nos processos de arquitetura, treino e implementação de algoritmos. Rieder e Hofmann (2020), propõem antes o conceito mais abrangente de “observabilidade” que prevê a institucionalização de uma interface fidedigna para a divulgação pública constante da análise de algoritmos, das condutas das empresas que os arquitetam e os efeitos e impactos que têm sobre o domínio social.
À sociedade proponho ativismo procurando fontes cujo objetivo é promover o conhecimento destas tecnologias e os seus impactos. Dois exemplos são a Liga de Justiça Algorítmica criada por Joy Buolamwini e o Big Brother Watch Uk dirigido por Silkie Carlo. Buolamwini criou a sua liga da justiça com o objetivo de ensinar as implicações sociais da IA e lutar pela justiça, igualdade e imparcialidade. O Big Brother Watch Uk faz campanha pelas liberdades civis e tem como objetivo informar e capacitar o público na defesa da sua privacidade. Divulgam informação sobre o uso de tecnologias intrusivas e discriminatórias, disponibilizam modelos de cartas para que os cidadãos enviem aos respetivos órgãos de poder para reivindicar os seus direitos e permitem a adesão ao grupo aumentando o envolvimento civil.
O aumento do diálogo sobre os algoritmos, a promoção da diversidade em todas as áreas de estudo e desenvolvimento de IA e a criação de mais projetos de ativismo fará com que haja uma forte corrente de responsabilização das empresas tecnológicas e entidades que utilizem modelos automatizados de tomada de decisão para que os valores de igualdade e justiça social sejam respeitados.
Sobre este tema (e uma grande fonte de inspiração e informação para a escrita deste artigo), aconselho a visualização do documentário Coded Bias (disponível na Netflix): https://www.codedbias.com/
Série de ensaios produzidos pelos alunos do mestrado em Novos Media e Práticas Web da Universidade NOVA de Lisboa.
Mestrados NOVA FCSH | Estudos de Plataforma e Social Media
