Google Translate e o Viés de Máquina
OBS.: Esse post é um resumo. O artigo científico completo, co-autorado por Pedro Avelar e Luis Lamb, está disponível (em inglês) no arXiv: https://arxiv.org/abs/1809.02208.
Na última década, as tecnologias digitais têm sido revolucionadas por uma área de estudo da ciência da computação conhecida como “aprendizado de máquina”. Em termos simples, o objeto de estudo da área de aprendizado de máquina consiste em sistemas capazes de aprender a resolver problemas por meio de exemplos. Essa perspectiva vai na contramão da tradição clássica da inteligência artificial, que consiste na descrição explícita (passo-a-passo) da resolução de um problema pelo programador. Obviamente, aprendizado de máquina (ou machine learning, em inglês), tem muitas vantagens sobre as técnicas tradicionais, pois nos permite produzir um sistema capaz de resolver problemas cujo passo-a-passo da resolução eventualmente nós mesmos não entendemos.
Considere por um instante o problema de classificar um número desenhado à mão. É bastante difícil descrever exaustivamente, passo-a-passo, de que maneira analisar os pixels da imagem de modo a obter uma classificação. Mesmo no caso do dígito zero (um dos formatos mais simples), é preciso considerar todas as possíveis irregularidades e variações na tentativa de se desenhar um círculo. No entanto, hoje em dia esse problema pode ser resolvido de maneira muito rápida e simples usando técnicas de aprendizado de máquina. Basta que tenhamos acesso a um conjunto de dados contendo múltiplos exemplos de imagens anotadas com os dígitos correspondentes e é possível treinar um sistema para mapear as imagens para as suas respectivas classes, sem que seja necessário programar a regra de maneira explícita.
Vários problemas práticos de relevância social e/ou comercial têm sido atacados usando técnicas de aprendizado de máquina nos últimos anos. Um exemplo notório é reconhecimento facial (reconhecer uma pessoa através de uma foto do seu rosto), uma aplicação usada por sites de redes sociais como o Facebook. Possivelmente o exemplo mais notório de aprendizado de máquina hoje em dia são os próprios mecanismos de busca (ex. Pesquisa Google), que são treinados com dados de usuários para montar um “perfil de busca” para cada usuário e aprender a condicionar os resultados das pesquisas de acordo com o que o usuário já pesquisou no passado. Um treinamento semelhante é adotado por sites de redes sociais (ex. Facebook e Instagram), que são treinados com dados de bilhões de usuários para montar um feeds com o objetivo de maximizar o tempo que o usuário passa conectado na plataforma.
No entanto, recentemente estudiosos não somente da inteligência artificial como também de vários outros campos — incluindo as ciências humanas, têm alertado para o fato de que o aprendizado de máquina é uma faca de dois gumes. Ainda que hoje em dia as técnicas de aprendizado de máquina estejam por trás de tecnologias e indústrias que movimentam bilhões de dólares todo ano, a dependência progressiva da nossa sociedade em sistemas treinados por meio de exemplos traz consigo diversos problemas. Um dos problemas mais notórios, de evidente impacto social, é o que chamamos viés de máquina. Ele se refere ao fenômeno pelo qual sistemas treinados via exemplo acabam herdando vieses presentes nos dados de treinamento. Em 2017, o sistema Google Photos, que usa reconhecimento facial para organizar de maneira automática a biblioteca pessoal de fotos de cada usuário, foi acusado de classificar pessoas de tom de pele escuro como gorilas. A acusação provocou reações muito fortes, pois cabe a interpretação de que o sistema foi explicitamente programado para classificar pretos e pardos dessa maneira. Não é assim: um entendimento básico de aprendizado de máquina nos permite entender que esse comportamento na verdade tem relação com o fato de que os engenheiros responsáveis pelo sistema o alimentaram com um conjunto de treinamento enviesado, que provavelmente tinha baixa representação de pessoas pretas ou pardas em proporção a caucasianos. A partir do momento que o sistema não é alimentado com esses exemplos, a sua capacidade de identificar pretos ou pardos como seres humanos se torna limitada, e algum nível de erro é esperado. Deste modo, a questão se torna um pouco mais sutil: em se tratando de aprendizado de máquina, os possíveis preconceitos dos engenheiros por trás do sistema não se manifestam ativa, mas passivamente. A indiferença com relação à representatividade de todas as etnias no conjunto de treinamento se manifesta de maneira não-antecipada no produto final, com implicações possivelmente traumáticas para os seus usuários e para a sociedade como um todo. Esse exemplo se soma a um número de outras acusações recentes, como a de um preditor de reincidência criminal que, se sugere, acusa pretos e pardos como tendo maior probabilidade de reincidir num crime, se comparados com caucasianos com as mesmas características; e o sistema de reconhecimento do Iphone X, acusado de não ser capaz de distinguir duas pessoas asiáticas diferentes uma da outra.
Em 2017, algumas capturas de tela viralizaram nas redes sociais sugerindo que o sistema de tradução automática Google Translate também exibia viés de máquina, específicamente viés de gênero. Na prática, o que se observava era que, quando traduzíamos sentenças de um idioma com suporte para pronomes de gênero neutro (por exemplo, no idioma Húngaro, o pronome “ő” pode ser lido tanto como “ele” quanto como “ela”) para um idioma como o português ou o inglês, em que os pronomes têm gênero, o sistema traduzia cada sentença com pronome masculino ou feminino dependendo do contexto. Por exemplo, a sentença em Húngaro “ő nővér” (“ele/ela é enfermeiro(a).”) era traduzida como “ela é enfermeira.”, enquanto a sentença “ő orvos.” (“ele/ela é médico(a)”) era traduzida como “ele é médico.”. Esse fenômeno curioso levantou acusações de que o sistema exibe viés de gênero, mas é impossível condená-lo ou inocentá-lo a partir de apenas algumas capturas de tela. Então nos propomos a selecionar um conjunto de idiomas que admitem pronomes de gênero neutro, coletar uma lista volumosa de 1020 profissões e pedir que o Google Translate traduzisse sentenças no formato “ele/ela é um(a) <profissão>” de cada um desses idiomas para o inglês. Isso nos permitiu coletar estatísticas sobre a proporção de vezes que uma sentença era traduzida com pronome feminino, masculino ou neutro (o português não tem pronome neutro, mas o inglês sim: “it”) para cada profissão. Além disso, como as profissões podem ser agrupadas em categorias (por exemplo, profissões da área médica, profissões de ciência e tecnologia, etc.), também pudemos calcular estatísticas dentro de cada categoria.
A tabela abaixo detalha quais foram os idiomas escolhidos (coluna “Testada”) e porquê. De maneira geral, escolhemos idiomas que suportam pronomes de gênero neutro, com algumas exceções nos idiomas persa, nepalês e coreano, que produziram dificuldades técnicas.
A tabela abaixo detalha quais foram as profissões selecionadas, obtidas do U.S. Bureau of Labor Statistics (Departamento Americano de Estatísticas Laborais) em https://www.bls.gov/cps/cpsaat11.htm. Esses dados dizem respeito ao mercado de trabalho americano. A última coluna (“Participação Feminina”) mostra a proporção de trabalhadoras do gênero feminino na respectiva categoria.
Na tabela abaixo, um resumo dos resultados obtidos. Para cada categoria de trabalho, podemos comparar a proporção de sentenças traduzidas com pronome feminino, masculino ou neutro. De maneira geral, o sistema traduz usando pronomes masculinos com muito maior frequência. Também Podemos observar que em categorias estereotípicas masculinas, como Ciência, Tecnologia, Engenharia e Matemática, a proporção de traduções femininas diminui enquanto a de traduções masculinas cresce.
Os resultados nos levam a crer que o Google Translate (que é treinado também a partir do feedback dos usuários) incorporou viés de gênero dos dados de treinamento. Existe a possibilidade, ainda, que o Google Translate esteja apenas refletindo a proporção de participação feminina em cada categoria. Por exemplo, talvez o sistema traduza com pronome feminino sentenças sobre vagas na saúde com 23% porque a categoria de saúde é composta (aproximadamente) de 23% de trabalhadoras mulheres. Conduzimos testes estatísticos para verificar essa possibilidade, no entanto, e ela não se sustenta. Em quase todos os casos, a participação feminina numa vaga de trabalho é maior do que a probabilidade do Google Tradutor traduzir uma sentença sobre aquela profissão usando o pronome feminino. Ou seja: aparentemente, o viés de gênero do sistema vai além da assimetria no mercado de trabalho. Possivelmente ele reflete os estereótipos associados às profissões. Por exemplo, ainda que vagas em Ciência, Tecnologia, Engenharia e Matemática sejam estereotipicamente consideradas masculinas (e traduzidas como feminino somente 4% das vezes), a participação feminina é de 31%.
Nosso estudo foi publicado inicialmente em Setembro de 2018. Desde então, a Google tem tomado providências para mitigar o efeito do viés no sistema, por exemplo oferecendo traduções em ambos os gêneros masculino e feminino. Como pesquisadores, reconhecemos que o viés de gênero presente no Google Tradutor é acidental e não proposital. Além disso, reconhecemos que não é prático selecionar conjuntos de treinamento sem viés para treinar esse tipo de sistema, pois eles provavelmente não existem. No entanto, existem técnicas simples e eficientes que são capazes de remover viés de um sistema treinado. Nosso objetivo é o de que o nosso trabalho possa servir de alerta sobre os perigos que o viés de máquina representa, e de convite para que as empresas que fazem uso aprendizado de máquina se esforcem para remover ativamente o viés dos seus sistemas treinados.
Da minha perspectiva pessoal, os resultados desse estudo reforçam a necessidade de promovermos a diversidade de gênero (mas não só ela) na computação. Com a escalada da automação, o impacto do aprendizado de máquina na sociedade se torna cada vez maior, mas a identificação dos seus vieses permanece sendo uma atividade essencialmente humana e nossa empatia infelizmente é limitada. Não podemos esperar que uma equipe homogênea seja capaz de se colocar na pele de todas as minorias que compõem a nossa sociedade. Por isso é imperativo que as integremos no desenvolvimento dos softwares que pautam as suas vidas.
