O preconceito em nossas tecnologias

Nos últimos dois anos, somente brancos fora nominados para as categorias de atuação do Oscar, o que levou as hashtags #OscarSoWhite e #OscarStillSoWhite ao trending no Twitter e promoveu um debate acalorado sobre o tema em redes sociais [1]. A discussão parece ter tido resultado: em 2017, finalmente há negros em todas as principais categorias.

Os membros da Academia de Artes e Ciências Cinematográficas, organizadora do prêmio, no entanto, não são os únicos selecionadores com claro viés racial. Recentemente, um concurso mundial de beleza em que a seleção dos ganhadores ficou a cargo de uma inteligência artificial, o Beauty.AI, publicou seus 44 ganhadores, dos quais apenas 1 não tinha pele clara e outros poucos eram asiáticos [2], mesmo que grande parte de seus candidatos tenham vindo da Índia ou de países da África. Mas o que leva um software a ter preferências de cor de pele?

Para entender a resposta, é necessário saber como o robô em questão aprendeu a determinar a beleza das fotos que recebia. O algoritmo, que foi desenvolvido pelo grupo Youth Laboratories com apoio da Microsoft, aprendeu a avaliar a beleza dos candidatos a partir de uma enorme quantidade de fotos de pessoas, cada uma associada a uma pontuação de beleza, a partir das quais o algoritmo ‘aprendia’ a calcular a pontuação de beleza a partir de um retrato qualquer. No entanto, Alex Zhavoronkov, CSO (Chief Science Officer) da Beauty.AI, afirmou que o problema foi ter exposto o sistema a uma imensa maioria de pessoas brancas. Portanto, o algoritmo apenas evidenciou o viés racial dos próprios organizadores da competição.

O aparente racismo (e outras formas de discriminação) de algumas de nossas tecnologias baseadas em aprendizado de máquina é aprendido com a nossa sociedade e seus preconceitos estruturais. Outro exemplo recente foi Tay, o bot desenvolvido pela Microsoft para entender a linguagem de adolescentes e soar como eles [3].

No entanto, sua conta no Twitter foi desativada um dia após seu lançamento, já que usuários começaram a twittar mensagens racistas, misóginas e antissemitas para a conta, comportamento que foi prontamente aprendido [4], conforme demonstrado nas imagens ao lado.


A questão da inadequação de tecnologias a pessoas não-brancas é antiga e data, pelo menos, da invenção dos Shirley Cards, utilizados para calibrar os esquemas de cores de filmes fotográficos entre as décadas de 40 e 90. Com eles, buscava-se representar com a maior precisão possível a ‘cor de pele’ — obviamente baseada na pele branca.

Shirley Cards com diferentes esquemas de cores

Nestes cartões, apareciam algumas cores básicas e fotos de mulheres brancas com roupas coloridas, refletindo nisso o seu público alvo. Tal escolha levou, no entanto, a representações de pessoas negras ou de outras etnias com pouca precisão, confusas e borradas, conforme abaixo:

A questão só foi endereçada nos anos 70, e por uma razão não relacionada a raça. Diferentes empresas passaram a questionar a precisão dos filmes fotográficos produzidos à época, ao reproduzir em fotografias as diferentes nuances de cor de seus produtos. Por exemplo, empresas de móveis não conseguiam mostrar a diferença entre os diferentes tipos de madeira, e chocolate ao leite e chocolate meio amargo eram difíceis de distinguir em anúncios impressos. Para saber mais sobre o assunto, assista ao vídeo que a Vox fez sobre o assunto:

Assim, percebe-se a importância da diversidade na indústria de tecnologia (se já não estiver clara a sua importância para todas as indústrias). Com equipes mais diversas, os produtos são testados em casos que representam uma maior quantidade de pessoas — e, principalmente, perfis mais variados. Assim, pode-se evitar que gafes semelhantes continuem se repetindo, como vem sendo feito em softwares de reconhecimento facial. Isso, no entanto, não surpreende, já que mulheres e minorias étnicas continuam sendo sub-representados em empresas de tecnologia dos EUA, com hispânicos ocupando 8% dos cargos; negros, 7%; e mulheres, 33%. E as proporções pioram quando os cargos sobem na hierarquia [5].

Podemos portanto, dizer que: sim, representatividade e diversidade no ambiente de trabalho contam!



Victor Magalhães

Desenvolvedor web full-stack, entusiasta de design, aprendizado de máquina e blockchain, que faz o melhor café que você respeita.