Vieses: Algoritmos erram e tem desvios, assim como os humanos que os criam.
Introdução
Este texto trata de vieses, com foco em Inteligência Artificial. Em uma jornada maluca, partimos de exemplos do Japão Feudal até aplicações que impactam o interior rural do Brasil, mas não se engane: É um tema sério, extremamente importante para a inteligência artificial, e que impacta a vida de milhões de pessoas. Boa leitura, e depois me conta o que achou :)
Colocando o espírito na espada: A lenda de Masamune e Muramasa.
O que somos, pensamos e sentimos reflete no que criamos.
Um dos produtos mais lendários do Japão (ao menos para mim), é a Katana.
Minha mãe é de Tupã — SP, sempre conviveu muito com a colônia japonesa, e com ela aprendi um pouco do simbolismo das artes marciais. A Katana representa o espírito samurai, e a perfeição.
Quando estudei engenharia conheci um professor que também era fascinado por esse símbolo, e com ele aprendi a magia técnica da Katana: O processo de produção delas nunca pode ser industrializado. Os mestres japoneses conseguiram criar um instrumento perfeito, capaz de cortar com perfeição (o que exige extrema dureza na lâmina) e ao mesmo tempo não ser frágil, resistindo a impactos (o que exige flexibilidade). Para isso, esses mestres dobravam o aço até ele ficar com milhares de camadas, misturavam aços mais rígidos e mais flexíveis, e desenvolveram um processo de têmpera que era capaz de mudar a estrutura do carbono na lâmina.
E dentre todos os mestres, dois nomes se destacam: Masamune e Muramasa. A lenda sobre um desafio entre os dois expressa bem quem eles foram:
Em um desafio, os mestres conceberam suas melhores espadas. E para compará-las, colocaram as lâminas em um rio.
A espada criada por Muramasa cortou tudo que descia o rio e por ela passou: Galhos, Folhas, Peixes, Borboletas.
A espada criada por Masamune não: Cortou galhos e folhas, porém peixes e borboletas desviaram da lâmina.
Muramasa comemorou a vitória, porém um monge que assistia o duelo julgou Masamune o vencedor. A espada de Muramasa era má, cortava a tudo, desejava a morte. Enquanto a de Masamune não cortou animais e insetos inocentes.
O duelo é uma lenda, porém reflete alguns fatos: Muramasa e Masamune existiram. As espadas criadas por Muramasa foram utilizadas pelo Shogun que unificou o Japão, Tokugawa Ieyasu, e em sua família protagonizaram diversos incidentes, resultando na morte de familiares do Shogun. Na cultura popular, as espadas são retratadas como amaldiçoadas, e que ao saírem de suas bainhas só voltam com sangue, de um inimigo ou do próprio portador. E Muramasa é retratado como um gênio violento e desequilibrado, que passou seu temperamento para suas obras. E dizem que por isso, grande parte das espadas de Muramasa foram quebradas, por isso hoje são raras e caras.
Já as espadas de Masamune são retratadas como exemplos de equilíbrio, e que tiram de seus portadores a vontade de matar. Podemos até destacar 3 famosas obras:Honjo Masamune, símbolo do shogunato Tokugawa e Tesouro Nacional Japonês, Musashi Masamune, que pertenceu ao samurai mais famoso do Japão, Miyamoto Musashi, e por último, uma espada feita por Masamune foi dada como presente a Harry Truman, logo após a derrota do Japão na Segunda Guerra Mundial.
Mas o que isso tem a ver com AI?
Algoritmos não são divindades: Eles refletem os erros e acertos de seus criadores (que são bem humanos).
Produtos de Inteligência Artificial são em geral criados por grupos de Cientistas de Dados, Engenheiros, Pessoas de Produto e Design. Esses grupos tomam decisões durante todo o projeto.
* Qual a função objetivo do algoritmo?
* Qual a fonte de dados do algoritmo? Como vamos filtrar os dados?
* Quais os limites de atuação do algoritmos? Quais os “guard rails”?
* Qual a saída do Algoritmo? Onde vamos publicar os resultados?
Esses são exemplos das milhares de decisões, tomadas individualmente ou em grupo, todos os dias, que certamente afetam o resultado final. E em geral, essas decisões são tomadas sob pressão, e muito rapidamente.
E quando você precisa tomar uma decisão rapidamente, você apela pro que você sabe. Pras grandes decisões (esperamos) são feitas pesquisas, mas e para as pequenas?
No final, o algoritmo é um reflexo dessas decisões, e essas decisões são reflexos do conhecimento, crenças, e da cultura na qual estão inseridos seus criadores.
Então devemos evitar Muramasas? Só isso basta? Acho que não é tão simples assim.
Erros não vêm somente de pessoas más.
É muito difícil aliviar uma dor que você nunca sentiu.
Hoje conversar com um algoritmo de Inteligência Artificial como o ChatGPT é relativamente comum. Essa inovação de Novembro de 2022 conquistou o mundo, mas quem se lembra de antecessores como o Tay? Em 2016 foi lançado
pela Microsoft um algoritmo chamado Tay, capaz de dialogar com usuários e aprender com eles, de maneira semelhante ao ChatGPT. E em apenas 16 horas ele teve de ser desligado. O algoritmo se tornou racist@, nazist@ e tudo mais que podemos imaginar de ruim.
E eu ouso dizer que isso se deu pela inocência com que foi concebido. Talvez os desenvolvedores acreditassem na humanidade, e que ele aprenderia coisas boas… não deu certo.
O chatGPT, como sabemos, acredita um pouco menos na humanidade. Ele tem restrições, e seu primeiro treino, a base que usa como parâmetro, foi criada por especialistas, e não de maneira aberta.
Voltando pro ponto anterior: Provavelmente decisões sobre Limite de atuação dos algoritmos, e fonte de dados do algoritmo.
E não é só sobre chat. Existem casos famosos de algoritmos de inteligencia artificial com vieses, como por exemplo os de reconhecimento facial cuja eficiência pode variar de acordo com raça e gênero.
Esses algoritmos são utilizados, por exemplo, na portaria do meu prédio. São utilizados para autenticação bancária. São utilizados para reconhecimento pela polícia.
Algumas decisões a respeito de quais fontes de dados utilizar podem estar afetando a vida de milhões de pessoas bem agora.
Agora uma pergunta: Será que, no momento em que milhares de decisões foram tomadas para a criação desses algoritmos, houvesse pessoas de diversas raças e gêneros trabalhando, o resultado seria o mesmo?
Colocando propósito no produto: Um site “feio” porém acessível.
Vieses podem estar nas decisões dos algoritmos, mas também no acesso ao valor do produto.
Há algum tempo atrás eu trabalhei em uma empresa de mídia. Foi uma das minhas primeiras experiências com mídia e AI.
E a primeira coisa que me chamou a atenção (não conhecendo o ramo) foi o formato do site deles. Era muito simples. Mas muito simples. Sem animações, sem estruturas rebuscadas, sem nada.
Tinha até anúncios sem figura, isso me chamou muito a atenção.
Meses depois comecei um projeto, um moonshot. E já nos primeiros levantamentos de perfil dos usuários atuais, entendi porque aquele site simples, e até feio para muitos, fazia tanto sucesso.
Após análises quantitativas em nossas bases, elegemos regiões/públicos de interesse e disparamos questionários para algumas centenas de milhares de usuários. E felizmente recebemos muitas respostas.
Desenhamos diversas personas representando grupos de usuários, que iam desde pessoas de alta renda residentes em grandes centros urbanos até pessoas de baixa renda residentes em zonas rurais. E uma das personas resultantes chamou muito a nossa atenção:
* Adolescente, faixa dos 16 anos, estuda e trabalha. Trabalha como faxineira na sede de uma fazenda pela manhã, cursa o ensino médio à tarde. Vive com a família em uma residência rural, numa rua de terra, e sonha em ser médica pediatra. Não possui redes sociais baseadas em imagem, como Instagram e Youtube.
Esse fator das redes sociais chamou a nossa atenção, e descobrimos o motivo: Em localizações rurais, o acesso à internet é escasso e limitado. Fotos e vídeos possuem arquivos grandes, e portanto menos acessíveis nesse ambiente.
Pense agora naquelas decisões ao criar um produto de AI, aquela a respeito de qual a saída? Graças a essa decisão, de manter o site extremamente simples, com um design amplamente limitado pelas possibilidades do código (e feio para alguns) e uma estrutura também limitada, com todos os sistemas de decisão nos servidores, por todas essas decisões de engenharia (a maior parte tomada fora do Brasil inclusive) evitamos um viés: O site era acessível a todas as pessoas representadas por essa persona. Acessível às milhares de pessoas que mesmo lutando contra dificuldades até de acesso à informação, mantém seus sonhos, como o de estudar. E reforçam esses sonhos através daquele produto, que também pensou nelas.
Conclusão.
Todos deveriam ter acesso. E nós podemos fazer isso.
Se você leu o texto até aqui, acredito que você se importa com vieses. Seja por fazer parte de um grupo que sofre com eles, seja pela empatia. Você se importa.
Para que todos tenham acesso à tecnologia, é essencial que todos tenham voz. Os produtos vão ser feitos para todos se quem se importa, como nós, participar e tomar as decisões corretas.
É extremamente que quem se importa e já trabalha no ramo pense nisso, e quem se importa e quer trabalhar, não desista. Pode ser difícil mas não desistam, sua voz tem que ser ouvida.
:)
Links interessantes:
Tay, o Chatbot que se corrompeu em 16 horas
https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist
Lenna, um dos principais benchmarks para computação visual, e que reflete os vieses de uma geração.
https://en.wikipedia.org/wiki/Lenna
Estudo de Harvard sobre vieses em algoritmos de reconhecimento facial
https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/
Sobre Masamune:
https://en.wikipedia.org/wiki/Masamune
https://www.trumanlibrary.gov/photograph-records/64-131
Sobre Muramasa:
