Discriminação Algorítmica

Sempre ouvimos falar e muitas vezes sentimos na pele diversos tipos de discriminação, seja racial, de gênero, religioso, entre tantos outros que eu nem saberia citar, se eu fizesse a mesma pergunta sobre qual tipo de discriminação as pessoas já sofreram, acredito que teria no final da pesquisa uma lista inimaginável do perfil do preconceito instaurado nas pessoas.

Quando se trata de tecnologia, de códigos, de programação, imagina-se algo binário, que trataria da mesma forma qualquer indivíduo não é mesmo? Infelizmente não é bem assim…

Temos alguns casos que ficaram bastante famosos devido a falhas no desenvolvimento e que causaram efeitos que não foram previstos, entre eles podemos citar os casos:

• Nikon Coolpix S630: Uma câmera fabricada por uma marca japonesa que ao detectar rostos orientais, aparecia uma mensagem perguntando se alguém havia piscado.
• HP Face Tracking: Um software utilizado nas webcams que não conseguia detectar o rosto de pessoas negras.
• Compas: Algorítmo utilizado nos EUA para calcular o grau de periculosidade de criminosos, influenciar em suas penas e tornar as decisões judiciais menos subjetivas, menos propensas a erros humanos e até mesmo menos influenciadas por racismo e preconceito. A ideia foi boa, a execução nem tanto.

No caso do Compas, quando analisados dois perfis idênticos, com a mesma idade, com a mesma ficha criminal e somente com a diferença entre um ser branco e outro negro, o negro tinha chance 45% maior de receber uma pontuação mais alta (ser considerado mais perigoso) do que o branco.

Partimos do princípio que nenhuma empresa quer discriminar ninguém e digo isso não porque todos são conscientes, mas porque ser acusado de discriminação custa caro. Então por que isso acontece?

A resposta vem do método como esses algoritmos "aprendem".

Nos casos de detecção facial, provavelmente os rostos utilizados para "ensinar" o algoritmo que aquele emaranhado de pixels representa uma pessoa, foram em sua grande maioria de pessoas brancas e ocidentais. Basta uma busca rápida em qualquer buscador, ao procurar imagens de rostos de pessoas, a maioria esmagadora são de pessoas brancas ocidentais. Fora a quantidade imensa de fotos tratadas com programas de edição que transforma o rosto das pessoas e mostra uma beleza inatingível.

No Compas, o algoritmo foi ensinado a se basear nas sentenças proferidas anteriormente e a resposta dele hoje é um reflexo do que aconteceu no sistema judiciário americano. Lembrando do caso icônico de Rosa Parks que em 1955 foi presa somente por ser negra e se recusar a ceder seu lugar no ônibus para pessoas brancas que haviam embarcado, não é de se estranhar que o algoritmo tenha aprendido de forma bastante errada.

As gerações atuais e futuras tem um trabalho bem grande pela frente para conseguir desenvolver algoritmos melhores para uma sociedade com um histórico terrível de preconceito.

A discriminação e o preconceito podem ser velados, pessoas podem ser dissimuladas, mas um algoritmo não mente.