Como o viés de raça nos algoritmos afeta funcionamento do sistema prisional
Foi observado que após a implementação do sistema de reconhecimento facial no estado da Bahia, pessoas de pele escura foram confundidas mais vezes pela nova tecnologia, visto que em casos de abordagem baseadas no nesse método, após a averiguação e levar as pessoas acusadas pelo sistema, foi comprovado que não eram pessoas quem o sistema acusava ser. De acordo com o artigo,“ Em Londres, capital do Reino Unido — um dos países mais ricos e avançados tecnologicamente, descobriu-se que 81% das abordagens de suspeitos na região metropolitana estavam erradas”. Mesmo que nos casos que comprovou a inocência das pessoas isso afetou emocionalmente, devido ao trauma, como também há a possibilidade de prisões indevidas terem sido feitas. Ainda é muito cedo para seguir esse sistema, como já foi apontado outras vezes e reforço aqui novamente, é necessário uma testagem justa com diversidade no banco de dados, como também nas equipes de criação. Essa tecnologia ainda provoca discussões sobre privacidade, direitos humanos e democracia. Sendo assim, é uma proposta interessante, uma ferramenta que nos dá várias possibilidades de ser usada, porém uma falha como essa diante de uma população tão diversa, tende a discriminar minorias, refletindo o preconceito nos algoritmos.
Foi realizada uma análise pela ProPublica sobre viés de raça em um software que calcula a probabilidade de reincidência criminal nos Estados Unidos, esse calculo é expresso em gráficos que exibem pontos, quanto maior a pontuação maior o risco da pessoa voltar a cometer um crime. Nessa estudo verificou uma disparidade nas taxas quando segmentado os dados pela cor, os negros recebem pontuação mais altas, mas quando foi analisado que no passado uma parte dos negros classificados de alto risco não cometeu crimes novamente. Já os réus brancos receberam pontuações mais baixas que até os próprios acharam não fazer sentido, esses voltaram a cometer crimes, em contradição a ferramenta. Os réus brancos foram mal rotulados como de baixo risco com mais frequência do que réus negros. Segundo a ProPublica “no geral, a ferramenta de avaliação da Northpointe (sistema utilizado) prevê corretamente a reincidência de 61% das vezes. Mas os negros são quase duas vezes mais propensos que os brancos a serem rotulados de risco maior, mas não realmente re-ofender. Comete o erro oposto entre os brancos: eles são muito mais propensos do que os negros a serem rotulados de menor risco, mas passam a comete” Conclui se que o software não tem precisão nos cálculos, por esta razão a decisão de quem pode ser penalizado não pode partir desse algoritmo.
Eles são utilizados no sistema de justiça criminal, entregues confidencialmente ao juiz que decide como usar esse dado, de certo modo influencia sua decisão. O erro causado pela máquina pode levar a dar uma pena injusta ao condenado, podendo mais alta ou mais baixa do que deveria. Isso prejudica o trabalho para garantir uma justiça individualizada e igualitária, como é relatado no artigo. As disparidades injustas e injustificadas que já vinham acontecendo podem ser exacerbadas no sistema de justiça criminal e na sociedade.
Nos links abaixo contém o estudo mais detalhadamente, como chegou a essa conclusão e por que isso acontece, bem como a reportagem sobre o reconhecimento facial
