Algoritmos e perpetuação de preconceitos e status quo
Cada vez mais o termo algoritmo vem sendo usado de forma mais popular e abrangente. O algoritmo tornou-se aquela entidade cibernética que nos recomendam filmes no streaming, que nos colocam propagandas em redes sociais, que nos direcionam fake news e nos fazem receber posts apenas de nossas bolhas, é o que define o quanto temos o “fit cultural” de uma empresa, o quanto somos confiáveis para um empréstimo, um verdadeiro Deus entre os homens. Detentor de um ar de imparcialidade e eficiência que poucos outros métodos humanos possuem.
O que pouco se fala dos algoritmos é sobre as heurísticas que são aplicadas sobre eles 🤔. Para um estudo de Ciência da Computação, um algoritmo pode ser simplesmente um organizador de dados, como os famosos “Bubble Sort” (colocar valores em ordem), “Algoritmo de Djikstra” (usados nos GPS), entre outros, mas quando eles precisam substituir atividades humanas, eles precisam “pensar”, e aí entram as heurísticas.
Falar é fácil, me mostre o código — Linus Torvalds (criador do sistema operacional Linux)
Não ‘me mostre o código’, me fale do processo heurístico que você usou para colocar esse problema dentro de um campo computacionalmente tratável e me apresentar esses resultados, não quero ver seu código, ele de fato não me importa — Autor desconhecido (encontrado nos fóruns da Internet), contrariando Linus
Houve um momento no passado em que os códigos eram importantes, mas a partir do momento em que eles se tornam bastante ‘humanos” e/ou participam diretamente das atividades humanas, as heurísticas e outros critérios éticos e morais embutidos neles passam a se tornar mais relevantes que cada bits e bytes dentro dele.
O aparato técnico
O filósofo checo-brasileiro Vilém Flusser gostava de dizer que toda vez que alguém se depara com um “aparato técnico”, esse objeto se apresenta como uma caixa preta [1]. Essa filosofia da caixa preta indica que tudo que um ser humano pode fazer defronte a esta tecnologia (ex: algoritmo de uma plataforma social) é alimentar com alguma informação/interação e esperar ter uma resposta/saída.
Se pegarmos o exemplo aqui do Medium, o máximo que eu posso fazer é postar um artigo e esperar pra ver o alcance que ele vai ter (tanto na curadoria do próprio Medium, quanto no mecanismos de buscas do Google). Existe uma análise bem interessante sobre o algoritmo do Medium e as publicações no texto do Rodrigo Goldacker, para quem tiver interesse.
Vamos pegar o exemplo da própria Marginália. Se pegarmos os 6 artigos mais visualizados de 2020 desta publicação, a maioria deles fala sobre cultura e filosofia, embora a maioria dos textos da revistas seja sobre política, marxismo e crítica ao governo atual. Seria um sinal do algoritmo do Medium dizendo que tipo de conteúdo eles querem ver (beneficiam o alcance de visualizações) por aqui e quais eles não querem ver (diminuem o alcance)?
Considerando que o aparato técnico que estamos falando nesse texto refere-se aos computadores, vamos voltar aos primórdios. Quando Alan Turing (o pai dos computadores) escreve um de seus primeiros artigos sobre computadores (Computing Macinery and Intelligence [3]), ele começa se questionando se um computador pode pensar. Logo ele assume que isso é algo absurdo, e passa a definir o que o computador faz como um “jogo da imitação” (tal qual o nome do filme que conta a história do próprio Turing) — e o autor passa a se perguntar o que um computador é capaz de copiar — nunca será capaz de criar algo do zero, mas sempre reproduzir o que alguém “ensinou” previamente [se tiver interesse, escrevi um outro artigo sobre como um computador consegue escrever poesias imitando outros poetas].
Com a capacidade inata dos computadores em imitarem, Flusser passa a concluir que todo aparato técnico reproduz a ideologia de seus criadores [2].
E isso pode estar desde das coisas mais diabólicas e teorias das conspirações que possa passar pela sua cabeça nesse momento, mas, principalmente, em situações bem simples e cotidianas (mas não menos destrutivas). Nas últimas semanas, conversei com dois amigos meus sobre como estavam em seus trabalhos e eles me contaram duas situações bem ilustrativas:
- O primeiro trabalhava em um banco digital emergente aqui na cidade de São Paulo. Eles estão focando em expandir sua base de clientes para um público de classe D e E, principalmente na área de crédito. Entretanto, uma situação inédita chamou muita a atenção do meu amigo no começo da nova operação. A família não conseguia ter um cartão individual para cada membro (pai, mãe e filho) pois eles tinham apenas um celular para a família inteira (e o banco só permitia que cada cliente tivesse apenas um celular para realizar operações). Para esse novo banco digital, era inconcebível que um aparelho pessoal fosse compartilhável entre várias pessoas, e a família só poderia se tornar cliente do banco se cada um tivesse seu próprio aparelho.
- O segundo amigo trabalhava em uma empresa de tecnologia de ponta que realizava pesquisa no Sirius (talvez o maior projeto de Ciências da história do Brasil), em Campinas. Entretanto, apesar do prestígio, a pesquisa em si não é algo lucrativo em curto prazo, e para sobreviver, a empresa de tecnologia de ponta (fornece tecnologia para um acelerador de partículas) fechou um contrato com uma empresa na cidade de São Paulo para produzir validadores de cartões de transporte nos ônibus. Para isso, retirou parte de sua equipe que estava em projetos de pesquisa, para dedicar na produção dos equipamentos para as novas frotas de ônibus da capital.
A tecnologia é apenas matéria utilizada para representar as desigualdades e a falta de preparo das pessoas que produzem e querem implementar esses mecanismos na sociedade.
Onde está a ideologia dos algoritmos?
Os algoritmos não estão apenas na recomendação de filmes do Netflix, eles estão também no valor que é cobrado nos empréstimos que fazemos ou no limite de crédito que nos é fornecido, se recebemos ou não um determinado cartão de crédito (vide Nubank), se somos aceitos ou não em um determinado processo seletivo de emprego, na busca de uma alma gêmea (vide Tinder), etc. Na prática, se usarmos a ideia de caixa-preta para esses algoritmos teremos os seguintes principais elementos que compõe a heurística do algoritmo de forma genérica:
(i) entrada: histórico pessoal + critério/modelo de sucesso;
(ii) saída: se a pessoa será favorecida/prejudicada
Se pegarmos, como exemplo, a fintech Creditas, ela fornece crédito pessoal com juros mais baixo que outros players mais tradicionais do mercado. E tudo isso graças a um algoritmo especial que consegue personalizar o risco de crédito de cada cliente. Em instituições mais tradicionais, que não tem um algoritmo “tão eficiente”, eles vão calcular um risco de crédito médio entre todos os clientes, e cada um vai acabar pagando juros iguais, compensando um o crédito do outro. Na Creditas, algumas pessoas poderão pagar menos se o risco de crédito estiver abaixo da média (de acordo com algum modelo de sucesso pré-estabelecido), enquanto outros poderão pagar mais. Instaura-se a desigualdade baseado em algum critério de meritocracia que não é amplamente conhecido nem divulgado. Os algoritmos (e suas heurísticas) são sempre ocultos (qualquer semelhança com outros exemplos de suposta meritocracia em nossa sociedade é mera coincidência).
E se algoritmos possuem enraizados critérios de sucesso definidos por algum grupo particular, a principal lição que podem tirar aqui é que algoritmos são opiniões embutidas em um código [5]. Por exemplo, a Creditas pode achar que pessoas que são frequentemente mais adimplentes (e por isso menor risco de crédito) é que devem pagar menos pelo crédito. Assim como uma outra empresa, digamos a fictícia CrediMarx, ache que as pessoas que deveriam pagar menos créditos são justamente as que já estão pagando muito caro por ele, e se continuarem pagando mais pelo crédito, continuarão a se endividar,e por isso oferecerá crédito barato para pessoas que supostamente tem maior risco de crédito. Dois algoritmos diferentes, duas opiniões diferentes.
E o problema não está apenas na questão da escolha do critério/modelo de sucesso, mas também no histórico pessoal. Como a maioria dos algoritmos define as escolhas baseado em decisões/acontecimentos do passado, eles apenas limitam-se a reproduzir padrões. Quantas vezes você já ficou entediado com os filmes que a Netflix te recomendou, parece que são sempre os mesmos. Claro, isso é muito um problema de classe média, então vamos tentar dar um exemplo mais grave. Caty O’Neil [5] traz o exemplo de Roger Ailes, fundador da Fox News. Roger foi acusado de assédio por várias mulheres que disseram, entre outras coisas, que ele não permitia que as mulheres fossem promovidas na organização. A Fox News, então, incluiu um algoritmo para cuidar das contratações e promoções dentro da empresa. Esse algoritmo iria analisar o histórico de promoções que já foram dadas, profissionais que já foram contratados, considerar os destaques e funcionários do mês que já haviam sido escolhido em anos anteriores para criar uma base de comparação e criar um processo automatizado que não houvesse intervenção humano. Mas como foi baseado em dado histórico, só reproduziu o preconceito dos anos anteriores, como no passado as mulheres não eram o modelo de sucesso, elas continuaram muito longe dessa definição no presente com o algoritmo.
Se pegarmos novamente o exemplo da Creditas, ela vai considerar o risco de crédito no histórico pessoal de inadimplência de cada um de seus clientes. Então se alguém ao longo da vida foi um bom pagador, eles consideram que esta pessoa continuará sendo um bom pagador. Tal como alguém que teve um histórico ruim de pagamento de dívidas, nunca poderá ser um bom pagador. Na prática, o que o algoritmo faz é manter o status quo. Em uma sociedade altamente segregada, onde a força policial só manda prender minorias, implementar um algoritmo nessa altura do campeonato só faria com que, caso a polícia implementasse um algoritmo que fosse capaz de predizer quem iria cometer o próximo crime (uma espécie de Minority Report), a maioria das vezes fosse apontar alguém da minoria (baseado em fatos reais).
Flusser sugere que iluminemos essas caixas-pretas [2], que tentemos entender esses algoritmos. Partimos da premissa de que todo algoritmo tem uma ideia geradora por trás, e precisamos compreender a ideologia que rege seu funcionamento. Ou, em termos da ciência de computadores, qual é a heurística ali presente. Devemos lutar pela transparência dos algoritmos e heurísticas utilizadas, não é uma batalha matemática ou computacional, mas sim uma batalha política.
Referências
[1] Cesar Baio. O artista e o aparato técnico. XXI Encontro Anual da Compós.
[2] Vilém Flusser. Television Image and Political Space in the Light of the Romanian Revolution. Palestra/YouTube.
[3] Alan Turing. Computing Machinery and Intelligence. Mind 49.
[4] Caty O’Neil. Weapons of Math Destruction. Personal Democracy Forum, 2015.
[5] Caty O’Neil. The era of blind faith in big data must end. Ted Talks.
