O viés sexista do algoritmo da Apple Card
Em 2019, a agência reguladora de Wall Street abriu uma investigação contra a Apple, depois de a empresa ter sido acusada por usuários nos EUA de oferecer limites de crédito muito maiores a consumidores homens do que a mulheres com seu cartão de crédito Apple Card. Dentre os usuários estavam David Heinemeier Hansson, influente programador dinamarquês e Steve Wozniak, cofundador da Apple.
“Minha mulher e eu fazemos declaração conjunta de Imposto de Renda, vivemos no mesmo imóvel e estamos casados há muito tempo. Mesmo assim, os algoritmos da Apple acham que eu mereço um limite de crédito 20 vezes maior que o dela”, afirmou David, acrescentando que não recebeu resposta plausível da empresa, apenas que a questão era definida pelo algoritmo.
Já Steve, afirmou que ele e sua mulher tem uma diferença de 10 vezes em seu limite de crédito no Apple Card. “Um gerente humano de nível (hierárquico) inferior deveria ter autorização para corrigir sua situação”, agregou em resposta a Hansson. “Claramente, um humano tomaria as atitudes corretas, mas a tecnologia é mais importante que pessoas nos dias de hoje”, completou.
Leo Kelion, editor de tecnologia da BBC, explicou que é possível que os algoritmos tenham levado em conta séries históricas de dados que indicassem as mulheres como um risco financeiro maior, o que poderia fazer com que o sistema baixasse o crédito para mulheres em geral.
O Departamento de Serviços Financeiros do Estado de Nova York iniciou uma investigação acerca de possíveis vieses discriminatórios no algoritmo do Apple Card e na atribuição automática de limite de crédito a determinados usuários. O órgão, entretanto, não encontrou nenhum indício de falha ou defeito nas decisões de crédito do algoritmo.
A investigação foi lançada com base na Lei da Oportunidade de Crédito Igualitária, instituída nos Estados Unidos em 1974 e que impede empresas e serviços financeiros de discriminar pessoas com base em raça, cor, religião, nacionalidade, gênero, status marital ou idade no momento de conceder crédito ou empréstimos. O departamento escrutinou dados relacionados a mais de 400.000 pessoas que solicitaram um Apple Card e determinaram que o algoritmo do cartão não violou a regulamentação.
Apesar de ter se livrado das acusações, sendo inocentado em março de 2021 (um ano e meio depois), o banco Goldman Sachs, responsável pela parte financeira do cartão e, consequentemente, pelo algoritmo, foi criticado pelo órgão por falhas na transparência e no serviço ao consumidor.
Fonte:
Algoritmo do Apple Card não é sexista, determina órgão regulador — MacMagazine.com.br
