Do básico à agenda ASG
#IA / #machinelearning / #bias
1. Mas afinal, o que raios é IA? Entendendo de uma vez por todas!
Normalmente associamos IA a filmes de ficção científica como Exterminador do Futuro, Matrix ou EU Robô, nos quais as máquinas superam a inteligência humana, se rebelam contra seus criadores e normalmente assumem o controle do mundo.
Esse pode ser mesmo um futuro distópico, mas hoje a IA já é uma realidade e a maioria absoluta dos brasileiros tem contato diário com ela, sem — muitas vezes — imaginar que se trata de Inteligência Artificial.
Então se você não sabe muito bem do que se trata, não se sinta ignorante, pois a Inteligência Artificial normalmente causa muita confusão, até mesmo dentro do mundo da TI e dos programadores, ou melhor desenvolvedores (como preferem ser chamados 😉).
🤓 Para começar com uma explicação mais formal, a Inteligência Artificial (IA) é o ramo da ciência da computação que se ocupa da automação do comportamento inteligente[1] e a primeira polêmica aparece justamente na definição de inteligência. Mas deixaremos essa controvérsia para um futuro artigo, vamos no conceito mais intuitivo mesmo.
Dito de outra forma, IA é quando programamos máquinas para realizar uma tarefa que caso um ser humano a executasse, seria considerada inteligente.
Já a programação, pode ir, desde algo tão simples como uma fórmula do Excel do tipo “se” ou “procV”, até a escrita de um código complexo, como um algoritmo de inteligência artificial, dotado de Machine Learning, que te recomenda conteúdo, como vídeos, textos e fotos, baseado no que você gosta e que prende sua atenção, como fazem Facebook, TikTok ou Instagram, por exemplo.
Para fechar nosso entendimento, um último conceito: Machine Learning. Nada mais é que um recurso normalmente aplicado em modelos de inteligência artificial que faz com que a máquina aprenda algo e, a partir dessa experiência, melhore seu comportamento ou resposta para uma tarefa, fazendo com que a programação fique cada vez mais eficaz. Ainda confuso? Vamos usar uma analogia.
O Marceneiro. Imagine um ser humano aprendendo o ofício de marcenaria. Sua tarefa é bater um prego em uma madeira. Se no começo, a cada 100 marteladas, esse aprendiz acertasse 50 vezes o prego ele teria uma eficácia de 50%. Em seguida, suponhamos que o aprendiz treine sua habilidade, tenha contato com vários tamanhos de prego, maiores, menores, enferrujados, tortos e por aí vai. E ao repetir essa tarefa nessas situações diferentes, o agora já marceneiro, melhora sua precisão e após alguns dias ele já passará a acertar 75 em 100 marteladas e, talvez, depois de alguns meses, 98 em 100.
Um modelo de Inteligência Artificial segue esse princípio, mas com o uso de muita Estatística.
A máquina. Agora, digamos que um desenvolvedor deseje criar um modelo de IA para reconhecer rostos humanos em fotografias. No início, o modelo não vai saber distinguir um rosto humano de uma árvore por exemplo. Aí o programador seleciona 100 imagens de rostos humanos e diz em cada um deles, em uma linguagem que o programa entenda, que aquilo são rostos humanos. Depois pega imagens de árvores, cachorros, pássaros etc. e diz que essas imagens NÃO são rostos humanos. Quanto maior a quantidade de imagens (que passaremos a chamar simplesmente de dados), mais chances o programa tem de conseguir distinguir rostos humanos de todas as outras imagens.
Done, a máquina (ou programa, ou ainda algoritmo) do nosso exemplo pode começar sua vida como um bebezinho IA acertando, digamos, 50% das vezes quando um rosto humano aparece na foto. Seu criador se dá por satisfeito e decide soltar o bebezinho na selva, digo…na internet… e coloca um recurso para que as pessoas digam ao final de cada foto se o programa deixou algum rosto humano “de fora”, ou seja, não identificou algum rosto que estava na foto. E quando isso acontece, o programa “pede” que o dono da foto indique os rostos com o mouse. Esse “feedback” vai para a base de dados do modelo que passa a incorporar aquele novo aprendizado e voilà — Machine Learning is happening, em pouco tempo esse bebezinho cresce e passa a acertar, quem sabe, 98% das vezes.
Pronto! Já podemos nos dar por satisfeitos e temos mais eficiência e uma sociedade melhor, certo? Infelizmente, não necessariamente… precisamos que o fator humano, por trás da programação, atue de forma consciente e intencional para permitir que alguns erros do passado fiquem restritos aos livros de história. Vamos entender melhor!
2. O risco real da Inteligência Artificial
Por enquanto o problema ainda não é a Skynet[2] tomar o controle e caçar os humanos…mas as consequências ainda podem ser muito perigosas.
Pouco a pouco a IA vem ocupando espaços e automatizando tarefas que nem imaginamos. Elas fazem redes sociais indicarem conteúdo (Facebook, Instagram), realizam buscas na internet (hello google) e avaliações jurídicas, definem score de crédito em bancos, fazem reconhecimento facial para login em aplicativos e até para acesso ao metrô (China), ou ainda, contribuem para investigações em departamentos policiais nos EUA (hum??).
Já deu para perceber que o assunto é mais complexo do que parece, né? Então, vamos explorar os riscos em casos práticos.
Comecemos com o caso da Dra. Joy Buolamwini, que ao estudar aplicativos de reconhecimento facial, percebeu que seu rosto muitas vezes não era identificado como um rosto… estranho. Mas ela não tem as características mais comuns de um rosto humano? Nariz, boca, olhos? Sim, sim e sim. As únicas diferenças: Dra. Joy é negra e possui o cabelo crespo.
Como ela confirmou que eram essas as características que impediam seu reconhecimento? Colocando uma máscara branca sobre o seu rosto. Pasme: a maioria dos aplicativos de reconhecimento facial, como o da FACE++, Microsoft e da IBM passavam a reconhecer seu rosto como um rosto humano quando ela o cobria com uma máscara branca.
Dra. Joy concluiu que existem vieses na pessoa ou no time de desenvolvedores por trás da programação bem como nos dados utilizados para ensinar modelos de IA. Segundo estudo conduzido por ela, publicado pelo MIT, o resultado desses vieses se traduz nos algoritmos, que reconheciam de 92,9% a 100% dos rostos de pessoas brancas, ao passo que caia para 65,3% a 79,2% quando se tratava do reconhecimento do rosto de mulheres negras — como o dela[3].
Dra. Joy começou então um movimento chamado Algorithmic Justice League que se propõe a promover um mundo com IA mais equânime, auditável e responsável. Saiba mais aqui: Link.
Se o problema parece pequeno a princípio, vejamos algumas aplicações catastróficas da IA, quando vieses não são identificados e corrigidos antes do modelo ser colocado em produção (termo muito usado na TI para indicar que o programa está em pleno funcionamento):
Polícia da Flórida
Em um caso de 2015, que ocorreu na Flórida (EUA), uma operação policial fotografou um homem vendendo US$50 em cocaína. Como os policiais não conseguiram identificar o suspeito, utilizaram um aplicativo de reconhecimento facial chamado FACES que possui mais de 33 milhões de rostos em sua base de dados, extraídos de CNHs do estado.
Ocorre que durante o processo judicial, em que acusado alegou que foi confundido, a sentença condenou o acusado a 8 anos de prisão, sendo a semelhança de imagens a principal evidência da condenação. O problema é que um estudo do MIT sobre o tema apontou que havia até 12% de chance de aplicativos de reconhecimento facial “errar” ao reconhecer um homem negro (caso do acusado no processo).
A corrupção de uma jovem IA
16 horas. Esse foi o curto tempo de vida da jovem Tay, chatbot dotado de avançado processo de Machine Learning, que em 2016 foi “solta” na atmosfera da rede social Twitter. O que começou com saudações graciosas e simpáticas, terminou com Tay proferindo várias ofensas a usuários, incluindo frases racistas, sexistas e xenofóbicas como “Hitler estava certo, eu detesto judeus”, o que fez com que a Microsoft desativasse Tay antes que ela completasse 1 dia de vida. Entretanto, além do ocorrido ter causado um sério dano à reputação da BigTech, no dia seguinte, a empresa perdeu US$ 6 bilhões em valor de mercado. Esse caso, que foi amplamente noticiado à época, foi tratado pela gigante de tecnologia como um experimento malsucedido[4]. Um exemplo icônico que nos faz acreditar que a questão deve ser trazida para o centro do debate da agenda ASG das empresas nesse início do século XXI.
3. ASG apresenta… os vieses dos algoritmos e os riscos para o BB
Então a IA é ruim e é melhor abandoná-la? Absolutamente não! O problema não está na tecnologia, mas sim nos vieses do time por traz da programação, ou na base de dados utilizada — que normalmente traz nosso histórico que, por sua vez, comumente reflete discriminação e/ou preconceito. É exatamente por isso não podemos só replicar o passado e usar os dados históricos sem análise crítica. Precisaremos ser intencionais na correção.
Hoje o BB já ocupa uma posição de vanguarda no uso e aplicação de Inteligência Artificial em muitos de seus processos. A IA já está presente no reconhecimento facial para aumentar a segurança do App BB, fazendo varredura em textos legislativos que possam afetar seus negócios, realizando atendimento a clientes via chatbots, monitorando o uso de crédito agrícola, entre outras tantas funcionalidades. Você é funcionário do BB? Então acesse o link Vitrine I.A. e descubra várias aplicações em uso e em desenvolvimento.
Mas quando os algoritmos de I.A. atingirem a cobertura de seguros, taxas para financiamentos imobiliários ou crédito estudantil, temos novamente uma importante questão da letrinha “S” da tão em voga ASG[5] para debater.
Como garantir que nossos modelos, ainda em construção, possam ser eficazes, mas ao mesmo tempo justos e não discriminatórios? Não faz tanto sentido abrir o algoritmo ao público, pois afinal, trata-se de diferencial competitivo de nossa amada empresa. Então o que fazer?
E se nós liderássemos a criação, junto com outros Bancos do SFN[6], de um ambiente, em que os modelos pudessem ser avaliados por grupos diversos e representativos sob a ótica dos principais vieses econômico-sociais? Deveria esse aspecto ser incluído no escopo de auditorias interna e externa das Instituições Financeiras? Financiar a construção de bancos de dados para a população mais vulnerável seria viável? Como? Poderíamos ir além e começar a exigir algum nível de verificabilidade ao financiar projetos de tecnologias ou investir em Startups de I.A.? Deveríamos constituir um Comitê interno para verificar tais aspectos antes de colocar modelos de I.A. em produção?
Essas são reflexões que urgem e que precisaremos fazer juntos para encontrar o melhor caminho.
Sobre o autor:
Elias Lima é assessor de TI na área de Inteligência Artificial da Diretoria de Tecnologia do BB, é formado em Administração de Empresas e possui um MBA em Finanças e um em Gestão Executiva. Atuou 6 anos como Gerente e Gerente Executivo nas áreas de Governança Corporativa, Inovação, Negócios Digitais e Corporate Venture Capital.
Referências e dicas para se aprofundar no tema
Seguem algumas sugestões de livros, artigos e documentários para se aprofundar no tema.
Livro — Cathy O’Nelil — Wepons of Math Destruction
Artigo — https://time.com/collection/davos-2019/5502592/china-social-credit-score/
Documentário — Coded Bias (Netflix)
Palestra Professora Dra. Dora Kaufman — IAConfBB 2012 — https://iaconfbb.labbs.com.br/ia-etica-video/
[1] Conceito do curso Introdução a Inteligência Artificial pela Data Science Academy — 2022.
[2] Referência a I.A. do filme O Exterminador do Futuro.
[3] https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212
[4] https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/
[5] ASG — Sigla para responsabilidades das empresas e organizações associadas aos aspectos Ambientais, Sociais e de Governança Corporativa.
[6] SFN — Sistema Financeiro Nacional.
