Ética com Dados - Fundamentos para a IA Ética
Estou completando 10 meses de Grupo Boticário e desde minha chegada à organização tenho vivenciado a seriedade no tratamento de dados de nossos clientes. Sou imensamente grata pelas oportunidades oferecidas pelo GB para apresentar meus aprendizados durante meus estudos na pós-graduação e também compartilhar o nosso trabalho no GB envolvendo o comprometimento e respeito aos dados e privacidade de nossos clientes. Assim preparei este artigo com o objetivo de compartilhar meus aprendizados em minha trajetória aqui no time de Dados do GB. Neste primeiro artigo apresentarei ‘Os conceitos da IA Ética’; e em um próximo artigo compartilharei uma visão sobre ‘A Privacidade de Dados aqui no GB’; e, também tópicos adicionais como ‘Metodologias e Ferramentas’. Desejo que seja uma boa contribuição para todos que desejam conhecer e aprofundar estudos neste tema tão importante.
1. Introdução
Atualmente vemos a Inteligência Artificial (IA) ser utilizada em muitas tarefas e em muitos domínios. Porém o desempenho da IA está ligado à quantidade, qualidade e representatividade dos dados. Temos muita diversidade e complexidade em nosso mundo real e por esta razão precisamos dedicar atenção e refletir sobre as implicações e a melhor forma de desenvolver esta plataforma de tecnologia promissora.
E para esta reflexão vou iniciar apresentando os dilemas envolvendo a IA Ética. Na filosofia um dilema ético ocorre quando estamos em uma situação onde há dois requisitos morais que não superam um ao outro, ou seja, teremos dificuldade em decidir.
A questão ética na área de sistemas de informação é um tópico relativamente afastado dos estudos de sistemas de informação e apenas recentemente passou a ser mais abordado. A ética não é exatamente uma qualidade, pois ela é associada à prática. Então tudo o que age envolve ética, e o software também age e é por esta razão que faz sentido abordar a ética no desenvolvimento de sistemas porque os sistemas baseados em software agem.
“A ética não é exatamente uma qualidade, pois ela é associada à prática. Então tudo o que age envolve ética, e o software também age e é por esta razão que faz sentido abordar a ética em sistemas.”
Assim, se observarmos o lado da filosofia, e para mim também é uma área recente, pois a minha formação ao longo de minha carreira foi muito mais voltada à computação, eu descobri que em filosofia a ideia de ética em sistemas não existia. Apenas recentemente os filósofos passaram a estudar a ética sob a perspectiva de sistemas. Adicionalmente, o software só existe a partir de alguém que fez a ideação e colocou em operação no mundo [1].
E nós que colocamos um software em operação, também podemos ter dúvidas sobre o conceito de ética. Por exemplo, podemos misturar os conceitos sobre ética e moral. Uma forma simples de diferenciá-los é que a moral é o nosso modo pessoal de agir, e tratará o assunto sob a perspectiva se é bom, ruim, certo ou errado. Além disso, a moral poderá experimentar algo num determinado período de tempo e está associada aos valores e convenções de uma sociedade e cultura a partir da consciência individual. A moral é adquirida e formada ao longo da vida por experiências [2]. Já a ética é construída a partir do coletivo e do consenso entre os valores morais. Ou seja, uma forma de garantir o bem estar social e produzir um conjunto de valores que orientam o comportamento do indivíduo dentro da sociedade [2].
Em relação ao desenvolvimento de sistemas, por exemplo, se uma aplicação age de maneira racista devido a uma base enviesada, a pessoa que desenvolveu, avaliou, escolheu e tomou decisões ali durante o desenvolvimento, realizou uma escolha que envolve a ética, ou seja, o valor moral atribuído à decisão que estava sendo tomada.
Se alguém toma uma decisão no desenvolvimento de um sistema e o software age, é importante identificar quais são os problemas que poderão ser causados e em que áreas. Para descobrir estes problemas recentes e apresentar novas perspectivas para a IA Ética, apresentarei esta investigação em 3 etapas:
- IA Ética
- Viés e Discriminação em IA
- Aprendizado de máquina justo
“Se uma aplicação age de maneira racista devido a uma base enviesada, a pessoa que desenvolveu, avaliou, escolheu e tomou decisões ali durante o desenvolvimento, realizou uma escolha que envolve a ética.”
2. IA Ética
Atualmente, temos diversos documentos abordando os princípios para uma IA Ética.
Um documento bastante importante e considerado como um documento Mãe para a legislação sobre a inteligência artificial é o The Artificial Intelligence Act [3] proposto pela União Europeia. É um documento bastante robusto que apresenta em profundidade diversas questões éticas e também poderá influenciar a regulação em diversos países.
O The Artificial Intelligence Act [3] traz uma visão geral sobre como é realizado o risk assessment para a IA, e o documento principal não é tão grande porém tem muitos anexos onde há um aprofundamento para cada caso. A apresentação com o sumário do AI Act [4] está mais resumida.
Tem um tool da Universidade de Oxford chamado capAI — procedimento para risk assessment em IA [5] onde as informações são apresentadas voltado à análise de risco da IA. O capAI traz também um mapeamento das seções e anexos mais relevantes do The AI Act, explica sobre o software lifecycle, traz diversas informações relevantes sobre desenvolvimento de aplicações utilizando IA. É um documento sobre o processo para risk assessment bastante interessante. O site The AI Act [6] é uma boa fonte para verificação sobre o progresso do tema.
“The AI Act [3] é um documento bastante importante e considerado como um documento Mãe para a legislação sobre a IA,e foi proposto pela União Europeia. É um documento que poderá influenciar a regulação da IA em diversos países.”
Antes do The AI Act, um guia bastante importante foi criado pelo IEEE (Instituto de Engenheiros Eletricistas e Eletrônicos), chamado IEEE Ethically Aligned Design. O IEEE conta com mais de 420,000 engenheiros em mais de 160 países. O documento descreve uma visão para priorizar o Bem-Estar Humano com Sistemas Autônomos e Inteligentes e foi criado com a contribuição de vários comitês da Iniciativa Global IEEE sobre Ética de Sistemas Autônomos e Inteligentes, compreendendo mais de 250 pensadores globais, líderes e especialistas em sistemas autônomos e inteligentes, ética e assuntos relacionados.
O documento do IEEE aborda vários campos de estudos, ou seja, aprendizado de máquina, inteligência artificial, engenharia de sistemas inteligentes, robótica, entre outros. É um documento que fornece uma plataforma aberta para liderança de pensamento e ação para priorizar o design orientado por valores e eticamente alinhado para sistemas autônomos e inteligentes. Houve também a participação de mais de 800 engenheiros na construção deste documento.
Outro documento que eu gosto muito de acompanhar sobre a evolução dos princípios éticos é o Principled Artificial Intelligence do Berkman Klein Center [8] da Universidade de Harvard. Este documento traz um mapa dos diversos princípios que foram elaborados nos últimos anos e ele também separa por contribuições, ou seja, governo, sociedade civil e instituições privadas. É um documento bem interessante para observarmos como a área vem progredindo em diversos países [8].
No Brasil temos o projeto de lei 21 de 2020 [9] que traz as diretrizes sobre o desenvolvimento e aplicação da inteligência artificial. Está em elaboração e poderá sofrer ajustes. Poderemos ter também alguns aprendizados em relação à lei europeia que vem sendo discutida há alguns anos. Com o avanço do Projeto de Lei, o regulador, no nosso caso a ANPD (Autoridade Nacional de Proteção de Dados), passará a olhar à luz da IA ou seja, a IA equivale a Dados, mais as intenções, e como resultado, o algoritmo (IA = dados + intenções = algoritmo (outcome)). Assim, a abordagem do regulador para a IA poderá passar por três pontos (A IA e os três eixos regulatórios [10]):
- O DataLake — O Data Lake em seu uso secundário para fim de analytics;
- A Regulação da IA — Camada de compliance que perpassa LGPD para a IA; e
- O Data Ethics — Trazer para a organização problemas puros de IA.
“A regulação da IA no Brasil está sendo abordada pela PL 21/2020, e com ela temos uma camada de compliance que perpassa a LGPD, que também tem elementos focados na não discriminação e revisão de iniciativas pelo ser humano. Porém teremos uma abordagem de problemas puramente de IA.”
No Brasil a LGPD [11] (Lei Geral de Proteção de Dados Pessoais) tem elemento focado em IA como a não discriminação e a revisão das iniciativas pelo ser humano. Com o projeto de lei para IA [9] temos uma camada de compliance que perpassa LGPD para a IA. E com isso o Data Ethics vem trazer para a organização a análise dos problemas puramente da IA.
No geral, sobre o primeiro ponto “O Data Lake”, ou seja, analisar as finalidades para analytics, diversas corporações vem realizando. Quanto ao segundo ponto, “A Regulação da IA”, a Comunidade Européia tem sido a mais avançada sobre o assunto. Sobre a regulação, o equivalente europeu a LGPD é o GPDR (General Data Protection Regulation) que foi criado antes da LGPD. O The AI Act europeu, teve como base a conferência AI Discussions in Asilomar [13] que foi um dos primeiros estudos sobre a IA. E temos também o relatório AIDA (Artificial Intelligence on the Digital Age) [14] que também alimenta o The AI Act [6] na Comunidade Européia. O The AI Act possui uma estrutura separada por riscos de atividades proibidas. O objetivo do The AI Act Europeu é por exemplo identificar o quanto cada atividade e aplicação se encaixa em qual risco, e então esta camada de riscos determina as providências.
No Brasil a discussão está em andamento, e não está claro a influência do The AI Act aqui no país. Uma abordagem que poderá ser adotada é entrevistar os demandantes e criadores de IA e estabelecer providências tomadas e que façam sentido, antecipando os problemas que podem ocorrer no uso da IA. Porém ainda não sabemos como será a regulação, sendo também importante analisar o equilíbrio entre medidas complexas e compatibilidade de uso.
Adicionalmente, com relação a LGPD temos o ROPA (Record of Processing Activities) que é o registro de uso das finalidades. A partir do ROPA poderia-se clusterizar as finalidades para a IA e a partir daí os riscos. Porém existem questões complexas com relação às finalidades da IA. Para uma era de pós-adequação o ROPA precisará de revisão (E agora DPO?) [15]. O ROPA é um instrumento raiz, e pode ser necessário uma revisão para entender a complexidade que poderá ser adicionada com a lei da IA.
2. Viés e Discriminação em IA
Uma vez estudado os princípios para uma IA Ética, nosso próximo passo é identificar quando a IA poderia ter comportamentos nocivos para a sociedade. Nesta segunda parte abordaremos sobre como identificar comportamentos abusivos, ou seja, o que poderia ser um viés e discriminação em IA e porque ele ocorre.
Às vezes achamos que o algoritmo decide da mesma forma que o ser humano. Mas não é assim, os algoritmos são usados de maneira diferente quando abordamos a tomada de decisão. Porém muitas vezes as pessoas presumem que os algoritmos são objetivos e livres de erro. E além disso os algoritmos de certa forma são fáceis de implementar, não tem um custo tão alto, e muitas vezes sem um processo em vigor. Além disso, quando trazemos os dados para serem tratados pelos algoritmos estamos trazendo também todo o viés do mundo real. Então temos uma outra questão, muitas pessoas podem pensar que o viés no mundo real não é um problema pois já convivemos em ele. Então porque seria tão crítico para os algoritmos ? O problema é que os algoritmos podem amplificar o viés e criar ciclos de feedback nem sempre consistentes com a realidade [23].
“Muitas pessoas podem questionar porque o viés seria tão crítico para os algoritmos, se já convivemos com vieses no mundo real. O problema é que os algoritmos podem amplificar o viés e criar ciclos de feedback nem sempre consistentes com a realidade.”
Assim, vamos então investigar os tipos de vieses que podem ocorrer no aprendizado de máquina [16].
- Viés nos Dados — Uma distorção sistemática nos dados amostrados que compromete sua representatividade;
- Viés de População — Distorções sistemáticas na demografia ou outras características do usuário entre uma população de usuários representada em um conjunto de dados ou em uma plataforma e alguma população-alvo;
- Vieses Comportamentais — Distorções sistemáticas no comportamento do usuário em plataformas ou contextos, ou entre usuários representados em diferentes conjuntos de dados;
- Vieses de Produção de Conteúdo — Vieses comportamentais que são expressos como diferenças lexicais, sintáticas, semânticas e estruturais no conteúdo gerado pelos usuários. Por exemplo, em processamento de linguagem natural podem haver textos expressos que têm diferentes estruturas sintáticas e semânticas.
- Vieses de Relacionamento — Viés comportamental que se expressa como diferenças nos atributos das redes obtidas a partir de conexões, interações ou atividades de usuários; por exemplo, as interações podem ocorrer de forma diferente nas diferentes redes de relacionamento;
- Vieses Temporais — Distorções sistemáticas em populações ou comportamentos de usuários ao longo do tempo, Por exemplo, haverá um determinado dado acontecendo em um período de tempo e no outro período de tempo o comportamento do usuário mudou e esse dado também mudou;
- Redundância — Pode distorcer a quantificação de fenômenos nos dados. Por exemplo, quando o dado está repetido.
Agora neste próximo passo, vamos investigar os danos causados pelo viés em aprendizado de máquina [17].
- Viés Histórico — Reforçar um estereótipo quando os dados são medidos perfeitamente;
- Viés de Representação — A amostra sub-representa alguma parte da população;
- Viés de Medição — O recurso e os rótulos são escolhidos para aproximar alguma ideia que não é codificada ou observável, por exemplo, a pontuação de crédito pode ser problemática se elas refletem mal os grupos;
- Viés de Agregação — Quando é assumido que o mapa de entradas para rótulos é consistente, no entanto, existem subgrupos que devem ser considerados de forma diferente;
- Viés de Aprendizado — Quando a modelagem amplifica as disparidades;
- Viés de Validação — Quando os dados usados para uma tarefa específica não representam a população de uso;
- Viés de Implantação — Quando há uma incompatibilidade entre o problema que um modelo se destina a resolver e a forma como é usado.
2. O Aprendizado de Máquina Justo
Com este entendimento sobre os tipos de vieses e os danos que podem ser causados pelos algoritmos, seguimos agora analisando sobre o aprendizado de máquina justo. A Justiça em algoritmos é importante para apoiar os valores humanos. A imparcialidade nos algoritmos é importante para identificar os pontos fortes e fracos do sistema; e a imparcialidade nos algoritmos é importante para rastrear as melhorias dos algoritmos ao longo do tempo. O viés não é apenas herdado dos dados, mas também pela complexa interação entre os dados e os algoritmos.
“A justiça em algoritmos é importante para apoiar os valores humanos, e nos ajudar a garantir um impacto positivo para a sociedade.”
Para evitar as distorções no algoritmos as ações podem ocorrer nas três fases do processamento do aprendizado de máquina:
- Pré-processamento — Modificações podem ser feitas na distribuição dos dados para garantir uma representação justa;
- Processamento — A modificação é realizada nos algoritmos para considerar a justiça, em vez de apenas o desempenho da previsão;
- Pós-processamento — Modifica o resultado dos modelos corrigindo decisões que poderiam prejudicar a representação justa.
Dentre as medidas de imparcialidade em aprendizado de máquina, temos alguns tipos conforme descrito a seguir [18]:
- Estatística com base no resultado previsto — Foco em um resultado previsto para várias distribuições demográficas dos dados. Eles representam a noção mais simples e intuitiva de justiça. Ainda assim, têm várias limitações;
- Estatística com base no resultado previsto e nos resultados reais — Consideram não apenas o resultado previsto para diferentes distribuições demográficas da classificação, mas também compará-lo com o resultado real registrado no conjunto de dados;
- Estatística baseada em probabilidades previstas e resultados reais — Consideram o resultado real e a pontuação de probabilidade prevista.
- Baseado em similaridade — As definições estatísticas ignoram amplamente todos os atributos dos dados classificados. Tal tratamento pode ocultar injustiça: suponha a mesma fração de candidatos do sexo masculino e feminino recebem uma pontuação positiva. No entanto, os candidatos do sexo masculino neste conjunto são escolhidos aleatoriamente, enquanto as candidatas do sexo feminino são apenas aquelas com a maior renda. Então, a paridade estatística considerará o classificador justo, apesar de uma discrepância na forma de processamento com base no sexo.
- Raciocínio causal — As definições baseadas no raciocínio causal assumem um dado grafo causal. Os grafos causais são usados para construir classificadores justos e outros algoritmos de ML. Especificamente, as relações entre os atributos e sua influência no resultado são capturadas por um conjunto de equações estruturais que são usadas para fornecer métodos para estimar efeitos de atributos sensíveis e construir algoritmos que possam mapear a discriminação devido a esses atributos.
Dentre os tipos de discriminação que podem ocorrer na utilização de algoritmos, temos [19]:
- Discriminação Direta vs Discriminação Indireta — Discriminação direta acontece quando uma pessoa é tratada de forma menos favorável por causa de um atributo, por exemplo, código postal, e a discriminação indireta acontece quando há uma prática, politica ou regra que se aplica a todos, mas tem efeito pior em algumas pessoas do que em outras.
- Justiça individual vs grupo — A justiça individual é medir a discriminação de cada indivíduo. E justiça de grupo é medir o impacto da discriminação em relação a um grupo de pessoas. Portanto, deve ter uma forma de agrupar as pessoas;
- Discriminação Explicável vs Inexplicável — A discriminação explicável relaciona-se a diferenças de tratamento e resultados entre diferentes grupos, pode ser justificada e explicada através de alguns atributos em alguns casos. Por outro lado, a discriminação inexplicável acontece quando a discriminação contra um grupo não pode ser explicada.
3. Exemplos de Problemas Encontrados
Alguns problemas já foram encontrados em aplicações utilizadas em nosso dia a dia. Por exemplo, o reconhecimento de imagem é bastante pesquisado com o objetivo de identificar quem estaria sendo impactado por esta tecnologia [21][22]. Um projeto bastante importante que estudei é o Gender Shades [20].
O projeto Gender Shades avaliou a precisão dos produtos de classificação de gênero com inteligência artificial. Esta avaliação se concentrou na classificação de gênero como um exemplo motivador para mostrar a necessidade de maior transparência no desempenho de quaisquer produtos e serviços de IA focados em assuntos humanos. O viés neste contexto é definido como tendo diferenças práticas nas taxas de erro de classificação de gênero entre os grupos. Com este estudo, as empresas trabalharam nas melhorias sobre esta tecnologia, e as investigações nesta área continuam para verificar a melhoria dos algoritmos para mitigar este tipo de erro de classificação.
Para este estudo 1270 imagens foram escolhidas para criar uma referência para este teste de desempenho de classificação de gênero. As fotos foram selecionadas de 3 países africanos e 3 países europeus. As fotos foram então agrupadas por gênero, tipo de pele e a interseção de gênero e tipo de pele. Uma dermatologista aprovou o sistema de classificação do tipo de pele, chamado Fitzpatrick. Três empresas que oferecem produtos de classificação de gênero foram escolhidas para esta avaliação com base na localização geográfica e no uso de inteligência artificial para visão computacional.
Embora o resultado destes algoritmos parecia ter uma precisão geral relativamente alta, existiam diferenças notáveis nas taxas de erro entre os diferentes grupos. Por exemplo, quando foram analisados os resultados por subgrupos interseccionais — por exemplo homens pretos, mulheres pretas, homens brancos, mulheres brancas — verificou-se um pior desempenho nas fotos de mulheres pretas. Houve portanto um viés de representação. O estudo demonstra que Testes e Relatórios inclusivos de produtos são necessários para criarmos sistemas que funcionem bem para toda a humanidade [20].
“Os estudos sobre quem está sendo impactado pelos algoritmos demonstram que precisamos de testes e relatórios inclusivos de produtos para criarmos sistemas que funcionem bem para toda a humanidade.”
Um outro estudo bastante importante sobre as pessoas impactadas negativamente pelos algoritmos é sobre o sistema de previsão de risco de reincidência de crime, chamado Compas. Como as comunidades minoritárias são frequentemente mais policiadas e têm taxas de prisão mais altas, há um mapeamento diferente de crime para prisão para as pessoas nessas comunidades. Ou seja, neste caso houve um viés de medição neste algoritmo de previsão de reincidência de crime. Este é um exemplo que costuma acontecer com as ferramentas de avaliação de risco, pois o software poderá ser adotado antes de testar rigorosamente se funciona. Ou sem um relatório de avaliação abrangente que além de avaliar a precisão da ferramenta, poderá avaliar também grupos que podem ser impactados negativamente. Por exemplo, neste caso o algoritmo não foi avaliado para outras dimensões. Seria um erro concluir que grupos minoritários representam um perigo maior para a sociedade, pois são monitorados e controlados de forma diferente de outros grupos.
Um outro exemplo é o aprimoramento dos sistemas de recomendação. Em um estudo de 2018, uma empresa de serviços de stream de vídeos observou que poderia haver um viés de medição em seu algoritmo e poderia haver um exagero na recomendação de filmes para os clientes, voltado a um interesse dominante. E porque ocorre a personalização ? A personalização acontece para ajudar os assinantes a encontrarem conteúdo para assistir e aproveitar para maximizar a satisfação e a retenção de seus membros [26]. Muita coisa envolve personalização. É fácil ? Não. Toda pessoa é única e possui uma variedade de interesses. E às vezes elas compartilham seus perfis. O conceito de recomendação baseia-se em ajudar as pessoas a encontrarem o que elas querem quando elas não tem certeza sobre o que elas querem. Há datasets grandes porém podem ser poucos dados quando olhamos por usuário, e potencialmente estes dados podem estar enviesados na saída de algum sistema.
Adicionalmente há o problema de cold-start do usuário, ou seja, recomendar itens para usuários que possuem poucos ou nenhum registro de preferência no sistema. O problema de cold-start do usuário está por todos os lados: não estacionário, dependente do contexto, dependente do humor. É muito mais do que precisão. É sobre diversidade, novidades, frescor, justiça, entre outros. Dentre os diversos desafios está a justiça dos algoritmos. E o que isto representa em sistemas de recomendação ? Sistemas de recomendação representam um grande impacto na vida das pessoas, e como garantir que ele seja justo ?
“Além da privacidade de dados, alguns dos desafios recentes envolvem estudar a justiça para os diferentes tipos de algoritmos, a explicabilidade destes algoritmos, e conectar a justiça em algoritmos com todos os outros desafios de aprimoramento da IA.”
Por exemplo, um viés de medição poderá ocorrer por haver um exagero ao endereçar o interesse dominante. Vamos supor um usuário que assistiu 70 (setenta) filmes de romance e 30 (trinta) filmes de ação. A expectativa é que o algoritmo recomende 70% (setenta por cento) filmes de romance e 30% (trinta por cento) filmes de ação. Entretanto, diversos algoritmos de recomendação podem apresentar o comportamento de exagerar nos interesses dominantes e aglomerar os interesses menos frequentes, neste caso recomendando 100% (cem por cento) romance.
Alguns exemplos sobre os futuros para sistemas de recomendação envolvem: a definição de justiça para os diferentes cenários de recomendação; lidar com a justiça dos algoritmos sem informação demográfica; a relação entre justiça, explicabilidade e confiança nos algoritmos; conectar justiça com todas os outros desafios tecnológicos para algoritmos; e ir além da justiça em algoritmos, ou seja, garantir um impacto positivo para a sociedade.
Conclusão
Neste primeiro artigo, meu objetivo foi apresentar uma visão sobre porque é importante estudar ética com dados e inteligência artificial. E também compartilhar exemplos para refletirmos sobre as implicações e melhor forma de desenvolver esta plataforma de tecnologia promissora. Foi apresentado também a importância de identificar e mitigar vieses em algoritmos de aprendizado de máquina. Adicionalmente compartilhado algumas orientações práticas sobre se e como os algoritmos de ML podem lidar com vieses e discriminação. E por último foi apresentado alguns exemplos práticos sobre os problemas encontrados em aplicações utilizadas em nosso dia-a-dia.
E você ?
Que incidentes percebeu na utilização de sistemas ?
Em um próximo artigo compartilharei uma visão sobre o nosso processo de privacidade de dados no Grupo Boticário. E depois em um outro artigo trarei exemplos sobre metodologias e ferramentas para aprofundamento de estudos.
Aqui no Grupo Boticário, nosso objetivo ao utilizar novas tecnologias é garantir um impacto positivo para a sociedade. E encerro o artigo com uma frase do Sr. Miguel Krigsner, fundador do Grupo Boticário:
“Se vamos deixar uma marca no planeta, que ela seja positiva.”
MIGUEL KRIGSNER — Fundador Grupo Boticário
Obrigada!
Referências:
[1] MIT Tech Review, Porque estudar filosofia é fundamental no mundo digital, criado em https://mittechreview.com.br/por-que-estudar-filosofia-e-fundamental-no-mundo-digital/, criado em 20/Julho/2021, acessado em 20/Agosto/2022.
[2] Gestão Educacional, O que é moral? Definições, Exemplos e a diferença entre ética e moral, https://www.gestaoeducacional.com.br/moral-o-que-e/, criado em 16/Agosto/2022, acessado em 20/Agosto/2022
[3] Parlamento Europeu, Artificial Intelligence Act, https://www.europarl.europa.eu/RegData/etudes/BRIE/2021/698792/EPRS_BRI%282021%29698792_EN.pdf , criado Janeiro/2022, acessado em 20/Agosto/2022
[4] Parlamento Europeu, A European Strategy for Artificial Intelligence, https://www.ceps.eu/wp-content/uploads/2021/04/AI-Presentation-CEPS-Webinar-L.-Sioli-23.4.21.pdf?, criado em 23/Abril/2021, acessado em 20/Agosto/2022
[5] Floridi, Luciano and Holweg, Matthias and Taddeo, Mariarosaria and Amaya Silva, Javier and Mökander, Jakob and Wen, Yuni, capAI — A Procedure for Conducting Conformity Assessment of AI Systems in Line with the EU Artificial Intelligence Act (March 23, 2022). Available at SSRN: https://ssrn.com/abstract=4064091 or http://dx.doi.org/10.2139/ssrn.4064091
[6] Parlamento Europeu, About The Artificial Intelligence Act, https://artificialintelligenceact.eu/about/, acessado em 20/Agosto/2022
[7] IEEE, IEEE Ethically Aligned Design, https://standards.ieee.org/news/2017/ead_v2.html, criado em 2017, acessado em 20/Agosto/2022
[8] Harvard, Berkman Klein Center, Principled Artificial Intelligence, https://cyber.harvard.edu/publication/2020/principled-ai, criado em 20/Janeiro/2020, acessado em 20/Agosto/2022.
[9] Poder Legislativo no Brasil, Fundamentos, princípios e diretrizes para o desenvolvimento e a aplicação da inteligência artificial no Brasil https://www.camara.leg.br/propostas-legislativas/2236340, criado em 20/Janeiro/2020, acessado em 20/Agosto/2022.
[10] Artese Advogados, A IA e os Três Eixos Regulatórios, https://theshift.info/hot/a-inteligencia-artificial-e-seus-tres-eixos-regulatorios/, criado em 13/Abril/2022, acessado em 20/Agosto/2022.
[11] Planalto BR, Lei Geral de Proteção de Dados Pessoais, http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm, criado em 14/Agosto/2018, acessado em 20/Agosto/2022.
[12] Parlamento Europeu, GPDR (General Data Protection Regulation), https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679 , criado em 2016, acessado em 20/Agosto/2022.
[13] Future of Life Institute, A Principled AI Discussion in Asilomar, https://futureoflife.org/2017/01/17/principled-ai-discussion-asilomar/, criado em 2017, acessado em 20/Agosto/2022.
[14] Parlamento Europeu, Artificial Intelligence on the Digital Age, https://www.europarl.europa.eu/cmsdata/246872/A9-0088_2022_EN.pdf, criado em 05/Abril/2022, acessado em 20/Agosto/2022.
[15] Artese Advogados, E Agora DPO?, https://www.linkedin.com/posts/gustavoartese_e-agora-dpo-activity-6922547815420149760-DiVs?utm_source=linkedin_share&utm_medium=member_desktop_web criado em Maio/2022, acessado em 20/Agosto/2022.
[16] Olteanu, Alexandra, et al. “Social data: Biases, methodological pitfalls, and ethical boundaries.” Frontiers in Big Data 2 (2019): 13. https://www.microsoft.com/en-us/research/wp-content/uploads/2017/03/SSRN-id2886526.pdf
[17] Suresh, Harini, and John V. Guttag. “A framework for understanding sources of harm throughout the machine learning life cycle.” arXiv preprint arXiv:1901.10002 (2019). https://arxiv.org/pdf/1901.10002.pdf
[18] Verma S, Rubin J. Fairness definitions explained. In:2018 ieee/acm international workshop on software fairness (fairware). IEEE; 2018. p. 1–7 https://fairware.cs.umass.edu/papers/Verma.pdf
[19] Edx UMontrealX and IVADO. Module 1 — The Concepts of Bias and Fairness in the AI Paradigm. In UMontrealX and IVADO, Bias and Discrimination in AI. edX; 2021. Available online, accessed on 03 October 2021. https://www.edx.org/course/bias-and-discrimination-in-ai
[20] MIT, Gender Shades, http://gendershades.org/overview.html publicado em 2018, acessado em 22/Agosto/2022.
[21] IEEE Access, Are AI Algorithms Playing Fairly with Age, Gender, and Skin Color?, https://spectrum.ieee.org/are-ai-algorithms-playing-fairly-with-age-gender-and-skin-color, criado em 08/Abril/2021, acessado em 22/Agosto/2022.
[22] MIT Tech Review, Ética em IA: a pergunta que não estamos fazendo, https://mittechreview.com.br/etica-em-ia-a-pergunta-que-nao-estamos-fazendo criado em 11/Janeiro/2022, acessado em 22/Agosto/2022.
[23] Brasil Escola, Internet x Preconceito https://vestibular.brasilescola.uol.com.br/blog/internet-x-preconceito.htm, criado em 29/Novembro/2017, acessado em 22/Agosto/2022.
[24] ProPublica, Machine Bais Risk Assessment in Criminal Sentence, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, criado em 23/Maio/2016, acessado em 22/Agosto/2022.
[25] Alan Turing Institute, Building an ethical framework for data science and AI in the criminal justice system, https://www.turing.ac.uk/research/research-projects/building-ethical-framework-data-science-and-ai-criminal-justice-system, Projeto em Andamento e acessado em 22/Agosto/2022
[26] RecSys 2020, Recent Trends in Personalization at Netflix, https://www.slideshare.net/justinbasilico/recent-trends-in-personalization-at-netflix, criado em 25/Setembro/2020, acessado em 22/Agosto/2022
