Ética com Dados — Metodologias e Ferramentas

Teclas coloridas em vermelho e verde com um cadeado em cima | Foto de FLY:D na Unsplash

Nos artigos anteriores, apresentei os ‘Fundamentos para a IA Ética’ e uma visão sobre ‘A Privacidade de Dados aqui no GB’. Neste artigo compartilharei uma visão sobre as ferramentas e metodologias que poderão ajudar no desenvolvimento de uma estratégia para a IA Ética. Desejo que seja uma boa contribuição para todos que desejam conhecer e aprofundar os conceitos sobre o ciclo de desenvolvimento na área de dados, explicabilidade, e alguns exemplos sobre como avaliar os riscos no desenvolvimento de iniciativas envolvendo inteligência artificial.

1. Introdução

Os sistemas construídos em torno da IA afetarão e, em muitos casos, redefinirão as intervenções médicas, transporte, justiça criminal, gestão de risco financeiro e muitas outras áreas da sociedade. A utilidade e a justiça desses sistemas de IA será limitada por nossa capacidade de compreendê-los, explicá-los e controlá-los [1].

Adicionalmente são necessários processos que nos ajudem a monitorar os sistemas de IA em todo o seu ciclo de vida e que ajudem a identificar e corrigir os pontos em que as falhas éticas poderão ocorrer. Ter um processo para identificar estes pontos de falha poderá ajudar a aliviar o sofrimento humano antecipando potenciais consequências antes que eles ocorram. Além de estabelecer salvaguardas contra imprevistos, indesejados ou comportamentos desconhecidos, um processo para análise e avaliações de impacto ético devem ocorrer já na etapa inicial de conceito do processo de desenvolvimento de software [1].

Além disso, os processos para análise ética podem melhorar a satisfação do usuário e desbloquear o crescimento econômico criando confiança em tecnologias disponíveis por meio de transparência, documentação e explicações sobre as funcionalidades destes sistemas [1].

“Os processos para análise ética podem melhorar a satisfação do usuário e desbloquear o crescimento econômico criando confiança em tecnologias disponíveis.”

2. Explicabilidade dos Algoritmos

Muitas vezes, os recursos usados em um modelo de ML não são independentes, então a tarefa de atribuir o impacto de cada recurso na previsão final do modelo não é trivial.

Um exemplo de ferramenta para ajudar na explicabilidade de um algoritmo é o Vertex AI [2]. O Vertex AI possibilita identificar o quanto cada recurso de dados contribuiu para o resultado previsto. Assim é possível usar essas informações para verificar se o modelo se comportou como esperado, reconhecer tendências, e possibilitar ideias para melhorar os modelos e identificar melhorias nos dados de treinamento [2].

Por exemplo, um modelo de classificação de imagens é treinado para prever se uma determinada imagem contém um cão ou um gato. Se você solicitar previsões deste modelo em um novo conjunto de imagens, receberá uma previsão para cada imagem (“cão” ou “gato”). Se você solicitar explicações, receberá a classe prevista junto com uma sobreposição da imagem, mostrando quais pixels na imagem contribuíram mais para a previsão resultante (nos exemplos a seguir representado pela cor verde-claro) [2].

Google Cloud — Introdução à Explanaible AI

O Vertex AI utiliza o conceito de Shapley a partir da teoria dos jogos cooperativos proposta por Lloyd Shapley em 1953. Uma das principais abordagens para atribuição é baseada no valor de Shapley, e na teoria dos jogos cooperativos é abordado como por exemplo em um grupo de jogadores que se reúnem para consumir um serviço, e isso incorre em algum custo. O valor de Shapley distribui esse custo entre os jogadores.

No caso de modelos utilizando algoritmos, o problema de atribuição refere-se a distribuir a pontuação de previsão de um modelo para uma entrada específica e suas características básicas; ou seja, a atribuição a uma característica base pode ser interpretada como a importância da característica para a previsão. Por exemplo, quando a atribuição é aplicada a um modelo que toma decisões de empréstimo, as atribuições informam o quão influente um recurso foi para a decisão de empréstimo para um solicitante de empréstimo específico. As atribuições têm assim valor explicativo [3].

“A explicabilidade dos algoritmos possibilita verificar se o modelo se comportou como esperado, reconhecer tendências, e possibilitar idéias para melhorar os modelos e identificar melhorias nos dados de treinamento.”

Fonte: Google Cloud — Introdução à Explanaible AI

Um outro tool bastante interessante sobre a explicabilidade de algoritmos está disponível no site The Shap Documentation. O SHAP (SHapley Additive exPlanations) é também uma abordagem da teoria dos jogos para explicar a saída de diversos modelos de aprendizado de máquina. Os algoritmos e visualizações publicados neste estudo vieram principalmente da pesquisa no laboratório de Su-In Lee na Universidade de Washington e da Microsoft Research [4].

Uma demonstração interessante de uso do SHAP é um exemplo utilizando processamento de linguagem natural para identificar qual a parte do texto teria maior influência em interpretar uma determinada expressão como positiva. Por exemplo na frase em inglês “What a great movie… if you have no taste” que corresponde em português “Que grande/super filme… se você não tiver gosto” o algoritmo de explicabilidade pode indicar qual a expressão foi mais positiva na frase, neste caso “great movie” ou “grande/super filme” e qual expressão foi mais negativa, por exemplo, “if you have no taste” ou “se você não tiver gosto”. Expressões de sarcasmo podem ser bastante difíceis de serem identificadas pelos algoritmos.

Fonte: The SHAP Documentation — SHapley Additive exPlanations

Ainda no contexto de explicabilidade, um estudo bastante importante também referenciado nas documentações do Vertex AI, é o estudo do Prof. Tim Miller da Universidade de Melbourne, chamado “Explanation in Artificial Intelligence: Insights from the Social Sciences”. Neste estudo o Prof. Tim explica que à medida que pesquisadores e profissionais buscam tornar seus algoritmos mais compreensíveis, torna-se importante observar também como os seres humanos explicam situações uns aos outros. O Prof. Tim apresenta que os trabalhos atuais sobre explicabilidade de algoritmos podem se basear na intuição do pesquisador sobre o que é uma boa explicação. O estudo apresenta que poderíamos também utilizar os estudos de outras áreas de conhecimento como a filosofia, a psicologia e a ciência cognitiva que apresentam contribuições valiosas sobre como as pessoas definem, geram, selecionam, avaliam e apresentam explicações. O estudo esclarece que as pessoas podem empregar certos vieses cognitivos e expectativas sociais em relação ao processo de explicação. São descobertas importantes para apoiar a continuidade de trabalhos no campo da explicabilidade da inteligência artificial [5].

3. Métodos para mapear os riscos da IA

Desenvolver sistemas para aplicações de Inteligência Artificial requer a utilização de processos alinhados com os padrões existentes de ciclo de desenvolvimento de software. No artigo anterior sobre a Privacidade de Dados no Grupo Boticário apresentei como estamos estruturados e apresentei também uma visão de alto nível sobre a nossa esteira de dados e aprendizado de máquina.

Esta estrutura reflete também os padrões de ciclo de vida de desenvolvimento de software. Alguns exemplos de ciclo de vida para desenvolvimento de software e aprendizado de máquina propostos na literatura, são também apresentados no estudo da Universidade de Oxford, o capAI — procedimento para risk assessment em IA [1]. Dentre eles temos o padrão ISO/IEC/IEEE 12207–2017 [6] e há também as práticas de desenvolvimento apresentados no trabalho do Goodfellow, Bengio, and Courville 2016 [7], da OECD 2019 [8], no trabalho de Nelson and Hapke 2019 [9] e no próprio trabalho da Google Cloud em 2020 [10]. Todos eles sugerem quatro estágios do ciclo de vida no desenvolvimento de software tradicional: Conceitualização, Desenvolvimento, Operação/Manutenção e Desativação.

“Os padrões e práticas de desenvolvimento de software abordam quatro estágios: Conceitualização, Desenvolvimento, Operação/Manutenção e Desativação. A avaliação ética tem por objetivo medir os impactos em cada etapa.”

A partir desta revisão de literatura, o estudo do capAI — procedimento para risk assessment em IA apresenta diversos itens para avaliar o impacto ético de uma aplicação de inteligência artificial. O estudo em resumo tem objetivo de medir este impactos em cada etapa de desenvolvimento, com os pontos principais a seguir:

• Desenho da Solução — Como descrito no capAI [1], no estágio de conceito do ciclo de vida da IA, as organizações se concentram em especificar os dados, modelo e variáveis a serem usados por um sistema de IA. Um problema específico que surge é “problema de especificação incorreta” — um dos principais tipos de robustez, conformidade e falhas éticas dos sistemas de IA. Ou seja, a forma funcional do problema não está refletindo o verdadeiro problema subjacente. Assim, um design ético e robusto de ML requer mais do que apenas uma boa compreensão das técnicas de desenvolvimento e algoritmos; requer a definição do problema para resolver seu caso de uso, riscos, benefícios e métricas para medir o sucesso/fracasso. Assim, esta primeira etapa concentra-se em tarefas que ajudam a minimizar falhas de especificação incorreta;
• Desenvolvimento — o capAI [1] explica que os dados são o ingrediente chave para o desenvolvimento de sistemas de ML. Sem a quantidade certa e qualidade dos dados, um sistema de IA estará fadado ao fracasso — e mesmo que não, pode espalhar involuntariamente preconceitos estabelecidos na sociedade. A tarefa de obtenção de dados começa com extração e combinação de registros de várias fontes de dados em um único conjunto de dados. Entretanto, muitas vezes os dados podem não estar disponíveis, e os dados coletados devem estar em conformidade com os regulamentos relevantes, em nosso caso a LGPD. Porém dados compatíveis não são suficientes para construir sistemas de IA éticos. Dados de baixa qualidade podem ser igualmente difundidos e também podem levar um sistema de IA a aprender o viés e propagar artefatos socialmente derivados que prejudicam grupos específicos [56]. É importante controlar vieses que podem levar a uma representação imprecisa ou propagar informações que prejudicam as pessoas;
• Validação — Depois que um modelo foi treinado, validado e ajustado, conforme apresentado no capAI[1] é hora de testá-lo e realizar uma análise detalhada do desempenho do modelo. Usando as métricas especificadas antecipadamente, a análise de dados deve calcular o erro de teste e compará-lo com o conjunto de dados de treinamento para diagnosticar quaisquer problemas de modelo. Alguns problemas típicos incluem overfitting/underfitting, bugs, problemas de validação e problemas de dados. Outra razão para realizar uma análise aprofundada do desempenho do modelo é descobrir e corrigir potenciais fontes de discriminação que levam a resultados injustos. Os desenvolvedores primeiro precisam definir e operacionalizar a “justiça” do modelo com base no contexto e no caso de uso.
• Operação — Como bem explicado pelo capAI[1], o trabalho não termina quando o sistema de IA é implantado e então é necessário passar para um estágio de monitoramento. Um bom monitoramento envolve observar estatísticas, distribuição de dados e mudanças no uso do negócio — interações dos usuários com as previsões do modelo. O monitoramento deve registrar quaisquer problemas e quaisquer ações tomadas para corrigi-los.
• Desativação — o capAI[1] traz também considerações importantes sobre a desativação da IA. Em algum momento, as organizações podem decidir tirar um sistema de IA de serviço, seja porque querem retirar o suporte ativo, ou devido à substituição parcial ou total. Assim, esta etapa envolve a desativação, desmontagem e remoção do sistema de IA. Adicionalmente é importante considerar como fazer a transição para um novo sistema. Isso resulta na identificação do que manter, o que e como descartar.

Fonte: CMSWire, What’s on Your Artificial Intelligence Compliance, Privacy and Ethics Checklist?

Eu gosto bastante deste documento do capAI — procedimento para risk assessment em IA [1], pois aborda com bastante profundidade os riscos envolvidos na utilização de algoritmos e como mitigá-los.

Outro metodologia bastante utilizada no desenvolvimento de sistemas baseados em IA é o CRISP-DM (Cross Industry Standard for Data Mining). O CRISP-DM foi desenvolvido em 1996 por um consórcio europeu de empresas. Foi também desenvolvido como um sistema flexível e independente para abordagem para projetos de mineração de dados. É também a metodologia de projeto mais utilizada em ciência de dados e dentre os principais apoiadores corporativos está a IBM. O artigo CRISP-DM 1.0: Step-by-step data mining guide [11] é bastante referenciado e é uma versão 1.0 do trabalho realizado entre IBM e DaimlerChrysler. Eu gostei bastante deste artigo pois ele detalha passo a passo quais são os deliverables em cada etapa do processo. Como nos outros métodos, o CRISP-DM é composto pelas fases de: Entendimento do Negócio, entendimento dos dados, preparação dos dados, modelagem, validação, e implantação.

Assim como nos padrões e práticas de desenvolvimento apresentadas anteriormente o CRISP-DM também está sendo estudado e adaptado para contemplar verificações éticas no desenvolvimento de software. O trabalho Ethical CRISP-DM: A Framework for Ethical Data Science Development do Collin Cunningham da AWS propõe algumas questões importantes como um check-list no desenvolvimento de aplicações para IA. Dentre as questões estão:

• Entendimento do Negócio — Quais são as externalidades potenciais desta solução ? Por exemplo, durante o projeto de DS considerar as consequências no uso da solução;
• Entendimento dos Dados — Meus dados refletem dados antiéticos ? Por exemplo, como cientistas de dados, entendemos o valor de um conhecimento profundo do conteúdo e dos padrões nos dados, mas também é crucial avaliar como os dados podem corromper um modelo;
• Preparação dos Dados — Como faço para limpar viés nos dados ? Por exemplo, a integridade dos dados é inviolável, entretanto é possível limpar dados que podem ser problemáticos sem comprometer a integridade. Assim, por exemplo, balancear os data sets entre grupos demográficos;
• Modelagem — O modelo é propenso a uma influência externa ? Por exemplo, eliminar o risco de que a ingestão de novos dados corrompa o modelo, por exemplo, com um processo de monitoramento e limpeza de dados antes da ingestão;
• Validação e Implementação — Eu posso quantificar uma consequência não ética ? Por exemplo com a criação de métricas que ajudem a monitorar consequências não éticas da solução. Porém, a empatia não poderá ser quantificada. Então precisamos encontrar maneiras de imprimir nossos limites morais (próprias bússolas) nas soluções que entregamos.

“A utilização de um check-list durante o desenvolvimento poderá fornecer lembretes concretos e acionáveis para os desenvolvedores que têm influência sobre como a ciência de dados é feita — adaptado de Deon.”

Outro exemplo de check-list que eu gosto bastante é o da Deon [13], pois é um check-list bastante prático para a verificação ética em ciência de dados. A seguir apresento este check-list adaptado para o idioma português em cada fase.

Na Coleta de Dados, algumas verificações serão:

• Consentimento informado — Se houver sujeitos humanos, eles deram consentimento informado, onde os sujeitos optam afirmativamente e têm uma compreensão clara dos usos de dados com os quais consentem?
• Viés de coleta — Consideramos as fontes de viés que poderiam ser introduzidas durante a coleta de dados e desenho da pesquisa e tomamos medidas para mitigá-las?
• Limitar a exposição de PII — Consideramos maneiras de minimizar a exposição de informações de identificação pessoal (PII), por exemplo, por meio de anonimização ou não coleta de informações que não sejam relevantes para análise?
• Mitigação de viés — Consideramos maneiras de permitir o teste de resultados para resultados tendenciosos (por exemplo, coleta de dados sobre status de grupo protegido, como raça ou gênero)?

No Armazenamento de Dados, algumas verificações serão:

• Segurança de dados — Temos um plano para proteger os dados (por exemplo, criptografia, controles de acesso de usuários internos e terceiros, logs de acesso e software atualizado)?
• Direito ao esquecimento — Temos um mecanismo através do qual um indivíduo pode solicitar que suas informações pessoais sejam removidas?
• Plano de retenção de dados — Existe um cronograma ou plano para excluir os dados depois que eles não forem mais necessários?

Fonte: Forbes, Ethical AI, a Perfect World or a Perfect Storm ?

Na Análise, algumas verificações serão:

• Perspectivas ausentes — Procuramos abordar pontos cegos na análise por meio do envolvimento com as partes interessadas relevantes (por exemplo, verificando suposições e discutindo implicações com as comunidades afetadas e especialistas no assunto)?
• Viés do conjunto de dados — Examinamos os dados em busca de possíveis fontes de viés e tomamos medidas para mitigar ou abordar esses vieses (por exemplo, perpetuação de estereótipos, viés de confirmação, classes desequilibradas ou variáveis ​​de confusão omitidas)?
• Representação honesta — Nossas visualizações, estatísticas resumidas e relatórios são projetados para representar honestamente os dados subjacentes?
• Privacidade na análise — Garantimos que os dados com PII não sejam usados ​​ou exibidos a menos que seja necessário para a análise?
• Auditabilidade — O processo de geração da análise é bem documentado e reproduzível se descobrirmos problemas no futuro?

Na Modelagem, algumas verificações serão:

• Discriminação por proxy — Garantimos que o modelo não se baseie em variáveis ​​ou proxies para variáveis ​​injustamente discriminatórias?
• Imparcialidade entre grupos — Testamos os resultados do modelo quanto à imparcialidade em relação aos diferentes grupos afetados (por exemplo, testados para taxas de erro díspares)?
• Seleção de métricas — Consideramos os efeitos da otimização para nossas métricas definidas e consideramos métricas adicionais?
• Explicação — Podemos explicar em termos compreensíveis uma decisão que o modelo tomou nos casos em que uma justificativa é necessária?
• Comunicar o viés — Comunicamos as deficiências, limitações e vieses do modelo às partes interessadas relevantes de maneira que possa ser entendida de maneira geral?

E para finalizar o checklist, na Implantação, algumas verificações serão:

• Monitoramento e avaliação — Como estamos planejando monitorar o modelo e seus impactos após sua implantação (por exemplo, monitoramento de desempenho, auditoria regular de previsões de amostra, revisão humana de decisões de alto risco, revisão de impactos de erros ou decisões de confiança, teste de desvio de conceito)?
• Reparação — Discutimos com nossa organização um plano de resposta se os usuários forem prejudicados pelos resultados (por exemplo, como a equipe de ciência de dados avalia esses casos e atualiza análises e modelos para evitar danos futuros)?
• Reverter — Existe uma maneira de desligar ou reverter o modelo em produção, se necessário?
• Uso não intencional — Tomamos medidas para identificar e prevenir usos não intencionais e abuso do modelo e temos um plano para monitorá-los assim que o modelo for implantado?

E os Dados ? Sendo uma parte fundamental para o desenvolvimento de sistemas de ML, que check-list poderei aplicar para verificar a ética aplicada diretamente aos dados?

“Quanto aos dados, como parte fundamental em sistemas de aprendizado de máquina, poderão ser também acompanhados de documentos que o descrevam, uma solução semelhante à indústria eletrônica.”

Para os Dados, eu gosto muito do “Folha de Dados para Conjuntos de Dados” (“Datasheets for datasets”) [14]. Nele os autores explicam que a folha de dados para conjuntos de dados é uma solução semelhante à indústria eletrônica, onde um conjunto de dados deve ser acompanhado de documentos que o descrevam. Este trabalho sugere duas partes principais:

• Descrição do conjunto de dados — contém uma descrição mais detalhada sobre os seguintes campos: Motivação, Composição, Processo de coleta, Usuários Recomendados, Mitigação de Consequências Graves;
• Perguntas e fluxo de trabalho — Motivação, Composição, Processo de Coleta, Pré-processamento / Limpeza / Rotulagem, Usos, Distribuição, Manutenção.

Outro exemplo específico para documentação de dados para aplicações de Processamento de Linguagem Natural (PLN) é o “Declarações de dados para processamento de linguagem natural: para mitigar o viés do sistema e permitir uma melhor ciência” (“Data statements for natural language processing: Toward mitigating system bias and enabling better science”) [15]. A declaração de dados proposta é semelhante a práticas em áreas como psicologia e medicina, onde são necessárias informações padronizadas sobre a população estudada. O PLN precisa de declarações de dados porque as limitações no treinamento de dados levam a problemas éticos, como preconceitos pré-existentes mantidos por falantes desses dados. Este trabalho sugere uma declaração com as informações principais sobre: fundamentação da curadoria, variedade de idiomas, dados demográficos do locutor, dados demográficos do anotador, situação da fala, características do texto, qualidade de gravação, outras informações relevantes e procedência.

Fonte: Good Studio, Communications of The ACM, Datasheets for Datasets

4. Os riscos da IA e a regulação

Quanto à regulação, o capAI — procedimento para risk assessment em IA — criado pela Univ. Oxford é um dos documentos voltados à regulação que apresenta a classificação de aplicações conforme os tipos de riscos indicados no The Artificial Intelligence Act da União Européia[15]. Dentre eles estão:

• Práticas proibidas — real-time biometric systems (com algumas exceções devido a lei), social score, vigilância. Há também considerações para sistemas que podem envolver manipulação, chatbots ou deepfakes;
• Alto-risco — sistemas para a justiça (law enforcement), gerenciamento de infraestrutura crítica, e recrutamento. Neste caso há um regime complexo de desenvolvimento e operação;
• Baixo Risco — aqueles que não usam dados pessoais ou fazem alguma previsão que possa influenciar os seres humanos.

Fonte: capAI — procedimento para risk assessment em IA — criado pela Univ. Oxford

Nos Estados Unidos as iniciativas para a regulação da Inteligência Artificial prosseguem. De acordo com o The Batch, Edição 159 — Agosto, embora os Estados Unidos não regulem explicitamente a IA em nível nacional, muitas partes do país passaram a limitar a tecnologia. O artigo apresenta o que há de novo, como por exemplo, o Electronic Privacy Information Center que publicou The State of State AI Policy, um resumo das leis relacionadas à IA que estados e cidades consideraram entre janeiro de 2021 e agosto de 2022. Foram promulgadas leis locais sobre o reconhecimento facial, a tomada de decisão automatizadas, a IA na Educação, o Desenvolvimento de negócios em IA e estão em andamento mais 13 leis em nove estados e em Washington DC. Os projetos de lei poderão estabelecer órgãos consultivos para estudar os impactos da IA na Califórnia, Geórgia, Maryland, Massachusetts, Nova Jersey, Nova York e Rhode Island. Os legisladores da Califórnia propõem processos obrigatórios para minimizar o viés algorítmico.

No Brasil, conforme apresentei no artigo sobre os Fundamentos para a ética com Dados, temos o projeto de lei 21 de 2020 [17] que traz as diretrizes sobre o desenvolvimento e aplicação da inteligência artificial. Está em elaboração e poderá sofrer ajustes. Poderemos ter também alguns aprendizados em relação à lei europeia que vem sendo discutida há alguns anos. Com o avanço do Projeto de Lei, o regulador, no nosso caso a ANPD (Autoridade Nacional de Proteção de Dados), passará a olhar à luz da IA ou seja, a IA equivale a Dados, mais as intenções, e como resultado, o algoritmo (IA = dados + intenções = algoritmo (outcome)).

“A regulação está em desenvolvimento analisando os sistemas de maior risco. Na Europa o The AI Act abrange a comunidade européia, e nos Estados Unidos, não há uma legislação nacional e muitas partes do país passaram a limitar a tecnologia.”

5. Centros de Pesquisas e Conferências

Quer saber mais ?

A seguir gostaria de sugerir alguns dos centros de pesquisa e conferências que têm estudado o assunto.

• Centro de Inteligência Artificial — Sede Universidade de São Paulo, Brasil http://c4ai.inova.usp.br/

O C4AI desenvolve atividades visando avanços científicos e tecnológicos, formação de pessoal em IA, difusão de conhecimento e transferência de tecnologia. Uma das áreas é sobre AI Humanity — AI em países emergentes: políticas públicas e o futuro do trabalho.

• CAIDE — Universidade de Melbourne, Australia https://www.unimelb.edu.au/caide

O Centro de Inteligência Artificial e Ética Digital (CAIDE) facilita pesquisa interdisciplinar, ensino e liderança sobre questões éticas, técnicas, regulatórias e legais relacionadas à Inteligência Artificial (IA) e tecnologias digitais.

• HAI — Universidade de Standford, Estados Unidos https://hai.stanford.edu/

A inteligência artificial está transformando o mundo como o conhecemos, criando um futuro em que a IA impactará os humanos de maneiras que só podemos imaginar hoje. É por esse motivo que Stanford fundou o Institute for Human-Centered AI (HAI) no início de 2019, para orientar e construir o futuro da IA.

• HUMAINT: Esta é a página da comunidade européia que pesquisa sobre o impacto da IA no comportamento humano, com foco nas capacidades cognitivas e socioemocionais e na tomada de decisão. Welcome to the HUMAINT project webpage

Dentre conferências e autoridades temos:

• ACM Conference on Fairness, Accountability and Transparency (ACM FAccT ou ACM FAT) — https://facctconference.org/
• Neural Information Processing Systems (NeurIPS ou NIPS) — https://nips.cc/
• International Conference on Machine Learning (ICML) — https://icml.cc/
• AAAI Conference on Artificial Intelligence (AAAI) — https://www.aaai.org/
• ACM CHI Conference on Human Factors in Computing Systems (CHI) — https://chi2022.acm.org/
• IEEE VIS: Visualization & Visual Analytics (IEEE VIS) — http://ieeevis.org/year/2022/welcome
• International Association of Privacy Professionals (IAPP) — https://iapp.org/
• AAAI/ACM Conference on Artificial Intelligence, Ethics and Society (AIES) — https://www.aies-conference.com/2022/

Conclusão

Nesta última parte desta série de artigos sobre Ética com Dados, meu objetivo foi apresentar uma visão sobre a explicabilidade dos algoritmos. Depois apresentei sobre o ciclo de desenvolvimento de software e uma visão sobre como medir os impactos em cada etapa de desenvolvimento. Depois apresentei exemplos de check-list como lembretes para as pessoas envolvidas em desenvolvimento de software. E então apresentei algumas práticas direcionadas à documentação dos dados.

Alguns aspectos sobre a regulação e quais sistemas poderão apresentar riscos altos também foi apresentado. E para finalizar foram compartilhados alguns centros de pesquisas e conferências que pesquisam sobre o assunto.

Desejo que estes três artigos tenham facilitado seus próximos passos em sua jornada para a Ética com Dados. E estas fontes sejam uma boa contribuição para aprofundamento de estudos e práticas nesta área tão importante.

Obrigada!

Referências:

[1] Floridi, Luciano and Holweg, Matthias and Taddeo, Mariarosaria and Amaya Silva, Javier and Mökander, Jakob and Wen, Yuni, capAI — A Procedure for Conducting Conformity Assessment of AI Systems in Line with the EU Artificial Intelligence Act (March 23, 2022). Available at SSRN: https://ssrn.com/abstract=4064091 or http://dx.doi.org/10.2139/ssrn.4064091

[2] Google Cloud, Explanaible AI, https://cloud.google.com/vertex-ai/docs/explainable-ai/overview?hl=pt-br, acessado em 24/Agosto/2022.

[3] SUNDARARAJAN, Mukund; NAJMI, Amir. The many Shapley values for model explanation. In: International conference on machine learning. PMLR, 2020. p. 9269–9278, https://arxiv.org/abs/1908.08474, criado em 22/Agosto/2019, acessado em 25/Agosto/2022.

[4] LUNDBERG, Scott M.; LEE, Su-In. A unified approach to interpreting model predictions. Advances in neural information processing systems, v. 30, 2017, em https://github.com/slundberg/shap ou https://shap.readthedocs.io/en/latest/index.html

[5] MILLER, Tim. Explanation in artificial intelligence: Insights from the social sciences. Artificial intelligence, v. 267, p. 1–38, 2019 em https://arxiv.org/pdf/1706.07269

[6] IEEE, IEEE Guide-Adoption of ISO/IEC TR 24748–1:2010 Systems and Software Engineering- -Life Cycle Management-Part 1: Guide for Life Cycle Management, in IEEE Std 24748–1–2011. 2011. p. 1–96

[7] Goodfellow, I., Y. Bengio, and A. Courville, Deep learning. Adaptive computation and machine learning. 2016, Cambridge, Massachusetts: The MIT Press

[8] OECD, Recommendation of the Council on Artificial Intelligence. 2019.

[9] Hapke, H. and C. Nelson, Building machine learning pipelines. 2020: O’Reilly Media.

[10] Google PAIR. People + AI Guidebook. 2019 May 18, 2021 [cited 10 October, 2021]; Available from: https://pair.withgoogle.com/guidebook.

[11] CRISP-DM Copnsortium, CRISP-DM 1.0: Step-by-step data mining guide, https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0800.pdf acessado em 25/08/2022.

[12] Ethical CRISP-DM: A Framework for Ethical Data Science Development — Collin Cunningham/AWS

[13] DrivenData, Deon — An ethics checklist for data scientists, https://deon.drivendata.org/, acessado em 25/08/2022.

[14] Gebru, Timnit, et al. “Datasheets for datasets.” arXiv preprint arXiv:1803.09010 (2018).

[15] Parlamento Europeu, Artificial Intelligence Act, https://www.europarl.europa.eu/RegData/etudes/BRIE/2021/698792/EPRS_BRI%282021%29698792_EN.pdf , criado Janeiro/2022, acessado em 20/Agosto/2022

[16] Deeplearning.Ai, The Batch — AI Regulations Proceed Locally, https://read.deeplearning.ai/the-batch/issue-159/, criado em 24/Agosto/2022 acessado em 26/Agosto/2022.

[17] Poder Legislativo no Brasil, Fundamentos, princípios e diretrizes para o desenvolvimento e a aplicação da inteligência artificial no Brasil https://www.camara.leg.br/propostas-legislativas/2236340, criado em 20/Janeiro/2020, acessado em 20/Agosto/2022.