Princípio da não discriminação: impossibilidade de realização do tratamento para fins discriminatórios ilícitos ou abusivos
(Para citações, mencionar “Princípio da não discriminação: impossibilidade de realização de tratamento para fins discriminatórios ilícitos ou abusivos”. Bernardino, Karine de Paula; de Oliveira, Bruno Silva de. Livro “Proteção de dados pessoais e Compliance Digital” — volume 2. Págs. 117–146. 2024. Editora Umanos).
A cidadania brasileira foi criada a partir do conceito de democracia racial. Políticas públicas baseadas nas teorias de João Lacerda e do lusotropicalismo são as grandes responsáveis pela criação no imaginário popular de um país compreensivo e entusiasmado pela diversidade de sua população. Contudo, tal modelo institucional criou uma ilusão jurídica e social de que o racismo não é utilizado como método de exclusão de pessoas dentro de determinados ambientes e situações.
Em um país com raízes escravocratas, uma Constituição Federal que em seu artigo 5º, afirma que todos são iguais perante a lei, nos faz refletir o quanto essa premissa realmente consegue ser aplicada. Mais de cento e trinta anos depois do fim jurídico do mercado e exploração de pessoas, a grande desigualdade social e econômica que assola o país dificulta que mais pessoas negras se mantenham em cargos de poder e influência. Temos ainda as consequências do plano de embranquecimento racial e do mito da democracia racial, que eram “basicamente um modo diferente de colonizar que significou miscigenar-se, igualar se, integrar os culturalmente inferiores”. Os que advogam pela ilusória igualdade entre todos, acabam anulando a experiência de vida dessa população subalterna que foi forçada a sobreviver às margens sociais, segundo Hernández:
Se os negros não foram completamente erradicados da população brasileira, a política de branqueamento foi bem-sucedida na medida em que os escravos recém libertos e seus descendentes foram propositalmente preteridos no mercado de trabalho em razão da importação de imigrantes europeus. Nenhum suporte ou garantia social de qualquer tipo foi oferecido para ajudar os antigos escravos a ingressarem no mercado de trabalho depois de sua libertação.
A eugenia, pseudociência criada no final do século XIX, foi uma tentativa de transformar em linguagem científica comportamentos de exclusão. Os autores que faziam parte deste movimento aliaram características físicas com necessidade de tratamento diferenciado a todos aqueles considerados como “outros”, “exóticos” e que não se encaixavam na descrição da elite branca no poder.
Em contrapartida, o mundo do século XXI, pós revolução 4.0, se propõe a ser mais igualitário e diverso, trazendo novos pensamentos e deixando no passado estruturas culturais que foram utilizadas para segregação. A tecnologia desenvolvida nos últimos anos deixou de ser algo de filmes de ficção científica, para comumente utilizada em nosso dia a dia.
Uma nova modernização que está sendo utilizada pelos órgãos públicos é a do reconhecimento facial, algo inimaginável até alguns poucos anos atrás. Hoje temos em nossas mãos o celular, aparelho que pode ser desbloqueado apenas com nosso rosto, bem como nossos computadores pessoais. Em grandes cidades, como em Campinas no interior de São Paulo, câmeras realizam reconhecimento facial dos usuários dos cartões de transporte público, para que fraudes não sejam realizadas. Em Salvador, Bahia, 77 pessoas foram presas durante o carnaval de 2023, pelo alerta do sistema das câmeras instaladas nos acessos para os blocos de carnaval. Como podemos ver, o que antes era uma utopia se tornou realidade.
O presente trabalho procura desta forma trazer uma discussão sobre o lugar dos direitos fundamentais frente a possíveis atos abusivos relacionados ao uso do reconhecimento facial, tais como o pretendido no programa Smart Sampa, bem como, a partir disso, trazer pontos relevantes sobre o viés dos algoritmos, o papel da compliance na solução de problemas e como o poder público pode estar fazendo uso de Bypass Institucional ao utilizar as soluções tecnológicas. Queremos, ainda, debater que a Lei Geral de Proteção de Dados possui alguns excludentes que não são objetos de legislação sobre o ponto de vista de proteção de dados pessoais. E dentre estes excludentes, destacam-se o tratamento de dados pessoais “realizado para fins exclusivos de (a) segurança pública; (b) defesa nacional; © segurança do estado; ou (d) atividades de investigação e repressão de infrações penais”.
A LGPD e a securitização do mundo
A lei 13.709/2018 (Lei Geral de Proteção de Dados — LGPD) foi promulgada com a intenção de adequar o Brasil às novidades do direito internacional. A União Europeia aprovou em 2016 o Regulamento Geral sobre a Proteção de Dados (RGPD), que entrou em vigor no ano de 2018 modificando as relações comerciais com outros países, que foi fruto de discussões sobre como “a rápida evolução tecnológica e a globalização criaram novos desafios em matéria de proteção de dados pessoais” e de como os países deveriam se preocupar com os direitos fundamentais dos cidadãos. Essa movimentação internacional fez com que o legislador nacional criasse mecanismos de elevação dos princípios fundamentais, para além daqueles mencionados no Marco Civil da Internet, em paralelo ao avanço da tecnologia.
O projeto de lei da LGPD, apresentado pelo então deputado Milton Monti, detinha em suas motivações a ânsia por alinhar a Constituição Federal com as práticas realizadas na internet:
Dentro dessa realidade se faz necessário estabelecer normas legais para disciplinar tais relações, especialmente para dar proteção à individualidade e a privacidade das pessoas, sem impedir a livre iniciativa comercial e de comunicação (…) Não há dúvida nenhuma que o Estado deve cuidar das questões gerais, mas é também evidente que a sociedade é refratária ao excesso de tutela por parte do Estado e que deseja exercer na plenitude seus direitos constitucionais inclusive o de receber se quiser comunicações pelos meios disponíveis no momento.
No primeiro artigo da lei já fica claro que a mesma deseja “proteger os direitos fundamentais de liberdade e de privacidade e o livre desenvolvimento da personalidade da pessoa natural”, alinhamento claro com a Constituição Federal e os parâmetros estabelecidos no comércio internacional pela União Europeia.
Para a presente discussão, se faz importante demonstrar que o tema da segurança se apresenta logo no artigo quarto da lei, demonstrando que a mesma “não se aplica ao tratamento de dados pessoais: III — realizado para fins exclusivos de: a) segurança pública; b) defesa nacional; c) segurança do Estado; ou d) atividades de investigação e repressão de infrações penais”. A letra da lei demonstra que existe uma separação entre dados “comuns” daqueles que têm objetivos direcionados à securitização do Estado. Essa interpretação pode abrir um leque para a discussão de como o Estado pode interferir na esfera privada, princípio do direito à privacidade e intimidade, em razão de tudo aquilo que julgar como fundamental para a garantia de proteção social.
A segurança nacional é um tema que ganhou destaque principalmente após os eventos do 11 de setembro, que culminaram em uma avalanche de leis de proteção dos Estados, bem como em um medo generalizado e ataques xenofóbicos a grupos minoritários dentro dos países. A chamada “guerra ao terror”, criou uma cultura internacional de proteção jurídica contra outros países, aceitação das normas instituída pelos EUA e da penalização de tudo aquilo que seria instituído como condições favoráveis ao terrorismo:
Para isso, conceituou-se a visão de que grupos tidos como extremistas, instalados principalmente em algumas nações do Oriente Médio e Sul da Ásia — como Iraque e Afeganistão, seriam os principais adversários do Estado norte-americano. Adicionalmente, a NSCT 2003 complementaria a NSS 2002 ao retratar, pormenorizadamente, a natureza da ameaça terrorista, concebida como um fenômeno estruturado e dependente de uma série de fatores para seu sucesso. Em sua estrutura, compreende-se que a pobreza, a corrupção e os conflitos religiosos e étnicos são condições subjacentes que proporcionam a ação de grupos terroristas. Surgiu, desde então, a crença de que tais condições possibilitam a base de crescimento e o desenvolvimento do terrorismo
Hoje, vemos as consequências da implementação massiva de temas como interesse nacional e ordem pública em todos os setores econômicos. Para além disso, vemos os efeitos diretos na própria segurança pública interna, tendo mudanças legislativas direcionadas a manutenção da paz social, bem como uso de tecnologias pelos agentes de segurança. A Constituição Federal em seu artigo 144, afirma que a segurança pública é de competência concorrente entre os entes federativos, o que abre questões importantes sobre enforcement e accountability para as medidas que usam tecnologias que podem afetar direitos fundamentais.
O aumento da sensação constante de medo no mundo, também atingiu a sociedade brasileira. Apesar dos reflexos da nova organização mundial serem mais claros na economia, é notório ver as grandes pautas que foram discutidas no setor da segurança pública na década de 2000. Entre as empreitadas temos a Proposta de Criação do Sistema Único de Segurança Pública em 2003, a Modernização da Polícia Federal em 2003, a criação de Gabinetes de Gestão Integrada em 2003 e a Criação da Unidade de Polícia Pacificadora — UPP em 2008.
As UPPs foram implantadas nas comunidades do Rio de Janeiro, com o argumento disseminado na imprensa de “guerra no Rio”, na mesma linguagem utilizado pelos EUA para promover o medo e aceite da população com as medidas estatais destinadas para vencer tal guerra. Assim, as UPPs foram desenvolvidas “para a execução de ações especiais concernentes à pacificação e manutenção da ordem pública nas comunidades carentes”. O presente modelo foi designado por Mariana Motta Prado como um exemplo de bypass institucional:
Assim como a cirurgia de ponte de safena (chamada em inglês de coronary by-pass), na qual vasos sanguíneos transplantados são utilizados para criar uma nova via circulatória em torno de artérias obstruídas, um bypass institucional cria novas vias em torno de instituições disfuncionais: ele não visa modificar, alterar ou reformar as instituições existentes; em vez disso, tenta criar uma nova via na qual a eficiência e a funcionalidade serão a regra
Sendo assim, em um primeiro momento, as UPPs podem ser consideradas um “bypass institucional porque, apesar de não serem uma nova força policial formal, operam em grande parte fora das estruturas de responsabilização, da organização interna e da hierarquia da polícia tradicional.” Este exemplo de tentativa de desburocratização, traz luz para a discussão sobre a força que um sistema de reconhecimento facial pode ter na tentativa de reforma institucional da segurança pública.
As câmeras de reconhecimento facial, estariam desempenhando uma função semelhante às da força policial detectando possíveis suspeitos a partir do mesmo banco de dados. Neste modelo há competição com a função original, pois ao ser dado o alerta o suspeito é preventivamente preso e depois averiguação é iniciada para a confirmação de identidade. Inúmeras reportagens e entidades civis alertam para o perigo que o fortalecimento desse mecanismo institucional poderia trazer para a sociedade, principalmente para a população negra. Quando discutimos a aplicação de tecnologias na segurança pública, não podemos nos eximir de trazer o racismo institucional para o centro do debate.
Algoritmos na sociedade da informação e a perpetuação da discriminação como viés
Em 2003, a Cúpula Mundial sobre a Sociedade da Informação (CMSI) criou a Declaração de Princípios de Genebra, uma série de compromissos entre os países, como um dos caminhos para tornar as informações mais acessíveis, de forma inclusiva e equitativa. Já naquela época demonstrou-se preocupações para que medidas fossem tomadas em relação a usos abusivos da tecnologia e atos ilícitos motivadas por “racismo, discriminação racial, xenofobia e formas correlatas de intolerância”.
Desde o estabelecimento destes compromissos, a sociedade da informação evoluiu e o número de aplicações e plataformas que utilizam algoritmos automatizados continuam crescendo e presentes na vida da maior parte da população. O aumento do uso de algoritmos traz discussões sobre possíveis injustiças e desigualdades que ocorrem com seus usuários. É a chamada discriminação algorítmica, isto é, o uso de um algoritmo computacional para discriminar, segregar ou tratar de forma desigual um determinado grupo, raça, etnia, gênero ou outra característica pessoal.
Toda vez que um indivíduo tenta interagir com um algoritmo pela primeira vez, a experiência é como se a interação ocorresse com uma caixa-preta. Em um primeiro encontro, tudo o que o indivíduo consegue realizar é alimentar o algoritmo com informações e/ou interações e esperar por uma saída ou resposta. Por exemplo, um dos algoritmos mais conhecidos é o que faz a recomendação de filmes e séries em aplicativos de streaming. Algumas pessoas até podem presumir como ele funciona, mas praticamente ninguém sabe exatamente como ele está agindo. Tudo o que se sabe é que ele consome nossas ações (filmes assistidos, avaliações etc) e devolve um catálogo com opções de acordo com nossas atividades.
Algoritmos não são autossuficientes, eles não pensam por si só. O pai da computação Alan Turing assume que computadores não são capazes de pensar, apenas realizar o chamado “jogo da imitação”: computadores e seus algoritmos apenas imitam e reproduzem o que alguém definiu previamente. Mesmo os algoritmos de xadrez que derrotaram os grandes mestres enxadristas no passado, só realizaram tal façanha porque “aprenderam” todas as jogadas de todos os jogos possíveis que foram catalogados . Foram programados para repetir as melhores jogadas, em cada situação diferente dentro de um jogo, reproduzindo a jogada de milhares de outros mestres em situações parecidas.
Para entender um pouco mais de como um algoritmo genérico funciona pode-se classificar a anatomia deles da seguinte forma: (i) componente de entrada — parte do algoritmo que consome o histórico de dados e das interações com os indivíduos; (ii) componente heurístico — parte do algoritmo que utiliza de critério(s) e/ou modelos de aferição de “sucesso”; e (iii) componente de saída: resultado se o “sucesso” foi atingido ou não.
Algoritmos presentes em aplicativos de streaming utilizam dados históricos de acesso do usuário como componente de entrada. O componente heurístico são as predefinições criadas pela plataforma como “se a maioria dos filmes que essa pessoa assiste são de suspense, vamos recomendar mais filmes de terror pra ela” ou “se ele assistiu um filme do Glauber Rocha, vamos recomendar Fernando Meirelles”. O componente de saída seria então os filmes que entraram nos critérios de sucesso do algoritmo — neste caso, alguém que assiste filmes de suspense do Glauber Rocha passaria a receber recomendações de filmes de terror qualquer e filmes do Fernando Meirelles.
Desta forma, todo algoritmo reproduz a ideologia de seus criadores, visto que ele depende do que foi configurado previamente para executar suas tarefas. Portanto, algoritmo é opinião traduzida em código de computadores.
Uma história conhecida no mercado é a de Roger Ailes, fundador da Fox News. Roger foi denunciado por assédio sexual por várias funcionárias e acabou perdendo a posição e parte do poder na emissora. Parte da denúncia de assédio refere-se ao fato de que a política da companhia não permitia a promoção de mulheres para cargos de liderança. Devido a pressão popular, a Fox News resolveu desenvolver um algoritmo para “tirar a subjetividade” das promoções. O problema aqui é que o componente de entrada desse algoritmo eram os dados históricos de promoções dentro da empresa. Resultado: o algoritmo continuava a não promover mulheres dentro da empresa, porque o histórico da companhia era o de promover majoritariamente homens e o algoritmo apenas imitava e reproduzia esse padrão.
O algoritmo apenas reproduz padrões e opiniões, quase sempre baseado em dados históricos. Se historicamente há situações de injustiça, discriminação e racismo o algoritmo só vai tender a reproduzir velhos padrões e manter vieses cognitivos que sempre ocorreram.
Mesmo áreas que são reconhecidas por estarem sempre tomando decisões complexas e que afetam a vida de diversas pessoas, como a área jurídica, não estão imunes aos vieses cognitivos. Apesar de sempre haver avaliações dos aspectos jurídicos de forma objetiva, calcados de evidências, provas e fatos, toda decisão judicial pode incorrer na avaliação subjetiva de todo e/ou de certos pontos do caso que está sendo avaliado. Inconscientemente, juízes podem tomar decisões precipitadas, deixando-se levar por alguns desses vieses e trazer danos à sociedade e aos indivíduos que participam do processo, tais como: tomar decisões com números que não pertencem ao processo, mas que sejam familiares a si (viés da ancoragem); tomar decisão alinhada a seus valores morais, independente do mérito científico ou objetivo do caso (viés da confirmação); tomar decisões que favoreçam sua própria carreira, salário ou reputação (viés da ambição).
Diversas reflexões sobre o uso de algoritmos automatizados vem tomando participação dos debates e publicações acadêmicas de diversas disciplinas, inclusive do direito. Por exemplo, já foram conduzidos estudos sobre a influência de técnicas de inteligência artificial no ordenamento jurídico, especialmente no âmbito do direito penal; também sobre modelos preditivos onde, por meio de algumas variáveis presentes em processos do STF, fosse possível prever o resultado da decisão com certa precisão (86% dos casos procedentes e 96% dos casos improcedentes); e sobre a utilização de algoritmos para auxílio e controle da dosimetria da pena.
Entretanto há críticas para estes tipos de aplicações: a maioria dos algoritmos são desenvolvidos utilizando premissas utilitaristas (diminuir custos, agilizar decisões, etc) em detrimento de realmente promover a garantia de direitos fundamentais como a presunção de inocência e o cumprimento do devido processo legal, do contraditório e ampla defesa. Um dos direitos fundamentais que quase sempre é violado por algoritmos é o da equidade racial, no que é conhecido como racismo algorítmico: “sociedades racistas constroem consequentemente tecnologias com potenciais ou aplicações discriminatórias”. Os algoritmos podem reforçar e até ocultar, de forma sistematizada, as dinâmicas racistas das sociedades onde são usados e empregados.
Estudos amplos já foram conduzidos com os principais algoritmos do mercado, especialmente os relacionados à identificação biométrica, e todos eles apontam fortes indícios de resultado discriminatório. Por exemplo, foram analisados 200 algoritmos de reconhecimento facial (praticamente todos os que existem no mercado atualmente) e chegou-se à conclusão de que pessoas não-brancas sofrem cem vezes mais falso positivos do que as pessoas brancas. Também há o projeto público conhecido como Gender Shades que realiza e registra análises de algoritmos disponíveis do mercado e traz um cenário mais detalhado do tamanho e impacto causado por essa discriminação algorítmica. Inclusive, este projeto apresenta uma dualidade cruel dos algoritmos: (i) invisibilidade de pessoas negras que têm os rostos com menor índice de reconhecimento (e funciona pior ainda para mulheres negras); ao mesmo tempo em que há (ii) hipervisibilidade desta população quando se trata de resultados negativos (ex.: reconhecimento de suspeitos por crimes).
Smart Sampa e o problema do enforcement
O conceito de cidades inteligentes (smart cities) surgiu com o advento da indústria 4.0 e sempre demonstrou ser um desejo das administrações de grandes metrópoles como a da cidade de São Paulo (SP). O Programa City Câmeras junto da base de dados do SP+Segura tinham como objetivo serem unidos em um só programa estadual, o Smart Sampa, que iria “trazer para a administração pública agilidade e eficiência ao permitir a gestão integrada dos serviços e recursos, eliminando ao máximo a necessidade de análise manual de dados”.
A gestão anterior, do prefeito Ricardo Nunes, interrompeu temporariamente a licitação que tinha como objetivo contratar empresas para implementar o programa. A ação ocorreu após forte pressão popular e críticas de diversas instituições da sociedade civil por conta do edital prever que o monitoramento deveria ocorrer “por características como cor, face, roupas, forma do corpo, aspectos físicos, etc” e também ao utilizar o termo “vadiagem” como um dos comportamentos considerados suspeitos.
O promotor de Justiça de Direitos Humanos da Capital, Reynaldo Mapelli Júnior, instaurou inquérito civil pedindo esclarecimentos sobre a utilização e proteção dos dados pessoais. O foco era a proteção de direitos fundamentais como direito à privacidade e a não discriminação. Dito isso, se faz importante discorrer sobre os princípios fundamentais que estão sendo colocados em pauta. Os direitos fundamentais do homem estão dispostos na Constituição Federal e trazem em seu âmago o mínimo razoável para uma vida plena. Este axioma se vê personificado no princípio da dignidade da pessoa humana, que traduz todos os direitos que tornam o homem humano e parte relevante de uma sociedade. O princípio da dignidade se faz presente no artigo primeiro da Constituição de 1988, que traz os direitos fundamentais fragmentando as garantias de liberdade e igualdade:
Ao Estado cabe o dever de garantir a justiça e os direitos de liberdade individual. A dignidade da Pessoa Humana atribui unidade aos direitos e garantias fundamentais, inerente às personalidades humanas afastando a ideia de predomínio das concepções transpessoalistas de Estado e Nação, em função da liberdade individual. A dignidade é um valor espiritual e moral intrínseco da pessoa, que se manifesta singularmente na sua autodeterminação consciente e responsável, trazendo consigo a pretensão ao respeito das demais pessoas, edificando um mínimo invulnerável que todo estatuto jurídico deve assegurar, de modo que, excepcionalmente, possam ser feitas limitações ao exercício dos direitos fundamentais, todavia sem menosprezar o merecimento das pessoas enquanto seres humanos.
Esta passagem deixa clara a importância da dignidade humana, como fundamento e principal objetivo por parte do Estado. Também demonstra a hierarquia deste princípio em relação aos outros, aquela ação que viola tal princípio deve ser combatida e caracterizada como inconstitucional. O direito à vida privada é constitucionalmente garantido no artigo 5º da CF, onde o legislador constituinte quis proteger três esferas distintas da personalidade da pessoa humana: a sua imagem, a honra e a intimidade:
“Intimidade e privacidade são sinônimos e devem ser considerados valores humanos supremos, conexos ao direito de ficar tranquilo, em paz, de estar só. O que se busca tutelar são o segredo e a liberdade da vida privada. Sem sigilo ninguém pode desenvolver-se intelectualmente, pois nem sempre a divulgação e investigação são benefícios ao homem.”
Para a correta aplicação de tais princípios, um não deve ser absoluto sobre o outro. A premissa que sempre deve ser buscada é a da preservação da dignidade humana. Quando há embate deve ser realizado o sopesamento. A discussão que é levantada pelo reconhecimento facial coloca o direito à privacidade em conflito com o direito à segurança. A utilização de dados pessoais pode violar o direito à privacidade, mas também é utilizado como argumento de proteção à vida.
Entretanto, é de suma importância à proteção aos dados sensíveis obtidos para que não haja choque direto com os direitos humanos. A publicidade discriminatória das informações obtidas podem levar a graves consequências à pessoa. A ignorância da ética em razão do avanço econômico e tecnológico causa atividades de risco, dessa forma, deve-se respeitar a proteção jurídica aos direitos fundamentais e caso sejam violados, os quesitos da responsabilidade civil devem ser respeitados, pois “quem se dispõe a exercer alguma atividade perigosa terá que fazê-lo com segurança, sob pena de ter que responder por um eventual dano, independentemente de culpa”. No Código Civil está expresso que atividades de risco retiram a necessidade de culpa, sendo assim, sua violação implicaria consequências no âmbito moral passíveis de restituição. Os danos morais são conceituados por Carlos Gonçalves como aqueles que “atinge o ofendido como pessoa, não lesando seu patrimônio”. É lesão de bem que integra os direitos da personalidade, como a honra, a dignidade, intimidade, a imagem, o bom nome.”
A garantia do direito constitucional à segurança é dever do Estado, sendo assim, o mesmo é o titular deste serviço, o que o obriga a ter um regime jurídico para legitimar sua atuação. A delegação completa às instituições particulares, viola a LGPD. Neste contexto, a responsabilidade civil sai do âmbito patrimonial e se estabelece como fundamental na proteção dos direitos humanos. Dessa forma, a tecnologia deve evoluir sem aumentar desigualdades ou propiciar constrangimentos que podem levar a danos irreparáveis.
O governo de SP implantou, em algumas linhas do metrô da cidade, câmeras que conseguem identificar cidadãos utilizando algoritmos. O sistema promete ainda a “integração de diversos serviços municipais, como CET, SAMU, Defesa Civil e GCM, em uma única plataforma por meio da criação de uma moderna Central de Monitoramento Integrada”. No edital de licitação do Smart Sampa estava como objetivo:
A Plataforma tem por principal função ser um concentrador/integrador dos diversos sistemas das secretarias, otimizando os serviços, que passarão a ser operados de forma cooperativa e integrada entre os órgãos, resultando no melhor atendimento aos munícipes e aproveitamento dos recursos disponíveis na administração pública. A Plataforma também deve receber dados provenientes de sistemas de empresas da iniciativa privada facilitando a cooperação com a sociedade. Esta nova Plataforma absorverá as funções de outras plataformas que tem como missão a cooperação com a sociedade (Exemplo: City Câmeras e SP+Segura) que passarão a compor esta nova Plataforma. O City Câmeras deve se tornar uma parte da Plataforma de maneira que as imagens das câmeras de videomonitoramento da cidade de São Paulo sejam concentradas em um único sítio web. Assim, serão atendidas as necessidades do Programa City Câmeras, da Guarda Civil Metropolitana e dos cidadãos da cidade de São Paulo. Importante destacar que todas as entregas deverão ser feitas na forma de SaaS dentro da Plataforma.
Tais características barram em um aspecto importante: necessidade de consentimento pelo usuário. A letra da lei é clara quanto a obrigatoriedade:
“O tratamento de dados pessoais somente poderá ser realizado nas seguintes hipóteses: I — mediante o fornecimento de consentimento pelo titular; § 5º O controlador que obteve o consentimento referido no inciso I do caput deste artigo que necessitar comunicar ou compartilhar dados pessoais com outros controladores deverá obter consentimento específico do titular para esse fim, ressalvadas as hipóteses de dispensa do consentimento previstas nesta Lei. O consentimento previsto no inciso I do art. 7º desta Lei deverá ser fornecido por escrito ou por outro meio que demonstre a manifestação de vontade do titular. § 3º É vedado o tratamento de dados pessoais mediante vício de consentimento.”
Para além dos artigos acima, a lei informa que o consentimento deve ser livre de vícios, ou seja, de manifestação livre e inequívoca. Será possível que todos os usuários de um serviço de metrô tenham autorizado de forma determinada a captura e utilização de seus dados? A ViaQuatro, empresa que é responsável pela Linha 4 — Amarela do metrô de São Paulo, foi condenada em Ação Civil Pública movida pelo Instituto Brasileiro de Defesa do Consumidor que afirmou que a concessionária estava utilizando o sistema de reconhecimento facial para capturar emoções de determinadas publicidades dentro do metrô.
Em 12 de abril de 2018, a concessionária ViaQuatro, que opera a Linha 4-Amarela de metrôs na cidade de São Paulo (Doc. 7) e figura como parte ré da presente ação, anunciou a instalação, no dia 18 do mesmo mês, de “portas de plataforma interativas nas estações Luz, Paulista e Pinheiros, com funcionamento durante todo o horário de operação da linha” (Doc. 08 e 09). Segundo a empresa, a tecnologia implementada nessas portas consiste em uma lente com um sensor que “reconhece a presença humana e identifica a quantidade de pessoas que passam e olham para a tela”. O foco da ferramenta é também a identificação de emoção (raiva, alegria, neutralidade),gênero e faixa etária das pessoas posicionadas em frente ao sensor. O sensor é sempre posicionado acima de uma propaganda publicitária, para que a identificação da emoção ocorra quando o usuário do transporte público passa por ela, sendo possível captar os efeitos que ela produz sobre a população em geral. A prática, espécie de “pesquisa de mercado automatizada” sem autorização do participante, permite a obtenção de receita a partir da venda desses dados para terceiros, que podem então direcionar suas estratégias de publicidade a partir das reações identificadas. De acordo com informações da própria Ré, mais de 350.000 pessoas acessam a Linha Amarela por meio das estações de metrô que possuem o sistema de “portas interativas”.
Como visto, o ordenamento brasileiro tem um grande caminho a ser percorrido entre o entendimento dos efeitos do uso de algoritmos, bem como o enforcement da LGPD e a proteção de dados sensíveis. O vacatio legis parece não ter sido suficiente para que demandas importantes, como as relacionadas ao gênero e raça, pudessem ser devidamente analisadas e solucionadas.
Breve reflexão sobre o pacto narcísico
A perfeição humana parece ser desejo há muito tempo consumido pelo homem. Modelos sempre foram implantados e aqueles que de alguma forma não fossem parte, seriam excluídos e banidos daquele ambiente social. A palavra eugenia vem do termo grego “bom em sua origem” e foi aplicada a este significado pelo conhecido antropólogo Francis Galton (1822–1911). Baseando-se na obra de Charles Darwin, Galton criou o conceito de eugenia que é o “estudo dos fatores físicos e mentais socialmente controláveis, que poderiam alterar para pior ou para melhor as qualidades racionais, visando o bem-estar da espécie”.
Galton, incumbido em não permitir a miscigenação, desejava que a eugenia se tornasse uma religião e doutrina que deveria ser seguida pelo Estado. A classificação de pessoas “boas” e “ruins” foi baseada na classe econômica, que para Galton era uma herança ganha geneticamente, e em deficiências originadas de alguma síndrome. A escolha de determinados indivíduos tendo em vista seus atributos físicos têm precedentes que nos remetem à Grécia Antiga e a forma com que as crianças que nasciam com algum tipo de deformidade eram mortas, pois não eram consideradas aptas para viver na dinâmica daquela sociedade. Com o passar dos anos o mundo pôde presenciar outros atos de eugenia que por meio de decisões estatais procuravam criar um país livre das chamadas pessoas indesejadas. A própria criação de entidades que cuidassem das minorias necessitadas era uma forma de afastar essas pessoas da população:
As complexas instituições de custódia patrocinadas pelo estado se ampliaram através de um distante horizonte. Com o tempo, a proliferação de asilos para pobres, hospícios, orfanatos, clínicas de saúde, colônias de epiléticos, abrigos para desalojados e débeis mentais e prisões transformou inevitavelmente a básica caridade cristã no que começou a ser visto como uma praga social
No início do século XX a teoria eugênica ganhou grandes proporções, atingindo ramos científicos como a economia, sociologia e o direito. Na segunda metade do século XIX surgiu Herbert Spencer, um filósofo inglês que criou o “Darwinismo social”, alegando que o homem e a sociedade evoluíam de acordo com a natureza que herdaram. Ele criou o conceito de “sobrevivência do mais capaz”, alegando que “os mais capazes” continuariam a aperfeiçoar a humanidade, e os menos capazes, por sua vez, ficariam gradativamente mais incapazes e ignorantes. A partir do momento que se torna um fato social, a eugenia transcende para a visão da população e do próprio Estado e com o avanço da medicina e da genética se fortaleceu, mesmo após o fim da grande guerra.
A eugenia provoca aqui uma descaracterização do humano separando a sociedade em aceitáveis e descartáveis, não há apenas críticas no sentido moral e ético da questão apresentada, mas de todo âmbito social e que nos força a qual o limite do poder econômico unido com a ciência e o ser humano puro.
As tecnologias de reconhecimento facial buscam promover a segurança social com um sistema que pode ser relacionado a esse pensamento do século passado. A partir de características físicas, tais programas conseguem fazer a comunicação com banco de dados policiais e até realizar predições de risco.
Entretanto, o documentário “Coded Bias” denuncia uma série de falhas nos algoritmos de reconhecimento facial o que inclui dificuldades da tecnologia em reconhecer rostos negros, na existência de filtros que permitem pessoas ficarem mais bonitas apenas reforçando fenótipos brancos (afinar nariz, alisar cabelos etc) e na falsa promessa de melhoria da segurança pública (98% das notificações a policiais no Reino Unido são de falsos positivos). Além disso, o documentário apresenta que o conceito de normalidade no mundo da tecnologia é baseado em um grupo de pessoas restritas, homogêneas, masculinas e brancas — que provavelmente vão repassar a sua visão de mundo enviesada no desenvolvimento dos algoritmos.
Uma parcela dos intérpretes da lei (…) profissionais que trabalham na justiça penal, majoritariamente branca, pode, em seu cotidiano de trabalho, reproduzir, disseminar e sustentar um regime racial de “produção de verdade”, que favorece a criação de provas e a atuação da polícia voltada à ampliação do poder penal e ao encarceramento em massa de indivíduos considerados “suspeitos”. (…) É preciso monitorar, exercer o controle social e transformar o contexto institucional que possibilita que uma parcela de profissionais do Judiciário proteja seus “iguais” e fortaleça líderes que pregam a violência sempre contra os considerados “não iguais” — essa é uma das grandes características do pacto narcísico. Ampliar a compreensão sobre o contexto de desigualdades raciais no campo de organizações do Judiciário e tornar mais plural o perfil dos operadores de direito pode também contribuir para que a justiça racial se torne efetiva.
Com base no Observatório de Segurança, “o reconhecimento facial tem se mostrado uma atualização high-tech para o velho e conhecido racismo que está na base do sistema de justiça criminal e tem guiado o trabalho policial há décadas”. Um levantamento do panorama nacional de políticas de reconhecimento facial, em pelo cinco estados brasileiros, chegou à conclusão de que todas as políticas e sistemas de monitoramento atualmente utilizados pelos estados brasileiros não estão isentos de intenções, não são neutros e foram desenvolvidos quase que exclusivamente para beneficiar pessoas brancas. A constituição federal elenca uma série de direitos fundamentais que possuem o animus de ser erga omnes, mas o quanto isso é verdade quando olhamos para os grupos subalternos?
Regime constitucional brasileiro permite a discriminação?
A experiência de solicitar a mudança da faixa do cartão pode ser complicada quando há um algoritmo envolvido no processo. Ao entrar em contato a atendente informa que apenas o algoritmo pode escolher um cliente para possuir um cartão Platinum e nem o cliente ou os funcionários do banco podem intervir. Mesmo com o questionamento sobre quais os critérios que o algoritmo utiliza, a atendente volta a repetir que ninguém sabe como as escolhas são feitas.
Este exemplo apresenta uma das consequências que mais preocupa sobre a aplicação de algoritmos: a ocultação dos detalhes e critérios pode levar a sociedade a “julgar mal o poder do algoritmo, enfatizar demais a sua importância, pensar erroneamente que o algoritmo é um agente independente e isolado e, finalmente, não perceber como o poder pode ser realmente implementado por tecnologias e algoritmos”. Muitas coisas precisam ficar claras nos algoritmos para que se possa pensar em decisões automatizadas mais éticas, tais como: (i) base de dados históricas, que conterá dados de identificação desnecessário de cidadãos e carregar vieses atuais e passados de um determinado contexto (que possivelmente pode ser discriminatório, subjetivo e injusto); (ii) equipe de desenvolvimento do algoritmo, que poderá colocar seus próprios vieses, preconceitos e referências pessoais no código e (iii) aprendizado do sistema ao longo do tempo, isto é, qual o modelo de aprendizado e como está desenhado a tomada de decisão do algoritmo
O filósofo Vilém Flusser sugere que a sociedade tente entender o que está dentro destas caixas pretas dos algoritmos, torná-los transparentes, deixar claro quais as heurísticas, modelos e critérios que estão sendo consideradas. É preciso conhecer as ideologias e vieses por trás dos algoritmos, eles precisam ter os critérios abertos e aceitos por toda a sociedade civil. Eles não podem ser baseados exclusivamente em dados e decisões históricas, mas levar em conta decisões heurísticas que diminuam desigualdades, garantam os direitos básicos do cidadão e combatam o status quo quando este reproduz sistematicamente situações de discriminação, preconceito e racismo.
A LGPD inclui em seu artigo 20 que é direito do titular “solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade” e que passa a ser obrigação do controlador dos dados “fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial”.
Na Europa, o Regulamento Geral sobre a Proteção de Dados (RGPD) traz adicionalmente a necessidade de intervenção humana em possíveis revisões da tomada de decisões realizadas por algoritmos. O regulamento europeu cria então o “direito à explicação” e o “direito à revisão”, onde o cidadão pode se defender das decisões do algoritmo com transparência dos critérios e com a participação humana no processo de revisão.
No Brasil, entretanto, estes direitos de explicação e revisão devem levar mais tempo para serem discutidos. Em seu texto original, a LGPD até fazia menções a estes direitos, entretanto a Medida Provisória 869/2018 retirou a necessidade da intervenção humana na revisão, dando margem para que as empresas realizem esta revisão a partir de outros algoritmos (perpetuando possíveis vieses algorítmicos).
Mudanças na legislação brasileira podem estar a caminho. O projeto de lei 2.392/22 (Guiga Peixoto, PSC-SP) defende a proibição do uso de tecnologias de reconhecimento facial sem que haja avaliação do impacto à privacidade das pessoas. O deputado estabelece que:
“imagine-se a hipótese de uma pessoa ser presa por erros na identificação ou então o constrangimento de ter negado o acesso a determinado estabelecimento do qual é sócio (…) o mau uso desses dados em razão de vazamentos ou mesmo do uso comercial dessas informações, alimentando a prática de fraudes, estelionatos, roubo de identidades ou falsidades ideológicas das mais variadas”
Também há o projeto de lei 4.496/19 (Styvenson Valentim, Podemos-RN) que propõe melhor definição do termo decisões automatizadas da LGPD e visa que haja “informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada”.
Os estudos de Alex da Rosa, Sara Pessoa e Fernando Lima concluem que o estado brasileiro precisa realizar algumas ações para complementar este gap legislativo, tais como: (i) estudos jurídicos sobre os limites da atuação estatal em relação a novas tecnologias; (ii) pesquisas sobre os impactos do reconhecimento facial na criminalização secundária; e (iii) tensionar a gramática racial no desenvolvimento dos algoritmos automatizados.
O compliance antidiscriminatório como ferramenta na sociedade da informação
O relatório Diversity, Equity and Inclusion 4.0, do Fórum Econômico Mundial, indica que uma das principais tendências para disrupções no mercado de trabalho capaz de gerar ganhos econômicos para as corporações é a inclusão, maior equidade e justiça social para grupos sociais minoritários e vulneráveis. Desta forma, o Fórum Econômico Mundial defende que as empresas não podem se tornar isentas de responsabilidades e devem se preocupar com possíveis consequências antiéticas de seus algoritmos. Ainda assim, de acordo com o relatório “Tendências em gestão de pessoas” de 2022, publicado pela empresa Great Place to Work, evidencia que apenas 12% das empresas afirmam lidar com maturidade adequada para o tema. Ainda que o assunto seja cada vez mais falado e que várias empresas ostentam discursos de diversidade e ASG, isso ainda é pouco praticado de verdade.
Em meio a isso tudo, o compliance pode ajudar o mundo corporativo a encarar de uma melhor forma a diversidade racial e os problemas algorítmicos que geram discriminações e racismo. Os programas de compliance das empresas precisam ser anti discriminatórios e anti racistas, e devem promover o respeito à diversidade dentro das organizações. A atuação do compliance deve estar em linha com as Diretrizes Nacionais sobre Empresas e Direitos Humanos (decreto 9.571/18), especialmente em seu artigo 8: “caberá às empresas combater a discriminação nas relações de trabalho e promover a valorização e o respeito da diversidade em suas áreas e hierarquias”. É dever da empresa também (artigo 5) “monitorar o respeito aos direitos humanos na cadeia produtiva vinculada à empresa” e “divulgar internamente os instrumentos internacionais de responsabilidade social e de direitos humanos”.
Em relação a cadeia de suprimento das empresas, é importante salientar que boa parte dos recursos tecnológicos que utilizamos estão concentrados em poucas grandes empresas de tecnologia como Google, Microsoft, Apple, Facebook e Amazon. Estas gigantes da tecnologia são advindas de um único país e não são necessariamente grandes exemplos de diversidade para o mercado, sendo portanto um problema estrutural de pluralidade nas cadeias de suprimento de tecnologia. Uma ferramenta que os programas de compliance podem utilizar é o due dilligence, fazer avaliações de impacto e risco nas empresas fornecedoras de soluções e prestadoras de serviços para mapear possíveis práticas contrárias à diversidade. Com estas avaliações é possível que a companhia conheça seu risco, incentive seus fornecedores a adotarem cada vez mais práticas antirracistas e diminua a possibilidade da ocorrência de ações discriminatórias.
Para conscientização interna o programa de compliance deve contar sempre com o “tone from the top”, ou seja, a alta liderança deve se engajar, incentivar e validar as ações afirmativas e inclusivas dentro da companhia. É o famoso “walk the talk”, falar e mostrar como se deve fazer: não basta ter ações afirmativas e um código de conduta, mas o programa deve permitir que as pessoas evoluam, se desenvolvam e cresçam dentro da companhia, além de fazer investigações periódicas sobre o tema. Quanto menos racistas e mais diversas são as pessoas dentro da organização, menos racistas e mais diversos também serão seus sistemas.
É cada vez mais comum nos ambientes de trabalho o papel do especialista de diversidade ou do CDO (Chief Diversity Officer) que é o responsável por desenhar as políticas e elaborar as estratégias de inclusão de grupos minoritários. Estas estratégias devem envolver não só as ações de due dilligence e de conscientização, dentre outras ações, mas incluir a preocupação com os algoritmos que são desenvolvidos e/ou utilizados pela companhia tanto internamente quanto para o público externo da empresa.
Os programas de compliance devem estar atentos ao artigo 20 da LGPD, possuir canais disponíveis para os titulares de dados (inclusive funcionários internos) solicitarem possíveis revisões de decisões algorítmicas e estarem prontos a fornecer material e resposta para orientar e realizar revisões e ter uma segunda opinião sobre as decisões do algoritmo e principais critérios utilizados. Os programas de compliance devem mapear todas as principais heurísticas utilizadas nos algoritmos da empresa (ou de terceiros) que processem dados pessoais, principalmente os que tratam dados sensíveis.
Outro item importante a ser considerado é a condução de auditorias periódicas e/ou sob demanda sobre algoritmos e suas decisões. O algoritmo deve prover registros e informações suficientes para que uma auditoria independente consiga dizer de forma objetiva que determinadas decisões foram tomadas com base em critérios que não geraram situações de discriminação e racismo. As auditorias podem ser um dos mecanismos utilizados para revisão das decisões tomadas pelos algoritmos. Além disso, está sob análise do congresso norte-americano o “The Algorithmic Accountability Act 2022” que passaria a exigir que as companhias realizem avaliações dos impactos que estes algoritmos pode causar para a sociedade, tal como a sua versão da União Europeia, o “The EU Artificial Intelligence Act”.
Auditoria em algoritmos é um assunto relativamente novo na literatura e praticamente ainda não é praticado nas empresas. É possível classificar estas auditorias em dois tipos: (i) auditoria no projeto de criação do algoritmo para tentar identificar e mitigar possíveis vieses do projeto (bias by design); e (ii) auditoria para validar resultados das decisões do algoritmo para identificar possíveis vieses em tempo de execução (bias in runtime).
Para evitar o bias by design, a auditoria deve procurar por escolhas equivocadas de projeto, desenvolvimento e composição da base de dados do algoritmo. De acordo com Diogo Ramos algumas das situações identificáveis que podem ser endereçados pela auditoria são a utilização de informações enviesadas ou de pouca qualidade (auditoria de dados), regras e critérios insuficientes ou desbalanceados, falta de consciência acerca do contexto social ou regional e possíveis respostas em loop (em que o algoritmo pode reforçar seus preconceitos baseados em suas próprias decisões).
Para auditorias que precisam validar as tomadas de decisões de um algoritmo em tempo de execução é possível contratar empresas terceiras e independentes para realizar estas ações. Cathy O’Neil, por exemplo, desenvolveu um método chamado Matriz Ética que é realizado pela sua empresa ORCAA. As auditorias ajudariam a trazer questões éticas para a discussão, incluindo se o uso de algoritmos é legítimo em determinados contextos e aplicações e os achados de auditoria devem ser submetidos a comitês éticos, organismos de acreditação e/ou por agências de certificação (quando aplicável).
A ética corporativa precisa entender o modus operandi e o funcionamento dos algoritmos. Em estudo conduzido pelo Oxford Internet Institute foi realizado um mapeamento das preocupações epistêmicas e normativas a respeito da ética e do funcionamento de algoritmos. As principais preocupações éticas levantadas foram as seguintes: (i) falibilidade por conta de dados/evidências insuficientes ou inconclusivos; (ii) opacidade por falta de transparência, alta complexidade e sua natureza inextricável; (iii) vieses cognitivos por conta de dados viciados ou mal direcionados; (iv) discriminação pelo surgimento de resultados injustos e pela falta de direcionamento adequado de conduta; (v) autonomia em detrimento de participação humano no direito a explicação e revisão dos resultados; (vi) privacidade das informações em relação as principais leis e diretrizes de proteção de dados; e (vii) responsabilidade por conta da dificuldade em que é possível rastrear as consequências e os fatores que levaram o algoritmo a gerar prejuízo para um usuário.
Em sumo, o programa de compliance deve se preocupar em trazer a ética também para dentro dos códigos de computadores e, principalmente, em definir responsáveis pelas decisões tomadas por algoritmos. Na literatura há alguns estudos que propõe a formalização de um novo status legal de “pessoa eletrônica”, como uma figura jurídica que reivindicaria a “inescrutabilidade e a impossibilidade de interpretar as operações realizadas pelos algoritmos de aprendizado profundo”. O parlamento europeu já vem discutindo essa possibilidade e a pessoa eletrônica passaria a ter responsabilidade de ressarcir os usuários por qualquer dano causado por algoritmos e responder juridicamente pelas decisões tomadas por eles.
Uma das possíveis ações que podem ser tomadas diretamente e imediatamente pelos programas de compliance é o desenvolvimento de um Código de Ética para Algoritmos para orientar as pessoas quanto às suas posturas e atitudes ideais, moralmente aceitas ou toleradas pela sociedade como um todo. Sugestões das diretrizes que devem ser incluídos neste tipo de material devem ser as que foram discutidas pela Comissão Europeia para Eficácia da Justiça (CEPEJ), na Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais, que prevê ao menos cinco princípios básicos a serem respeitados:
- Princípio do respeito dos direitos fundamentais: assegurar que os algoritmos automatizados respeitem os direitos fundamentais dos indivíduos;
- Princípio da não discriminação: prevenir de que os resultados obtidos a partir dos algoritmos automatizados não incluam casos de discriminação ou preconceito;
- Princípio da qualidade e da segurança: recomendar o uso de bases de dados completas, revisadas, governadas e protegidas de alterações indevidas. Deve haver preocupações com os processos de qualidade e dos critérios de seleção destes dados — ao mesmo tempo em que haja incentivo para revisões e análises multidisciplinares destes dados e dos modelos de aprendizagem dos algoritmos, para combater possíveis vieses discriminatórios;
- Princípio da transparência, imparcialidade e equidade: trazer transparência para o processo de desenvolvimento de algoritmos, tornar acessível e compreensível os critérios de tratamento de dados e, principalmente, autorizar a realização de auditorias independentes;
- Princípio “sob controle do usuário”: empoderar os usuários fornecendo informações claras sobre os algoritmos, suas decisões e permitir que eles solicitem revisões e até em contestar as decisões do algoritmo, se possível.
Conclusão
O presente capítulo buscou levantar questões sensíveis relativas aos pontos de atenção na aplicação de algoritmos no dia a dia da população. Questões tais como o racismo, o machismo, a homofobia, o capacitismo, discriminação por classe e religiosa acontecem em todas as camadas sociais e não deixariam de estar presentes quando falamos sobre aplicação de tecnologia. Contudo, a educação digital, compreensão da diversidade e um esforço coletivo para a não violação dos direitos fundamentais podem ser um caminho para a libertação de tais raízes.
O uso de dados pessoais sensíveis torna necessária uma discussão da própria teoria democrática e do conceito de justiça estabelecidos em nosso ordenamento jurídico. O olhar atento para a caixa de pandora que está inserida na construção da nacionalidade brasileira, nos permite, finalmente, compreender que não é possível dissociar a raça de qualquer tipo de reforma institucional.
Como mencionamos, os algoritmos são criados a partir de vieses que acabam por perpetuar o capitalismo racial e manter o status quo do grupo no poder. A tecnologia é o reflexo direto da sociedade em que é criada, pois a própria base da criação precisa ser debatida. Quem são os cientistas por trás da programação desses algoritmos? Que grupo específico é esse que consegue chegar no papel de referência dentro de seu nicho de mercado? Qual é o conhecimento deste profissional dos mais diversos recortes sociais? As mesmas perguntas podem ser direcionadas para os operadores do direito e políticos que detêm em suas mãos a força de criação e aplicação de políticas nacionais.
Essas questões se fazem importantes quando pretendemos verdadeiramente discutir o papel do direito como instrumento de mudanças sociais efetivas. Nos últimos anos a preocupação com diversidade, equidade e inclusão ganhou grande destaque dentro do meio acadêmico e profissional. Termos como ASG e D&I, são pautas comuns dentro do ambiente corporativo, porém não basta ser contra a discriminação, é preciso ser antirracista. As empresas de inteligência artificial precisam se responsabilizar pelo treinamento de seus funcionários e na criação de um banco de dados que realmente reflita a sociedade em que ela será aplicada. Reformas institucionais precisam ser realizadas após discussão ampla com a sociedade e garantindo a real proteção dos direitos constitucionais.
A discussão sobre compliance e reconhecimento facial precisa ir além dos artigos da lei, precisa ter um olhar cuidadoso para a sociedade e perceber que grupos estão sendo diretamente afetados.
Referências
ALEXY, Robert. Direitos fundamentais, balanceamento e racionalidade. Ratio juris, v. 16, n. 2, p. 131–40, 2003.
ARRUDA, Ana Julia Pozzi; Resende, Ana Paula Bougleux Andrade; Fernandes, Fernando Andrade. Reflexões Acerca dos Valores Relacionados à Incorporação da Inteligência Artificial no Direito Penal. Revista Científica da Escola Superior de Advocacia: Ciência e profissões jurídicas — Ed. 36. 2021.
BAIO, Cesar. O artista e o aparato técnico: entre os processos artísticos e os métodos da tecnologia. XXI Encontro Anual da Compós. Curitiba. 2007.
CASTELO, Cláudia. Uma incursão no lusotropicalismo de Gilberto Freyre. Blogue de História Lusófona, v. 6, n. 1, p. 261–280, 2011.
BLACK, Edwin. A Guerra contra os fracos: a eugenia e a campanha dos Estados Unidos para criar uma raça dominante. A Girafa, p. 52. 2003.
BRASIL, Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm. Acesso em: 21 de janeiro de 2023.
BRASIL. Lei nº 10.406, de 10 de janeiro de 2002. Institui o Código Civil. 2002
BULOS, Uadi Lamêgo. Constituição Federal Anotada. 7 ed. São Paulo: Saraiva, 2007.
BUOLAMWINI, Joy; Gebru, Timnit. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Conference on Fairness, Accountability, and Transparency. Proceedings of Machine Learning Research 81:1–15. 2018.
CÂMARA DOS DEPUTADOS. Comissão Especial destinada a proferir parecer ao Projeto de Lei nº 4.060, de 2012, do Dep. Milton Monti, que “dispõe sobre o tratamento de dados pessoais e dá outras providências, e apensos. Comissão de Proteção de Dados. Roteiro de trabalho. Proposta do Relator — Deputado Orlando Silva. Disponível em: https:// www2.camara.leg.br/atividade-legislativa/comissoes/comissoestemporarias/especiais/55a-legislatura/pl-4060–12. Acesso em: 15 de março de 2023.
CASTRO, Matheus Felipe de; Zambrota, Luciano. O controle da dosimetria da pena pela inteligência artificial. I Encontro Virtual do Conpedi — Conselho Nacional de Pesquisa e Pós-Graduação em Direito. 2020.
CID, Alessandra C. Construção de um modelo preditivo para decisões do STF em Ações Diretas de Inconstitucionalidade. Fundação Getúlio Vargas — Rio de Janeiro, 2018.
DINIZ, Maria Helena. Curso de direito civil brasileiro: direito de família. Editora Saraiva, 2008.
FEIO, Kleber Vinicius Gonçalves. Biotecnologia e direitos fundamentais: uma análise a partir de Habermas. Artigo publicado nos Anais do XIX Encontro Nacional do CONPEDI realizado em Fortaleza em junho de, p. 757, 2010.
FERREIRA, MASV. Panorama da Política de Segurança dos Estados Unidos após o 11 de Setembro: o Espectro neoconservador e a reestruturação organizacional do Estado. SOUZA, A. Mello. et. al.(orgs.). Do, v. 11, p. 54, 2014.
GONÇALVES, Carlos Roberto. Responsabilidade civil. Saraiva Educação SA, p. 359, 2020.
GUIMARÃES, ASA. Cor e raça: raça, cor e outros conceitos analíticos. In: PINHO, AO., and SANSONE, L., orgs. Raça: novas perspectivas antropológicas [online]. 2nd ed. rev. Salvador: EDUFBA, 2008, p. 63. ISBN 978–85–232–1225–4. Available from SciELO Books. <https://books.scielo.org/id/3tqqd/pdf/pinho-9788523212254-04.pdf>. Acesso em: 15 de março de 2023.
HERNÁNDEZ, Tanya Kateri; SOUZA, Arivaldo Santos de; FONSECA, Luciana Carvalho. Subordinação racial no Brasil e na América Latina: o papel do Estado, o Direito Costumeiro e a Nova Resposta dos Direitos Civis. EdUFBA, 2017.
INTERNATIONAL TELECOMMUNICATION UNION (ITU). Documentos da cúpula mundial sobre a sociedade da informação — Genebra 2003 e Tunis 2005. Cadernos CGI.Br. Disponível em: https://www.cgi.br/media/docs/publicacoes/1/CadernosCGIbr_DocumentosCMSI.pdf. Acesso em: 15 de março de 2023.
KAHNEMAN, Daniel. Rápido e Devagar — Duas formas de pensar. Editora Objetiva. Ed. 01. 2011.
Lima, R. S. de., Bueno, S., & Mingardi, G.. (2016). Estado, polícias e segurança pública no Brasil. Revista Direito GV, 12(Rev. direito GV, 2016 12(1)), 49–85. https://doi.org/10.1590/2317-6172201603
MISSE, Daniel Ganem. Cinco anos de UPP: Um breve balanço. 2014.
MORAES, Alexandre de, Direito Constitucional, Editora Atlas, p. 16, 2005
MOTA PRADO, M. Bypasses Institucionais no Brasil: Superando a Resistência Ex-ante às Reformas Institucionais. Revista da Faculdade de Direito da Universidade Federal de Uberlândia, [S. l.], v. 49, n. 1, p. 03 , 2021. DOI: 10.14393/RFADIR-v49n1a2021–62774. Disponível em: https://seer.ufu.br/index.php/revistafadir/article/view/62774. Acesso em: 15 de março de 2023.
NUNES, Pablo. Novas ferramentas, velhas práticas: reconhecimento facial e policiamento no Brasil. In: REDE de Observatório de Segurança. Retratos da Violência: cinco meses de monitoramento, análise e descobertas. Centro de Estudos em Segurança e Cidadania. 2019.
OBLADEN, Cinthia. A obscuridade dos algoritmos e a LGPD. INPD — Instituto Nacional de Proteção de Dados. 2020.
OLIVEIRA, Bruno Silva de. Algoritmos e perpetuação de preconceitos e status quo. Revista Marginália. São Paulo. 2020.
O’NEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown Publishing Group (NY). 2017.
RAMOS, Diogo. A corrida pela supremacia da IA e a auditoria de algoritmos. Uma breve introdução. LinkedIn. 2019.
ROSA, Alex da; Pessoa, Sara de Araujo; Lima, Fernando da Silva. Neutralidade tecnológica: reconhecimento facial e racismo. V!RUS, São Carlos, n. 21, Semestre 2. 2020.
SÃO PAULO, Prefeitura do município de. Edital de pregão eletrônico para prestação de serviços contínuos n.º 801005 de 28 de novembro de 2022
SCHENDES,William. “Smart Sampa”: entenda a polêmica do edital de monitoramento facial em São Paulo. Olhar Digital, 2022. Disponível em: https://olhardigital.com.br/2022/11/30/pro/smart-sampa-entenda-a-polemica-do-edital-de-monitoramento-facial-em-sao-paulo. Acesso em: 15 de março de 2023.
SILVA, Tarcízio; Buckstegge, Jaqueline; Rogedo, Pedro. Estudando cultura e comunicação com mídias sociais. Instituto Brasileiro de Pesquisa e Análise de Dados. IBPAD. 2018
SCHWARCZ, L. M. Previsões são sempre traiçoeiras: João Baptista de Lacerda e seu Brasil branco. História, Ciências, Saúde: Manguinhos, Rio de Janeiro, v.18, n.1, p.225–242. jan./mar. 2011
TOSTES, Ana Paula. Associativismos de extrema direita na era pós 11 de setembro. Mediações–Revista de Ciências Sociais, Londrina, v. 16, p. 123–139, 2011.
TURING, Alan. Computing Machinery and Intelligence. Mind 49. 1950.
UNIÃO EUROPEIA. Regulamento 2016/679 de 27 de abril de 2016. Relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE. Disponível em: <http://eurlex.europa.eu/legal-content/PT/TXT/PDF/?uri=CELEX:32016R0679&from=EN>. Acesso em: 15 de março de 2023.
ZAMBROTA, Luciano. O controle da dosimetria da pena pela inteligência artificial: limites e possibilidades para aprimoramento do acesso à justiça penal. Dissertação (mestrado profissional). Universidade Federal de Santa Catarina, Centro de Ciências Jurídicas, Programa de Pós-graduação em Direito. Florianópolis. 2022.
