Inteligência Artificial, vigilância, proteção e privacidade de dados: O que podemos aprender com a série Onisciente da Netflix?

Harumi Miasato
Harumi Miasato
Published in
9 min readMay 15, 2021
Fonte:Netflix. Disponível em:https://www.netflix.com/br/title/80220334

Para você se ambientar:

- Inteligência artificial ou IA é uma rede neural desenvolvida para tomar decisões baseadas em seu banco de dados.

De um lado temos a IA desenvolvida e alimentada (com um grande volume de dados — Big Data) para tomar decisões de forma autônoma, mesmo que as situações sejam imprevisíveis dentro do escopo que foram programadas. Também são capazes de coletar dados autonomamente conforme a sua necessidade. Ou seja, devem tomar decisões baseadas em suas experiências anteriores tal como nós, humanos, decidimos quando estamos diante de uma situação nova.

Também são chamadas de General Artificial Intelligence — GAI.

E temos a Specific Artificial Intelligence — SAI, também alimentado com um grande volume de dados, que é desenvolvida para solucionar questões específicas. As suas tomadas de decisão são previsíveis baseadas na sua programação para agir de x ou y maneira conforme o caso. Por exemplo, as escovas de dente inteligentes são programadas para analisar o padrão de escovação do usuário e fornecer dados sobre esses padrões e sugerir adaptações da frequência ou modo de escovação dental e fazer previsões sobre a possível incidência de tártaro ou cárie por exemplo.

- A série Onisciente é brasileira e foi produzida pela Netflix. A história se passa em uma cidade onde os cidadãos são monitorados 24 horas por dia através de um drone pessoal de vigilância. A personagem principal precisa lidar com o assassinato do seu Pai, que por algum motivo não foi relatado como crime pelo sistema de vigilância.

O desdobramento da série ocorre função da busca pelos motivos desse erro do sistema, fazendo com que a personagem principal precise encontrar formas de despistar o seu drone pessoal para não ser descoberta.

Vocês podem ver o trailer da série aqui:

Spoiler Alert???? A partir daqui precisarei mencionar algumas situações que ocorrem na série. Pessoalmente acredito que não irá comprometer a experiência de assistir a série, na maior parte são acontecimentos exibidos no próprio teaser. Mas fica a sua escolha optar por seguir a leitura ou não.

Questionamento 1

No trailer já podemos perceber que a série aborda a questão da privacidade e segurança. “Não é sobre privacidade versus segurança, é privacidade E segurança” é uma das primeiras frases que ouvimos no teaser.

Mas como devemos encarar essa discussão?

A inteligência artificial acerta em 100% das ocasiões?

A resposta é não. Pelo menos na atualidade, no futuro quem sabe?

Nos primeiros momentos do trailer esse questionamento já é apresentado. Vemos a personagem principal, Nina, tendo dificuldades em acionar o serviço de emergência ao informar que o seu Pai foi assassinado, pois de acordo com o sistema nenhum crime foi reportado em sua região.

A premissa do sistema onisciente é que os drones pessoais de vigilância reportem automaticamente situações em que um indivíduo estiver sob a iminência de cometer ou ser vítima de um crime.

Sendo assim, por qual motivo o drone pessoal do Pai da Nina ou do criminoso não reportaram o assassinato? (Calma, eu não vou dar essa resposta.)

O que eu posso dizer é que a série ilustra bem a problemática que envolve a identificação e estabelecimento de padrões pela inteligência artificial.

Por exemplo, dano ao patrimônio privado: como ficam os trabalhadores da construção civil no universo introduzido pela série? Às vezes é necessário quebrar uma parede para fazer uma reforma. A série mostra que o drone de vigilância identifica que está havendo um dano ao patrimônio particular, mas de acordo com a sua base de dados sobre o indivíduo o drone é capaz de classificá-lo como um trabalhador da área de construção e quebrar a parede faz parte do seu ofício, sendo assim, não há crime sendo cometido segundo a sua interpretação.

Aí você poderia perguntar: “mas e no mundo real? A IA também pode ser falha”? Infelizmente sim meu caro padawan.

Em 2018 a Uber estava realizando testes com alguns carros semi-autônomos no estado do Arizona nos Estados Unidos.

Os carros não eram 100% autônomos, eram dotados da autonomia assistida que é quando a IA tem controle sobre o a condução do veículo mas possui um humano “operador” para intervir quando necessário.

Na época um dos carros estava envolvido em um atropelamento que matou uma pessoa. No caso a pessoa estava atravessando uma estrada empurrando uma bicicleta durante a noite.

Após a realização de perícias foi constatado que a inteligência artificial não foi capaz de reconhecer corretamente o “objeto” a sua frente. Em um primeiro momento a IA deduziu se tratar de algum outro veículo, depois identificou como uma bicicleta, depois como pessoa, depois como veículo…

Quando a IA tomou a decisão de alertar o condutor a bordo para assumir o controle do veículo já não havia mais tempo para frear ou desviar veículo. Após o ocorrido os testes foram suspensos e retomados apenas em 2020.(você pode ler mais sobre o caso clicando aqui)

Um outro exemplo que pode ser citado é o caso da Amazon na contratação de novos funcionários.

A Amazon utilizou um algoritmo para realizar a triagem de currículos para a ocupação de determinado cargo na empresa. Esse algoritmo foi desenvolvido durante 4 anos e alimentado com a base de dados de funcionários que trabalharam na empresa até 10 anos antes do início dos testes.

A experiência não foi bem sucedida. A inteligência descartou inicialmente TODOS os currículos de mulheres a partir da identificação do gênero explicitamente informado, esportes tidos como tipicamente femininos, clubes, etc.

Isso ocorreu porque os currículos utilizados para o treinamento da IA eram de perfis predominantemente masculinos. A maior parte da empresa era composta por homens, então a IA assimilou esse fator como um padrão desejado pela empresa e passou a utilizar esse dado como parâmetro para selecionar os candidatos.(você pode ler mais sobre o caso clicando aqui)

O que isso significa? De uma forma simples, a qualidade e diversidade dos dados utilizados para treinar as IAs são extremamente relevantes para atingir o resultado pretendido.

Esse é um ponto de atenção importante. Ao desenvolver sistemas de inteligência artificial, é necessário ter especial cuidado para não reproduzir vieses discriminatórios já presentes na sociedade — ainda que de maneira inconsciente.

Mas essa análise enviesada não ocorre em ambientes de teste. Ela ocorre o tempo todo no mundo real. A análise de concessão de crédito utilizada por algumas empresas é um exemplo.(leia mais sobre o assunto clicando aqui) Ou o caso que ocorreu nos Estados Unidos que equivocadamente analisava as chances de reincidência dos presos para conceder redução de pena ou liberdade condicional.(você pode ler mais sobre esse caso clicando aqui e aqui)

A não utilização de vieses discriminatórios é chamado de neutralidade da rede.

Privacidade, Proteção de Dados e a Caixa Preta dos algoritmos

Outro tema abordado na série é o acesso ao que ocorre “nos bastidores” da inteligência artificial, saber o que acontece dentro das linhas de programação de tomada de decisões da inteligência artificial. Ou seja, é sobre podermos de fato entender e ter acesso ao que ela faz, como faz e por quais motivos faz.

Me permita fazer uma analogia mais prática. Quando um juiz profere uma sentença ele deve explicar os motivos que o levaram a tomar aquela decisão. Não basta o juiz dizer que uma das partes está certa ou errada. É necessário expor toda a sua linha de pensamento pautado na lei e nas provas do processo.

Isso nos permite pedir que a decisão seja revista na hipótese de não concordarmos com a sentença do juiz.

Da mesma forma, quando alguém é processado civil ou criminalmente, a pessoa tem o direito de saber quais são os fatos alegados contra ela para que seja garantida a possibilidade de se defender adequadamente das acusações antes de ser julgada. (Isso se chama direito ao contraditório e à ampla defesa)

Por isso o direito de pedir revisão de decisões automatizadas previsto pela Lei Geral de Proteção de Dados e pelo Marco Civil da Internet são tão importantes.

Devemos poder ter acesso de forma clara e precisa dos motivos que levaram o sistema artificial tomar determinada decisão em relação a nós ou situação que seja de interesse público.

Na série percebemos isso quando a Nina solicita à empresa que gerencia o sistema Onisciente o acesso às imagens do drone pessoal do seu Pai, na esperança de que ela possa entender o que aconteceu e identificar o responsável pelo assassinato.

O pedido é negado sob a afirmação de que nenhuma pessoa pode ter acesso às imagens gravadas pelo drone pessoal como forma de garantir a proteção à privacidade dos indivíduos.

A Nina precisava saber por qual motivo o assassinato do Pai não foi reportado, saber porque o sistema Onisciente não identificou o assassinato do Pai como um crime? Teria o drone falhado em identificar o crime? Qual ação fugiu dos padrões estabelecidos como assassinato pelo sistema? O meio de obter respostas seria através da análise das gravações do dia do assassinato.

Um exemplo de como essa situação se aplica no mundo real é o caso de exclusão ou limitação do alcance de determinado conteúdo ou o banimento de um usuário das plataformas de redes sociais.

Ou ainda, ter o conhecimento dos motivos pelos quais determinados anúncios são direcionados para nós.

Em ambos os casos temos o direito de saber por quais motivos as decisões foram tomadas e baseadas em quais dados pessoais coletados pelas plataformas.

Privacidade — Quebra de sigilo

Outro ponto interessante é a Nina fazer questão de frisar que gostaria de obter o acesso às imagens gravadas de uma pessoa específica em uma abrangência de horário específico e esclarecer que possuía motivação o suficiente para solicitar o acesso.

Essa postura também deve ser adotada no nosso mundo real. A requisição de acesso à informação pessoal de terceiros deve seguir a mesma linha do pedido da Nina.

Sendo esse um dos motivos da polêmica gerada durante as investigações do assassinato da vereadora Marielle e seu motorista Anderson em torno da determinação judicial para que a Google entregasse informações relativas ao endereço de IPs e Device IDs de usuários que pesquisaram o nome da vereadora e as combinações “Vereadora Marielle”, “Agenda vereadora Marielle”, “Casa das Pretas”, “Agenda vereadora Marielle”, e “Rua dos Inválidos”, entre outros, nos dias 7 de 14 de março de 2018.(saiba mais sobre o caso clicando aqui)

É importante saber que lei determina que provedores guardem por um período o número de IP, a data e a hora do acesso às suas plataformas para eventualmente repassá-los a autoridades de investigação caso surjam ordens judiciais. Mas, estes pedidos devem ser específicos.

Nas palavras do especialista Carlos Affonso (diretor do Instituto Tecnologia e Sociedade) “o Marco Civil da Internet fala em ‘ordem judicial específica’, como no artigo 19, em ‘fatos específicos’, como no artigo 15, e em ‘identificação clara e específica do conteúdo’, como no artigo 19.”

O debate provocado pela determinação judicial gira em torno da abrangência dos dados pessoais solicitados à Google. Há sim a identificação do conteúdo, mas o relatório contendo as informações descritas na ordem judicial possui uma abrangência genérica, podendo alcançar pessoas que não guardam qualquer relação com o caso.

Ou seja, basta que uma pessoa tenha realizado uma pesquisa na ferramenta de buscas da Google sobre a Casa das Pretas pode ter seus dados pessoais revelados e entregues para o prosseguimento da investigação do caso.

Em um sentido diferente, em 2020 o STF julgou ser inconstitucional a Medida Provisória que determinava o compartilhamento de dados pessoais (nome, cpf, número de telefone, endereço) entre as empresas de telefonia e o IBGE para que esses dados fossem utilizados para produzir a estatística oficial (pelo IBGE) por meio de entrevistas domiciliares não presenciais.

A declaração de inconstitucionalidade foi proferida sob o argumento de prevenção de “danos irreparáveis à intimidade e ao sigilo da vida privada de mais de uma centena de milhão de usuários dos serviços de telefonia fixa e móvel”.(saiba mais sobre o caso clicando aqui)

Podemos citar também como exemplo de violação de dados pessoais o ocorrido nos Estados Unidos durante as manifestações do movimento “Black Lives Matter” após o assassinato do George Floyd em 2020.

A polícia de Mineapólis teve acesso aos dados pessoais coletados através do aplicativos de contact tracing (“rastreamento de contato”) utilizados como ferramenta de controle na disseminação do novo coronavírus.

A partir dos dados pessoais obtidos como a geolocalização, a polícia foi capaz de identificar e prender algumas pessoas que participaram das manifestações.(saiba mais clicando aqui e aqui)

A série Onisciente apresenta um universo interessante e traz vários questionamentos interessantes e relevantes para a sociedade no que diz respeito ao debate da utilização da inteligência artificial, vigilância, proteção e privacidade de dados.

E você já tinha ouvido falar em vieses da inteligência artificial, ou sobre algum dos outros temas abordados? Qual sua opinião sobre esses assuntos?

E a série, você já assistiu? O que achou?

--

--

Harumi Miasato
Harumi Miasato

Advogada|Membro da Associação Nacional de Advogados(as) do Direto Digital ANADD e Associação Nacional dos Profissionais de Privacidade de Dados — ANPPD