Internet: quem controla — o que e quem?

Joatan Berbel
Reberbel
Published in
34 min readJun 9, 2014
filter-bubble1

Desde a sua criação a Internet sofreu modificações, extrapolou todas as expectativas e prognósticos a respeito de sua utilidade para a sociedade e hoje é um dispositivo de comunicação inserido na vida cotidiana das pessoas. A cada minuto milhares de pessoas se inscrevem em algum dispositivo de acesso e navegação na World Wide Web a rede de dispositivos físicos e virtuais que conecta computadores e pessoas de forma simultânea, no mundo todo. Na realidade, a Internet acabou se transformando num mundo próprio onde cada usuário é um indivíduo representado por um conjunto de dados — um nó nesta complexa teia.

O mundo virtual criado pela Internet acabou por reproduzir — de forma incontrolável — as virtudes e vicissitudes do mundo real: acesso à informação do mundo todo em todas as formas, linguagens e velocidades; trocas de informações, contatos, descobertas e pesquisas através dos sites de relacionamentos como o Facebook e os de pesquisa e informação como o Yahoo e Google; fraudes, ameaças, ataques e difamações, roubos, controle psicosocial e espionagem da vida privada; insegurança por não saber em quem e no que confiar — o virtual se torna real.

Filter_bubble5

Estas questões têm animado os debates na universidade, em organizações governamentais que defendem a liberdade de expressão, nos organismos de defesa do consumidor, nos parlamentos e nos governos. O que fazer para garantir a privacidade e a segurança neste admirável mundo novo da Internet? Eis a questão.
Não tenho nenhuma resposta, além de sugerir a todos: a) Não entre em pânico; b) Procure se informar e entender os mecanismos, dispositivos, aplicativos e linguagens que compõem este mundo da Internet; c) Não se acomode, participe dos debates, tente fazer a sua parte, exerça a sua cidadania.

Para contribuir com o conhecimento dos leitores deste blog, busquei um conjunto de informações que podem servir de suporte — técnico e filosófico — para aqueles que querem usar um tempo de suas vidas para se sentirem mais informados sobre o assunto. Afinal, informação é poder.

filter-buble2

O texto abaixo é o último capítulo do livro The Filter Bubble, sem tradução no Brasil, de Eli Pariser, um ativista e escritor preocupado com as questões da privacidade na Internet. Como tenho notado que no Brasil, apesar da ampla discussão sobre a regulamentação do Marco Civil da Internet, estas questões ficam restritas aos pequenos grupos de “Connaisseurs” que nem sempre iluminam o assunto, pois preferem a obscuridade onde a única luz ilumina suas faces diante de suas bolas de cristal. O título do capítulo Escape from the City of Ghettos, foi traduzido como “Fugindo da Cidade dos Guetos”, para dar ideia de movimento, de ação que o conhecimento provoca. Apesar do esforço para suavizar a linguagem complexa do assunto e tentar ampliar o espectro de conexões, percebo que não é uma leitura fácil, ao contrário, pode ser cansativo e fazer com que o leitor desista nas 10 primeiras linhas.
Para auxiliar na compreensão, sugiro que o leitor veja antes este vídeo do programa Milênio, da Globonews, que reúne um conjunto de depoimentos e reportagens sobre o tema. Penso que é um bom aperitivo.

filter_bubble4

Fugindo da Cidade dos Guetos

Na busca para encontrar seu próprio sentido da vida, [uma pessoa] também necessita viver num meio onde a possibilidade de diferentes sistemas de valores seja explicitamente reconhecida e honrada. Mais especificamente, ela necessita de uma grande variedade de escolhas de tal forma que não se confunda a respeito da natureza de sua própria identidade.

- Christopher Alexander et al., A Pattern Language.

Na teoria, nunca houve uma estrutura capaz de permitir a todos nós arcar com a responsabilidade de entender e gerenciar nosso mundo melhor do que a Internet. Mas na prática, a Internet é conduzida numa direção diferente. Sir Tim Berners-Lee, o criador da World Wide Web, percebeu a gravidade desta ameaça num recente alerta nas páginas do Scientific American, com o título “Vida Longa para Web.” “A Web como a conhecemos”, ele escreveu, “tem sido ameaçada… Alguns dos seus mais bem sucedidos habitantes começaram a descaracterizar seus princípios. Grandes sites de redes sociais passaram a isolar informações, postadas pelos seus usuários, do resto da Web… Os governos — totalitários e mais ou menos democráticos — estão monitorando os hábitos online das pessoas, pondo em risco importantes direitos humanos. Se nós, os usuários da Web, permitirmos que estas e outras tendências continuem sem limites, a Web poderá ser desmembrada em ilhas de informação fragmentada.”

Neste livro, argumentei que o crescimento dominante da filtragem inserida, está mudando a maneira como nós percebemos a Internet e, finalmente, o mundo. No centro desta transformação está o fato de que, pela primeira vez, é possível para um desses meios saber quem é você, do que você gosta e o que você deseja. Mesmo que o código de personalização não seja dos melhores, ele é preciso o suficiente para ser rentável, não só por nos apresentar as melhores propagandas mas também por ajustar o conteúdo do que lemos, vemos e ouvimos.

Como resultado, enquanto a Internet oferece acesso à uma imensa variedade de fontes e opções, na bolha de filtragem* perderemos muitas. Enquanto a Internet pode nos dar novas oportunidades para crescer e experimentar com as nossas identidades, a economia das personalizações nos empurra na direção de uma concepção estática da personalidade. Enquanto a Internet tem o potencial para descentralizar o conhecimento e controle, na prática, mais do que nunca, isso está concentrando o controle sobre o que vemos e quais oportunidades nos são oferecidas. Claro que existe algumas vantagens no crescimento da Internet personalizada. Eu gosto de usar Pandora, Netflix e Facebook tanto quanto qualquer pessoa. Eu aprecio os atalhos do Google na selva das informações (e não poderia ter escrito este livro sem estas ferramentas). Mas o que é problemático sobre esta mudança na direção da personalização é que ela é amplamente invisível para os usuários e, como resultado, fora de controle. Nem sempre estamos conscientes de que estamos vendo imagens da Internet cada vez mais divergentes. A Internet pode saber quem somos, mas nós não sabemos quem ela pensa que somos ou como ela usa esta informação. A tecnologia desenvolvida para nos dar mais controle sobre nossas vidas está, na realidade, tirando este controle.

Em última análise, um dos fundadores da Sun Microsystems, Bill Joy, me disse, os sistemas de informação têm que ser julgados pelos seus resultados públicos. “Se o que a Internet faz é espalhar um grande número de informação, muito bem, mas qual foi a causa disto ter acontecido? Ele perguntou. Se ela não nos ajuda a resolver os grandes problemas, o que há de bom nela? “Nós realmente necessitamos abordar o centro da questão: mudanças climáticas, instabilidade política na Ásia e no Oriente Médio, problemas demográficos e o declínio da classe média. No contexto de problemas desta magnitude, era de se esperar que um novo eleitorado emergisse, mas há muita distração sobreposta — falsos assuntos, entretenimento, jogos. Se o nosso sistema, com toda a liberdade de escolha, não esta atento aos problemas, alguma coisa está errada.”

Alguma coisa anda errada com a nossa mídia. Mas a Internet não esta condenada, por uma simples razão: Este novo meio é intrinsicamente plástico. Sua grande ameaça, de fato, é a sua capacidade de mudança. Através de uma combinação de ação individual, responsabilidade corporativa e regulação governamental, ainda é possível alterar o rumo das coisas.

“Nós criamos a Web,” Escreveu Sir Tim Berners-Lee. “Nós escolhemos quais propriedades nós queríamos para ela e quais não. Isto, sem dúvida, acabou (e isto certamente não morreu).” Ainda é possível criar sistemas de informação que nos traga novas ideias, que nos leve a novos caminhos. Ainda é possível criar meios que nos mostre o que nós não conhecemos, mais do que refletir o que nós fazemos. Ainda é possível desenvolver sistemas que não nos aprisionem numa infinita espiral de autoelogios sobre os nossos próprios interesses ou nos proteja de campos de investigação que não são os nossos.
Primeiro, entretanto, nós necessitamos de uma visão — um sentido do que estamos buscando.

O Mosaico de Subculturas

Em 1975, o arquiteto Christopher Alexander e um time de colegas, começaram a publicar uma serie de livros que mudaria a face do planejamento urbano, design e programação. O volume mais famoso, A Linguagem Padrão (A Pattern Language), é um livro guia que é lido como um livro religioso. Ele é repleto de citações e aforismos e esboços desenhados a mão, uma bíblia guiando devotos na direção de uma nova forma de pensar o mundo.

A questão que ocupou Alexander e sua equipe, durante oito anos de pesquisa, foi a questão do por que alguns lugares prosperaram e “funcionam” enquanto outros não — por que algumas cidades, bairros e casas florescem, enquanto outras são tristes e desoladas. A chave, Alexander argumenta, foi que o design tem que ajustar seu contexto literal e cultural. E a melhor forma de assegurar que isto tenha sido feito, foi usar uma “linguagem padrão,” um conjunto de especificações de design para espaços humanos.

Mesmo para os não arquitetos, o livro é uma leitura estimulante. Há um padrão que descreve o recanto ideal para crianças (o teto deve ter entre 2 pés e 6 polegadas e 4 pés de altura) e outro para Lugares Elevados (High Places) “onde você pode olhar para baixo e pesquisar seu mundo.” “Toda sociedade que está viva e coesa,” escreve Alexander, “deverá ter sua própria linguagem padrão, única e distinta .”

Algumas das mais intrigantes partes do livro iluminam o padrão em que as cidades foram construídas. Alexander imagina duas metrópoles — a “cidade heterogênea,” onde as pessoas são misturadas, independente do estilo de vida e herança cultural e a “cidade dos guetos, “onde as pessoas são agrupadas estritamente por categoria. A cidade heterogênea “parece rica”, escreve Alexander, mas “na verdade ela atenua toda diversidade significativa e encarcera a maioria das possibilidades de diferenciação.” Embora haja uma ampla mistura de pessoas e culturas, todas as partes da cidade são diversas do mesmo jeito. Moldada pelo mínimo denominador comum cultural, a cidade parece a mesma em qualquer lugar que você vá.

Entretanto, na cidade dos guetos, algumas pessoas são aprisionadas no pequeno mundo de uma única subcultura que realmente não representa o que eles realmente são. Sem conexões e sobreposições entre comunidades, as subculturas que compõem uma cidade não evoluem. Como resultado, os guetos respiram estagnação e intolerância.

Mas, Alexander oferece uma terceira possibilidade: um feliz meio termo entre os guetos fechados e a massa indiferenciada das cidades heterogêneas. Ele chamou de o mosaico das subculturas. A fim de realizar este tipo de cidade, Alexander explica, designers devem encorajar a vizinhança com caráter cultural, “mas embora estas subculturas devam ser bem definidas, distintas e separadas, elas não devem ser fechadas; elas devem ser facilmente acessíveis umas às outras de forma a que uma pessoa possa se mover facilmente de uma cultura para outra e possa se acomodar naquela que melhor lhe convier.” O mosaico de Alexander é baseado em duas premissas sobre a vida humana: Primeiro, uma pessoa pode tornar-se por ele ou ela mesma, em um lugar onde ele ou ela “recebam apoio para as suas idiossincrasias a partir dos valores e pessoas que os cercam.” Segundo, como a citação do início deste texto sugere, você tem que ver muitas formas de viver para escolher a melhor forma de viver. Isto é o que as melhores cidades fazem: Eles cultivam uma vibrante variedade de culturas e permitem que seus cidadãos encontrem o caminho dos bairros e tradições onde eles se sintam mais em casa.

Alexander estava escrevendo sobre cidades, mas o que é bonito sobre A Linguagem Padrão é que ela pode ser aplicada a qualquer espaço no qual seres humanos se reúnem e vivem — incluindo a Internet.

As comunidades e nichos online são importantes. Eles são lugares onde novas ideias, estilos, temas e mesmo linguagens são formadas e testadas. São lugares onde nós podemos nos sentir mais em casa. Uma Internet construída como uma cidade heterogênea, descrita por Alexander, não seria um lugar muito agradável para se viver — um caos estonteante de fatos, ideias e comunicações. Mas da mesma forma, ninguém quer viver na cidade de guetos — e isso é onde a personalização, sendo muito aguda, pode nos sufocar. No seu pior, a bolha de filtragem nos confina à nossa própria vizinhança de informações, incapazes de ver ou explorar o resto do enorme mundo de possibilidades existentes online. Precisamos de nossos planejadores urbanos online para buscar um equilíbrio entre relevância e casualidade, entre o conforto de ver amigos e a alegria de encontrar desconhecidos, entre nichos acolhedores e espaços amplos e abertos.

O Que As Pessoas Podem Fazer

A pesquisadora de mídia social danah boyd estava certa quando chamou a atenção para o fato de que estamos correndo o risco de um “equivalente psicológico da obesidade.” Enquanto a criação de uma dieta saudável de informação exige uma ação por parte das empresas que fornecem a comida, ela não funciona a menos que nós também mudemos nossos hábitos. Os vendedores do xarope de milho não são susceptíveis de mudar suas práticas a menos que os consumidores demonstrem que estão buscando outras alternativas.

Eis aqui um ponto de partida: Deixe de ser um rato.

Em um episódio do programa de rádio This American Life, o apresentador Ira Glass pesquisava sobre como construir uma ratoeira mais eficiente. Ele conversou com Andy Woolworth, o homem da maior indústria de ratoeiras do mundo, que procurava ideias para novos design de armadilhas. As ideias propostas variavam de impraticáveis, (uma armadilha que mergulha o rato num anticoagulante que em seguida é expelido pelo balde) até um assustador (um projeto que mata roedores usando gás em pelotas).

Mas o engraçado é que eles são todos desnecessários. Woolworth tem um trabalho fácil, porque as armadilhas existentes são muito baratas e funcionam 88 por cento das vezes, num dia. Ratoeiras funcionam porque os ratos geralmente estabelecem uma rota de busca de alimentos em torno de 3 metros de onde eles vivem, retornando ao local dez vezes ao dia. Coloque uma ratoeira em sua vizinhança, e as chances de você pegar um rato são muito boas.

Muitos de nós somos quase como ratos em nossos hábitos de informação. Eu admito, sou assim: Existem três ou quatro sites na Web que eu busco frequentemente todo dia e raramente eu mudo ou adiciono algum novo no meu repertório. “Não importa se vivemos em Calcutá ou São Francisco,” me disse Matt Cohler, “nós todos fazemos a mesma coisa, mais e mais vezes na maioria do tempo. E pular fora deste circulo de repetições não é fácil.” É difícil quebrar hábitos. Mas logo que você toma conhecimento do ambiente onde você vive, quando você pega novos caminhos para ir trabalhar, variando dramaticamente o seu padrão online, mais aumenta sua probabilidade de encontrar novas ideias e pessoas.

Pelo simples fato de ampliar seus interesses em novas direções, você ganha um código de personalização com mais amplitude para trabalhar. Alguém que mostra interesse em ópera, histórias em quadrinhos, política da África do Sul e Tom Cruise é mais difícil de ser classificado do que alguém que mostra interesse em apenas um desses assuntos. Ao mover constantemente a lanterna de sua atenção, para o limite de seu conhecimento, você amplia sua percepção do mundo.
Sair do caminho batido, no início, é assustador, mas as experiências que temos quando nos deparamos com novas ideias, pessoas e culturas, são poderosas. Elas nos fazem sentir humanos. A casualidade é um atalho para a alegria.

Para alguns dos problemas da “cascata de identidade” abordados no capítulo 5, apagar regularmente em seu navegador de Internet, os cookies usados para identificar quem é você, é uma cura parcial. Hoje em dia, a maioria dos navegadores têm dispositivos bem simples para apagar cookies — você apenas seleciona Preferências ou Opções e escolhe “Apagar Cookies”. Muitas redes de propaganda personalizada estão oferecendo aos consumidores a opção de não participação. Estou postando uma lista atualizada e mais detalhada de sites com a opção de não participação, no site da Web para este livro.

Mas pelo fato de que a personalização é mais ou menos inevitável, optar pelo bloqueio total de cookies não é, particularmente, uma rota viável para muitos de nós. Você pode fazer todas as suas atividades online numa janela “incógnita”, onde pouco de sua informação pessoal é armazenada, mas isto será cada vez mais impraticável — muitos dos serviços simplesmente não vão funcionar da forma como se espera. (Isto é porque, como eu descrevi acima, eu não acho que a lista Não me Siga (Do Not Track) atualmente sob a consideração pelo FTC [órgão que controla e regula a Internet nos EUA] é uma estratégia viável.) Com certeza, o Google gera a personalização baseado no seu endereço de Internet, localização e alguns outros fatores, mesmo se você está inteiramente desconectado e num laptop novinho em folha.

A melhor abordagem é optar por usar sites que dão ao usuário mais controle e visibilidade sobre como seus filtros funcionam e como eles usam a sua informação pessoal.

Por exemplo, considere a diferença entre Twitter e Facebook. De muitas formas, os dois sites são muito parecidos. Ambos oferecem às pessoas a oportunidade de compartilhar informação e links para vídeos e fotografias. Ambos oferecem a oportunidade de ouvir das pessoas o que você quer ouvir e excluir as pessoas que você não quer ouvir.

Mas o universo do Twitter é baseado em poucas regras muito simples e mais transparentes — o que um patrocinador do Twitter chamou de “a fina lâmina de regulação.” A menos que você saia da conexão para bloquear a sua conta, tudo o que você faz é público para todos. Você pode “assinar” as publicações de qualquer um que você gostar sem a permissão dele, então você vê um fluxo de atualizações organizadas pela ordem temporal, que inclui tudo o que você está seguindo. Em comparação, as regras que governam o universo de informação do Facebook são irritantemente opacas e parecem mudar quase que diariamente. Se você postar uma atualização de status, seus amigos podem ou não vê-la, e você pode ou não ver a deles. (Isto é verdadeiro mesmo na visão da Most Recent, de que muitos usuários assumem mostrar todas as suas atualizações — impossível.) Diferentes tipos de conteúdos são suscetíveis de aparecer em proporção diferente — se você posta um vídeo, por exemplo, é mais provável de ser visto pelos seu amigos que uma atualização de status. E a informação que você compartilha com o próprio site é privada num dia e pública no outro. Não há desculpa, por exemplo, por perguntar aos usuários que declarem quais os sites da Web eles são “fãs” com a promessa de que isto será mostrado apenas para os seus amigos e então liberar a informação para todos, como o Facebook fez em 2009.

Em virtude de o Twitter operar em bases bem simples, regras facilmente entendidas, ele é também menos suscetível do que o investidor em novas empresas Brad Burnham (cuja empresa Union Square Ventures foi a primeira a investir no Twitter) chama de tirania do padrão. Há um grande poder ao se definir as opções do padrão quando são dadas escolhas para as pessoas. Dan Ariely, o economista comportamental, ilustra o principio com um gráfico mostrando taxas de doações de órgãos em diferentes países da Europa. Na Inglaterra, Holanda e Áustria, a taxa flutua em torno de 10 a 15 por cento, mas na França e Bélgica, a taxa de doação esta no topo de 90 por cento. Por quê? No primeiro conjunto de países, você tem que checar um box no site da organização dando permissão para você fazer a doação. No segundo, você tem que checar o box para dizer que você não quer fazer a doação.

Se as pessoas vão permitir que os padrões de configurações determinem o destino de seus amigos que necessitam de pulmões e corações, iremos, certamente, deixar que estes padrões determinem como nós compartilharemos informações a maior parte do tempo. Não porque somos estúpidos. Isto acontece porque vivemos ocupados, temos a atenção, com as quais tomamos decisões, limitada e geralmente confiamos que se qualquer um esta agindo de um jeito, é CERTO que façamos do mesmo jeito. Mas esta crença é frequentemente equivocada. O Facebook tem exercido esse poder com grande intencionalidade — alterando os padrões nas configurações de privacidade a fim de incentivar a maioria das pessoas a tornar seus posts mais públicos. Pelo fato de os arquitetos de software claramente entenderem o poder do padrão e usá-lo para tornar seus serviços mais lucrativos, sua alegação de que o usuário “pode” optar por não permitir acesso a suas informações pessoais parece algo hipócrita. Com poucas regras e um sistema mais transparente, há menos padrões para se configurar.

O departamento de Relações Públicas do Facebook não retornou meus e-mails com a solicitação de uma entrevista (talvez porque a visão crítica do MoveOn sobre as praticas de privacidade do Facebook são bem conhecidas). Mas, provavelmente argumentaria que dá aos seus usuários muito mais escolha e controle, sobre como eles usam o serviço, do que o Twitter. Pois é verdade que o painel de controle de opções do Facebook tem uma lista de dezenas de opções diferentes para os seus usuários.

Mas para que uma pessoa tenha o controle, você tem que deixar bem claro quais são estas opções, porque as opções geralmente existem somente na medida em que são percebidas. Este é o problema que muitos de nós enfrentamos quando vamos programar nossos gravadores de vídeo: Os dispositivos têm todo tipo de funções, mas para descobrir como fazer com que elas funcionem é um exercício frustrante que consome uma tarde. Quando isto se transforma numa tarefa tão importante como proteger sua privacidade e ajustar os filtros online, dizer que você consegue entender tudo se você ler o manual, o suficiente, não é uma resposta convincente.
Em suma, no momento da redação deste texto, o Twitter torna bastante simples gerenciar seu filtro e entender o que ele está mostrando, quanto e o porque. Ao passo que o Facebook torna isto quase impossível. Considerando que todas as demais coisas são iguais, se você esta preocupado em ter controle sobre sua bolha de filtragem, é melhor usar serviços como Twitter do que serviços como o Facebook.

Nós vivemos numa sociedade cada vez mais algorítmica (programada), onde nossas funções públicas, de políticas de banco de dados a redes de energia, até escolas são executadas através de aplicativos. Temos que reconhecer que os valores sociais sobre justiça, liberdade e oportunidade estão subsumidos na forma como os códigos dos programas são escritos e como eles funcionam. A partir do momento em que nós pudermos entender isto, nós poderemos entender as variáveis que nos importam e imaginar como poderemos resolver de forma diferente.

Por exemplo, advogados buscando resolver o problema de influência ilegal na política — o processo de bastidores que divide um distrito eleitoral a favor de um partido ou outro [os conchavos] — há muito tempo foi sugerido que podemos substituir os políticos envolvidos usando um software. Isto parece muito bom: Começa com alguns princípios básicos, entrada de dados da população, e a produção de um novo mapa político. Mas isto não necessariamente resolve o problema, porque o que o algoritmo resolve tem consequências políticas: Tanto faz se o fato de o software buscar agrupar por cidades ou grupos étnicos ou fronteiras naturais puder determinar quais dos partidos manterão seus lugares no Congresso e quais não. Se o eleitorado não prestar muita atenção para o que o algoritmo esta fazendo, ele pode ter o resultado oposto ao efeito pretendido — sancionando um acordo partidário com a chancela de código “neutro”.

Em outras palavras, literalmente está se tornando mais importante desenvolver o nível básico dos algoritmos. Cada vez mais, os cidadãos terão que avaliar e julgar os sistemas programados que afetam nossa vida pública e nacional. Mesmo se você não seja fluente o suficiente para ler através das milhares de linhas do código do programa, o conceitos de programação dos blocos — como controlar as variáveis, loops e memória — pode iluminar como estes sistemas funcionam e onde eles podem produzir erros.

Especialmente no começo, aprendendo o básico da programação é ainda mais compensador que aprender uma língua estrangeira. Com algumas poucas horas e uma plataforma básica, você pode obter esta experiência de “Alô, Mundo” e começar a por as suas ideias em prática. Dentro de algumas semanas, você pode compartilhar estas ideias com toda a Web. Maestria, como em qualquer profissão, exige mais tempo, mas a recompensa por um investimento limitado em codificação é razoavelmente grande: Não demora muito para se tornar conhecedor o suficiente para entender o que os bits de um código fazem.

Mudar nosso comportamento é parte de um processo para explodir a bolha de filtragem. Mas é de uso limitado a menos que as companhias que estão impulsionando a personalização também mudem.

O Que As Empresas Podem Fazer

É compreensível que, dado seus meteóricos crescimentos, os Googles e Facebooks do mundo online tem sido lentos em reconhecer suas responsabilidades. Mas é crítico o fato de que eles reconheçam suas responsabilidades públicas logo. Não é mais suficiente dizer que a Internet personalizada é só uma função das máquinas, de busca por relevância, executando suas tarefas.

Os novos dispositivos de filtragem podem começar tornando seu sistema de filtros mais transparente para o publico, de forma tal que seja possível ter um debate sobre como, a princípio, eles exercem suas responsabilidades.

Como disse Larry Lessig, “Uma responsabilidade política é possível somente quando a regulamentação é transparente.” Há mais que uma pequena ironia no fato de que as companhias cujas ideologias públicas giram em torno de abertura e transparência, sejam elas mesmas tão opacas.

Facebook, Google e seus sistemas de filtragem irmãos afirmam que revelar qualquer coisa sobre seu processo algorítmico seria o mesmo que revelar segredos de negócios. Mas, a princípio, essa defesa é menos convincente do que parece. As principais vantagem de ambas as empresas encontra-se no número extraordinário de pessoas que confiam nelas e usam os seus serviços (lembrou de bloquear?). De acordo com o blog Search Engine Land, de Danny Sullivan, os resultados do buscador Bing são “altamente competitivos” em relação ao do Google, mas ele tem uma fração de usuários em relação ao seu mais poderoso rival. Não é um problema de matemática o que mantém o Google na liderança, mas o grande número de pessoas que o utilizam todos os dias. O ranqueador de páginas (PageRank) e as demais partes do robot de busca do Google são, na verdade, os segredos mais bem guardados do mundo”, diz o associado do Google Amit Singhal.

O Google tem argumentado que ele necessita manter seu algoritmo de busca sob rigorosa proteção porque se ele se tornar conhecido será mais fácil de ser manipulado. Mas os sistemas abertos são mais difíceis de serem manipulados do que os fechados, precisamente porque todos compartilham um interesse em fechar as brechas. O sistema operacional de código aberto da Linux, por exemplo, é realmente mais seguro e mais difícil de invadir com um vírus do que aqueles fechados como o Windows da Microsoft ou o OSX da Apple.

Pelo sim pelo os códigos abertos tornam os produtos de filtragem mais seguros ou eficientes, manter os códigos sob severa restrição de acesso gera uma coisa: Ele protege estas companhias da prestação de contas sobre as decisões que eles estão tomando, porque as decisões são difíceis de serem observadas de fora. Mas mesmo se a total transparência seja impossível, é possível para estas companhias lançar mais luz em como eles abordam os problemas da classificação e filtragem.

Por um lado, Google e Facebook e outros novos gigantes da mídia poderiam se inspirar na história dos ombudsman dos jornais, que se tornaram notícia importante em meados da década de 1960.

Philip Foisie, um executivo da empresa Washington Post, escreveu um dos mais memoráveis memorandos argumentando sobre esta prática. “Não é suficiente dizer, ele sugeriu, “que nosso jornal, na forma como ele aparece cada manhã, tem sua própria crença, que em última instância nós somos nosso ombudsman. Isto não esta provado ser, provavelmente não poderá ser. Mesmo que fosse, isto não poderia ser visto como tal. É demais pedir ao leitor que acredite que somos capazes de ser honestos e objetivos sobre nós mesmos”. O Post achou seu argumento convincente e contratou seu primeiro ombudsman em 1970.

“Nós sabemos que a mídia é uma grande dicotomia,” disse há muito tempo o ombudsman do Sacramento Bee, Arthur Nauman, num discurso em 1994. Por outro lado ele disse que a mídia tinha que operar como um negócio de sucesso que proporciona o retorno do investimento: “Mas, por outro lado, ela é um bem público, uma espécie de utilidade pública. Ela é um instituição investida de um enorme poder na comunidade, o poder de afetar pensamentos e ações pela forma de cobrir as notícias — o poder de atacar ou apoiar o senso comum.” Este é o espírito com que a nova mídia deve fazer o melhor para canalizar. Nomeando um ombudsman independente e dando ao mundo mais insight em relação a como os algoritmos de filtragem trabalham, pode ser um primeiro passo.

Transparência não significa somente que as entranhas de um sistema estão disponíveis para a exibição pública. Como a dicotomia Twitter versus Facebook demonstra, ela também pode significar que um usuário individual compreenda intuitivamente como o sistema funciona. Esta é uma necessária précondição para que as pessoas controlem e usem as ferramentas — aos invés de terem o controle das ferramentas e nos usar.

Para começo de conversa, devemos ser capazes de ter uma melhor noção do que estes sites pensam quem nós somos. O Google afirma que isso pode ser possível com um painel “dashboard” — um lugar único para monitorar e gerenciar todos esses dados. Na prática, seu design confuso e multifacetado torna quase impossível, para um usuário médio, navegar e entender.

Facebook, Amazon, e outras companhias não permitem que os usuários façam download de seus dados completos nos EUA, embora as leis de privacidade na Europa os forcem a permitir. Existe uma expectativa inteiramente razoável de que os dados que os usuários fornecem às empresas devam ser disponibilizados para nós e que esta expectativa é uma das, de acordo com a Universidade da Califórnia em Berkeley, que a maioria dos estadunidenses compartilham. Devemos ser capazes de dizer, “você está errado. Talvez eu costumava ser um surfista ou um fã de histórias em quadrinhos, ou um democrata, mas eu não sou mais.”

Saber quais informações os programadores de personalização têm sobre nós não é suficiente. Eles também precisam fazer um melhor trabalho explicando como eles usam os dados — que bits de informação são personalizados, em que medida e em que base. Um visitante de um site de notícias personalizado poderia ter a opção de ver como os demais visitantes estavam vendo quais artigos — talvez até mesmo um mapa visual, em cores, das áreas de uso comum e divergências. Claro, isso exige admitir para o usuário que a personalização está acontecendo em primeiro lugar e há fortes razões, em alguns casos, para as empresas agirem assim. Mas as razões são comerciais, nenhuma delas ética.
Atualmente, o Departamento de Propaganda Interativa (The Interactive Advertising Bureau, esta pressionando nesta direção. O grupo associativo da indústria de publicidade on-line, o IAB, concluiu que a menos que os anúncios personalizados revelem aos usuários o modo como eles são personalizados, os consumidores vão se sentir contrariados e exigir uma regulação federal. Então ele (o IAB) está encorajando seus membros a incluir um conjunto de ícones em cada anúncio para indicar quais dados pessoais o anúncio carrega e como mudar ou bloquear esse conjunto de recursos. Como os provedores de conteúdo incorporaram as técnicas de personalização que foi iniciada pela publicidade e pelo marketing direto, eles devem também considerar a incorporação destas garantias.

Mesmo assim, só a boa vontade não resolve o problema a menos que seja conjugado com um foco nessas empresas na otimização de diferentes variáveis: mais desprendimento, um sentido de identidade com mais nuances e mais humanístico, uma promoção ativa das questões públicas e cultivo da cidadania. Na medida em que os computadores não têm consciência, empatia e inteligência, muito será perdido na brecha entre nossas identidades reais e os bits que possam ser processados em ambientes personalizados. Como eu apresentei no Capítulo 5, os algoritmos de personalização pode causar repetição de identidades, nas quais o que o código sabe sobre você compõe o seu ambiente midiático e o seu ambiente midiático contribui para moldar as suas futuras preferências. Este é um problema evitável, mas isto requer a elaboração de um algoritmo que priorize a “falsificabilidade,” isto é, um algoritmo que busque desaprovar a ideia de quem você é. (Se o Amazon ancorar um palpite de que você é um leitor de romance policial, por exemplo, ele poderia te apresentar ativamente com opções dos outros gêneros para completar a percepção de quem você é.)

As empresas que detêm grande poder curatorial também precisam fazer mais para cultivar a cidadania e espaço público. Para ser justo, eles já estão fazendo um pouco disto: visitantes do Facebook no 2 de novembro de 2010, [Eleições para o Congresso dos EUA), foram recebidos por um banner pedindo-lhes para indicar se já haviam votado. Aqueles que tinham votado compartilharam a novidade com seus amigos; pelo fato de algumas pessoas votarem em função da pressão social, é bem possível que o Facebook tenha aumentado o número de eleitores. Da mesma forma, o Google tem feito um intenso trabalho para tornar as informações sobre os locais de votação mais conhecidos e facilmente disponíveis e destacou sua ferramenta em sua página inicial no mesmo dia. Seja ou não um comportamento lucrativo (um “encontre o seu lugar de votar” o recurso presumivelmente seria um ótimo lugar para a propaganda política) ambos os projetos chamaram a atenção dos usuários para o engajamento político e cidadania.

Muitos jornalistas e engenheiros de tecnologia com quem conversei levantaram as sobrancelhas quando eu perguntei se os algoritmos de personalização poderiam ter um desempenho melhor nesta frente. Afinal de contas, um deles disse, quem pode indicar o que é importante? Para os engenheiros do Google, valorizar algum tipo de informação em relação a outras poderia ser antiético — embora, é claro, isto seja precisamente o que os próprios engenheiros façam o tempo todo.

Sendo claro, não espero voltar aos bons velhos tempos quando um pequeno grupo poderosos editores decidiam unilateralmente o que era importante. Muitas histórias realmente importantes (o genocídio em Ruanda, por exemplo) caíram na vala, enquanto muitas realmente sem importância ganham as primeiras páginas. Mas eu também não penso que nós devêssemos descartar totalmente esta abordagem. O Yahoo News sugere que existe alguma possibilidade para o meio termo: O time do Yahoo News combina algoritmo de personalização com a velha escolha da liderança editorial. Algumas histórias são visíveis para qualquer um porque elas são surpreendentemente importantes. Outras aparecem para uns e não para outros usuários. Enquanto o time editorial no Yahoo gasta muito tempo interpretando os dados clicados e observando quais artigos funcionam melhor e quais não, eles não são subservientes a isto. “Nossos editores pensam nos usuários como pessoas com interesses, como um oposto ao dilúvio de dados direcionais,” um funcionário da Yahoo News me disse. “como nós amamos os dados, eles estão sendo filtrado por seres humanos que estão pensando sobre o que diabos isso significa. Por que não o artigo sobre este tema, que pensamos seja importante para os nossos leitores saberem como viver melhor? Como podemos contribuir para que estes artigos encontrem um público maior?

Consideremos que existem soluções totalmente algorítmicas. Por exemplo, não confiar na ideia de todos sobre o que é importante? Imagine, por um momento que, próximo do botão Gostei (Like) no Facebook, houvesse um botão Importante (Important). Você poderia marcar itens com um ou outro ou ambos. E o Facebook poderia destacar uma mistura ou ambos os sinais — o que as pessoas gostassem, e o que elas pensassem que realmente fosse importante — para popularizar e personalizar sua página inicial (Feed News). Você apostaria que notícias sobre o Paquistão poderiam ser vistas mais frequentemente — mesmo considerando a definição comum bastante subjetiva sobre o que realmente é importante. A filtragem colaborativa não precisa levar à mídia compulsiva: toda a questão esta em quais valores os filtros tentam expor. Alternativamente, Google ou Facebook poderiam colocar uma barra de controle deslizante funcionando de “só gosto de coisas” para “coisas que outras pessoas gostam e que eu provavelmente vou odiar” no topo dos resultados de pesquisa e na Página Inicial (Feed News), permitindo que os usuários definam o seu próprio equilíbrio entre personalização estrita e um fluxo de informações mais diversificado. Esta abordagem teria duas vantagens: ela iria colocar, o usuário no controle de forma mais firme.

Há mais uma coisa que os engenheiros da bolha de filtragem podem fazer. Eles podem resolver de forma aleatória, através da concepção de sistemas de filtragem para expor às pessoas, tópicos com simples otimização a curto prazo, porque (por definição), um sistema de personalização com um elemento de aleatoriedade terá menos cliques. Mas na medida em que os problemas de personalização se tornarem mais conhecidos, a longo prazo pode ser uma boa jogada — os consumidores podem escolher os sistemas que são bons em lhes apresentar novos tópicos. Talvez o que precisamos é um tipo de anti-Prêmio Netflix — um Prêmio de Aleatoriedade para sistemas que são os melhores em prender a atenção do leitor ao apresentar novos assuntos e ideias.

Se esta mudança no sentido das responsabilidades corporativas parecem improváveis, não é sem precedentes. Nos meados de 1800, imprimir um jornal nem sempre era um negócio respeitável. Os jornais eram ferozmente partidários e imprudentemente ideológicos. Constantemente alteravam fatos para suprir a vingança do dia, de seus proprietários, ou apenas para acrescentar lenha na fogueira. Foi esta cultura do comercialismo crasso e da manipulação que Walter Lippmann criticou em Liberdade e Imprensa (Liberty and the News).

Mas na medida em que os jornais tornaram-se altamente lucrativos e importantes, eles começaram a mudar. Em algumas poucas grandes cidades foi possível imprimir jornais que não estavam apenas atrás de escândalos e sensacionalismo — em parte, porque seus proprietários poderiam bancar isto. Os tribunais começaram a reconhecer um interesse público no jornalismo e regulamentavam de acordo. Os consumidores começaram a demandar uma edição mais rigorosa e escrupulosa.
Encorajados pelos escritos de Lippmann, uma ética editorial começou a tomar forma. Isso nunca foi partilhado ou seguido universalmente, tal como poderia ter sido. Isso sempre foi comprometido pelas demandas de negócios dos proprietários dos jornais e acionistas. Isto falhou completamente de forma repetida — acesso ao poder dos corretores comprometendo o dizer a verdade e as exigências dos anunciantes, superaram as demandas dos leitores. Mas no final, conseguiu-se, de alguma forma, observando através de um século de tumulto.

A tocha agora está sendo passada para uma nova geração de curadores, e nós precisamos que eles a peguem e a carreguem com orgulho. Precisamos de programadores que irão construir a vida pública e a cidadania nos mundos que eles vão criar. E precisamos de usuários que irão detê-los para, quando a pressão da monetização pressioná-los num uma direção diferente. (veja mais sobre o assunto aqui)

O Que os Governantes e os Cidadãos Podem Fazer

Há muita coisa que as empresas que mantém a bolha de filtragem podem fazer para atenuar as consequências negativas da personalização — as ideias acima são apenas um começo. Mas, afinal, alguns destes problemas são demasiadamente importantes para serem deixados em mãos de agentes privados com motivação para a busca de lucros. Este é o momento em que os governos devem agir.

Em última análise, como Eric Schmidt disse a Stephen Colbert, o Google é apenas uma empresa. Mesmo havendo maneiras de abordar estas questões que não afetem os resultados — o que pode muito bem pode ser — agir simplesmente dessa forma nem sempre será uma prioridade de alto nível.

Como resultado, após cada um de nós termos feito a nossa parte para explodir a bolha de filtragem, e depois de as empresas terem feito o que estão dispostas a fazer, provavelmente haverá uma necessidade de supervisão do governo para garantir que possamos controlar nossas ferramentas on-line e não o contrário.

Em seu livro Republic.com, Cass Sustein sugere um tipo de “doutrina justa” para a Internet, na qual os agregadores de informação terão que expor seu público –visitantes — a ambos os lados. Embora mais tarde ele tenha mudado de ideia, a proposta sugere uma direção para a regulamentação: Basta que os curadores passem a se comportar na direção do público, expondo seus leitores a diversas formas de argumento. Eu sou cético, por algumas razões Sustein abandonou a ideia: A curadoria é matizada, coisa dinâmica, uma arte, tal como a ciência e é difícil de imaginar como a regulação da ética editorial não posso inibir tanta experimentação, diversidade estilística e crescimento.

No momento em que este livro vai para a gráfica, a Comissão Federal de Comércio dos Estados Unidos (U.S. Federal Trade Commission) propõe uma lista de Não Me Rastreie (Do Not Track list), modelada a partir da altamente bem sucedida Não Registre meu telefone na lista (Do Not Call list). À primeira vista, parece muito bom: poderia configurar um único lugar de optar por sair do rastreamento on-line que alimenta a personalização. Mas a lista do Não Me Rastreie provavelmente iria oferecer uma escolha binária — ou você está fora — e serviços que fazem dinheiro com o rastreamento podem simplesmente ser desativados para os membros da lista Não Me Rastreie. Se a maioria da Internet é abstrata para essas pessoas, eles rapidamente vão deixar a lista. E como resultado, o tiro pode sair pela culatra — “provando” que as pessoas não se importam com o rastreamento, quando na verdade o que a maioria de nós quer é maneiras mais matizadas de assegurar o controle.
O melhor ponto de vantagem, a meu ver, é exigir das empresas que nos deem o controle real sobre nossas informações pessoais. Ironicamente, apesar da personalização on-line ser relativamente nova, os princípios que deveriam apoiar essa alavancagem foram claros por décadas. Em 1973, o Departamento de Habitação, educação e Bem-Estar sob o governo Nixon recomendou este núcleo de regulamentação que ele chamou de Práticas de Informações Justas (Fair Information Practices):

  • Você deve saber quem tem os seus dados pessoais, que dados eles têm e como eles usam estes dados.
  • Você deve ser capaz de impedir que as informações coletada sobre você para uma finalidade possam ser usadas para outras.
  • Você deve ser capaz de corrigir informações incorretas sobre você.
  • Seus dados devem ser seguros.

Quase quarenta anos mais tarde, os princípios continuam basicamente certos, e ainda estamos esperando que eles sejam aplicados. Não podemos esperar muito mais tempo: em uma sociedade com um número crescente de trabalhadores do conhecimento, nossos dados pessoais e “marca pessoal” valem mais do que jamais valeram. Especialmente se você é um blogueiro ou um escritor, se você faz vídeos engraçados ou música, ou se você é um consultor pessoal, ou psicanalista, sua trilha de dados on-line é um dos seus ativos mais valiosos. Mas enquanto é ilegal usar a imagem de Brad Pitt para vender um relógio sem sua permissão, o Facebook é livre para usar seu nome para vender algo para seus amigos.

Nos tribunais em todo o mundo, os negociadores de informações estão forçando esta visão — “todo mundo esta melhor se sua vida on-line estiver sob nossos cuidados”. Eles argumentam que as oportunidades e o controle que os consumidores obtém usando suas ferramentas gratuitas superam o valor dos seus dados pessoais. Mas os consumidores são completamente desaparelhados para fazer esse cálculo — enquanto o controle que você ganha é óbvio, o controle que você perde (porque, vale dizer, seus dados pessoais são usados para negar uma oportunidade futura), é invisível. A assimetria do entendimento é grande.

Para piorar as coisas, mesmo que você cuidadosamente leia a política de privacidade da empresa e decide que dando mais direitos aos seus dados pessoais é válido nessas condições, a maioria das empresas se reserva o direito de alterar as regras do jogo a qualquer momento. O Facebook, por exemplo, prometeu aos seus usuários que se fizessem uma conexão com uma Página, essa informação só iria ser compartilhada com seus amigos. Mas em 2010, ele decidiu que todos os dados deveriam ser tornados totalmente públicos, uma cláusula na política de privacidade do Facebook (tal como em muitas políticas de privacidade das corporações) lhes permite mudar as regras de forma retroativa. De fato, isto lhes dá quase que um poder ilimitado para expedir dados como bem entenderem.

Para aplicar as Práticas de Informações Justas (Fair Information Practices), precisamos começar a pensar em dados pessoais como uma espécie de propriedade pessoal e protegendo nossos direitos nela. A personalização é baseada em uma transação econômica em que os consumidores estão numa desvantagem inerente: Enquanto o Google pode saber quanto a sua corrida vale para o Google, você não. Enquanto os benefícios são óbvios (e-mail gratuito!), as desvantagens (perda de oportunidades e conteúdos) são invisíveis. Pensar em informações pessoais como uma forma de propriedade ajudaria a fazer disto um mercado mais justo.

Embora informações pessoais seja propriedade, é um tipo especial de propriedade, porque você ainda tem um grande interesse em seus próprios dados tempos depois de ele ter sido exposto. Você provavelmente não iria querer que os consumidores possam vender todos os seus dados pessoais, de forma perpétua. As “leis morais”, da França em que artistas mantém algum controle sobre o que foi produzido com uma peça, depois de vendida, podem ser um modelo melhor. (Falando na França, enquanto as leis europeias são muito mais próximas das Práticas de Informações Justas na proteção de informações pessoais, em muitos casos a aplicação é pior, em parte porque é muito mais difícil para as pessoas processar por violações das leis.)

Marc Rotenberg, diretor executivo do Centro de Informação Eletrônica Privada , disse, “Nós não devemos ter que aceitar como um princípio, que nós temos serviços gratuitos na Internet sem grandes violações de privacidade.” E isto não se trata de privacidade. Trata-se também sobre como nossos dados moldam o conteúdo e oportunidades do que vemos e do que não vemos. Trata-se de estar apto a rastrear e gerenciar esta constelação de dados que representa nossas vidas com a mesma facilidade com que empresas como Acxiom e Facebook já o fazem.

Tecnólogos do Vale do Silício (Silicon Valley) por vezes retratam isto como uma luta invencível — as pessoas perderam o controle de seus dados pessoais, elas nunca vão recuperá-las, apenas têm que crescer e viver com isto. Mas os requisitos legais sobre informações pessoais não precisam ser infalíveis para funcionar, qualquer exigência mais do que as legais para não roubar são inúteis, porque as pessoas, às vezes, ainda roubam coisas e fogem com elas. A força da lei adiciona fricção na transmissão de alguns tipos de informação — e em muitos casos, uma pequena fricção muda muito.

Existem leis que protegem a informação pessoal mesmo nos dias de hoje. A Lei dos Relatórios do Crédito Justo (Fair Credit Reporting Act), por exemplo, assegura que as agencias de crédito têm que liberar seus relatórios de credito aos consumidores e notificar os consumidores quando eles são discriminados contra, com base nos relatórios. Isto não é muito, mas dado que anteriormente os consumidores não podiam sequer ver se os seus relatórios de crédito (e que 70 por cento tinham, de acordo com o U.S. PIRG, este é um passo na direção certa.

Um passo maior estaria estabelecendo uma agência para supervisionar o uso das informações pessoais. A União Europeia e a maioria das outras nações industriais têm este tipo de supervisão, mas os Estados Unidos têm relutado, dispersando as responsabilidades de proteger informações pessoais entre a Comissão de Comércio Federal, o Departamento de Comércio e outros órgãos. Como entramos na segunda década do século XXI, já passou o tempo de levar esta preocupação a sério.

Nada disto é fácil: dados privados são um alvo móvel, e o processo de equacionamento entre consumidores e os interesses dos cidadãos contra os dessas empresas custará muito para uma sintonia fina. Na pior das hipóteses, novas leis poderiam ser mais onerosas do que as práticas que pretendem evitar. Mas isso é um argumento para fazer isto bem e fazê-lo logo, antes que as empresas que lucram com informações privadas tenham ainda maiores incentivos para tentar bloquear estas leis antes que sejam aprovadas.

Dado o dinheiro a ser ganho e o poder que o dinheiro exerce sobre o sistema legislativo americano, esta mudança não será fácil. Então para resgatar nosso ambiente digital como tal, em última análise, vamos precisar uma nova circunscrição dos ambientalistas digitais — cidadãos deste novo espaço que estamos todos construindo que se juntam para proteger o que há de melhor sobre ele.

Nos próximos anos, serão escritas as regras que irão reger a próxima década ou mais da vida on-line. E os grandes conglomerados on-line estão se alinhando para ajudar a escrevê-las. Os gigantes das comunicações que possuem infraestrutura física da Internet têm muita influência política. AT&T supera as companhias petrolíferas e empresas farmacêuticas como um dos quatro maiores contribuintes corporativos da política nos EUA. Os conglomerados intermediários, como o Google têm a importância da influência política, também: Eric Schimdt é um frequentes visitantes da Casa Branca, e empresas como Microsoft, Google e Yahoo gastaram milhões na prática da influência em Washington, D.C. Com toda a onda da Web 2.0 sobre empoderamento, é irônico que o velho ditado ainda se aplica: na luta pelo controle da Internet, todos estão organizados, exceto as pessoas.
Mas isso é só porque a maioria de nós não está na luta. Pessoas que usam a Internet e são investidas em seu futuro superam os lobistas corporativos por ordens de magnitude. Há literalmente centenas de milhões de nós através de todos os dados demográficos — políticos, étnicos, sócio econômicos e geracionais — que têm um interesse pessoal no resultado. E há muitas pequenas empresas on-line que têm todo o interesse em garantir uma Web democrática, espírito público. Se a grande massa de gente como nós decidir que uma Internet aberta de espírito público importa e falar sobre isso — se nos juntarmos a organizações como a Imprensa Livre (Free Press) (um lobby popular apartidário para reforma da mídia) e fazer pressão sobre o Congresso e atuar nas reuniões e órgãos legislativos locais e contribuir com doações para os deputados e senadores que estão liderando a questão — os lobistas não terão chances.

Como bilhões passaram a estar online na Índia, Brasil e África, a Internet está se transformando em um lugar verdadeiramente global. Cada vez mais ela será o lugar onde vivemos nossas vidas. Ao fim e ao cabo, um pequeno grupo de companhias americanas pode ditar unilateralmente como bilhões de pessoas trabalham, jogam, comunicam e compreendem o mundo. Proteger a visão inicial da conectividade radical e controle do usuário deve ser uma prioridade urgente para todos nós.

*[N.T. Preferi traduzir a expressão “filter bubble” como bolha de filtragem para manter a imagem sugerida no original — a bolha de filtragem do Google, Facebook etc.,].

--

--

Joatan Berbel
Reberbel

Pesquisador e produtor de conteúdos em multilinguagem