Como avaliar a efetividade de ferramentas de e-participação social: aplicação dos indicadores (Parte 2)
No finalzinho de junho, refletimos aqui sobre processos participativos de instituições públicas — da Câmara dos Deputados, em particular — e de que maneira seria possível avaliar a efetividade das ferramentas on-line. Nessa primeira parte do texto, foram apresentadas as principais preocupações que levaram à pesquisa, a metodologia diferenciada e os indicadores selecionados por especialistas em participação social para serem aplicados na avaliação dessas ferramentas.
A proposta do estudo era descobrir de que maneira é realizada a mediação institucional em ferramentas on-line, do processo de recebimento da colaboração do cidadão (opiniões, votos, sugestões, entre outros formatos) até a entrega do resultado processado aos parlamentares. Em outras palavras, de acordo com os indicadores avaliados pelos 30 especialistas (gestores públicos, acadêmicos e representantes das entidades da sociedade civil), os processos de participação social da Câmara dos Deputados seriam efetivos ou só “pra inglês ver”?
Pois é hora da mão na massa!
Tínhamos os 15 indicadores e uma seleção de quatro ferramentas institucionais de participação social da Câmara, escolhidas de acordo com suas dinâmicas distintas de participação relacionadas às etapas do processo legislativo. Para a fase inicial, de identificação de um problema existente e sugestão de proposta, a opção foi pelo “Banco de Ideias”. Como alternativas/argumentos na avaliação de um projeto inicial, temos as “Enquetes”. O “Wikilegis” para uma etapa posterior, de colaboração na construção do texto dos relatores. E, finalmente, a “Pauta Participativa” para o momento de tomada de decisão, pois está relacionada à escolha dos cidadãos sobre as proposições que devem e as que não devem entrar na pauta para serem votadas pelos deputados (confira mais detalhes sobre cada ferramenta nos capítulos 3 e 5 da pesquisa).
Essa categorização seguiu a abordagem Crowdlaw Research Agenda: Law and Policymaking Cycle, elaborada por Beth Noveck no GovLab da Universidade de Nova Iorque e bastante difundida atualmente no Brasil por vários pesquisadores. A ideia era justamente abordar e testar a aplicação dos indicadores em diferentes modelos de ferramentas e de etapas de processo participativo. Isso também possibilitaria a utilização da metodologia por outras instituições, tanto para avaliação como para auxiliar nos processos de criação de novas ferramentas de participação on-line. Esse cuidado também foi observado na construção dos indicadores, que tiveram uma abordagem mais geral e não específica por tipo de ferramenta, podendo ser aplicados em qualquer processo participativo.
Abaixo, para recapitular e facilitar o acompanhamento, a tabela dos 15 indicadores selecionados e a pontuação total e por grupos de especialistas. No topo do ranking, clareza; contextualização; privacidade de dados e acessibilidade, os critérios mais valorizados, que chegaram próximos ao total de 60 pontos possíveis (Mais detalhes na parte 1 deste texto ou no capítulo 4 da pesquisa).
Avaliação da efetividade
O próximo passo era determinar os meios para se fazer essa avaliação (cruzamento dos indicadores com as quatro ferramentas) e a nova escala a ser utilizada. A escala para análise de cada ferramenta variou de baixa efetividade (não cumpre o indicador), que corresponde a nenhum ponto, até alta efetividade (cumpre plenamente o indicador), que corresponde a 1 ponto, passando por média efetividade (cumpre em parte), que equivale a 0,5 ponto. Para essa avaliação, foram utilizadas pesquisas nos locais de armazenamento das ferramentas (Portal da Câmara e Portal e-Democracia); fontes documentais da instituição; aplicação de teste de acessibilidade por simulador (ASES, o Avaliador e Simulador de Acessibilidade em Sítios desenvolvido pelo Ministério do Planejamento e utilizado por órgãos públicos); e consultas aos responsáveis pela gestão, desenvolvimento ou manutenção das ferramentas. Caso você tenha interesse, o processo de avaliação, parte mais extensa da pesquisa, foi descrito em detalhes no capítulo 5, de forma que pudesse ser replicado por outras instituições.
Após o cruzamento de cada um dos 15 indicadores por ferramenta e a totalização dos pontos seguindo a escala acima (máximo 15 pontos, 1 ponto para cada indicador considerado cumprido), Enquetes obteve 10 (66,7% do total possível), ficando em primeiro lugar no ranking de efetividade. O Wikilegis recebeu 9,5 pontos (63%); seguido pela Pauta Participativa, com 8,5 pontos (56,7%). A ferramenta Banco de Ideias não conseguiu cumprir totalmente nenhum dos indicadores, ficando bem abaixo da média na escala de efetividade, com apenas 2 pontos (13%).
O quadro geral indica que a Câmara tem desempenho satisfatório na mediação dos resultados que chegam para a esfera política originados na participação social em três das ferramentas avaliadas. Porém, com a nota máxima de 66,7%, o estudo sugere que todas as ferramentas analisadas têm possibilidade de melhorar seus processos na etapa de mediação institucional, do recebimento dos inputs da sociedade até a chegada dos respectivos resultados aos parlamentares.
Indicadores mais críticos
Um resultado que chama a atenção e que poderia render um bom debate (ou brainstorming para prototipação de solução) é que nenhuma das quatro ferramentas cumpriu os indicadores feedback e feedback final. Eles se referem às informações ao participante sobre a possível mudança no status daquela proposição (vai ser votada pelo plenário? foi arquivada?) e a influência da opinião pública na decisão final sobre aquele tema (o parlamentar ou responsável pela tomada de decisão chegou a se manifestar sobre o resultado da participação, mesmo que mantenha uma opinião contrária?). Nenhum dos indicadores também foi cumprido integralmente pelas quatro ferramentas, muito por causa do desempenho do Banco de Ideias, que não atingiu alta efetividade em nenhum dos critérios. Se levarmos em conta, então, as outras três ferramentas que obtiveram média na avaliação geral, em comum somente três indicadores apresentaram efetividade: cadastramento único, privacidade de dados e publicização. No geral, as três ferramentas conseguiram cumprir, integralmente, pelo menos seis dos 15 indicadores.
Entrando agora no detalhamento, Wikilegis e Pauta Participativa, ambas desenvolvidas pelo LABHacker, apresentaram um resultado bem similar, com alta efetividade para abertura, armazenamento de dados, cadastramento único, privacidade de dados e publicização. A diferença entre elas ficou no cumprimento de clareza, para o Wikilegis, e de contextualização, para a Pauta Participativa. Enquetes, que cumpriu integralmente sete indicadores, também atingiu efetividade em cadastramento único, privacidade de dados e publicização, mas outros quatro foram diferentes das demais: clareza, critérios de seleção, simplificação/usabilidade e transparência.
O lanterninha do ranking, Banco de Ideias, não cumpriu 11 dos 15 indicadores, somando a feedback e feedback final (que nenhuma das outras três cumpriu) abertura, armazenamento, cadastramento único, critérios de seleção, divulgação, privacidade dos dados, publicização, segurança e simplificação/usabilidade. Esse resultado deixou clara a necessidade de uma reformulação geral deste processo participativo, já que não atinge seus objetivos.
Desenho institucional
No final, foi possível identificar que muitos dos problemas que prejudicam a efetividade dos processos participativos poderiam ser sanados se houvesse uma padronização dessas ferramentas. Como foram criadas e são geridas por áreas diferentes, não há uma visão holística do processo participativo na Câmara, possível com a integração numa só base, tendo visualização e navegabilidade similares, por exemplo. No back-end também é complicado: o ideal seria que as saídas/resultados tivessem na mesma base de dados, para permitir comparações e cruzamentos. Por causa dessa limitação, a gente consegue ver, por exemplo, resultados da participação do Wikilegis e de Audiências Interativas (outra ferramenta da Câmara) no painel de estatísticas de participação e-monitor, mas não consegue ter dados sobre as Enquetes, que pertencem a uma outra base.
Diante disso, a melhor solução poderia ser uma espécie de ecossistema da participação — integrado, funcional e alinhado ao processo legislativo — que pudesse naturalmente orientar e educar os cidadãos interessados para participarem ativamente desses processos? Algo que, em uma visão macro, fizesse mais sentido para os cidadãos? Aí só muito brainstorm e testes com usuários poderiam indicar as melhores alternativas.
O que se confirma com os resultados da pesquisa é que existem vários pontos delicados na trilha de todo processo participativo, mas os limites impostos pelo desenho institucional (cada área da Câmara com o seu processo/ferramenta) é um dos mais significativos. Para tornar essa dinâmica mais compreensível para os cidadãos e útil na tomada de decisão, fazendo o resultado da participação social chegar efetivamente aos parlamentares, a instituição vai ter que priorizar uma solução e se debruçar nessa tarefa nada fácil. E a gente do LAB vai ficar bem empolgado em participar disso! ;-)
Quem mais vem junto?
