Como avaliar a efetividade de ferramentas on-line de participação social?
As instituições públicas costumam ter uma visão mais positiva de suas iniciativas de participação on-line — ou e-participação — do que os pesquisadores que analisam os mesmos processos. Essa afirmação, que pode parecer provocadora para alguns, tem fonte e não é fraca não: é de um relatório das Nações Unidas de 2020. Como servidora pública que trabalhou e trabalha com desenvolvimento de ferramentas de participação social, foi um ponto de partida para me deixar com a pulga atrás da orelha… na verdade, muitas pulgas! As avaliações sobre ferramentas de participação institucionais são bem diferentes entre pesquisadores, entidades da sociedade civil e os gestores responsáveis pelos processos? Quais seriam os parâmetros ou indicadores comuns para um diagnóstico geral, que pudessem classificar aquela ferramenta como minimamente efetiva? E que pudessem também ser utilizados para o aprimoramento das outras ferramentas?
Com essas e outras dúvidas e um cenário no país nada otimista (ou inspirador) para a prototipação de novidades, decidi pesquisar algumas respostas que pudessem nos embasar em projetos e processos futuros aqui do LAB. Afinal, não adianta ficar desenvolvendo e oferecendo mais possibilidades de participação social só para deixar o portfólio institucional bonito, sem antes conseguir avaliar as ferramentas existentes e saber se estamos no caminho certo.
O objetivo era descobrir de que maneira a Câmara realiza a mediação da participação social que chega por meio de ferramentas on-line institucionais para a esfera política. Em outras palavras, fazer uma avaliação da efetividade dessa etapa da e-participação na Câmara: do recebimento da colaboração do cidadão (opiniões, votos, sugestões, entre outros formatos) até a entrega do resultado processado aos parlamentares.
Como um dos grandes problemas de pesquisas sobre participação social é o grande número de variáveis possíveis, um dos fatores fundamentais era fazer um recorte preciso sobre o que se queria analisar: a etapa intermediária do processo de participação — a mediação institucional em ferramentas on-line. Essa definição partiu de um processo envolvendo três partes distintas e, ao mesmo tempo, interconectadas (uma tendo influência sobre a outra): a esfera civil, a instituição como mediadora e a esfera política. Por isso, por exemplo, impactos sobre atores envolvidos (cidadãos e parlamentares) e o aproveitamento dos resultados pelos tomadores de decisão não foram objeto da pesquisa.
Inteligência coletiva
Após cuidar, com a definição do recorte, da questão das muitas variáveis possíveis, o outro ponto fundamental era a escolha da metodologia. Isso porque não há consenso entre os pesquisadores sobre quais seriam os indicadores importantes em uma avaliação de ferramentas on-line de participação. Aí veio uma experiência importante aqui do LAB: quando a gente não sabe pra onde correr, senta, respira e tenta sair da caixinha e abrir novas possibilidades. A gente chama uma galera multidisciplinar, especialistas nos temas, gente criativa, enfim, e faz um caldeirão de debates e novos insights. Na pesquisa, a ideia era também trabalhar colaborativamente, por meio de inteligência coletiva, em busca de uma conjunção das expertises. Afinal, a proposta era avaliar as ferramentas da Câmara, mas não faria muito sentido criar e aplicar, sem nenhum respaldo, indicadores que posteriormente não fossem aproveitados. Então a metodologia passou a ganhar um espaço especial na pesquisa com o envolvimento de um grupo de 30 especialistas em participação social: representantes de entidades da sociedade civil ligadas ao tema, pesquisadores acadêmicos e gestores de ferramentas on-line ou processos de interação institucionais. Ou seja, gente fera, com grande bagagem e que poderia colaborar ativamente no processo.
Com um questionário inicial contendo 18 perguntas sobre possíveis indicadores para avaliação, fizemos a proposta para 30 especialistas em participação social de todo o país escolhidos a dedo, 10 de cada uma dessas áreas. A receptividade foi incrível! (veja as bios completas sobre esses feras na página 157 da pesquisa.
A ideia era, por meio da inteligência coletiva — e da experiência desses especialistas -, buscar um consenso para a definição dos indicadores a serem utilizados na pesquisa de avaliação de quatro ferramentas on-line. A proposta também poderia servir de parâmetro para avaliação de outras ferramentas institucionais (podendo ser aplicada e adaptada por outros órgãos públicos), auxiliar em alguma das lacunas existentes nos estudos sobre avaliações de e-participação e ainda permitir um conhecimento maior sobre as percepções de cada um desses três grupos (acadêmicos, entidades da sociedade civil e gestores de instituições públicas).
Escolhemos as quatro ferramentas da Câmara por causa de seus processos distintos de participação, de acordo com etapas do processo legislativo: banco de ideias (identificação de um problema), enquetes (alternativas), Wikilegis (elaboração colaborativa) e pauta participativa (decisão). Assim, a aplicação dos indicadores para medir a efetividade da mediação institucional nos processos participativos poderia ser testada em diferentes modelos de ferramentas. Cabe destacar que a categorização seguiu a abordagem Crowdlaw Research Agenda: Law and Policymaking Cycle, elaborada inicialmente por Beth Noveck no Laboratório de Governança (GovLab) sediado na Universidade de Nova Iorque e bastante difundida atualmente no Brasil por vários pesquisadores. Mas falaremos mais sobre essa abordagem e a avaliação propriamente dita das ferramentas num próximo texto. Por enquanto, vamos focar na análise dos indicadores pelos especialistas e o posicionamento de cada um dos três grupos sobre os parâmetros importantes.
Indicadores selecionados
Os participantes da pesquisa receberam um questionário inicial com 18 indicadores que poderiam ser aplicados na análise de ferramentas de e-participação institucionais. Além de avaliar cada um na escala de 2 pontos para “Concordo Totalmente”, 1 ponto para “Concordo Parcialmente”, nenhum ponto para “Indeciso/a”, -1 ponto para “Discordo em Certos Aspectos” e -2 pontos para “Discordo Totalmente”, também poderiam comentar sobre a escolha ou sugerir outros indicadores. Cada uma das 18 perguntas do questionário atingia, no máximo, 60 pontos (na coluna pontuação geral, no caso de resposta dos 30 participantes pela concordância total com aquele indicador). No final, foram selecionados 15, conforme a tabela de pontuação abaixo, já com a participação separada dos três grupos (nessas três colunas a nota máxima era de 20 pontos, com todo o grupo concordando totalmente com o indicador). Em negrito, você já consegue observar os indicadores mais bem pontuados por grupo de especialistas:
Três indicadores foram excluídos por não atingirem a nota de corte de 30 pontos (50% do total de pontos possíveis). Assim, foram rejeitados os indicadores: Entrega de parciais (os resultados da participação são consolidados e enviados para os tomadores de decisão com alguma frequência?), com 29 pontos; Formalização (há publicação de norma institucional definindo e garantindo as etapas a serem seguidas no processo participativo?), com 27 pontos; e Reconhecimento do usuário (a ferramenta possibilita contato posterior com o usuário para agradecimento, feedbacks de avaliação e/ou ainda atualizações sobre a situação da proposição de interesse naquele processo participativo?), com a nota mais baixa da pesquisa, 26 pontos. Formalização, por exemplo, recebeu a nota mais baixa dos servidores públicos. Diferentemente de uma possível institucionalização do processo participativo para facilitar a vida do gestor garantindo segurança jurídica e praticidade, foi associada à burocracia e risco de inocuidade. Pra quem tiver curiosidade, lá na pesquisa dá pra ler as razões dos especialistas de cada grupo para a exclusão desses três critérios (página 60).
Voltando pra nossa tabela acima, dos 15 indicadores selecionados pelos participantes, Clareza (as instruções para a participação na ferramenta são claras e simples?) foi o indicador mais bem avaliado pelo grupo geral, com 55 pontos. Em segundo e terceiro lugares no ranking de preferência dos especialistas ficaram Contextualização (há orientação para os participantes sobre a etapa do processo legislativo em que a proposição está?) e Privacidade de dados (há informações sobre os cuidados da Instituição com os dados dos participantes?), com um total de 54 pontos cada (Na página 58 você tem acesso à análise completa).
Mais bem avaliados por grupo
Do ranking geral para os indicadores preferidos pelos grupos, temos três que conseguiram a nota máxima possível. Acessibilidade (a ferramenta está adaptada para a utilização por portadores de deficiência visual?) obteve os 20 pontos tanto na avaliação dos acadêmicos quanto na das entidades da sociedade civil. Privacidade de dados e Feedback final (há controle institucional e divulgação para os participantes de como o resultado do processo influenciou ou não o tomador de decisão sobre a proposta em análise?) chegaram aos 20 pontos também no ranking dos representantes dessas entidades.
Além de Acessibilidade, os acadêmicos também destacaram Contextualização e Clareza, ambos com 19 pontos; e, na sequência, Abertura (os resultados podem ser exportados para utilização em dados abertos?) e Privacidade de dados, com 18 pontos cada. Assim, este grupo valoriza as instruções claras e etapas facilmente identificáveis do processo de participação; e reforça a importância de torná-lo acessível a todos os interessados, o cuidado com as informações desses internautas (pessoais ou de preferências), além da importância da exportação dos resultados dessa participação para uso de dados abertos, permitindo um aproveitamento mais amplo dessas informações pela sociedade.
O grupo dos gestores não pontuou nenhum dos indicadores com a nota máxima. Para esses especialistas em participação, os critérios mais importantes numa avaliação de ferramentas on-line são Clareza e Simplificação (as etapas para a participação nessa ferramenta podem ser facilmente compreendidas pelos cidadãos de qualquer escolaridade e/ou faixa etária atendida?), ambos com 19 pontos.
Surpresas
Alguns dos resultados dessa primeira etapa, com a definição dos indicadores a serem aplicados na avaliação das ferramentas e os comentários dos especialistas, já me surpreenderam. A preocupação maior com a proteção de dados, assunto em destaque na pauta atualmente, em detrimento ao possível relacionamento entre a instituição e os participantes foi um deles. Sempre gostei daquele contato posterior me convidando para acompanhar um tema de meu interesse ou me mostrando possibilidades de leitura e participação, mas no atual cenário de algoritmos “invasivos” e polarização, esse relacionamento com a instituição é questionado.
Na comparação entre os três grupos, outras surpresas importantes que acabam reforçando a frase inicial deste texto de que as percepções desses especialistas, apesar de todos trabalharem/pesquisarem participação social, podem ser bem diferentes. Acessibilidade, por exemplo, o único indicador que recebeu duas vezes a nota máxima, ocupando o topo do ranking dos acadêmicos e das entidades da sociedade civil, obteve apenas 13 pontos dos gestores, a terceira nota mais baixa desse grupo. Os gestores também avaliaram com as menores notas (11 pontos) o indicador Feedback final, que recebeu valorização máxima das entidades (20 pontos), e Critérios de seleção, último indicador classificado, garantido na lista por causa do destaque dado por essas mesmas entidades (16 pontos). Isso, a princípio, poderia indicar um rigor maior ou mesmo resistência por parte dos gestores nessa avaliação, mas não foi o caso. No total, os acadêmicos avaliaram os 15 indicadores com 231 pontos e os gestores, com 232, quase um empate. Os mesmos 15 itens, porém, receberam uma avaliação melhor do grupo das entidades da sociedade civil: 247 pontos.
Sugestões dos especialistas
Do total de 130 comentários, também foram apresentadas sugestões para garantir a aplicação de cada um dos 15 indicadores selecionados. Para Simplificação, por exemplo, utilização da técnica de linguagem simples e escuta dos participantes durante o desenvolvimento da ferramenta (testes). Um especialista também ressaltou que era importante associar o indicador à experiência do usuário (UX), pois a melhor ferramenta” é aquela em que não é preciso instruir os usuários sobre como utilizá-la”. Pra quem quiser conferir, a íntegra dos comentários está nos apêndices (página 157).
Já em uma abordagem macro, 15 desses comentários (11,5% do total) sugeriram a troca de nomes ou rótulos dos indicadores, uma preocupação quase que exclusiva dos acadêmicos, que apresentaram 13 das propostas. Outra sugestão para potencializar ainda mais os futuros estudos de avaliação de ferramentas de e-participação foi a possibilidade de utilização de pesos diferentes para os indicadores, reforçando aqueles considerados mais significativos.
Ficou curiosa/o para saber mais detalhes sobre a avaliação geral e a opinião de cada um desses grupos de especialistas? Confira a íntegra da pesquisa. Mas no próximo texto trago os resultados e impressões sobre a aplicação desses indicadores em cada uma das quatro ferramentas da Câmara, com o ranking final e as recomendações. Quais dos 15 critérios foram atendidos pelas quatro ferramentas? Quais não foram atendidos por nenhuma delas? Já adianto pra vocês que teve processo de participação reprovadíssimo…
Até a próxima!
#participacao #participacaosocial #inspiração #democraciaparticipativa #ferramentasonline
