Simpósio de Engenharia de Produção (SIMPEP)
No nosso livro “Qual o real papel do revisor acadêmico?”, argumento sobre as minhas percepções do processo de revisão por pares. Um dos pontos que levanto é a necessidade de simplicidade no processo de revisão, e possível automação. Uso o trabalho de Daniel Kahneman, adaptado. Isso pode eliminar ruídos e tendências no processo final, dando à ciência um caráter mais técnico, e meritocrático.
Vamos replicar algo que aparece no livro com mais detalhamentos e referências, para os interessados.
Hipótese #1: o SIMPEP, apesar de ser somente uma conferência, tem um sistema ideal para ser usado em larga escala
Eu sei, vou ser atacado em todas a direções, e em lugares que nunca pensei que um ser humano deveria ser tocado. Deixe-me explicar melhor.
Considere o exemplo que segue, usado por Kahneman.
Contextualização
Mais em: “Qual o real papel do revisor acadêmico?”
“Most people, when faced with this type of problem, simply eyeball each line [and produce a quick judgment, sometimes after mentally computing the average of the scores.” Kahneman et al
Neste caso, a tarefa é prever dois anos depois de contratados, qual candidato vai obter maior sucesso; no caso de artigos, fazemos uma previsão da aceitação do artigo e sucesso[1] dentro do contexto acadêmico.
Não acredito que revisores aceitam artigos usando outras métricas além de “esperança” de que o artigo vai contribuir para a ciência[2]; como exemplo, parece-me que o aumento de artigos retratados seria uma medida que gostaríamos de diminuir, ou mesmo de artigos de impacto rejeitados, algo mais difícil mesurar; o que me preocupa é que acredito poucos revisores sabem disso, ou se interessam em saber. Contudo, devo confessar que meus estudos de psicologia, como amador, deixaram-me mais pessimista, estilo Doctor House: “todos mentem”.
SIMPEP e um sistema simples e mecânica para aceitar artigos
Quando algoritmos decidem, isso se chama julgamento mecânico, quando humanos decidem, isso se chama julgamento clínico.
“In one of the three samples, 77% of the ten thousand randomly weighted linear models did better than the human experts. In the other two samples, 100% of the random models outperformed the humans.” Cass R. Sunstein, Daniel Kahneman, and Olivier Sibony
Abaixo segue um artigo que sugeri aceitação: o processo é julgamento mecânico. Apesar dos pesos serem subjetivos, o processo de decisão final usa a ideia de algoritmos simples de Kahneman, ver “Qual o real papel do revisor acadêmico?”.
Fechamento
Quando decidimos, temos ruído e viés. Revisores acadêmicos não estão livres disso, por isso alguns acusam o processo de polarizar a pesquisa. Outro ponto recorrendo seria o “preconceito” contra inovação e “pesquisa de terceiro mundo”.
Agora pode deixar alguns trocados, ver abaixo!
[1] Pelo menos acredito que seja isso que os revisores em geral medem.
[2] Tenho algumas dúvidas se usam uma pergunta interna do tipo “seria bom para a ciência, para a pesquisa em geral”, e se “seria bom para mim”. Kahneman introduziu um conceito interessante no contexto de responder perguntas, o que afeta o processo decisório. Geralmente, respondemos ao que se chama de pergunta heurística, que seria mais fácil do que a pergunta real. Sendo assim, pode ocorrer que o revisor, ao tentar pensar na complexidade do processo de revisão, mesmo inconsciente, responda à pergunta mais simples, que seria: “esse artigo seria bom para mim ou meu grupo?”. Kahneman dá um exemplo interessante. Ao serem questionados em qual presidente votar, pessoas geralmente respondem como exemplo se gostam da pessoa, que seria uma pergunta mais simples, heurística.
