Parabéns. Sua pesquisa não chegou a lugar algum
Pesquisa em design e as pressões invisíveis para se chegar a bons resultados.
Há pouco tempo, minha professora do curso de neurociência mostrou um estudo que ela tinha conduzido para responder a pergunta: Existe alguma diferença na percepção de ironia entre homens e mulheres?
Ela falou sobre o método escolhido, mostrou os artefatos que utilizou durante o experimento e comentou sobre a aplicação. Depois de quase 40 minutos de explicação, ela falou o resultado encontrado: nenhum. Segundo sua pesquisa, não havia diferença na percepção de ironia entre homens e mulheres.
Logo pensei: “Que chato! Quase uma hora de explicação para não chegar a lugar nenhum”. Mais tarde, conversando com outros alunos, eu saberia que eles haviam achado o mesmo.
Por muito tempo, tive medo de fazer alguma pesquisa e não ter bons achados para apresentar para algum cliente ou para o meu time no trabalho. Ficava chateado quando ia a campo e não encontrava nada significativo.
Ninguém quer investir tempo e energia criando uma pesquisa, recrutando pessoas, conduzindo e processando os resultados para não descobrir nada. Fazemos pesquisas para descobrir coisas. A propósito, iniciar uma pesquisa com a ideia de que você vai descobrir algo é muito perigoso, sem perceber, conduzimos a pesquisa e analisamos os resultados de um modo que eles suportem o que queremos descobrir. Utilizamos a pesquisa não para testar nossas hipóteses, mas para validá-las.
Acontece que mesmo as pesquisas científicas mais rigorosas sofrem com um problema semelhante, que inclusive tem um nome: viés de publicação.
Uma investigação publicada no New York Times mostrou que esse tipo de viés é muito comum e acontece em diferentes campos científicos.
Resultados positivos e negativos
“O viés de publicação refere-se à decisão de publicar ou não uma pesquisa com base nos resultados encontrados. De 105 estudos sobre antidepressivos, metade foi considerada “positiva” pelo F.D.A. e metade foi considerada “negativa”. 98% dos ensaios positivos foram publicados; contra apenas 48% dos negativos.”
Um resultado positivo acontece quando você encontra uma correlação e/ou causalidade entre dois eventos.
Imagine que você fez um estudo e descobriu que jogar videogame reduz em 30% a chance de desenvolver câncer de intestino. Como, segundo seu estudo, você descobriu uma correlação entre jogar videogame e a redução da chance de desenvolver câncer de intestino, dizemos que seu estudo teve um resultado positivo. Provou que há uma correlação.
Por outro lado, se você tivesse feito o mesmo estudo e descobrisse que não há nenhuma relação entre jogar videogame e desenvolver câncer de intestino, o resultado do seu estudo seria considerado negativo.
Já dá para começar a entender porque resultados positivos têm mais chance de serem publicados. Identificar uma relação entre jogar videogame e a redução do câncer influencia não só o mundo científico, mas também o dia a dia das pessoas. É o tipo de estudo que os jornais gostam de publicar, pois eles trazem leitores, geram discussões e compartilhamentos. A indústria de jogos ganha mais um argumento para estampar suas peças publicitárias e consigo até imaginar os grupos de pais e mães no WhatsApp discutindo o estudo e considerando tirar seus filhos do judô e da natação para comprar o novo game do momento.
Ninguém fica rico ou famoso provando o que não cura o câncer
— Charles Wheelan
Abrace a sua pesquisa que não chegou a lugar nenhum
É frustrante não ter algo relevante para mostrar ou ter um resultado que vai contra as expectativas do time, mas é nosso trabalho apresentar esses resultados da forma mais imparcial e realista possível. A falta de resultados esperados, na verdade, é um resultado. Abre espaço para novas perguntas e nos aproxima da solução mais adequada.
Para ser honesto, não tenho nenhuma dica prática para lidar com essa questão. Além de não existir uma receita de bolo, a forma como você vai lidar com esse problema vai depender do contexto e das pessoas que estão trabalhando com você. Seja honesto consigo mesmo e com a sua pesquisa, entenda que os viéses existem e trabalhe para minimizá-los.
“Na matemática pura, a gente faz perguntas porque quer entender alguma coisa. Depois que a gente consegue entender, não cabe mais a nós decidir se essa descoberta vai se traduzir numa tecnologia nova ou não.”
– Vinicius Ramos, matemático brasileiro em entrevista para o Nexo (o contexto aqui é bastante acadêmico, mas eu gosto muito dessa frase)
Não deixe que a pressão para entregar um resultado imediato faça você ouvir apenas o que quer dos usuários.
