Fofoca psicométrica: inventando resultados na Psicologia Positiva

(ou um tutorial de falsificação de resultados)

Hoje nós vamos falar sobre os custos de se terceirizar a análise de dados em sua pesquisa sem se importar em como a análise é feita. A história de hoje é sobre a Barbara Fredrickson, uma das mais renomadas autoras na área da Psicologia Positiva. O que aconteceu com ela em 2005 foi BIZARRO e diz muito sobre como nós da psicologia precisamos atentar para uma modelagem ética e justa de nossos dados.

Se você não quiser ler tudo, saiba apenas que: Fredrickson publicou um achado científico que teve alcance mundial, publicou livros a partir desse achado e divulgou seu trabalho em tudo quanto era lugar. Ela não sabia analisar seus dados, então teve ajuda do seu co-autor Marcial Losada. Marcial Losada falsificou o método de análise e ela foi amplamente criticada pelo seu estudo após oito anos de sua publicação.

Ao contrário do que muita gente pensa, Psicologia Positiva não envolve “pensar positivo”. Porém, a foto traduz bem a esperança que as pessoas têm ao minerar dados de pesquisas. Photo by Viktor Forgacs on Unsplash.

A pesquisa em si

A pesquisadora Barbara Fredrickson já tinha renome por ter proposto a teoria de broaden-and-build que busca explicar o motivo pelo qual emoções positivas existem. Porém, foi em outubro de 2005 que uma das mais renomadas autoras em Psicologia Positiva publicou o artigo intitulado “Afetos positivos e a dinâmica complexa do florescimento humano” (em inglês, Positive affect and the complex dynamics of human flourishing). Nesse artigo, Fredrickson e seu co-autor, Marcial Losada, investigam se existe uma razão de emoções positivas sobre emoções negativas que dividem as pessoas que estão florescendo das que não estão.

De maneira bem breve, florescer significa experimentar mais emoções positivas do que negativas, possuir propósito na vida e sentir-se em constante crescimento pessoal (aqui está uma referência bacana que achei). Existem pessoas que estão nessa espiral positiva de crescimento (que estão florescendo) e outras que não estão.

A pergunta do artigo era: será que existe uma razão que divida quem está florescendo de quem não está?

A questão é simples: quantas emoções positivas eu preciso sentir para compensar uma emoção negativa e começar a florescer? Fredrickson e Losada identificaram que a razão de 2.9 emoções positivas para 1 emoção negativa separava quem estava florescendo em suas vidas de quem não estava. Essa razão foi chamada de “razão crítica da positividade” (critical positivity ratio, em inglês). “Crítica” no sentido de que, quem passasse dela, estaria entrando no estado de florescimento.

Parece inacreditável que tenhamos esse conhecimento tão específico nas ciências humanas. Parece bastante inacreditável porque essa “razão crítica da positividade” não existe. A análise de dados conduzida foi totalmente inventada pelo co-autor de Fredrickson. Ele criou números e fórmulas buscando o resultado de 2.9, porque isso estava de acordo com pesquisas que ele e Fredrickson haviam formulado antigamente. Ele usou um conhecimento que muito nitidamente não dominava. Tratou de derivadas e analisou dados psicométricos com fórmulas provenientes da Física, mais especificamente da mecânica de fluidos.

A fórmula que Losada criou para analisar os dados. Sinceramente, não faço ideia do que tá acontecendo, mas como assim uma constante matemática vai ter o valor “8/3”? De onde saiu isso? Como ninguém questionou isso durante o processo de revisão do artigo? Ficam aí vários questionamentos…

A fantástica história da crítica ao artigo de Fredrickson e Losada

O que mais me assusta nessa história toda não é a Fredrickson não entender a análise de dados realizada por Losada porque francamente eu não tenho ideia do que ele pensou também. Eu nem conheço sobre mecânica de fluidos. Os seguintes pontos me apavoram nessa história toda:

1. O artigo foi lido por quem era responsável pela revista e mais dois pareceristas. Nenhuma dessas pessoas criticaram a análise de dados ou a veracidade da afirmação da razão de 2.9/1.
2. Fredrickson confiou cegamente na análise. Ela disse em um artigo de retratação que realmente não tinha ideia de como isso foi feito. Mas também não buscou se informar ou corroborar a acurácia das análises com outras pessoas.
3. A “razão crítica da positividade” rendeu muitos frutos para a Fredrickson e para outros pesquisadores. A pesquisa dela foi citada mais de 3000 vezes de 2005 até hoje. Aposto que muitas das citações não conhecem o trabalho de crítica ao método do artigo.

A crítica ao artigo de Fredrickson e Losada veio em 2013, no artigo intitulado “A dinâmica complexa do pensamento positivo: A razão crítica da positividade” (The complex dynamics of wishful thinking: The critical positivity ratio, em inglês). O autor principal desse artigo se chama Nick Brown.

Nick era um contador, já tinha 50 anos de idade e relata que ele não era “ninguém” na psicologia — o que facilitou ele olhar com criticismo o trabalho da renomada autora. Ao ser apresentado ao artigo, Nick teve a vontade de replicar os cálculos, mas ele não estava conseguindo. Quando Nick não entendeu a matemática do artigo, ele escreveu para Losada questionando sobre como os cálculos foram realizados. Nick queria aprender: ele achava que desconhecia fundamentos importantes que o co-autor de Fredrickson possuía. Losada não respondeu. A história completa desses acontecimentos está relatada aqui.

A partir daí, o estudante de mestrado foi atrás do cálculo e sentiu que alguma coisa estava errada. Tentou contato com vários nomes expoentes no campo da falsificação em pesquisa (incluindo o famoso Alan Sokal) e, após um certo período, escreveu uma defesa forte explicando como Fredrickson e Losada inventaram os resultados de seus artigos. Apesar de ser denso, o artigo tem um tom bem engraçado e irônico, vale a pena ler.

O legal é que Nick submeteu o artigo à revista da qual Fredrickson era editora-assistente. O pessoal da revista barrou a primeira versão do artigo por causa do título muito irônico escolhido por Nick e seus colegas: “A dinâmica complexa de uma impostora intelectual”. Após algumas revisões, o artigo foi finalmente publicado. Após isso, Fredrickson publicou um trabalho se desculpando por não conhecer a análise de dados, culpando Losada por tudo que ele fez na análise, e reiterando a sua ideia de que deveria existir uma “razão crítica da positividade”.

Como NÃO falsificar seus resultados

1. Antes de tudo, tente entender nitidamente qual o seu objetivo com a pesquisa. Isso vai ajudar muito a você delinear quais análises você deseja realizar. Geralmente, a maioria das análises em psicologia vai envolver estatísticas multivariadas básicas, sem precisar depender de mecânica de fluidos.
2. Você não precisa realizar as suas análises. Mesmo assim, se o trabalho é seu, você precisa compreender o básico das análises realizadas e o que elas significam. Entender o básico das análises significa conseguir explicar o raciocínio básico de como elas são realizadas. Exemplo: teste t. Em um teste t, por exemplo, as médias de dois grupos são comparadas. Quando há uma diferença grande entre duas médias, isso dá origem a um resultado significativo. Note que você não precisa saber como calcular a diferença, mas entender o básico do que foi realizado é o mínimo para discutir com qualidade a sua própria pesquisa.
3. Por fim, evite a TODO O CUSTO minerar os dados por resultados que você deseja alcançar. Se você realizou uma análise e ela não foi do seu agrado, isso também é um resultado importante de ser reportado. Não estamos buscando por um valor de p baixo e significativo em análises, estamos buscando responder a nossa pergunta de maneira mais científica e confiável.

Hoje em dia, Nick Brown é um autor que escreve críticas a estudos mal conduzidos em psicologia. Ele defende a replicação de resultados e a acessibilidade a dados. Ele possui uma longa lista de artigos escritos em crítica a outras publicações na área. Uma figura bastante interessante e que com certeza contribui para a transparência na psicologia.

Agora, sabe o que me irrita? A Barbara Fredrickson tem um site chamado “razão da positividade” e nele ela AINDA divulga coisas relacionadas à razão crítica da positividade do artigo que já está refutado. Afora isso, ela lucra vendendo o livro “positividade”, que divulga essa razão completamente fictícia. Eu acho que ela tá sendo antiética fazendo isso. E você?

Contato

Espero que tenha gostado! Qualquer dúvida, observação ou comentário são muito bem-vindos! Fique à vontade para se manifestar e vamos aprender juntos 😄

Para falar comigo, é só entrar em qualquer um desses links.

☕️ Gostou do post e vai usar algo? Se quiser, você pode me pagar um café.