A maioria das descobertas é falsa

Remédios têm muitas cores e muita incerteza.

Em 2005 o cientista John Ionnadis da Stanford publicou o artigo Por que a maioria dos achados em pesquisa é falsa?, afirmação que causou frisson no meio acadêmico, onde está cada vez mais difícil de produzir novidades excitantes.

Aqui o nosso foco são as pesquisas que propõe alguma descoberta, quer no campo de Medicina (doenças), Nutrição (dietas), ou alguma outra seara científica, em especial à ciência aplicada, incluindo ciências sociais, Psicologia, etc.

Trata-se de alguma afirmação nova que uma pesquisa pode rejeitar ou confirmar.

Quando a pesquisa médica envolve algum mecanismo de ação fisiológico delimitado e estabelecido com base em padrões bioquímicos identificados, ela pode fugir ao padrão apontado. O mesmo vale para pesquisas científicas no campo de Exatas baseadas em pressupostos matemáticos.

No caso, vamos nos referir à descoberta de algum tratamento inédito para uma dada doença.

Os números apresentados abaixo são apenas estimativas razoáveis, relativas ao mundo real, compilados pelo estatístico norte-americano Nate Silver. (O Sinal e o Ruído) e ligeiramente adaptados.

Suponha que 90% das pesquisas redundem em fracasso, lembrando que grande parte dos fracassos fica inédita, isto é, não é publicada.

Se a tratamento funciona, estima-se que 99% das pesquisas mostrem sua efetividade (Verdadeiro Positivo), desse modo há 1% de Falsos Negativos (*1).

O número padrão que se espera é 95% de acurácia, visto que é esse valor que regula o tamanho da amostra de pacientes na maioria das pesquisas. Então porque adotar algo perto de 99%?

A maioria dos cientistas tem um viés para provar a tese que eles acreditam, não só de maneira inconsciente, mas também porque isso o torna um pesquisador bem sucedido. Assim não é difícil saltar de 95% para 99% e isso não influi muito no número final.

Se o tratamento não funciona, estima-se que 80% das pesquisas não demonstrem sua efetividade (Verdadeiro Negativo), assim há 20% de falsos positivos. A razão de se adotar algo perto de 80% é a mesma apontada acima. Quando o cientista prova a efetividade de um remédio, ele alavanca muito mais sua carreira do que o oposto.

Suponha agora que existam 1.000 pesquisas no total.

Em 900 (90%) delas o tratamento proposto não funciona, dessas há 180 (20%) de falsos positivos. A maioria das restantes 720 pesquisas é descartada. Por outro lado, em 100 delas o tratamento proposto funciona, o que corresponde a 95 (95%) pesquisas comprobatórias da efetividade do tratamento (verdadeiros positivos).

Nessa caso há no total 275 pesquisas exitosas, todas elas publicadas. Infelizmente, 180 delas são falsas, ou seja, quase 2/3 (*2)!

Esse raciocínio Bayesiano mostra muitas outras coisas pouco intuitivas como, por exemplo, que um diagnóstico de câncer de Mama em uma mulher saudável na mamografia tem cerca de 50% de chance de ser equivocado e, portanto, justifica a repetição do exame.

A solução para aquela pessoa que espera ansiosa determinada descoberta médica é aguardar mais pesquisas confirmatórias.

Se for um novo remédio, o lançamento comercial de um remédio demanda várias fases de testagens. Mesmo assim, lobbies podem levar a que um determinado tratamento seja lançado, mesmo sem apresentar efetividade real.

No entanto, se for alguma novidade ligada à dieta ou algo assim, é mais complicado.

Desse modo, acreditar apenas em uma pesquisa isolada é muito temerário.

A questão é que quanto um jornal publica uma pesquisa médica, muitos leitores tomam como verdade imediata e definitiva.

E isso é perigoso.

(*1) Há 4 termos usados em pesquisas, supondo que a pesquisa proponha um novo tratamento para uma doença ou algo similar.

Verdadeiro Positivo: A proposta da pesquisa é correta e a pesquisa confirma isso.

Falso Negativo: A proposta de pesquisa é correta, mas a pesquisa não confirma isso.

Falso Positivo: A proposta da pesquisa não é correta, mas a pesquisa erradamente a confirma.

Verdadeiro Negativo: A proposta da pesquisa não é correta e pesquisa corrobora esse veredito.

(*2) Essa afirmação baseia-se em um corolário do Teorema de Bayes.