Tamanho amostral
O vídeo a seguir, do amigo e professor Luis Cláudio suscitou algumas discussões entre nós.
Ele defende que estudos pequenos não deveriam existir. Diversas vezes, presenciei a injusta desqualificação de estudos legais e também a exaltação de trabalhos pouco brilhantes, então resolvi examinar a ideia aqui.
Considero esse comportamento uma armadilha cognitiva presente dentro e fora da academia. Comparar objetos por dimensões absolutas é muito mais fácil que entender detalhes na estrutura.
Uma proverbial atitude de grandes corporações em competição com concorrentes menores é copiar um produto e aumentar algum atributo. Para bens materiais, pode significar mais potência (motor de 1800cc vs. 2000cc) e recursos consumíveis (sorvete 500 ml vs. 1L). Assim são vendidos para leigos soluções como “Big Data”, câmeras de 30 Megapixels, monster trucks e afins.
Em ciências, o tamanho amostral costuma ser sobrevalorizado.
Tamanho amostral em ciências
Afinal, qual a diferença entre testar 3000, 300, 30, ou 3 pacientes?
Quando investigamos uma quantidade, costumamos assumir a existência de um valor teórico real. Por exemplo, acreditamos que o remédio XYZ reduz pela metade o risco de internamento entre pacientes suscetíveis quando comparado com placebo (Risco relativo, RR = 0.5). Precisaríamos de quantos participantes para inferir sobre esse efeito com segurança? O cálculo amostral sugere um valor considerando taxas de erros. Geralmente, aceitamos errar 1 conclusão em 20 (α = 0.05) para falsos positivos e 4 em 20 para falsos negativos (β = 0.20; Poder = 0.8).
Se queremos estimar uma quantidade (e.g. Risco relativo), aumentar o número de observações também aumenta a precisão e diminui a margem de erro em nossa estimativa.
Um estudo com muitos pacientes não significa excelência metodológica. Significa recursos investidos em diminuir imprecisão nos números. Muitas vezes, os parâmetros usados são colocados em segundo plano e há uma competição na literatura, em que o maior estudo tem mais credibilidade.
Não existem limites mínimos definidos para o tamanho de um estudo. É sempre uma troca (trade-off) entre recursos e precisão. Ainda que os dados de um estudo sejam insuficientes para conclusões, eles podem ser podem ser sintetizados posteriormente em meta-análise. Isso é válido em qualquer caso, desde que exista homogeneidade na metodologia.
Os vieses nas conclusões precipitadas não decorrem do tamanho, mas sim de interpretação equivocada. Vale lembrar também que uma ideia impactante raramente é adotada pela comunidade sem reprodução independente. Experimentos pequenos são o feijão com arroz do cientista e estão na raiz de muitos progressos historicamente documentados.
Vivemos num momento em que a produção científica depende fortemente da interação com instituições financiadoras de interesses próprios. Considero saudável exaltar a equidade de que iniciativas menores desfrutam no ambiente científico.
Edição: O resultado de uma meta-análise usando estudos pequenos não é tão intuitivo e muitos questionaram o argumento tecnicamente. Depois de algumas interações com colegas, escrevi uma simulação para calcular taxas de falso negativo e positivo com diversos tamanhos amostrais via bootstrapping.
https://github.com/EBHbr/meta-res/
