Não sei calcular minha amostra de pesquisa e agora?
Um resumo da palestra com Caio Jardim na Observe2021
A produção e curadoria desse conteúdo foi realizada por integrantes da comunidade UX em Casa: Ale Sassaki, Leticia Emidio, Lucas Lopes e Natalia L’Abbate
Não sei calcular minha amostra de pesquisa e agora?
Caio Jardim
Sou Sociólogo e faço pesquisas sobre pessoas desde quando analisei meu primeiro survey num projeto sobre comportamento político feminino. Desde então me dedico à metodologia de pesquisa, à análise e à visualização de dados nas ciências sociais aplicadas quantitativas. Já conduzi pesquisas profissionais em comportamento, marketing, socioeconomia, opinião pública, identidade e produtos.
Amostragem Estatística — Tamanho Amostral em Pesquisas
- População: Conjunto de elementos (pessoas, animais, objetos etc) que têm uma ou mais características em comum, por onde queremos fazer alguma inferência.
- É importante ter uma amostra representativa da população de interesse pra ter um quadro representativo da verdade. É inviável (tempo e $) entrevistar todo mundo, então precisamos desenhar bem nosso método de amostragem pra diminuir todos os vieses possíveis.
- São muito raros os casos onde poderemos acessar toda a população de interesse, então geralmente trabalhamos com amostras dela para fazer inferências gerais.
- Amostra — subconjunto da população de interesse. Como é praticamente impossível observar ou manipular todos os indivíduos em uma população, as análises baseiam-se em amostras da população. A probabilidade e a estatística são utilizadas para extrapolar os resultados a partir de uma amostra pequena para uma população maior
- Elementos ou unidades elementares — são os que constituem a população
- Unidades amostral/de amostragem — Grupos formados a partir dos elementos para poder coletar dados. Ex: Escola como unidade amostral, alunos como elementos
- Inferência: Processos nas pesquisas de cunho amostral, de onde queremos tirar alguma conclusão sobre alguma população. Sem acesso a tudo, fazemos inferências para nos aproximarmos dos dados reais que queremos acessar. É a expectativa de que o valor que eu encontrei é o valor realmente encontrado na população de interesse.
- Problemas nas coletas de dados e que limitam o estudo — Não resposta, falta de contato, mudanças de endereço, dados desatualizados, falta de acessibilidade, analfabetismo, etc podem te impedir de ter uma representação mais fiel da realidade
- Medidas coletadas em cada um dos elementos > Transformar observações em subconjuntos = Amostra
- Usam dois ou mais níveis de coletas de dados:
— Amostras proporcionais ao tamanho,
— Amostras em múltiplos estágios e
— Amostras por conglomerado - Unidade pode ser tanto um elemento quanto um conglomerado
- sem acesso aos dados populacionais, precisamos coletar uma amostra e a partir disso fazer as inferências
- Toda amostra carrega uma carga de viés, e nos cabe tentar reduzir pro mais próximo da verdade possível. Amostras economizam recursos pra alcançar inferências que estimem os dados reais
- Amostragem é o recurso matemático que nos permite ter uma estimativa.
- Espera-se que sua amostra reflita a população de modo mais fiel
- Precisa ter um desenho amostral muito bom pra evitar desvios da realidade e poder realmente representar a população de interesse. Importante pensar na ideia de representatividade.
— Ex: Pedir uma pizza mas comer só a borda — minha opinião não representa com fidelidade o sabor da pizza, se eu nem experimentei o recheio - Estatística: ciência da incerteza, lida com testes, parâmetros, estimativas etc.
— Falhas em representar a população de interesse → projeção - Se você tiver a intenção de coletar dados de uma população, mas sua amostra não reflete essa população, já existe um vício desde o começo
- Tamanho amostral — quantidade de elementos que preciso acessar pra fazer uma inferência sobre uma população final. Definida por alguns parâmetros
- Tipos de amostra: Valor da amostra é estimado por 2 métodos — amostra probabilística e não probabilística
Amostras probabilísticas:
Amostra aleatória simples (AS)
- consigo determinar previamente ao meu estudo a probabilidade de seleção de um elemento dessa amostra. (“chance” de um elemento ser selecionado pra pesquisa, considerando que todos são igualmente acessíveis a serem parte da amostra)
- Populações menores, conhecidas e mais homogêneas (quadro amostral definido — identificação dos funcionários de uma empresa por ex) — pode fazer uma amostra/ recrutamento aleatório. A cada X funcionários, 1 vai fazer parte da minha amostra.
Amostra sistemática
- (caso do IBGE) — alguns recrutados aleatoriamente (1 a cada X casas) respondem ao questionário mais longo, os outros respondem ao simplificado. Na ausência de contato direto com seu quadro amostral, é um jeito de aleatoriezar sua amostra.
Amostra Estratificada
identifica todos os grupos de interesse, acha o tamanho amostral mínimo pra esse grupo, acha o tamanho amostral mínimo pra cada, pesquisa separado e depois junta os dados numa amostra maior — geralmente tem mais precisão de representatividade
- Separa em grupos sociais, regionais, estaduais e pesquisa nessas diferentes amostras, depois une todos.
- Use um mesmo tamanho amostral pra cada grupo pra não ser estatisticamente mais ou menos acurado, e depois ao unir na amostra geral, distribua os pesos de acordo com a proporção de cada um desses grupos na população de interesse.
- Geralmente mais acurados por respeitar a diversidade dentro da população pra fazer os cruzamentos dos dados
- Representatividade: um dos mais importantes conceitos dentro de pesquisa
Desenhos de amostra probabilística
Amostra por população infinita:
quando trabalhamos com populações maiores, acima de 30, 40 mil elementos, não dá tanta diferença no cálculo amostral com relação aos modelos finitos.
Modelo de população finita:
para populações até 10~20 mil. Necessário corrigir variância dos dados
Cálculo amostral:
leva em consideração o tipo de estudo que você quer fazer:
- Estudo baseado em medida resumo (intervalo de amostra) que estou buscando (proporção, média, mediana)
- Amostra baseada em testes A/B — pra tentar medir o efeito de uma intervenção / política dentro da população
Calculadoras amostrais:
- Margem de erro -visa representar quantidade de erro amostral contido na estatística produzida, a partir do processamento dos dados
- Erro amostral — Diferença entre o valor coletado na pesquisa e o valor real da população
— O objetivo de uma amostra bem coletada é minimizar essa diferença num nível teórico.
— EA tende a diminuir conforme você aumenta o tamanho da amostra
— Quanto menos EA você define como aceitável (maior acurácia), menos variância e menos erros você terá nesses dados = mais confiança
- Nível de confiança amostral — Quanto maior a amostra, menor o intervalo de confiança, a margem de erro, erro amostral e mais próximo do número real
- Intervalo de confiança — probabilidade de que todos os intervalos de confiança gerados numa quantidade infinita de amostras vá conter o valor real na população
— IC de 95% = Selecionando infinitas amostras de mesmo valor na população, tenho 95% de chance de achar aqueles resultados
— Os 5% são erros que se esperam dentro de qualquer amostra
— Não confundir esse erro de 5% do intervalo de confiança com erro amostral
— Ex: Erro amostral de 2% e 95% de intervalo de confiança
— Ex acima: EA é do tamanho desejado da amostra, IC é valor de probabilidade certeza sobre resultados
- Tamanho da população (proporção populacional — p) — quando já se sabe qual % de uma população maior se enquadra na sua característica de interesse (ex: 35% da população, p=0.35) — certeza da probabilidade de seleção dos indivíduos numa amostra. Quando não se sabe, coloca 0.5 (chances iguais)
No final do estudo, é sempre bom recalcular os índices pois geralmente a amostra coletada é diferente da planejada inicialmente
Análise de poder estatístico
entre grupos controle e o de intervenção (testes AB).
- Tamanho de efeito — diferença entre duas populações, que se espera em relação a uma variável resposta.
— Ex; mudar cor de um botão do app, e quantificar a diferença que isso fez.
— Diferença da média dividido pela variância assumida entre os dois grupos
— 0.8 padrão normal da indústria
Amostra não probabilística
onde não sabemos a chance de selecionar um participante em específico. Muito usada em análises qualitativas, onde não há obrigatoriedade de se gerar números e projeções para a população total. A seleção é intencional
- Resultados dizem respeito somente às pessoas amostrada e não podem ser extrapoladas pra população total, além de refletirem o momento de coleta, não antes e nem depois.
- Não há aleatoriedade — teve uma intervenção/ julgamento do pesquisador pra produzir viés nessa amostra.
- Coletas em grupos de Fb/zap: não correspondem aos seus usuários e nem à população como um todo. É mais interessante pra ver possíveis motivadores, causas, etc do que conseguir dados quantitativos. Só está contido no desenho de amostras não probabilística aquilo que não é quantificável.
— Quando esta não é a sua população de interesse, uma medida coletada num grupo de Telegram ou WhatsApp não irá se referir nem aos seus usuários de interesse, nem à população infinita hipotética. O “valor” destas pesquisas está mais enquanto sua capacidade de listar questões qualitativamente, identificar relações simbólicas entre conceitos etc. “Aquilo que é quantificável, que é generalizável, não está contido no desenho de pesquisa das amostras não-probabilísticas. (ou, está contido apenas nas amostras aleatórias/probabilísticas)”
— Como as amostras não-probabilísticas estão mais sujeitas a vieses externos (recrutamento e seleção sobretudo), elas não se propõem a coletar métricas ou KPIs (o quantificável) com a precisão ou a acurácia de uma amostra aleatória/probabilística.Mas você pode controlar os vieses externos usando outras técnicas como as amostras por quotas, diversificação geográfica do estudo, ampliar suas estratégias de recrutamento, evitar amostras por conveniência ou bola de neve etc. Sempre é bom identificar e sinalizar tudo isso no seu relatório.
— Quando você está lidando com a população de interesse num grupo de Telegram, não tem problema. Mas é muito raro ter pesquisas onde você está preocupada em saber “a percepção dos participantes do grupo UX Research do Telegram sobre a pesquisa em experiência”. Se esse é o caso, vc está fazendo a coisa certa, só precisa sortear aleatoriamente os participantes quando tem uma intuição de que nem todo mundo irá responder.
— Geralmente quem opta por responder formulários tem características comportamentais e psicológicas diferentes de quem os ignora, e isso é uma fonte de erro/viés na pesquisa. Aí no caso, melhor sortear entre os participantes do grupo para analisar. Como no exemplo eu me referi a “todos os seus usuários” ou “os brasileiros”, ou até mesmo “UX researchers do Brasil”, o grupo do Telegram não vai ser mesmo a sua população de interesse, só vai ter algumas pessoas lá que têm características de seu interesse.
— Quando seu “sujeito de estudo” são os participantes dum grupo de WhatsApp/Telegram/LinkedIn específico, não tem problema.
Defesa de pesquisa
Algumas Intervenções pra diminuir problemas de validade externa:
- Aumentar representatividade geográfica do estudo
- Aumentar representatividade de diferentes grupos sociais
- Aumentar tamanho amostral como um todo
- Mais pessoas = mais problemas são encontrados e incorporados aos resultados
Não tem tanto problema usar amostras não probabilísticas pra estudos quantitativos, porém eles precisam de uma amostra grande o suficiente pra reduzir os vieses que pesquisas com amostras menores apresentam. Sempre deixe clara sua metodologia na hora de apresentar seus dados. Em certos casos, a pesquisa é mais um ‘palpite bem informado’ com uma técnica mais robusta do que um chute ao acaso.
- Métodos pra reduzir vieses: Aumentar tamanho de amostra, combinar diferentes banco de dados com métodos de coleta semelhantes etc.
Outras metodologias de amostragem não probabilística: Bola de neve, julgamento, conveniência, um ou vários estágios.
- Vários estágios (unidades de amostragem) — sendo sorteadas, você sorteia indivíduos dentro dela (exemplo: Escolas de uma cidade > Uma escola específica dentro dessa unidade cidade > Alguns estudantes dessa escola)
- Pode ser de um elemento ou de um conglomerado (média da unidade amostral em vez de elementos = Média da escola em vez de média dos alunos específicos)
Estimativas de medida resumo de populações (média, mediana, erro amostral) — Nível de confiança, erro amostral desejado, intervalo de confiança amostral
- Estudo de caráter experimental (AB) — é preciso também a análise de poder estatístico, que leva em consideração o tamanho de efeito (diferença entre essas populações e a variância)
- Métodos de coleta — online x presencial, domiciliar x na rua
- Variáveis: Métodos de seleção, tipo de recrutamento e abordagem, tempo que a amostra fica em campo coletando, abrangência/cobertura geográfica desse estudo
- Probablidade de seleção — igual para qualquer elemento, proporcional ao tamanho do grupo ou desconhecida (pra amostras não probabilísticas)
- Quanto menor os erros, as não respostas etc, melhor a confiança dos resultados
- Toda amostra é uma fotografia momentânea e está ancorada à realidade que foi amostrada e à metodologia utilizada
- Testes de usabilidade e os 5 usuários: Tem caráter mais qualitativo, não servindo pra quantificar a presença dos erros na amostra, mas só visando identificá-los, listá-los. Foi definido a partir de uma estrapolação estatística, porém quando aplicado tem viés qualitativo. Porém diferentes contextos e naturezas de erros têm diferentes chances de serem identificados, por isso não é um número absoluto.
— Em oposição aos testes manuais, temos a web analytics coletando dados em escala
- Representatividade — capacidade de representar a amostra
- Generalizabilidade — capacidade de serem feitas generalizações a partir da amostra, poder fazer extrapolações e predições.
Para Saber Mais
Livros
- Rápido Devagar do Daniel Kahneman (Bíblia sobre como o cérebro atua na tomada de decisão)
- Liminal Thinking: Create the Change You Want by Changing the Way You Think
- Mapeamento de Experiência (tem um capítulo muito legal sobre isso)
- Neuromarketing: como a neurociência aliada ao design pode aumentar o engajamento e a influência sobre os consumidores
- Think like a ux researcher!
Glossário
Curso
Vídeo
Cálculo de Tamanho de Amostra
Site
Newsletter
E aí, curtiu?
A Experiência Observe e a comunidade UX em Casa se juntaram em uma iniciativa para tornar mais acessível o conteúdo da conferência brasileira de pesquisa de experiência. Iniciamos uma série de artigos que resumem cada apresentação da Observe 2021onde você poderá rever os principais pontos discutidos durante as palestras, pilulas e paineis, além de conferir uma curadoria de materiais em alguns artigos para quem quiser se aprofundar um pouco mais nos assuntos. Confira os resumos de todas as apresentações da Observe 2021 aqui no nosso Medium.
