[pt-br] Artigo: Um guia para designers sobre como pesquisar a origem dos dados
Reflexões sobre o livro “Como mentir com estatísticas”, de Darrell Huff
Existem 3 tipos de mentiras: "A mentira, a mentira deslavada e a estatística." — Benjamin Disraeli, Séc. XIX
Acitação acima foi dita por Benjamin Disraeli, político e ex-Primeiro Ministro britânico, muito antes dos computadores e o frenesi por big data existirem. Como designer atuando no ramo de tecnologia, sempre tive uma forte motivação em conhecer a fundo os métodos de obtenção e análise de dados para evitar viéses nos projetos que participo. A partir desse desejo, busquei diferentes referências e cheguei ao livro "Como mentir com estatísticas", do autor Darrell Huff. E aí… minha cabeça explodiu! 🤯
O livro que citei tem provocado diversas reflexões e inquietações na minha prática como especialista em experiência do usuário. Para compartilhar o que tenho aprendido, escrevi esse artigo com traduções livres da obra, fazendo paralelos com o dia a dia de Pesquisa & Desenvolvimento na ContaAzul.
Bora lá? =)
Entendendo nossa vivência com dados
Talvez uma das habilidades mais essenciais é entender que, como cidadãos e cidadãs, consumimos dados todos os dias. Uma parte representativa da sociedade urbana é frequentemente sujeitada a leituras tendenciosas, questionáveis ou pouco claras. Na minha visão, o primeiro passo para evitar viéses a partir disso é saber fazer as perguntas certas.
Tive uma experiência recente que ilustra bem isso. Fui no mercado e vi uma caixa de sabão em pó que prometia 100g grátis do produto. Por acaso, no mesmo mercado, havia caixas da mesma marca porém sem oferecer nada grátis. Ao olhar com mais cuidado, nas letras miúdas da embalagem da versão bondosa do produto, havia os dizeres de que o peso tinha "diminuído 100g em relação ao lote anterior".
A forma como apresentamos os números (e também como os coletamos) pode enganar os usuários. Tem-se havido discussões sobre isso no design, principalmente em relação a padrões obscuros de interação (Dark Patterns). E é a partir disso que desdobro os próximos parágrafos, retomando insights a partir do livro que comentei.
Dados equivocados direcionam o projeto para a direção errada
Enquanto consumidores, é saudável entender a procedência daquilo que consumimos e quais os usos que esse produto, serviço ou processo se propõe. Enquanto designers, por consumirmos dados e informações, precisamos ter a mesma postura em nossos projetos. Isso é especialmente importante quando desenhamos soluções que não são originalmente abastecidas de dados (em inglês, data-informed).
Na prática, o autor Darrell Huff exemplifica que há problemas que podem acontecer ao usar estatísticas sem que elas passem por um crivo rigoroso. Para facilitar essa argumentação, organizei esses problemas em 3 momentos:
- Problemas na obtenção do dado
- Problemas na exibição da informação
- Problemas nas análises e conclusões
O restante do artigo se desdobra a partir desses tópicos, listando algumas perguntas que podem ser úteis na análise de dados, na tomada de decisões ou na contextualização de uma problemática que você esteja investigando.
Pergunte-se: quem está dizendo isso?
Entender a origem dos dados é um passo essencial para compreendê-los. Os questionamentos abaixo podem ser úteis para fazer essa avaliação no seu dia a dia.
1. Quem conduziu esta pesquisa ou análise pode ter interesses em algum resultado específico?
Pode parecer óbvio, mas essa é uma das perguntas mais importantes ao analisar qualquer informação, seja ela estatística ou não. Dados estatísticos são ferramentas poderosas para o marketing de uma marca ou de um produto, e você não deveria considerá-los relevantes antes de analisá-los com cautela.
Se, por exemplo, seu concorrente estampa em seu site que os usuários dele usam determinada funcionalidade uma média de vezes muito mais alta do que o seu produto, não tire nenhuma conclusão antes de averiguar com mais cuidado esta informação.
2. Com qual intuito fez determinada afirmação?
Não é difícil ver instituições referenciando outras para gerar confiança em uma informação que lhe é útil. Basta visitar o site de uma prestadora de serviços qualquer. É bem possível que ela ostente na seção "clientes" frases como "empresas que confiam na gente". Mas, quem garante que, só por que esta empresa já foi cliente algum dia, ela ainda confia na prestadora?
Aqui vai outro exemplo um pouco mais ligado ao nosso contexto de pesquisa.
Imagine que você está trabalhando em um produto de transporte alternativo para cidades urbanas e, ao pesquisar se o produto seria promissor em sua cidade, você encontra uma fala do prefeito dizendo:
"Segundo o (instituto de pesquisa de confiança), a nossa cidade é a mais feliz com o sistema de transporte em todo o estado!"
Antes de desistir de oferecer seu produto em sua cidade, considerando que este político pode ter interesses que o faça mostrar os dados da maneira que lhe convém, você, muito sabiamente, resolve ir atrás do que a pesquisa do instituto realmente diz. Imagine que este é o resultado encontrado:
Sua cidade: Péssimo 39%, ruim 20%, regular 22%, bom 14%, ótimo 5%.
Cidade 2: Péssimo 49%, ruim 13%, regular 30%, bom 5%, ótimo 3%.
Cidade 3: Péssimo 64%, ruim 20%, regular 10%, bom 4%, ótimo 2%.
…
Mais de metade dos entrevistados de sua cidade considerar o serviço prestado péssimo ou ruim não parece motivo que, por si só, justifique deixar de oferecer uma iniciativa, certo?
Se você está pensando que esse tipo de distorção de dados não acontece na realidade, te convido a dar uma olhada em sites de checagem de fatos como o "Aos Fatos". Análises exageradas, inclinadas ou mentirosas acontecem a todo tempo.
Como essas informações foram coletadas?
Erros estatísticos e de pesquisa como um todo não são ocasionados apenas por pessoas mal intencionadas. O método e a forma de conduzir a pesquisa podem interferir consideravelmente no resultado obtido.
1. O método escolhido foi o mais adequado?
Na área de UX Design (design e experiência do usuário), existem diversos métodos utilizados para coletar dados e obter informações sobre produtos, serviços, processos, sistemas e usuários . Há, também, outras formas de pesquisa que variados campos utilizam. Caso tenha interesse, o link destacado abaixo, do UX Design.cc, relata essa diversidade.
Sempre questione se o método escolhido é o adequado para conseguir a resposta que você precisa. Em alguns contextos, a equipe responsável por criar a hipótese de solução é também responsável por obter os dados para tomar decisões. Desse modo, é tão possível escolhermos um método pouco adequado, quanto o aplicarmos de forma incorreta.
Aqui vai um exemplo:
Imagine que você está fazendo um questionário e quer saber o quanto um grupo de pessoas sabe sobre determinado assunto. Para obter essa resposta você pergunta:
"Você conhece [determinado assunto]?"
Vamos agora pensar um pouco sobre o contexto desses entrevistados: no meio de um questionário, ser confrontado sobre conhecer ou não determinado assunto pode, além de ser muito desconcertante, gerar muitas dúvidas. Podemos imaginar como essa pergunta, neste contexto, pode tem um efeito indesejado na sua pesquisa:
- Algumas pessoas poderiam dizer que sim, que conhecem esse assunto, por vergonha de confessar que não o conhecem de fato;
- Outras podem dizer que não o conhecem por medo de surgirem novas perguntas que provem que ele não sabe tanto quanto o entrevistador espera;
- Ou, ainda, as pessoas podem responder que conhecem ou não por terem diferentes parâmetros sobre o que é "conhecer o assunto".
2. As características da amostra correspondem às características do todo?
É importante esclarecer que o grupo de dados e de pessoas pesquisadas não representa nada além deles mesmos.
Se você conversar com cinco usuários, é incorreto pensar e dizer que consultou "os usuários", como se eles fossem uma entidade que se duplica uniformemente entre as pessoas que usam seu produto. É importante diversificar os perfis e momentos de recrutamento. Aqui na ContaAzul, um dos nossos métodos para contornar isso é a utilização de Patronos (leia mais neste artigo).
Se você conversou com pessoas que enviaram ideias pelos seus canais de ouvidoria, é importante ter consciência de que você está ouvindo os clientes que entraram em contato por algum motivo, e não todos os clientes. Essa é uma das fontes de dados, e não "a fonte definitiva". Grupos que mantêm uma comunicação constante com o produto podem não representar as características do todo, principalmente no quesito conhecimento e engajamento.
É necessário clareza das características dos sujeitos que deverão ser recrutados para que a sua amostra tenha algum nível de proximidade com o perfil de usuário do produto ou funcionalidade pesquisadas.
Caso decida analisar dados quantitativos de uso de um produto, procure coletar informações que façam sentido para o contexto do seu estudo. Faça perguntas a si mesmo(a), como:
- Qual recorte de tempo faz mais sentido para a análise que farei?
- Devo considerar usuários que não estão ativos/engajados?
- Como é definido o engajamento no contexto de seu produto?
- Os dados coletados são suficientes para serem considerados como estatisticamente válidos?
- Existe algum dado, ou grupo de dados, de casos de exceção que estão interferindo relevantemente na obtenção de uma média?
Aplicando dados na prática na ContaAzul
Como obtemos nossos dados
Nas nossas equipes, que se dividem entre tribos e esquadrões (leia mais neste artigo), há três principais formas de obter dados em sprints de Discovery (período de uma ou duas semanas com foco em imersão na problemática):
- Por meio de alinhamentos com outras áreas envolvidas no projeto, como gestão de produto, marketing, marketing de produto (responsáveis pela estratégia comercial), atendimento ou vendas;
- Por intermédio de estudos qualitativos realizados por outros designers em projetos passados ou por visitas de campo, entrevistas, sessões de cocriação com clientes e parceiros, rastreio de telas, entre outros;
- Por meio de métodos quantitativos diversos, geralmente coletando-os por meio de requisições no Metabase, a ferramenta de código-livre que utilizamos para parametrização de dados, que é de responsabilidade da tribo de Dados.
Como questionamos os dados
As pessoas de UX são responsáveis por liderar testes de usabilidade e pesquisas exploratórias, entretanto, sempre incluímos outros integrantes das nossas tribos nesse processo. A participação dessas pessoas ocorre desde a definição do que queremos aprender com a pesquisa até a aplicação e compilação dos dados.
Frequentemente convidamos designers de outras tribos para conversarmos individualmente sobre os trabalhos em andamento. Ou apresentamos a evolução das pesquisas na reunião semanal de designers, a Design Talk. Nesses momentos, cada designer levanta questionamentos e sugestões sobre como e qual dado coletar na sequência.
Desta forma, a empresa se mantém alinhada e as decisões em relação ao produto são tomadas a partir de comunicação e consenso, fomentando a colaboração de profissionais de áreas e de especialidades diversas, numa perspectiva transdisciplinar.
Apesar de termos construído solidez em nossos processos, temos várias oportunidades de melhoria. Inclusive temos vaga para uma pessoa especialista em UX Research (pesquisa em experiência do usuário). Que tal você se juntar ao nosso time e ajudar a evoluir os nossos processos? =)
É isso, Tati?
Sim! Encerramos por aqui. Espero que minhas observações a partir da visão do autor Darrell Huff sejam úteis no seu dia a dia. Sinta-se à vontade para entrar em contato comigo, aqui nos comentários ou por e-mail, para avançarmos essas discussões.
… pois afinal o texto acabou… Mas o assunto, nem de longe!
