Como Implementar a cultura de testes em uma organização

"O que eu lhe ofereço é a verdade, somente a verdade." — Morpheus

Há algum tempo atrás eu escrevi um post de Como Criar um Teste A/B Com VWO, o conteúdo teve uma receptividade bacana, pois é um tema que tem despertado o interesse de muita gente. Ainda sobre a temática de testes de interfaces eu apresentei uma palestra na UXConfBR 2015 em Porto Alegre, você pode conferir os slides aqui. Porém o assunto é extenso e não dá para ser esgotado facilmente, com isso surgiram várias dúvidas dos leitores, escolhi as mais recorrentes para explicar aqui: São elas;

  • Como analisar o resultados dos testes?
  • Como criar um relatório para apresentar o resultado dos testes?
  • Como fazer que a equipe adote a cultura de testes dentro da empresa?

É sobre esses assuntos que vamos falar e tentarei ser breve. O foco desta publicação será a forma que encontrei de inserir a cultura de testes na empresa que trabalho, que não é uma verdade absoluta e talvez não sirva para outras empresas, porém pode lhe trazer algumas idéias de por onde seguir.

Analisando os resultados de um teste A/B

Print: Tela análise resultado teste A/B VWO

A análise dos resultados é relativamente simples do ponto de vista da ferramenta, atualmente utilizo o VWO ( Visual Website Optimizer), que facilita bastante as análises pois sua interface é simples e intuitiva.

O que pode ser um pouco complexo é a interpretação das informações expostas, por isso, ao analisar os dados devemos considerar alguns pontos:

  • Qual era a hipótese a ser validada?
  • Qual é o contexto: tamanho da amostra, período avaliado, teve produto promocionado, houve ações externas de marketing que podem ter elevado o tráfego ou a conversão de determinada página/produto?
  • O teste foi executado tempo suficiente para atingir o Intervalo de Confiança ( método estatístico utilizado para aferir se a média de uma amostra não é fruto do acaso), considera-se 95% de certeza.
Print: Integração VWO com Google Analytics

Esses e outros detalhes devem ser considerados nas análises com as particularidades de cada cenário para garantir que o resultado de um teste não seja "enviesado" (quando o resultado é manipulado pelas circunstâncias nas quais foi submetido), como dizem os estatísticos.

Print: Integração VWO com Omniture Adobe Analytics

Além dos recursos de análise da própria ferramenta, é possível integrar com ferramentas de analytics como Google Analytics e Omniture Adobe Analytics para análises avançadas. Para isso será necessário configurações mais complexas com necessidade de codificação javascript + configurações no admin da plataforma de analytics.

Mas para quem não domina o "tecniquês" os relatórios básicos da ferramenta basta.

Criando relatórios para apresentar resultados dos testes

O segundo questionamento que mais me ocorre é sobre como apresentar os resultados para seus superiores, membros da equipe ou até pessoas que não estão diretamente ligadas a esse tipo de atividade.

Tem pouco mais de dois anos que executamos testes A/B nos sites que administramos, durante esse tempo experimentei formatos diferentes de apresentar o resultado dos testes que foram basicamente:

  • Formato: Um documento do word (google drive), Aderência: Baixa, Feedback: Médio, Conteúdo: textos e tabelas nos quais é apresentada a hipótese que estava sendo testada, em quais páginas do site, período e qual foi o resultado. Relatório compartilhado por email.
  • Formato: Um PPT (google drive), Aderência: Média, Feedback: Médio, Conteúdo: mesmo conteúdo do formato anterior com menos textos e mais gráficos e tabelas. Relatório compartilhado por email.
  • Formato: Email direto, Aderência: Alta, Feedback: Médio, Conteúdo: Nesse formato todo conteúdo é disposto em um e-mail corrido, onde hipóteses, objetivos, tabelas, gráficos e prints de tala são inseridos no corpo do e-mail da forma mais breve possível mostrando o resultado.

Como fazer que a equipe adote a cultura de testes dentro da empresa?

Por fim, mais importante do que realizar os testes é fazer com que as pessoas dentro da organização vistam a camisa, levantem a bandeira do teste e a adotem como cultura dentro dos times de UX, MKT e TI, pois um colaborador um dia pode ir embora da organização a cultura não, ela permeia no ambiente e atravessa gerações.

Print: Tread de e-mail, Board no Trello e Grupo no Skype

Para isso usei alguns recursos para impregnar a cultura de testes na organização e recomendo que;

  • Dê o primeiro passo, faça você mesmo os primeiros testes mesmo que sem apoio, é comum que haja resistência nas primeiras investidas. Só tenha cuidado para não comprometer a experiência do usuário ou o faturamento do seu negócio.
  • Fale com seu time sobre a importância dos testes para melhorar a experiência do usuário ou aumentar as taxas de click e conversão.
  • Grupo no Skype para estreitar a comunicação, compartilhar idéias, solicitações e possibilidades.
  • Board no Trello para servir como backlog e acompanhar o andamento dos testes.
  • Compartilhar os resultados com os times, utilizando algum dos formatos de relatórios sugeridos anteriormente. Essa etapa é fundamental para literalmente mostrar valor e justificar a importância dos testes.
  • Transferência de conhecimento; treine outras pessoas para que também sejam capazes de planejar e executar testes A/B ou multi-variáveis.
Print: Tread de e-mail designers já projetam pensando em realizar testes

Na Imagem acima, uma tread de e-mail na qual um dos designers do time faz uma proposta de layout na qual já foi projetada pensando na possibilidade de execução de um teste A/B. Quando chegamos a esse nível de organização e iniciativas quer dizer que estamos no caminho certo.

Atualizando com o vídeo da Palestra com mesmo tema realizada no RD Summit Florianópolis 2015

Video da Palestra no YouTube (https://youtu.be/ucLyJb0MUAg)

Conteúdo de apio

Eu desejaria boa sorte com os testes, mas estaria traindo minha própria convicção, já que acreditamos em fatos e nos baseamos em dados/números e não na sorte. Então, bom trabalho e boas análises!

Show your support

Clapping shows how much you appreciated Huxley Dias’s story.