Expectation Rating: uma metodologia para quantificar a experiência do usuário

Como parte do desafio diário de ser uma Product Manager, sempre há aquela expectativa sobre o lançamento de um novo produto, principalmente se estamos indo para o caminho certo. Dentro desse contexto eu quero compartilhar a metodologia que eu utilizei para validar quantitativamente a experiência do usuário em relação ao produto, já na fase de prototipação, o Expectation Rating, criado por Albert e Dixon (2003).

A Metodologia ER (Expectation Ratings)

A metodologia traz uma relação de quão fácil ou difícil é executar uma ação no seu produto e compara com a percepção de complexidade que ele teve antes de começar essa ação.

Tanto a expectativa quanto a realidade sobre executar uma determinada tarefa são ranqueadas em uma escala de (1) muito fácil a (7) muito difícil. Com isso, após realizar o teste é possível construir uma matriz, separada por quatro quadrantes, como mostrado na figura abaixo:

Figura 1. Ilustração dos quatro quadrantes propostos por Tullis e Albert, 2008, para categorizar a dispersão dos rankings da metodologia de ER.

Don’t touch it: são tarefas que os usuários classificaram como fácil tanto antes quanto depois da sua execução. Então é factível que nenhuma ação seja tomada em relação a elas.

Promote it: tarefas que os usuários tinham a percepção de serem difíceis antes da execução, mas foram classificadas como fáceis após sua realização. Nesse ponto vale uma reflexão de como promover melhor essa funcionalidade.

Fix it fast: são as tarefas que as pessoas participantes pensaram que fosse fácil, mas durante o teste acharam difícil, que nada mais é que um ponto de insatisfação alto do usuário, sendo este o quadrante prioritário para serem feitas mudanças.

Big Opportunity: as pessoas definiram como difícil a ação antes e durante sua realização. Trata-se de uma boa oportunidade para fazer melhorias nessas tarefas e, com isso, movê-las para o quadrante de “Promote it”.

Casos mais indicados para aplicar essa metodologia

Essa metodologia mostrou grande valor para validar a solução de um novo produto. Ela trouxe insumos que me ajudaram a refletir sobre a evolução do produto em relação à versão anterior, e também, como estamos em comparação ao maior competidor naquele segmento.

No meu caso, eu estava colocando em teste um protótipo funcional de alta fidelidade do novo editor de email do RD Station.

Planejamento e Execução

O processo entre desenvolver o cenário de teste, agendar, executar e analisar os resultados pode levar em torno de duas semanas. Nesse artigo da Resultados Digitais há várias informações de como o time de designers conduzem testes de usabilidade.

Para ilustrar, vou trazer o passo a passo que eu executei para aplicar o ER.

Defina as tarefas do teste e o perfil do usuário

O primeiro passo é definir o que será avaliado e quem participará dos testes.

No meu caso eu precisava ter um grupo com perfis bem diferentes, pois a funcionalidade que estava testando seria lançada para toda a base do RD Station. Assim, meus testes deveriam englobar perfis com diferentes níveis de engajamento com a plataforma (de light users a heavy users) e de diferentes tipos de contas, inbound e parceiros, de diferentes planos do RD Station.

Já as tarefas foram escolhidas sob diferentes perspectivas, como problemas levantados pela área de Customer Success (área de atendimento de clientes), tickets no suporte e gargalos levantados pelo próprio time de produto.

Crie um cenário de teste

No nosso time de produto costumamos utilizar protótipos funcionais de alta fidelidade para executar os testes de usabilidade que também são parte fundamental de toda etapa de planejamento e execução das sprints — em linhas gerais, o protótipo é utilizado como critério de aceitação de entrega, uma vez que fica muito claro para o time de desenvolvimento o funcionamento do produto, as regras de negócio e comportamento da interface.

Bem, o primeiro passo foi fazer com que o protótipo estivesse com os links e principais ações funcionando da forma mais fiel possível.

O próximo passo foi, de fato, escrever o cenário de teste no qual as pessoas seriam submetidas, ou seja, todas as tarefas que elas deveria executar. No meu caso, o cenário era criar uma campanha de email para promoção de um material rico.

Passo a passo do teste de usabilidade

Os testes foram realizados por Skype, com compartilhamento de tela. Foi essencial gravar todos os testes, tanto a tela quanto o áudio para possíveis consultas e compilação de resultados.

Uma dica é deixar preparado um email padrão para enviar para as pessoas instantes antes do teste, contendo algumas instruções importantes e arquivos que serão utilizados durante a entrevista. No meu caso foi um arquivo de ebook, imagens e textos para montar o email marketing.

A estrutura de um cenário de teste tinha a seguinte estrutura:

1. Apresentações e agradecimento pelo tempo das pessoas participantes;
2. Principais orientações para o teste;
3. Perguntas sobre a pessoa(nome, função dentro da empresa, tamanho da equipe de marketing, etc);
4. Frequência de uso da ferramenta de email;
5. Explicação do cenário do teste.

Em relação ao item (5), meu cenário tinha o seguinte formato:

“Você trabalha na área de marketing de uma Clínica Odontológica e planejou criar uma campanha para os Leads da sua base para divulgar o seu novo eBook”.

Bem, agora eu gostaria que você acessasse o seu email para baixar os arquivos e executar a primeira tarefa”.

“Tarefa 1. Insira a logomarca que você recebeu por email na sua template”.

Nesse ponto, antes de iniciar o teste, pergunte:

“Quão difícil ou fácil você espera que seja realizar esta tarefa?

1 — muito fácil … 7 — muito difícil”

E depois de realizar o teste, novamente você pergunta:

“Quão difícil ou fácil você achou que foi realizar esta tarefa?

1 — muito fácil … 7 — muito difícil”

O ideal é sempre fazer o teste com alguma companhia e, de preferência, peça para que alguém do time de design, que não participou da elaboração da solução, conduza a entrevista, a fim de evitar interferências e alguma ação tendenciosa.

Resultados e aprendizados

Os resultados do teste foram compilados em uma planilha como mostrado abaixo:

No geral, eu registro as notas para cálculo do Expectation Rating, o tempo de execução de cada tarefa e se o usuário conseguiu executar a ação, além de alguma informação mais pertinente.

Para cada tarefa eu tirei uma média das notas e plotei o gráfico para avaliar o ER. E esse foi o resultado do teste para o protótipo do novo editor de email:

O que o gráfico me diz é que a maioria das minhas tarefas ficaram localizadas no quadrante Don’t touch it, ou seja, as ações que foram executadas no protótipo do novo editor de email foram classificadas como fáceis antes e depois de serem realizadas.

Ainda sobre o resultado, eu tive uma tarefa que foi ficou no quadrante de Big opportunity, ou seja, era uma tarefa na qual tanto a expectativa quanto a experiência de uso eram difíceis — e posteriormente virou um ponto de melhoria que conseguimos implementar antes do lançamento oficial do produto. Nesse caso, a tarefa consistia em fazer uma edição mais complexa no template de email, e não ficava claro para as pessoas a localização exata da edição desse estilo. O que serviu de insumo para melhorar a interface do produto.

Conclusão

Os resultados foram essenciais para etapa de desenvolvimento do novo editor de Email Marketing do RD Station. Como tratava-se de um projeto de grande investimento e impacto para empresa, a metodologia do ER trouxe aprendizados valiosos não apenas acerca das ações definidas no teste, mas também foi uma fonte rica de insights e melhorias para implementar no produto posteriormente e, assim, garantir um Lançamento bem sucedido durante o RD Summit.

Além disso, o Expectation Rating é hoje uma ferramenta poderosa para o time de Produto da RD avaliar a usabilidade da plataforma de maneira quantitativa.

E você, já utilizou alguma outra metodologia para quantificar a experiência do usuário?