Novidade no TESTR: nova escala de auto-avaliação da tarefa

De um lado, simplificamos a escolha do participante. Do outro, procuramos melhorar a qualidade dos resultados para o cliente.

Aqui não é casa de ferreiro! Além de ajudar nossos clientes a melhorar a experiência do usuário em sites e aplicativos, fazemos os nossos próprios testes de usabilidade. E muitas vezes aproveitamos os testes de nossos clientes para avaliar a nossa interface e ter ideias de melhorias — afinal, em cada vídeo de nossos clientes, vemos também os participantes usando a nossa interface.

E hoje lançamos uma melhoria do fluxo de teste para os participantes e também dos resultados para os clientes. Mudamos a pergunta de auto-avaliação para os participantes quando terminam a tarefa. Esperamos com isso facilitar a escolha dos participantes e melhorar a qualidade dos resultados para os clientes.

Contamos aqui o processo. :)

O problema: participantes não terminavam a tarefa, mas marcavam que haviam terminado

Um breve contexto: o TESTR é uma plataforma de teste de usabilidade remoto. Os participantes recebem um convite por e-mail e acessam o nossos sistema pra gravar um vídeo da tela e de seu rosto, seja pelo computador ou pelo celular. Eles acessam as tarefas por escrito e vão comentando em voz alta conforme vão fazendo. O teste no TESTR é composto de uma sequência de tarefas.

Ao final de cada tarefa, o próprio participante faz uma auto-avaliação de seu resultado. A nossa escala de avaliação era assim:

O participante escolhia entre “Completei” e “Não consegui, desisto”. Ao marcar “Completei”, podia selecionar uma opção na escala de avaliação de dificuldade, de “muito difícil” a “muito fácil”. Ao marcar “Não consegui, desisto”, também podia selecionar um motivo.

O problema era que muitos participantes não chegavam ao objetivo proposto na tarefa, mas mesmo assim clicavam em “Completei”. Isso atrapalhava a análise do cliente, que não podia confiar muito na auto-avaliação e nos gráficos de resultados. Sabemos que nem sempre a auto-avaliação do participante condiz com o que realmente aconteceu e isso é normal de teste de usabilidade, assim como outras pesquisas qualitativas. Às vezes a pessoa acha que conseguiu ou não tem senso crítico para avaliar. Mas sentimos que havia espaço para melhorar.

Como investigamos: testes de usabilidade presenciais

Depois de assistir muitos vídeos do TESTR em que os participantes marcavam “Completei” sem ter conseguido, formulamos algumas hipóteses para o que estava acontecendo:

1. Os participantes realmente achavam que haviam conseguido — neste caso, não teríamos muito o que fazer.
2. Os participantes consideravam que “conseguir” era tentar fazer a tarefa, não necessariamente ter sucesso.
3. Os participantes sabiam que não haviam conseguido realizar o cenário proposto, mas o termo “desisti” era muito pesado, são brasileiros e não desistem nunca.

Para investigar as hipóteses acima, precisávamos nos aprofundar um pouco mais e conversar com alguns participantes, questionando o porquê do comportamento. E para isso resolvemos fazer testes presenciais para observar pessoas respondendo pesquisas no TESTR (sim, foi um teste do teste no TESTR!).

Foram três rodadas de teste de guerrilha: primeiro em nosso escritório na ACE, depois no Centro Cultural Vergueiro (que fica convenientemente na frente do escritório) e por fim em nosso evento de UX Speed Dating. Foi um roteiro de teste muito rápido, em que pedimos para as pessoas responderem uma pesquisa no TESTR (meta-teste!) e observamos. E como não havia um perfil específico, o formato de teste de guerrilha funcionou super bem. Ao final da tarefa, conversamos sobre o que entendiam de cada um dos botões e em que situação utilizariam cada um deles.

Leia mais sobre locais para fazer teste de usabilidade

Como resultado, confirmamos que realmente a pergunta e as opções de resposta eram um problema. Poucas pessoas clicaram em “Não consegui, desisto”, mesmo quando era o caso. Nós criamos uma tarefa que era praticamente impossível de completar — em que teoricamente todo mundo deveria clicar em “Não consegui”. Mas mesmo assim, vimos gente clicando no “Completei”.

Os testes também ajudaram a consolidar uma ideia que estava no ar, mas que não conseguíamos entender direito: para os participantes, tentar fazer a tarefa era uma coisa. Chegar ao objetivo pedido no cenário da tarefa, outra coisa. Ao responder a pergunta no final da tarefa, o participante podia pensar “Sim, completei o que estava sendo pedido na tarefa. Tentei simular uma compra (só não consegui)”. Mas pra gente, a resposta era interpretada como “Sim, cheguei ao objetivo proposto pelo cenário da tarefa”.

“Desisti porque não encontrei o produto e não porque não concluí a tarefa.”

Por fim, uma coisa que a gente não imaginava é que os participantes poderiam ter medo de clicar em “Desisto”, com receio de que sua participação não fosse aceita (e medo de não receber a recompensa). É o eterno desafio do teste de usabilidade: como deixar as pessoas à vontade para que possam ser sinceras, sem medo de errar ou de criticar.

Em resumo, confirmamos algumas hipóteses e descobrimos coisas novas:

1. HIPÓTESE VALIDADA: Os participantes consideravam que “conseguir” era tentar fazer a tarefa, não necessariamente ter sucesso.
2. HIPÓTESE VALIDADA: Os participantes sabiam que não haviam conseguido realizar o cenário proposto, mas o termo “desisti” era muito pesado, são brasileiros e não desistem nunca.
3. + DESCOBERTA: Completar a tarefa é uma coisa, chegar ao objetivo proposta na tarefa é outra coisa.
4. + DESCOBERTA: O botão “não consegui, desisto” dava a impressão de que iam desistir da pesquisa como um todo — e, consequentemente, da recompensa pela pesquisa.

Solução proposta: simplificar tudo, separando o término da tarefa da avaliação do site

Para chegar em uma solução para os pontos observados, seguimos alguns princípios:

• Quanto menos opções, mais fácil de escolher.
• A culpa é do site, não do usuário.
• As pessoas se expressam melhor falando do que digitando ou selecionando opções.

E a nova escala ficou assim:

O que fizemos:

• Apenas um botão: “Terminei a tarefa”. Em roxo, que é a nossa cor neutra.
• Quando a pessoa clica ali, confirmamos se ela chegou ao objetivo da tarefa.
• Escala simplificada de avaliação. Além da opção “consegui com dificuldade”, temos uma “consegui, mas algumas coisas podem ser melhoradas”. É um jeito sutil para o participante dizer “não foi tão suave assim, mas a culpa não é minha”. Do ponto de vista de quem vai receber os resultados, as duas opções do meio podem ser consideradas a mesma coisa.
• Caso o participante tenha tido alguma dificuldade, pedimos para comentar em voz alta. Este era um pedido anterior de alguns clientes, que sentiam falta de uma justificativa sobre a resposta. Eliminamos as opções fechadas de motivo para a desistência e deixamos em aberto.
• Reforçamos que tudo bem se não conseguiu fazer a tarefa — afinal, a culpa é do site, não do usuário.

Bom, mas o trabalho não termina por aqui. Ainda estamos testando e avaliando a nova escala e a ideia é continuar fazendo ajustes.

O que muda para quem é cliente do TESTR?

Na criação do roteiro, você terá um campo a mais: o sucesso da tarefa. Isso aparecerá para o participante quando ele clicar em “Terminei”. Este campo é opcional.

Nos resultados, os resultados por tarefa vão passar a seguir esta nova escala.

A mudança foi com a intenção de melhorar os resultados que você vai obter com os testes. Vamos acompanhar isso de perto pra ver se deu certo e queremos a sua opinião! Conte pra gente o que achou!

Originally published at TESTR Blog.