Teste Mágico de Oz em chatbots

Testando um fluxo conversacional enquanto ele ainda é só um desenho

Você juntou todas as informações necessárias com o time de produtos. Entendeu a jornada do cliente. Fez benchmark. Analisou as regras de negócio da empresa. Deu aquela conferida legal — perdão pelo jogo de palavras — com o time jurídico. Desenhou o macrofluxo. Conferiu a viabilidade técnica da solução. Alinhou com todas as pessoas envolvidas. Escreveu cada frase da conversa usando o tom de voz da empresa e todas as boas práticas de UX Writing.

Fluxo conversacional desenhado. Ufa! Pode respirar, designer.

Personagem Dwight, da série The Office, reagindo aliviado depois de muito trabalho. Fonte: Imgur.

Respirou? Porque agora vamos testar.

Será que essa solução realmente tá fazendo sentido? A linguagem tá clara? A pessoa usuária vai conseguir navegar sem dúvidas?

Esse artigo é inspirado em um case real.

Esse é um dos artigos de base da minha palestra no encontro presencial da comunidade Bots Brasil que aconteceu em São Paulo, dia 15 de Julho de 2023. Depois de ler, dá uma conferida 😄

Agora, de volta pro texto. Boa leitura!

Sobre o teste Mágico de Oz

Já vou responder que sim. O nome tem a ver com o filme “O Mágico de Oz” 😅

Descobri essa informação enquanto pesquisava sobre o assunto e achei o artigo “Mágico de Oz: o que é e como utilizar no design conversacional?” em que o Caio Calado desvenda esse mistério.

[Alerta de Spoiler] A cena que inspirou esse nome é aquela em que a personagem Doroty descobre que a grande cabeça flutuante do Mágico de Oz nada mais era do que uma ilusão. Que, na verdade, tudo era uma simulação que acontecia sem ninguém saber por detrás de uma cortina.

Tá curioso pra lembrar que cena é essa? O Caio deixou o link lá no texto dele pra você assistir a esse momento icônico do cinema. Aproveita que o conteúdo vai te ajudar também 😉

E bom, já deu pra ter uma noção sobre a ideia principal desse teste? O designer Michael Gearon, no artigo What is the Wizard of Oz testing? (O que é o teste Mágico de Oz?), deixou uma definição pra gente:

“O método de teste Mágico de Oz é uma maneira de enganar os usuários, levando-os a acreditar que estão usando a experiência real, para assim conseguir feedbacks precisos sobre seu serviço ou produto.” (tradução livre)

A Kromatic, uma startup de inovação em design, também faz uma reflexão sobre o valor desse tipo de teste no artigo Concierge vs. Wizard of Oz Test (Teste de Concierge x Teste Mágico de Oz):

“Em um teste Mágico de Oz, a experiência do usuário é uma simulação completa do produto real, mas com um pequeno atraso, já que um humano não pode reagir tão rápido quanto um computador.

A proposta de valor entregue é quase igual, mas um pouco abaixo do desempenho.” (tradução livre)

Ou seja, o objetivo é entender o comportamento da pessoa usuária enquanto ela usa o produto, de forma qualitativa.

Fonte: NNGroup

Quando a cortina se fecha, o show começa

É hora do backstage se movimentar. Ninguém faz nada sozinho nessa vida (nem em outra), então vamos precisar de reforços.

“Um dos maiores benefícios do teste Mágico de Oz é que se trata de um método colaborativo que pode reunir as equipes de design e outras partes interessadas.” (Tradução livre)

Usando o teste Mágico de Oz em aplicativos de voz, de H. Lock.

Trazendo essa proposta de simulação pro mundo do design de chatbots, vamos “fingir” que o bot já tá em produção, simulando que as respostas são automáticas porque já foram programadas.

Imagem esquematizando o teste Mágico de Oz. Inspirado no artigo de H. Lock. Fonte: o autor.

O time

Como se trata de um teste assistido, vamos precisar de 3 pessoas: alguém pra mediar a conversa com a pessoa usuária, outra pessoa pra observar e fazer anotações estratégicas durante a interação e uma terceira pessoa pra fazer o papel do próprio Mágico, simulando o chatbot.

No case que estou me baseando aqui, o time era composto por duas pessoas UX Writers e uma pessoa UX Researcher. Inclusive, essa pode ser uma ótima oportunidade pra você que trabalha com redação aprender com alguém que trabalha com outra especialidade e vice-versa 😉

Por exemplo, você pode convidar alguém do time de produtos participar nem que seja como telespectadora. Aproveite esse momento pra trazer pessoas estratégicas, seu produto pode colher bons frutos no futuro com esse tipo de atitude.

Time pro teste Mágico de Oz: uma pessoa pra observar, outra pra mediar e mais uma pra simular o chatbot. Fonte: o autor.

A preparação

Aqui, a gente precisa manter o time muito bem alinhado. Essa é a hora de ensaiar pro nosso exercício de ilusionismo 🧙‍♂️

Algumas perguntas que precisam de respostas:

• Em qual canal esse chatbot está? Conseguimos usar essa mesma interface ou precisamos adaptar?
• Qual o objetivo e contexto que a pessoa usuária vai receber pra executar o teste?
• Qual parte do novo fluxo conversacional vamos testar? Todos os cenários? Algum caminho específico?
• Qual o perfil de pessoa usuária que estamos procurando?
• Conseguimos recrutar pessoas clientes reais ou vamos realizar o teste com pessoas internas da empresa? Como e quando vamos marcar com essas pessoas?
• Em quais momentos vamos direcionar alguma pergunta específica? E quais são essas perguntas?
• Quem do time vai ocupar cada cadeira durante a interação?
• Qual o critério de sucesso do teste?

É, você deve ter entendido porque chamamos uma pessoa UX Researcher pra ajudar, não é? (Rodrigo Yuji, um abraço apertado, querido!)

UX Writing também é pesquisa. Se research ainda não é tanto a “sua praia”, pode ser uma boa oportunidade pra aprender! Deixei no final desse artigo o link de mais conteúdos sobre esse assunto que vão te ajudar a se aprofundar nesse universo incrível 🤓

Ah, não se esqueçam de documentar tudo. A gente usou o Miro pra ser o repositório do que estávamos decidindo.

Momento em que estávamos refinando o macrofluxo conversacional pro teste. Fonte: o autor.

O teste

Tudo esquematizado. Cada pessoa sabendo o seu papel. Planilha pra anotações pronta. Árvore conversacional de fácil acesso pra pessoa que vai simular o chatbot.

O show começou.

No case em questão, o teste foi feito de maneira remota via Microsoft Teams com 3 pessoas clientes. A gente, do time de UX, estava no escritório da empresa, na mesma sala presencialmente. Usamos o WhatsApp como interface.

Como funciona essa grande simulação na prática: a pessoa usuária conversa pelo aplicativo de mensagens direto com quem simula o chatbot, que por sua vez segue toda a linha de raciocínio e fraseologias definidas durante a idealização do fluxo conversacional. Enquanto isso acontece, a pessoa mediadora dá o contexto e tenta extrair toda a linha de raciocínio de quem está ali testando, buscando reunir insights. Já a pessoa que observa, analisa desde as palavras usadas no bate-papo à linguagem comportamental da pessoa, anotando essas percepções na planilha.

Durante esse tipo de experimento, acredito que um dos pontos de maior atenção é a comunicação e o alinhamento de expectativas. A internet pode falhar. Quem tá fazendo o papel do chatbot pode se perder, demorar pra responder e até errar. A pessoa usuária pode tomar alguma ação que não tinha sido mapeada. E aí?

Inclusive, acho até interessante trazer o Limiar de Doherty pra esse contexto. Se você não lembra do que se trata, Jon Yablonsky define pra gente no livro “Leis da Psicologia Aplicadas a UX”:

“Um dos recursos críticos para boas experiências do usuário é o desempenho.

As emoções podem se transformar rapidamente em frustração e deixar um impacto negativo duradouro quando os usuários que estão tentando realizar uma tarefa encontram um processamento lento, falta de feedback ou tempos de carregamento excessivo.”

Coisas inesperadas podem acontecer e vocês têm que “se virar”. O time deve manter um canal de comunicação aberto entre si durante o teste e não se esquecer de alinhar a expectativa com quem tá do outro lado testando. Se algo deu errado, avise. Busque criar um ambiente de empatia entre a pessoa usuária e o chatbot.

Esse teste é baseado no improviso, lembra? Pode ser até engraçado às vezes, confesso.

Planilha criada no Miro pra pessoa observadora fazer suas anotações. Fonte: o autor.

Analisando os resultados

O time se reúne pra compilar os resultados. Existe algum erro ou comentário negativo comum entre os participantes? Que dúvidas apareceram? O resultado foi o esperado? Tem algum cenário que não tinha sido mapeado? O textual do fluxo estava claro? A conversa soou flúida?

Reúna todos os insights em uma apresentação e alinhe com as outras partes estratégicas envolvidas. Esse momento é pra vocês decidirem que ajustes vão ser priorizados e colocar todas as pessoas na mesma página quanto ao futuro da feature ou produto.

Fim do ato

Bravo, bravo! 👏

Vocês conseguiram simular um chatbot em produção e aprenderam mais sobre a funcionalidade ou produto em questão. Ou seja, levaram insumos pra squad e o produto teve uma primeira validação real antes mesmo de ser desenvolvido pelo time de engenharia! 🤯

O teste Mágico de Oz pode ser aplicado em qualquer etapa ao longo da criação da funcionalidade ou produto. Errar rápido pra aprender rápido, certo?

Referências

Ah, e como prometido, mais alguns artigos que podem te ajudar a entender melhor como aplicar esse teste em seu contexto:

• Mágico de Oz: o que é e como utilizar no design conversacional?
• Using “Wizard of Oz” testing for voice apps
• Concierge vs. Wizard of Oz Test
• What is the Wizard of Oz testing?
• Leis da Psicologia Aplicadas a UX, de Jon Yablonski
• Design Sprint Conversacional na prática
• Quantos participantes incluir em um teste de usabilidade?
• Exemplo de planejamento e roteiro de teste de usabilidade
• Entrevistas com usuários: dicas para coletar insights
• Como tabular e analisar os resultados de um teste de usabilidade

Se quiser bater um papo sobre esse assunto, é só me chamar! 🥰

Aquele abraço!