Métricas de UX para chatbots e o Convex Mindset

Adolfo Melo
Apr 10 · 8 min read

Se você trabalha com chatbots e gasta um bom tempo ou tem dificuldade para descobrir o que precisa melhorar, quais são as novas oportunidades e qual é a prioridade da evolução… chega mais, vamos conversar.

Ainda hoje não conseguimos melhorar a experiência conversacional sem esforço humano. Apesar de ser uma atividade operacional e relativamente cara, o trabalho de análise da interação continua sendo um dos mais valiosos para a otimização dos serviços prestados por chatbots. Não é à toa que a startup Appen, que cresceu 2900% desde seu IPO em 2015, tem mais de 1 milhão de freelancers validando resultados de buscas para otimizar algoritmos de Machine Learning de empresas como Google e Microsoft.

Valor das ações da Appen, em Dólares Australianos — 28/Ago/2018. Fonte: Slator

A questão é: sabendo da importância da análise de interação, mas entendendo que é inviável analisar qualitativamente milhares de mensagens trocadas semanal ou diariamente, é preciso ter clareza de qual é a prioridade para direcionar os esforços.

O desafio é responder as perguntas certas 🤔

Perguntas como estas nos ajudam a priorizar. O quão mais rápido e fácil for chegar às respostas, mais eficientes serão os esforços para melhorar a experiência.

O problema é a dificuldade de chegar nessas respostas 🎯

Com o crescimento dos chatbots, começaram a surgir várias ferramentas de analytics voltadas para o mercado, como BotAnalytics, Dashbot e Chatbase.

Trabalho com chatbots desde 2016 e conheço de perto essas ferramentas. O Chatbase é, de longe, a ferramenta mais fácil e eficiente para analisar conversas. A integração é simples, a interface é amigável e é possível observar a experiência quanti e qualitativamente. Para um chatbot em estágio inicial e não muito complexo, a solução atendente — até certo ponto. Vou usá-lo como referência para explicar melhor aonde estamos hoje e onde podemos chegar.

Da árvore de decisão ao Convex Mindset

Começando pela arquitetura da informação, a forma mais trivial de projetar e analisar um chatbot é a partir de uma árvore de decisão.

Árvore de decisão: A forma mais simples de construir e analisar uma conversa.

É bem simples: para cada mensagem (ou conjunto de mensagens) enviada pelo bot, avalia-se o conteúdo da resposta dada pela pessoa que está interagindo para decidir qual é a próxima mensagem a ser enviada pelo bot.

Se a mensagem da pessoa foi interpretada, a conversa flui para o próximo passo da árvore de navegação. Caso contrário, geralmente temos algum desses tipos de fallback:

É tão óbvio que pode passar despercebido: não entender as mensagens recebidas é sempre um problema.

Já que conseguir interpretar as mensagens é um desafio relevante para qualquer chatbot, como as ferramentas de analytics podem nos ajudar nisso? O Chatbase vai nos servir de exemplo.

Modelo mental do Chatbase.

O Chatbase nos trouxe algumas novidades. A primeira delas foi facilitar a percepção do abandono de conversas. A sessão é automaticamente calculada com base no horário das mensagens enviadas e recebidas. Com isso, conseguimos visualizar em gráficos como o Session Flow em que momentos da conversa as pessoas pararam de interagir.

Exemplo do grafico Session Flow, do Chatbase.

A segunda novidade (em analytics para bots) é a forma de visualizar as mensagens enviadas pelas pessoas, a partir de uma classificação prévia. Caso a mensagem seja interpretada, podemos associá-la à uma intenção. Se nenhuma intenção for identificada, classificamos a mensagem como Not Handled (não tratada). Dessa forma o gráfico Session Flow consegue:

  • Agrupar mensagens com intenções similares;
  • Exibir a frequência de mensagens não tratadas;
  • Facilitar a visualização dos caminhos mais frequentes;
  • Expor o abandono da conversa por parte dos usuários;
  • Exibir trechos de conversas relacionados às intenções agrupadas (através do botão view transcripts).

Outros recursos como a “clusterização” (agrupamento) de mensagens não tratadas e a construção de funis também ajudam a responder as perguntas citadas anteriormente, mas, à medida que os chatbots vão crescendo em complexidade, a simplicidade do Chatbase começa a se transformar em limitação.

Preciso confessar: sou fã do Chatbase, quase um advocate. A plataforma me reduziu dias de trabalho com análise de conversas, justamente por ajudar a enxergar melhor os problemas, adicionando variáveis relevantes e facilitando a priorização. A questão é que chatbots não são tão simples quanto a visão que o Chatbase nos permite ter.

Convex Mindset

O que vem a seguir é a introdução de um novo modelo mental, complementar ao mindset atual das plataformas de análise de conversas, e que considera relevância, aplicabilidade e impacto no processo de evolução de chatbots.

Convex é um acrônimo para CONVersational EXperience. Um termo menos prolixo que carrega em si o coração de toda essa discussão, afinal, estamos trabalhando para melhorar experiências conversacionais.

O principal conceito da Convex é o CONTEXTO.

O contexto é importante por 2 razões principais:

Convex Mindset.

Este modelo mental nos permite observar uma nova camada de abstração na interpretação das conversas. A condição “Entendemos o que ela falou?” é especialmente relevante por explicitar a diferença entre:

  • uma mensagem entendida e esperada; versus
  • uma mensagem entendida e não esperada (ou seja, fora do contexto).

Conteúdos entendidos mas que não fazem parte do contexto podem ser tanto interações simples como um emoji ou interjeições (surpresa, alegria, dúvida), quanto intenções que fazem parte do escopo do chatbot, mas que não pertencem àquele contexto em específico. Entender interações “não esperadas” permite interpretar se a pessoa mudou ou não de objetivo no meio da conversa.

Imagine uma pessoa conversando com um bot no objetivo de comprar uma pizza. Ela faz suas escolhas e, no momento de confirmar o pedido, pede para adicionar sachês de maionese e ketchup. O que o bot esperava naquele momento da conversa era uma uma confirmação do pedido, o que não aconteceu. Mas, ao interpretar que a pessoa pediu ketchup e maionese (entendido mas não esperado), podemos tratar a mensagem mais adequadamente. Sabendo que adicionar ketchup e maionese é uma intenção que faz sentido dentro do objetivo de “comprar pizza”, podemos simplesmente informar à pessoa que adicionamos os itens à lista e prosseguir com a confirmação do pedido. Em suma, ter o controle do contexto permite a construção de conversas mais fluidas, com menos atritos.

Inclusive, a Bianca Pinheiro escreveu um texto bem completo explicando com mais detalhes uma arquitetura para lidar com conteúdos não esperados.

Exemplificando a análise contextual

Observe como é fácil fazer a leitura desse contexto:

  • O contexto é Escolher sabor;
  • Este contexto faz parte do objetivo Comprar pizza;
  • A orientação do contexto é Avançar (a outra possibilidade é Concluir);
  • 10% das pessoas abandonaram a conversa no contexto Escolher sabor
  • 65% das pessoas escolheram um sabor de pizza;
  • 5% das pessoas falaram algo que entendemos (mas não era um sabor);
  • 15% das interações não foram entendidas no contexto Escolher sabor.

Detalhe importante: O contexto pertence a um objetivo

Vincular contexto e objetivo facilita a construção de funis que, por sua vez, ajudam a visualizar a entrega de valor do chatbot e a identificar pontos fracos na experiência. Desenhei para ficar mais fácil de explicar 👇

Observe que as 6 cores do modelo mental estão presentes nas colunas do funil.

Visualmente, observamos rapidamente alguns pontos críticos. Será que conseguimos responder aquelas perguntas do início do texto? Tentemos:

1. Quais são os pontos críticos da experiência?

As cores amarela, laranja e vermelha indicam pontos de melhoria. Olhando para o gráfico, vemos que os pontos críticos estão nas 3 primeiras colunas, onde essas cores têm maior presença. Assim, a prioridade é analisar as mensagens não entendidas dos contextos Escolher sabor e Escolher bebida, além das mensagens não esperadas do contexto Local de entrega.

2. Qual é a taxa de sucesso das conversas?

Fácil, 20%. Observe que a taxa de sucesso de uma coluna (em verde) é o limite de entrada da coluna seguinte (em branco). Ou seja, para aumentar a taxa de sucesso final do funil, precisamos trabalhar para reduzir as cores vermelhas, amarelas e laranjas de cada uma das colunas anteriores.

3. Em que momento as pessoas param de conversar com seu chatbot?

Para esse exemplo, os momentos mais críticos são os 2 contextos do início do funil. Dúvidas: Será que 10% de evasão é muito? Qual é o comportamento para outros objetivos que o bot atende?

4. O que as pessoas estão falando que sua solução não entende?

Se as mensagens não entendidas estiverem vinculadas aos seus respectivos contextos, basta analisá-las separadamente (de preferência, priorizando os pontos críticos identificados na 1ª resposta).

Acredita que conseguimos ter um bom norte para todas as perguntas? Se achou o exemplo trivial, te convido a propor um caso de uso em que o convex mindset tenha maiores desafios para entregar valor — vou adorar a discussão, de verdade.


Por entender a dificuldade de lidar com a multiplicidade de informações e perceber padrões recorrentes independente do propósito de cada chatbot, decidi documentar tais conceitos para facilitar a interpretação dessa complexidade. A consolidação desse esforço é o conceito apresentado nesse post, o Convex mindset, uma abordagem que não se prende à tecnologias e é genérica o suficiente para se adaptar a qualquer experiência conversacional, com o propósito de:

Essa é uma breve introdução de um assunto que ainda tem muitos desdobramentos. De toda forma, se a teoria te permitiu um novo olhar sobre o design de conversas, bate umas palminhas digitais 👏 ou compartilha com alguém que possa se interessar — Agradeço demais. E se quiser continuar essa conversa, é só chamar.

Bots Brasil

Conectamos pessoas e compartilhamos conteúdos relacionados à Bots, Inteligência Artificial e Interfaces Conversacionais em Português.

Adolfo Melo

Written by

Product Designer @ nama.ai

Bots Brasil

Conectamos pessoas e compartilhamos conteúdos relacionados à Bots, Inteligência Artificial e Interfaces Conversacionais em Português.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade