Métricas do usuário, conversa e chatbot
Uma métrica é uma medida quantificável que é usada para rastrear e avaliar o status de um processo de negócios específico e defini-las é muito importante para acompanhar a evolução ou tomar precauções.
Provavelmente você já se deparou com uma ferramenta de analytcs para monitoramento e análise de sites e aplicativos que coletam dados sobre tráfego, localização dos seus visitantes, canais de origem entre outras coisas.
Agora numa conversa entre um usuário e um chatbot existem outras variáveis interessantes para o contexto como por exemplo saber aonde o usuário parou na conversa ou pontos que uma resposta não foi compreendida ou ainda atrasos na mensagem, ou seja, esse novo canal de comunicação exige análise de outras métricas que uma ferramenta de analytcs mais comum pode não fornecer.
Depois de implementar um chatbot, é importante definir métricas corretas para, através de monitoramento, avaliar e melhorar aspectos de eficiência, respostas adequadas, conversão.
Numa conversa existem três aspectos de métricas: do usuário, da conversa e do chatbot.
USUÁRIO
Total de usuários: Quantidade de pessoas que usam o chatbot.
Usuários engajados: São aqueles que se comunicam com o chatbot (recebem e enviam mensagens). Como foi dito, é importante que você defina quantas interações considera para que o usuário esteja engajado.
Novos usuários: Baseado em uma campanha de anúncios online, impacto via email ou SMS, midia off-line; é medido o sucesso dessa ação com base em novos usuários. Lembre-se que sempre será necessário divulgar o chatbot para que novos usuários interajam com ele.
CONVERSA
Mensagens Iniciais: Quantas pessoas respondem a essa mensagem e em quanto tempo.
Mensagens do Bot: Representa o número total de mensagens enviadas pelo chatbot em cada interação do usuário. Mede a duração de uma conversa entre o usuário e o chatbot.
Mensagens enviadas pelo usuário: Para entender se o usuário se envolve com o chatbot ou não. O não envolvimento pode significar que a informação poderá estar em outro lugar.
Mensagens perdidas: Mensagens que o chatbot não consegue processar — ocorre quando o bot responde “não entendi”.
Conversas Totais: Número de conversas iniciadas e completadas com sucesso em um determinado dia. Este é o conceito de usuários engajados
Novas Conversas: Número de novas conversas iniciadas
CHATBOT:
Taxa de Retenção: Esta é a porcentagem de usuários que retornam ao uso do chatbot em determinado período de tempo.
Taxa de conclusão da meta: captura a porcentagem de engajamento bem-sucedido por meio do chatbot.
Tempo de conclusão da meta: Minimizar o esforço para concluir uma meta pode melhorar a experiência do usuário.
Satisfação do Usuário: Pode ser definida através das pesquisas de saída perguntando ao usuário por exemplo se a dúvida foi esclarecida.
Transbordo (atendimento humano): Se a conversa foi programada para ter o mínimo de atendimento humano, é interessante saber quantas vezes o usuário necessitou de apoio humano.
Essas são algumas métricas que podem ser observadas para monitoramento do seu chatbot. Claro que cada caso exige a criação de métricas de acompanhamento. O mais importante é saber que medindo se tem base para saber se está sendo acertivo ou se há necessidade de melhoria em algum ponto específico da conversa.
Como sugestão, há algumas ferramentas que poderão facilitar a leitura e análise de dados. Segue algumas:
