Métricas que contam para chatbots

Depois que os chatbots são colocados em produção e passam a ser executados, uma dúvida que muitas vezes surge é relacionada ao que monitorar, ou, em outras palavras, quais métricas utilizar.

Antes de mais nada, é importante lembrar que a gestão em geral não é uma ciência exata, que tampouco tem fórmulas ou receitas mágicas que valem para todas as situações. Assim, evidentemente podem existir necessidades particulares e específicas diferentes dessas que são apresentadas nesse texto. Feita essa ressalva, vamos apresentar neste artigo algumas sugestões de métricas que podem ser utilizadas com chatbots, comentando-as.

Obviamente captura dessas estatísticas depende da capacidade de monitoramento no projeto de desenvolvimento dos chatbots são desenvolvidos, ou do suporte a métricas na plataforma na qual os mesmos são criados.

Para as métricas sugeridas a seguir, a boa prática é que sejam contabilizadas as contagem das ocorrências e suas distribuições percentuais.

As sugestões apresentadas a seguir estão agrupadas por área funcional.

Acesso e ambiente dos usuários

Em primeiro lugar, pode ser interessante monitorar-se o acesso utilizado para chegar nos BOTs e o ambiente do usuário que interage com um BOT.

Duas métricas nessa área poderiam ser o método de autenticação que o usuário utilizou (para o caso de acesso via redes sociais, por exemplo) e o ambiente de execução do BOT, como web, Messenger, etc.

Atributos dos usuários

Caso o ambiente suporte, uma métrica muito interessante é a distribuição dos usuários de acordo com os seus atributos. Um exemplo que pode ser citado é quanto ao gênero dos visitantes, oriundo da autenticação via Facebook. Na verdade, qualquer outro atributo que possa ser coletado e é pertinente para o BOT é útil de ser contabilizado como métrica, como por exemplo preferências, tipo de associação, plano utilizado, contrato, perfil de consumo, etc. Imagine, leitor, você visualizar estatísticas sobre um BOT de pré-vendas e poder conhecer a distribuição de atendimentos de acordo com o tipo de produto solicitado, tipo de plano, perfil social do cliente, etc.

Intenções dos usuários

Sem dúvida nenhuma a determinação adequada de intenções sobre as sentenças escritas pelos usuários é um dos pontos mais importantes e impactantes dos chatbots. Nada mais natural, portanto, que uma métrica a ser considerada seja relacionada às intenções classificadas a partir das interações dos usuários. Com essa métrica pode-se observar estatisticamente quais intenções representam os maiores percentuais de necessidades apresentadas pelos usuários, mesmo sendo estas originadas em linguagem natural. Uma situação comum que pode ilustrar o uso desse tipo de métrica é disponibilizar-se um BOT de apoio e verificar-se que a maioria das interações são relacionadas a dúvidas, e não a solicitações, por exemplo.

Escolhas e navegações

Embora muitos preconizem que chatbots devam tão somente compreender linguagem humana e a partir dela detectar intenções, e com isso direcionar os atendimentos, muitos BOTs são úteis com processamento de regras e escolha de opções por usuários. Em muitos casos isso é até mais prático e produtivo — sempre depende de cada caso, obviamente.

Nos casos em que os BOTs apresentam opções, todas as questões e opções escolhidas pelos usuários deveriam ser monitoradas como métricas. Para um BOT de atendimento em SAC, por exemplo, deve-se capturar todas as escolhas dos usuários para reclamações, sugestões, tratamento de pedidos, etc. Além das escolhas de opções de navegação, é desejável capturar-se também as escolhas de listas, em situações onde um BOT pergunta a um usuário alguma coisa e a resposta é escolhida a partir de uma lista (como “qual é a sua loja preferida”, por exemplo, quando ao invés de deixar o usuário responder o BOT apresenta opções de escolha).

É importante salientar que as navegações que ocorrem automaticamente também podem gerar métricas. Por exemplo, um BOT pode ser configurado para oferecer produtos para jovens e adultos, e de acordo com a idade do usuário, um desvio no fluxo ocorre automaticamente. Esses desvios automáticos também são passíveis de terem métricas criadas, exatamente como as escolhas feitas pelos usuários.

Opções em pesquisas, quizzes e testes

Caso o BOT aplique pesquisas, testes ou quizzes (que podem inclusive ter pontuação por questão respondida ou alternativa de questão), é muito importante a manutenção de uma métrica com as questões e as respostas escolhidas pelos usuários, apresentando uma distribuição de frequência de repostas, juntamente com somatório e média das respectivas pontuações.

Términos

Este elemento é fundamental, seu conceito vem do BPM — Business Process Management (ou Gerenciamento de Processos de Negócio). Os fluxos de processos de negócio, assim como os fluxos de diálogos dos BOTs podem levar a diferentes finais, ou términos. Assim, um diálogo pode ter um fim para cada derivação de navegação, como por exemplo um final para reclamação e outro para sugestão, e assim por diante. Um caso típico de final desejado é o de um atendimento que resolva o problema do usuário, que provavelmente seja diferente de outro onde o BOT não resolva o problema e um chamado tenha que ser aberto para atendimento posterior, ou ainda gerando escalonamento humano via chat. Caso seja possível, é extremamente importante criar-se uma métrica para contabilizar os finais de diálogos. Uma sugestão adicional é criar-se um esquema de pontuação para cada final, pois a soma total de pontos pode permitir comparativos referenciais ou proporcionais importantes entre os diferentes términos.

Métricas quantitativas em geral

Claro, as métricas de contagem e contabilização também são válidas. Podem ser contabilizados, por exemplo, número de mensagens trocadas entre o BOT e os usuários, número de atendimentos (sessões de chat), etc.