8 aprendizados para quem vai trabalhar com Curadoria de Chatbots

Percepções de uma pessoa que começou a trabalhar com chatbots em 2021.

Photo by Shubham Dhage on Unsplash

A esta altura, acho que não é necessário explicar que um projeto conversacional, seja uma interface de voz (VUI) ou de texto (chatbots), não acaba após o go-live.

É por isso que existe a eterna etapa chamada de curadoria, responsável pela sustentação do projeto e melhoria contínua. Absolutamente NADA irá substituir a interação real dos usuários e a única certeza é que seu lindo chatbot, apesar de todos os cenários mapeados, vai quebrar uma hora ou outra.

As empresas parece que já se ligaram nisso e é nítido que existem muitas vagas para curadoria de chatbot pipocando por aí. Numa dessas foi que comecei a trabalhar com chatbots, justamente fazendo curadoria.

Logo percebi que, apesar da importância do tema, não há TANTOS conteúdos sobre isso — processos também não são muito bem estruturados e variam muito de empresa para empresa, então o melhor é pegar o que temos e ir adaptando para nossa realidade.

Eu resolvi compartilhar este artigo com algumas descobertas, desafios e aprendizados que possam servir de base para quem trabalha nesta área ou está prestes a entrar (leve em consideração que talvez as minhas percepções sejam de certa forma limitadas ou não sejam necessariamente as melhores práticas).

Se você que está lendo este artigo e já trabalha com curadoria ou tem um processo de curadoria na sua empresa, que tal compartilhar nos comentários para enriquecermos esse debate?

Um processo que não tem fim

Ok, eu falei que não precisava explicar isso, mas não custa enfatizar…

Não existe um ponto do projeto onde você poderá se dar ao luxo de dizer que está finalizado, que não há mais nada para melhorar. Alguém precisa ficar de olho, e essa pessoa é a responsável pela curadoria dos chatbots. A curadoria é um processo que acompanha o chatbot do momento que ele é colocado em produção em diante.

• Um chatbot nunca terá 100% de assertividade (exceto se for um fluxo guiado, estritamente com botões, mas aí você também dificilmente conseguirá identificar melhorias organicamente).
• Novas necessidades de clientes podem surgir o tempo todo.
• Fraseologias sempre podem ser melhoradas e a pessoa responsável pela curadoria pode identificar o que está e o que não está sendo entendido pelas pessoas.

Conheça as principais métricas

Além de verificar as conversas para sugerir melhorias qualitativas, também é bom ficar de olho nas métricas dos bots. Dependendo do seu produto, haverá KPIs específicos, mas existem métricas que normalmente são comuns:

• Notas de satisfação: geralmente NPS ou CSAT indicam se os usuários estão ou não satisfeitos com a solução.
• Taxa de transbordo/taxa de retenção: analisar este número dará ideia de quão eficiente seu chatbot é para resolver o problema do cliente sem precisar de atendimento humano.
• Volumetria: basicamente o volume de conversas trafegadas no bot. Se por acaso esse número subir ou cair bruscamente, será possível tentar identificar qual problema causou isso.
• Assertividade: quantos % das interações foram reconhecidas corretamente pelo bot? Se houver uma queda muito grande nessa taxa, talvez seja necessário entender em quais intenções essa confusão está ocorrendo ou, se for o caso, sugerir novos fluxos (é muito difícil medir essa taxa com precisão, já que geralmente as curadorias são feitas por volume estatístico e também dependem de certa inferência humana).

Familiarize-se com conceitos básicos

Para começar a trabalhar com curadoria, apesar de nem sempre você precisar necessariamente entender muito bem determinada plataforma, é muito bem-vindo conhecer ao menos os principais conceitos da área e pesquisar a respeito deles.

Não se preocupe em saber usar TODAS as ferramentas no mercado. No geral, mesmo, o que muda é a interface, nomenclatura e uma ou outra funcionalidade. Mas os conceitos básicos que fazem um chatbot rodar são bem similares.

Eu vou listar algumas delas abaixo de forma bem resumida, são palavras que você ouvirá no dia a dia e faz bem ter no vocabulário:

• NLP/NLU: chatbots que usam inteligência artificial se baseiam em entendimento e processamento de linguagem natural para retornar as respostas para os usuários.
• Fraseologia: é o texto que sua interface de voz ou texto irá responder para o usuário. As fraseologias são criadas por UX Writers.
• Intenções: o nome diz, é a intenção do usuário. O que ele quer atingir com aquela solicitação. Comumente são verbos, ações, como neste exemplo: “quero fazer um pedido”
• Entidades: uma entidade é um valor que você extrai da interação, muitas vezes se referem a dados que você quer coletar ou ao seu produto. Exemplo: “quero pedir uma pizza”
• Slots/parâmetros: algumas vezes, você irá querer coletar informações do cliente. Você pode salvar essas informações dentro de slots ou parâmetros (o nome pode variar dependendo da plataforma que você usa, mas o conceito é basicamente o mesmo).
• Contextos: em ferramentas como DialogFlow ou IBM Watson, os contextos vão servir para guiar uma conversa. Quando você cria um contexto, está dizendo para seu bot se “lembrar” da informação que a pessoa digitou anteriormente. Por exemplo: se você está falando sobre “instalação” e seu cliente disser “não consegui”, o bot precisa estar preparado para entender que “não consegui” está relacionado ao tema de instalação, e isso é possível por meio dos contextos.
• Fallbacks: mais um conceito que tem nomes diferentes em várias plataformas, mas o significado é o mesmo: sabe quando o chatbot não consegue encontrar nenhuma resposta para a pergunta e responde com “Desculpe, não consegui entender…”? Então, esses são os fallbacks, erro padrão, “anything else”… depende da plataforma.

Domine a documentação

Talvez uma das primeiras coisas que você vai precisar fazer quando começar a trabalhar em uma nova empresa como curador(a) de chatbot é entender as documentações. Isso é importante para saber exatamente o escopo daquele chatbot antes de colocar a mão na massa.

Agarre-se e tenha sempre com você documentos como:

• Listas de intenções, entidades e contextos
• Fraseologias dos chatbots
• Mapeamento dos fluxos do chatbot (geralmente estão em plataformas como draw.io ou mesmo Figma em alguns casos)
• Documentações e detalhamentos sobre as integrações existentes

Isso vai te ajudar a entender como tudo está configurado. Depois de um tempo, você vai saber tudo isso de cor, mas no começo é um pouco complicado, ainda mais se for um projeto muito grande.

Entenda o contexto da empresa, projeto ou produto

Eu adoro uma coisa que ouço sempre da Renata Cavalleiro, para mim uma das referências quando o assunto é curadoria de chatbots: nós precisamos ter um olho de robô e um olho de humano na hora de fazer a curadoria.

Isto é, saber como funciona o entendimento do robô (isso inclui os conceitos de NLP, NLU, contextos, intenções e entidades) e também entender como as pessoas se comunicam (já procura aí as Máximas de Grice), ler sobre UX, linguística, etc.

Nos primeiros meses trabalhando com curadoria, entendi que é extremamente importante conhecer as regras de negócio da companhia e entender em profundidade o produto. Por isso, não tenha medo de ir atrás de conhecer tudo o que você puder. Isso evita gastar energia com soluções erradas.

Por exemplo…

Vamos supor que você começa a identificar que muitas pessoas acionam o bot perguntando “como eu faço login?”.

Você, com aquela ansiedade de quem quer acertar, vai treinar seu chatbot para responder como acessar seu produto, ou sugerir uma intenção para isso — a pessoa UX Writer vai escrever um tutorial bem claro sobre o processo de login.

Deu bom!

Agora, imagina que, antes do usuário fazer o primeiro acesso, existe um processo de ativação de conta que você não conhecia. Com certeza o usuário não vai ficar satisfeito com a resposta, porque não vai resolver.

Por isso, investigue a fundo tudo o que você puder e lembre-se que o usuário pode querer uma coisa e dizer isso de outra forma (neste caso, ele pergunta por “como fazer login?” mas está querendo dizer “eu preciso saber como fazer o primeiro acesso”).

A propósito, é o assunto do próximo tópico:

As pessoas comunicam o que querem das mais variadas formas

Quando começar a analisar conversas e mais conversas dos chatbots em que atua, você vai se surpreender com as formas que as pessoas encontram para se referir às mesmas coisas. Para falar a verdade, essa é uma das partes mais legais de trabalhar com curadoria de chatbots, mas também é um desafio e tanto.

Se você tem um aplicativo pago e uma pessoa diz “como adquirir”, ela querendo comprar seu produto? Ou será que ela já comprou e essa foi uma forma de perguntar “como eu faço o download?”

Tem que ver isso aí.

Algumas vezes isso pode começar a se tornar complexo e você precise sugerir uma intenção de desambiguação. Aqui, vale a pena também entender o contexto do usuário (em que ponto essa pessoa está da jornada?) e voltar ao tópico anterior (contexto da empresa), para ver o que mais faz sentido.

Sem contar formas diferentes de escrever as palavras, com erros de ortografia e tudo mais. Faça o que puder para se despir de qualquer preconceito linguístico que você tiver antes de começar a trabalhar com curadoria de chatbots.

Como é o processo de curadoria?

Um dos primeiros desafios quando comecei a trabalhar com curadoria de chatbots foi encontrar um processo. Então, juntei o pouco que encontrei, adaptei à minha realidade e coloquei em prática algo que fizesse sentido e apresento abaixo. A depender da estrutura da equipe e volume de trabalho, talvez possa haver novas atividades e ferramentas.

Resumo do processo que ajudou a organizar o trabalho com curadoria

1. Análise de indicadores: analisar os principais indicadores (KPI) do projeto e identificar se existe algo que pode ser melhorado. Se houve alguma mudança inesperada, investigar o que pode ter acontecido e decidir se é necessário atuar imediatamente ou se precisará entrar no backlog.
2. Análise de conversas: o curador é a pessoa que irá analisar as conversas trafegadas nos bots. Quando o volume é imenso, será impossível ler todas as mensagens, geralmente um volume estatisticamente relevante é analisado. A partir disso, são separadas as interações que o bot entendeu errado (que vai para a fase de treinamento da I.A) ou interações para as quais o bot não tem resposta (que levarei para a fase de priorização de backlog)
3. Treinamento da I.A: aprendi na prática (e falarei um pouco mais para frente) que não adianta colocar todas as frases de treinamento que aparecerem. Isso vai dar ruim. Por isso, na etapa de análise dos logs eu inicialmente separo as interações que não tiveram correspondência correta, para depois definir o que vira frase de treinamento para determinada intent e/ou se preciso ajustar as frases de treinamento de outra intent. Faço isso em uma planilha do Google Sheets mesmo.
4. Priorização do backlog: todas as interações para as quais o chatbot não tem uma resposta cadastrada são colocadas em um backlog, basicamente uma lista de tarefas para a equipe. Na reunião que chamamos de priorização de backlog, notamos alguns padrões para priorizar aquilo que é mais urgente ou que terá impacto maior. Aqui, há algumas saídas;

• Nova intenção: quando muitas pessoas começam a pedir por alguma coisa que não existe no bot e identificamos que é necessário criar um novo fluxo ou intent para isso.
• Melhoria de fraseologia: quando já existe um fluxo para o que o cliente está perguntando, mas a fraseologia não está clara ou completa, é possível ajustar a fraseologia.
• Desambiguação: algumas vezes, será necessário repensar o treinamento das intents para desambiguar termos.
• Melhoria técnica: se identificado que alguma integração pode ajudar o usuário a resolver aquele problema, ou se deu pau em alguma coisa técnica.

5. Implementação dos ajustes: após a priorização do que deve ser feito, a pessoa responsável por desenvolver o chatbot irá implementar todas as melhorias — é sempre bom fazer isso em um ambiente de homologação, para que a solução seja testada antes. Quando falamos em bots com inteligência artificial, ao incluir um novo fluxo com novas frases de treinamento, pode acontecer de “bagunçar” todo o modelo, e intenções que estavam funcionando normalmente acabarem quebrando. Isso deve ser feito com cuidado.

Nunca pare de aprender

Um chatbot nunca vai parar de aprender. Como eu disse no começo, é um processo que não tem fim. E você, como profissional de curadoria de chatbots, também deve seguir esse mesmo processo. Nossa área muda muito rápido.

Faça cursos, leia, participe das comunidades, troque ideia, faça networking.

Aprenda sobre UX, arquitetura da informação, linguística, análise de dados, técnicas de pesquisa e testes, etc… tudo isso só vai complementar o seu trabalho para além da ferramenta.

Para terminar este artigo, deixo aqui um repositório que criei e me ajudou muito durante meu processo de aprendizado. São mais de 30 links com artigos, ferramentas e vídeos sobre curadoria de chatbots ou assuntos relacionados que, de alguma forma, podem ser útil no dia a dia das pessoas envolvidas com a curadoria dos chatbots.

Repositório - Curadoria de Bots

Obrigado por ler até aqui e fique à vontade para continuar a conversa nos comentários 👋