Monitorando a experiência do atendente
Time de Observabilidade — Localiza&Co
Angela Vasconcellos, Francis Santos e Luiz Almeida
A experiência do atendente e cliente desempenham um papel crucial na satisfação do cliente e na eficiência dos serviços prestados. Nesse contexto, este estudo objetiva criar um indicador que avalie a experiência do atendente durante as interações com os clientes. Com isso, adotamos uma metodologia abrangente, incluindo formulação de hipóteses, instrumentação do front-end para coletar dados de 100% das sessões de atendimento e construção de um dashboard com o objetivo de monitorar e alertar divergências na operação de forma assertiva.
Os resultados obtidos revelam que não é possível validar a lentidão e possível falha nos sistemas utilizando apenas a latência como métrica. No entanto, juntamente com o loading time torna-se um indicador altamente efetivo para identificar alterações na experiência do atendente.
Além disso, a implementação de um sistema de monitoramento preventivo — com base no loading time e volume de abertura de contratos — torna possível a prevenção de falhas ou crises nos sistemas, fornecendo insumos valiosos para o Centro de Operações da empresa antes do acionamento dos times técnicos.
Palavras-chave: Experiência do atendente; Indicador; Latência; Loading Time; Monitoramento Preventivo.
- INTRODUÇÃO
No contexto dinâmico das operações de atendimento, compreender a experiência do atendente é essencial para o sucesso organizacional. Nesse sentido, o mapeamento criterioso das métricas que impactam essa experiência torna-se uma prioridade estratégica. Afinal, prever curvas de resultado e antecipar possíveis desafios são fatores determinantes para a excelência no serviço prestado.
Este artigo inaugura um estudo voltado à identificação de métricas capazes de revelar a experiência do atendente, bem como eventuais impactos, com foco inicial no ambiente de um de nossos produtos. Nosso objetivo central é desenvolver um indicador que valide essa experiência, permitindo a detecção ágil de anomalias durante as interações com os clientes.
Estas anomalias, quando prontamente captadas pelo Time de Observabilidade e Centro de Comando, têm o potencial de evitar falhas sistêmicas e minimizar impactos na abertura e fechamento de contratos, bem como prevenir que a informação sobre a lentidão chegue através do atendente.
Para atingir esse propósito, conduzimos estudos de caso abrangentes. Analisamos incidentes ocorridos em meses anteriores, realizamos visitas às principais agências do país e monitoramos diariamente os números e métricas relacionados ao produto. Ao término da investigação, obtivemos uma régua de qualidade do atendimento e estabeleceremos um sistema de monitoramento assertivo e proativo sobre o tema.
Essa abordagem contribui significativamente para aprimorar a experiência do cliente e fortalecer a eficiência operacional da organização.
2. OBJETIVOS
O principal objetivo dessa pesquisa é desenvolver um indicador que valide a experiência do atendente durante as interações com os clientes. Para isso, estamos olhando para todos os atendentes do Brasil envolvidos na operação de Aluguel de Carros.
Isso permitirá a detecção ágil de anomalias relacionadas à experiência do atendente, proporcionando um aumento na satisfação do atendente e evitando que eventuais problemas sejam reportados por ele, mas que sejam identificados previamente pelo time técnico.
De forma mais específica, nosso intuito é conduzir estudos de caso abrangentes, analisando incidentes ocorridos em meses anteriores. Além de realizar visitas às agências, acompanhando o dia a dia dos atendentes e, com isso, propor uma metodologia que possa aferir com maior assertividade a qualidade técnica de cada atendimento.
E, ao final, ter capacidade de estabelecer um indicador de qualidade do atendimento e aprimorar a experiência do cliente fortalecendo a eficiência operacional da companhia.
3. DEFINIÇÕES DE CONCEITOS E PREMISSAS
Antes de conduzirmos estudos de caso, é crucial definirmos as métricas que nos auxiliarão nesse trabalho. Neste caso, após análises iniciais, identificamos três métricas essenciais para avaliar a experiência do atendente.
Vale ressaltar que, as métricas obtidas pelo front-end1 foram habilitadas para coletar 100% das sessões de atendimento2.
a) Loading Time
O loading time representa o tempo de carregamento da página, métrica aferida através do monitoramento front-end da aplicação utilizando o recurso do DataDog denominado RUM (Real User Monitoring)3 — Session Replay4.
Em outras palavras, o loading time nos permite identificar quando há lentidão no atendimento, seja de forma geral ou em alguma etapa específica, auxiliando na resolução no problema.
Para isso, criamos um dashboard com a visão comparativa de cada página do produto, bem como do tempo geral (ponta a ponta), possibilitando a verificação de anomalias quando comparamos os valores atuais e da semana anterior. Veja:
Além disso, uma visão por UF também foi inserida, permitindo a identificação de estados mais impactados pela anomalia:
b) Abertura de Contrato
A métrica de abertura de contrato também é extraída do front-end, semelhante ao loading time. Com ela, temos a visibilidade de volumetria, identificando eventuais impactos causados por uma lentidão ou até mesmo uma falha nos sistemas.
De igual forma, a ideia é trazer uma visão comparativa do volume atual e da semana anterior. Assim, em caso de crise ou alguma lentidão pontual, saberemos rapidamente o impacto gerado na abertura dos contratos. Vejamos:
c) Latência
Por último, incluímos nessa análise uma métrica já utilizada pelo Centro de Operações para acionamento dos times. A métrica da latência é obtida através do back-end e nos dá a visibilidade de eventuais atrasos na comunicação entre dispositivos e, consequentemente afeta a experiência do atendente/usuário.
Para esse caso, além da visão comparativa, adicionamos o volume de chamadas com sucesso e com erro, dando melhor visão do cenário. Veja:
Ao analisar essas três métricas em conjunto, conseguimos identificar problemas relativos à lentidão ou falhas nos sistemas. Além da criação do dashboard, percebeu-se a necessidade de criação de uma documentação destinada ao time de Field, a fim de capacitá-los para realizar as análises necessários e identificar anomalias junto aos atendentes.
d) Atendentes Impactados
Através do monitoramento front-end, utilizando a ferramenta Sessions Explorer e fazendo a instrumentação correta, é possível obter a informação do atendente responsável por determinado atendimento, páginas clicadas e tempo dispendido em cada etapa, bem como tempo total.
Com essa visão, temos uma percepção precisa de quantos atendentes estão sendo impactados dentro da operação na utilização de um sistema, bem como conseguimos saber se há erro em uma etapa específica ou se é o caso de uma falha generalizada.
3.1- IMPACTO REAL: MONITORAMENTO E SUAS CONSEQUÊNCIAS
Para assegurar que o monitoramento criado, de fato, conseguia identificar preventivamente as lentidões e crises sistêmicas, analisamos todos os incidentes ocorridos dentre os meses de março e abril, além de ir presencialmente em grandes agências do país acompanhar o dia a dia dos atendentes e avaliar o desempenho do sistema.
A título de exemplo, extraímos dois dias em que tivemos crise identificada, ou seja, impacto no nosso ambiente (dias ruins) versus dois dias estáveis (dias bons).
Para a seleção de “dias bons” consideramos os dias de acompanhamento às atendentes nas agências, em dias considerados críticos para a operação e, nesses dias não houve qualquer intermitência sistêmica:
Ao olhar para o gráfico e números acima, conseguimos observar a dispersão dos números em dias “normais” e dias de “crise”, corroborando com a ideia de eficácia do monitoramento criado.
Além de perceber a discrepância entre dias bons e ruins através do loading time, também temos a visibilidade de volume de atendentes impactados.
No dia destacado em azul, por exemplo, mais de 94% dos atendentes foram impactados pelo incidente. Já no dia destacado em amarelo, dia considerado bom, porém crítico para a operação, tivemos apenas 9% de atendentes impactados.
3.2- EXPLORANDO HIPÓTESES E POSSIBILIDADES
No contexto do sistema analisado, estamos interessados em criar um indicador que ofereça uma visão geral sobre a experiência do atendente em todos os sistemas utilizados. Para isso, criamos algumas hipóteses que nos ajudem na tomada de decisão quanto a eficácia do indicador.
Hipótese 01: Estabilidade dos Sistemas
Nossa primeira hipótese é que o indicador reflete, em algum nível, a estabilidade dos sistemas. Isso significa que, ao analisar o desempenho geral, poderemos identificar quais sistemas são mais consistentes e quais podem apresentar variações significativas.
Por meio da análise conjunta das métricas de carregamento da página, volume de abertura de contrato e latência conseguimos prever uma possível crise. O aumento no tempo de carregamento das páginas (ou seja, lentidão), combinado com uma redução no volume de abertura de contratos e possível variações na latência, são indicadores de possível problema, possibilitando a averiguação antes de ocorrer uma falha generalizada.
Hipótese 02: Medição Assertiva da Experiência na Ponta
A segunda hipótese afirma que é possível medir de forma assertiva a experiência na ponta e apontar desvios de experiência de forma assertiva através de uma análise e acompanhando uma função da variação do Loading time
Explorar essas hipóteses nos ajudará a entender melhor o desempenho dos sistemas e a tomar decisões informadas para aprimorar a experiência do usuário. O sistema tem potencial para impactar positivamente nossa organização, e essas análises são um passo importante nessa direção.
Para isso, construímos um boxplot e uma curva de probabilidade, tomando como base um período de médias (P95) do loading time geral, ou seja, através dessa análise conseguiremos comprovar que a probabilidade de a experiência da atendente ser ruim é equivalente à probabilidade dessa função de assumir um valor que está fora do que consideramos aceitável para uma experiência boa.
Como base da ideia, estamos usando a fórmula de integral definida, servindo para definir uma área de determinada região, no nosso caso, será o gráfico boxplot e curva de probabilidade. Com isso, teremos a variação dentro de um limite aceitável e conseguiremos definir o valor que está fora do aceitável, como mencionado acima.
Para construção do boxplot e curva de probabilidade, construímos uma matriz tabela com a média hora a hora do loading time geral (s). Com isso, é possível observar os dias com crise e dias normais, visto que o tempo aumenta de forma exponencial:
Hipótese 03: Correlação com o NPS
A terceira hipótese sugere que o indicador se correlaciona diretamente com o Net Promoter Score (NPS). Embora ambos sejam importantes, eles podem refletir aspectos diferentes da experiência do cliente. Portanto, importante entender se há alguma relação entre essas métricas.
Após análises, concluímos que uma baixa na nota do NPS não está necessariamente relacionada ao indicador em si, isso porque, durante o período avaliado, em âmbito nacional apenas 60% dos casos a afirmação de correlação é verdadeira. Ao olharmos para agências específicas, esse número é ainda menor, ficando em torno de 37% e 43%.
Ou seja, outros fatores externos podem impactar a percepção dos clientes, já que é possível que o indicador esteja bom, mas o NPS ruim, e vice-versa.
4. INDICADOR E RESULTADOS
O estudo visou desenvolver um indicador que avaliasse a experiência do atendente durante as interações com os clientes. Para isso, foram adotadas metodologias abrangentes, incluindo a coleta de dados de 100% das sessões de atendimento por meio da instrumentação do front-end.
Os resultados indicam que a latência, combinada com o loading time e volume de abertura de contratos, é um indicador efetivo para identificar alterações na experiência do atendente.
A combinação de métricas como o tempo de carregamento das páginas, o volume de abertura de contratos e a latência nos permitiu prever possíveis crises. Essa análise nos permitiu comprovar que a probabilidade de a experiência do atendente ser ruim é equivalente à probabilidade dessa função assumir valores fora do aceitável para uma experiência positiva
Afirmamos que é possível medir de forma assertiva a experiência na ponta e identificar desvios por meio de análises relacionadas ao tempo de carregamento (loading time). Tanto que, dos incidentes ocorridos dentro do período analisado, cerca de 90% foi percebido através do monitoramento.
Por fim, foi possível comprovar que o indicador não está diretamente correlacionado com o Net Promoter Score (NPS). Afinal, eles podem refletir aspectos diferentes da experiência do cliente.
Em resumo, a combinação cuidadosa de métricas e a compreensão das nuances entre indicadores são essenciais para melhorar continuamente a experiência do atendente e, por consequência, a satisfação do cliente.
A pesquisa conduzida é inicial e aberta a desenvolvimentos futuros. Um dos avanços planejados é a avaliação dos efeitos do NPS e de aspectos técnicos na experiência do cliente.
O que esperamos com esse artigo é incentivar os times que façam análises além das métricas existentes, para que assim possam extrair melhores informações, ou seja, juntando análise de dados com o monitoramento, trazemos insumos importantes que agregam valor a Empresa e auxiliam na construção de um monitoramento diferenciado.
1 As métricas de front-end são indicadores quantitativos que avaliam a eficiência, eficácia e a experiência geral do usuário de aplicativos e páginas web do ponto de vista do cliente.
2https://docs.datadoghq.com/real_user_monitoring/session_replay/
3 O RUM oferece visibilidade completa sobre a atividade e a experiência em tempo real de usuários individuais em suas aplicações web e móveis.
4 O Session Replay permite que você capture e reproduza visualmente a experiência de navegação na web de seus usuários. Combinado com os dados de desempenho do RUM, o Session Replay é útil para identificar, reproduzir e resolver erros, além de fornecer insights sobre os padrões de uso e possíveis problemas de design de sua aplicação web
5 A fórmula na imagem representa o valor esperado (E_x(A)). Ela é definida como a integral de menos infinito a mais infinito da função (f(x)) multiplicada pela função indicadora (I_A(x)), que é igual à probabilidade de (x) estar dentro do intervalo [a, b]. Esta fórmula é usada em teoria das probabilidades e estatística para determinar o resultado médio de uma variável aleatória ao longo de sua distribuição de probabilidade.
