Data-Driven aplicado a experiência do usuário.
Com o aumento cada vez maior da demanda por serviços e ferramentas de trabalho virtuais, em especial plataformas de webconferência e as vantagens para a economia de recursos e tempo que tais ferramentas implicam, torna-se imperativo a criação de mecanismos de entendimento da experiência de usuário que retroalimente as melhorias de tais ambientes.
Cada vez mais, as ferramentas e softwares de webconferência mostram-se, essenciais e de extrema importância em empresas de diversas áreas, principalmente em tempos de pandemia.
Diversos fatores podem influenciar a qualidade da experiência do usuário em plataformas SaaS (Software-as-a-Service). A grande quantidade de dados gerados em sessões de usuário destes tipos de serviços oportuniza a análise de dados e a aplicação de algoritmos inteligentes para identificar padrões nos dados que impactem a real percepção de qualidade do usuário. Sistemas do tipo SaaS consistem em softwares centralizadores em servidores na Internet e acessíveis remotamente por usuários.
O objetivo inicial havia sido claro: utilizar dados reais e identificar os fatores e dados que contribuem ou não para a qualidade da experiência do usuário do serviço de webconferência Elos.vc. O projeto se propunha a realizar uma análise a partir de dados de sessões e avaliações de usuários de interface para estabelecer relações entre os dados coletados e a qualidade percebida da experiência do usuário, conforme validado por testes de guerrilha.
Uma tarefa essencial nestes casos, é promover a melhor qualidade de experiência do usuário, visto que a qualidade realmente percebida pelo usuário é parte determinante da concorrência e na disseminação do uso do serviço.
O objetivo geral deste estudo foi: identificar os fatores e dados que contribuem ou não para a qualidade da experiência do usuário do serviço de Webconferência Elos.vc. Para isto, foi realizada uma análise a partir de dados de sessões e avaliações de usuários e interface, para estabelecer relações entre os dados coletados e a qualidade da experiência.
A ELOS.vc teve a sua base desenvolvida através da Mconf, uma ferramenta de webconferência desenvolvida no final de 2010 em uma parceria com a Rede Nacional de Ensino e Pesquisa (RNP) e o Laboratório PRAV, da Universidade Federal do Rio Grande do Sul (UFRGS).
Estes resultados são apresentados na forma de um dashboard de informações, oferecendo uma visão administrativa que servirá de apoio à tomada de decisões na operação e futuras evoluções do serviço. A questão de pesquisa a ser respondida é “os dados de monitoramento podem apoiar a identificação de indicadores de qualidade de experiência?”.
O conjunto de dados do Elos contém mais de 70 mil dados, abrangendo 20 categorias. Esses dados foram coletados durante o período de fevereiro a novembro de 2019. Após uma reunião focal com a empresa, foram listados alguns atributos mais relevantes para a análise dos dados.
Os dados foram selecionados e transformados em variáveis essenciais para análise e, após, elencados quais os fatores essenciais para a qualidade da experiência em videoconferência (áudio, vídeo, tempo de duração e sessão), e quais destes contribuem ou não para determinar os fatores na experiência de utilização. Os dados obtidos foram extraídos dos logs de sessões reais, transformados através do Excel e inseridos na plataforma de analytics, Qlik Sense para análise de dashboards.
Algo que os cientistas de dados e UX designers têm em comum é a busca por padrões complexos em dados de comportamento de usuário, habilidade essencial para trabalhar nessa área. A implementação de uma abordagem de design orientada a dados pode ajudar na adaptação de seus produtos às preferências, metas e comportamentos dos usuários os torna muito mais atraentes.
Um dos fatores para se medir se houve ou não impacto através dos dados é a pesquisa através de métricas em teste de usabilidade. A fim de ajudar a medir a experiência do usuário e tomar decisões, partimos para a utilização da System Usability Scale (SUS). A escala SUS foi desenvolvida em 1986, por John Brooke, no laboratório da Digital Equipment Corporation, no Reino Unido. O respondente do questionário SUS assinala sua resposta numa escala Likert que varia de: Discordo totalmente a Concordo totalmente. Através da tabela SUS, é possível analisar mais detalhadamente quais os fatores que mais pertinentes que poderão interferir na tomada de decisão para a melhor experiência de uso da plataforma.
As perguntas base da SUS podem ser modificadas de acordo com o seu contexto. Abaixo estão as perguntas realizadas pelos usuários do Elos.vc
1. Minha experiência foi satisfatória
2. A sessão não teve problemas de áudio
3. A sessão não teve problemas de vídeo
4. A sessão não teve problemas de sinal ou conexão
5. Tive total compreensão ao utilizar a plataforma
6. Acompanhei de forma satisfatória a reunião ou aula por webconferência
7. Eu recomendo o uso da plataforma Elos.vc/Mconf para outros usuários
Um dashboard é um painel visual que apresenta, de maneira centralizada, um conjunto de informações: indicadores e suas métricas. O dashboard desenvolvido, apresenta os dados coletados das sessões de usuário.
O Dashboard de informações, contem um resumo dos dados coletados de 2616 reuniões realizadas por 40 clientes durante o ano de 2019 e dispostos para análises operacionais sobre o comportamento de uso dos clientes da plataforma. O dashboard operacional pode ser utilizado também para monitorar processos de negócios como o aumento do uso ao longo do ano ou como os clientes mais assíduos da plataforma, além de acompanhar o desempenho de métricas e KPIs, como por exemplo os clientes que mais apresentam falhas (como pode ser visto pelas cores no gráfico de clientes). Com o dashboard foi possível analisar também mais profundamente sobre o uso realizado pelos usuários da plataforma Elos. Para preservar a identidade dos clientes da plataforma, foram trocados os respectivos nomes para Cliente 01, Cliente 02, Cliente 03 e assim por diante.
Para complementar os dashboards, realizou-se o teste de guerrilha com uma pequena parcela de usuários ativos do Elos. O teste de guerrilha foi conduzido através de link da plataforma Google em uma pesquisa sobre a qualidade da ferramenta de webconferência durante uma semana no mês de abril de 2020.
Os usuários foram escolhidos de forma aleatória com perguntas descritivas sobre: data, horário e link da sessão, já para questões objetivas foram utilizados tópicos com indicação de grau de concordância a cada uma das informações e experiência da sessão, qualidade do áudio, qualidade do vídeo ou problemas relacionados à sessão ou à utilização do Elos.
Com os resultados da pesquisa de guerrilha, foi possível realizar uma análise mais detalhada da qualidade percebida dos serviços do Elos.vc e compará-la aos dados coletados pela empresa, ao relacionar as diversas opiniões observadas durante os testes, ou seja, relatos em primeira mão, observados por um avaliador, com os problemas indicados pelo perfil de uso construído a partir da coleta de dados.
Através da tabela comparativa, foi possível analisar mais detalhadamente os dois fatores que interferem na qualidade em cada quesito relacionado nos dois testes. Nota-se que o para ambos, problemas de conexão, áudio e vídeo é de extrema importância para que o usuário volte e recomende a plataforma para os demais.
É importante salientar ainda que, durante a elaboração do artigo, e com o avanço da pandemia de COVID-19 no Brasil, alguns estados e municípios, como São Paulo, Rio de Janeiro, Florianópolis, Brasília e Porto Alegre passaram a adotar o isolamento social como meio de frear a propagação da doença, implicando um aumento na procura de plataformas de vídeo, como o Teams, da Microsoft; Zoom; Hangouts do Google e, até mesmo, o WhatsApp se transformaram em ferramentas oficiais de trabalho.
Com o Elos não foi diferente. Houve um aumento de dez vezes no uso da plataforma desde o início da pandemia no Brasil, com clientes rodando até 180 salas simultâneas, número consideravelmente maior em comparação à mesma época no ano anterior, e gerando quantidades significativas de dados para análise futura, um recurso importante no desenvolvimento dos processos e ferramentas para aplicação de dados à melhora da experiência de usuário.
A coleta de dados e a validação pelos testes de opinião, como os testes de guerrilha, demonstraram um bom potencial de indicar áreas problemáticas e passíveis de maiores desenvolvimentos ou economia de recursos, apontando as origens destes problemas em relação ao perfil de cada usuário, orientando aos administradores os caminhos naturais de desenvolvimento da plataforma de forma a sanar tais limitações.
O artigo pode contribuir tanto para futuros analistas de experiência de usuário quanto para programadores ou até mesmo analista de dados, a importância do estudo é fundamental para a melhoria dos aspectos de usabilidade de plataformas digitais.
