Edux — Testes de Usabilidade
Este artigo é complementar ao case Edux, uma nova experiência no ensino remoto — Estudo de caso de UX
Primeiro teste de usabilidade — Protótipo de baixa fidelidade
Após termos realizado a pesquisa quantitativa e a qualitativa, nós analisamos os dados obtidos, refletimos sobre como poderíamos construir nossa solução e criamos, com telas desenhadas à mão, o nosso protótipo de baixa fidelidade. Utilizamos o Marvel App para tornar as imagens clicáveis e assim podermos realizar nosso primeiro teste de usabilidade.
Chegando nessa etapa, entramos em contato com alguns alunos e professores que responderam à nossas pesquisas e realizamos esse primeiro teste com 6 participantes, dos quais 4 foram estudantes e 2 foram professores.
Devido à pandemia, realizamos os testes por videoconferências no Google Meet, onde o participante compartilhou a tela de seu computador e podíamos então observar a sua utilização do protótipo. Além do participante, tínhamos um integrante da equipe para coordenar o teste e outro para fazer anotações.
Criamos então algumas missões para serem realizadas por eles e assim podermos avaliar como estava a usabilidade de nossa ferramenta:
Teste com os estudantes
Missão 01 — Acesse a tela inicial do aplicativo
Na tela de login, observamos que alguns participantes clicaram no campo do usuário pois tínhamos inserido o placeholder “Digite aqui o seu email…”, quando eles deveriam apenas clicar no botão “ENTRAR”. Vimos que poderíamos melhorar esse ponto, ajustando o texto do placeholder e para um email de um aluno, assim o participante perceberia que não seria preciso digitar nada naquele campo.
Missão 02 — Visualize a sua agenda do dia
Esta etapa foi cumprida sem problemas, pois só bastaria que o participante nos informasse que estava vendo e explorando a agenda. Os feedbacks que tivemos apontaram que essa tela trazia informações muito úteis e de fácil compreensão.
Missão 03 — Entre na aula online de História que está em andamento agora
Esta etapa também foi cumprida sem dificuldades ou cliques errados.
Missão 04 — Mande uma mensagem para a professora Júlia, que dá aulas de História
Nesta missão, a maioria dos estudantes realizou o fluxo esperado ao entrar na área de mensagens, porém, também observamos que um participante foi até a área da disciplina e procurou a opção de se comunicar com a professora por lá, ele nos disse então que no aplicativo que sua escola utiliza eles conseguem mandar mensagens ao clicar na foto do professor ou aluno, aonde quer que ela esteja no app. Isso nos deu a ideia de também implementar esse recurso.
Missão 05 — Assista à aula gravada da matéria História, chamada “História do Brasil”
Missão 06 — Encontre as atividades disponíveis na matéria de História
Missão 07 — Encontre os materiais disponíveis na matéria de História
Missão 08 — Visualize os novos avisos dos professores no Mural da turma
Essas missões foram realizadas sem maiores dificuldades pelos participantes.
📲 Confira o protótipo de baixa fidelidade para os estudantes aqui
Teste com professores
Missão 01 — Acesse a tela inicial do aplicativo
De maneira geral, os professores acessaram a tela inicial do aplicativo sem grandes dificuldades. Apesar de observarem a presença do placeholder referente ao email já preenchido, clicaram diretamente na tecla de entrar.
Missão 02 — Responda à mensagem do seu aluno Renato Silva
Alguns participantes demoraram um pouco mais de tempo para identificar o botão “Mensagens” na tela inicial, mas logo acessaram a área das conversas do 2° ano e cumpriram sua missão.
Missão 03 — Entre na área da Turma do 2º ano e crie um Novo Aviso no Mural
De modo geral, os professores cumpriram essa missão num tempo curto. Voltaram para a tela inicial e, assim, acessaram a área da turma “2° ano” e clicaram no botão “Novo aviso”.
Missão 04 — Inicie uma aula ao vivo para a Turma do 2º ano
Para essa missão, era possível tomar dois caminhos diferentes: iniciar uma aula diretamente da “Agenda”, na tela inicial ou entrar na área do 2° ano e iniciar a aula por lá. Notamos que a maioria dos professores preferiu o segundo caminho. Acreditamos que tenham desenvolvido (durante o breve uso do aplicativo) um certo conforto em resolver todas as situações relacionadas ao 2° ano na área específica dessa turma.
Missão 05 — Adicione uma aula gravada na Turma do 2º ano
Nesta missão, alguns professores ficaram bem confusos, chegando a clicar na aba de “Materiais” e “Atividades” para tentar adicionar uma aula gravada. Conforme amadurecemos os desenhos, incluímos na versão final um botão “+” para indicar uma nova aula gravada, dentro da aba de “Aulas”.
Missão 06 — Adicione uma prova para a Turma do 2º ano
Missão cumprida sem grandes dificuldades (visto que os professores já estavam na tela da turma do 2° ano).
Missão 07 — Adicione um material para a Turma do 2º ano
Missão 08 — Adicione uma atividade para a Turma do 2º ano
Essas duas últimas missões também foram cumpridas sem grandes dificuldades.
📲 Confira o protótipo de baixa fidelidade para os professores aqui
Conclusões
Em resumo, com esse primeiro teste de usabilidade nós já conseguimos observar algumas melhorias que poderíamos fazer e, ao mesmo tempo, perceber que estávamos em um bom caminho pois ouvimos comentários positivos e percebemos que, em sua grande maioria, os participantes seguiram com facilidade os fluxos para a realização das missões.
Segundo teste de Usabilidade — Protótipo de média fidelidade
Realizamos essa segunda etapa de testes com o protótipo de média fidelidade, produzido no Figma, e ela seguiu o mesmo funcionamento dos primeiros testes, apenas com a diferença de que as missões foram realizadas através da ferramenta Maze.
Optamos por utilizar essa ferramenta pois ela poderia nos passar informações bastante relevantes para o nosso trabalho e que nos ajudaria a, de modo mais certeiro, promover alterações no aplicativo que realmente fossem trazer melhorias em sua usabilidade.
Para cada teste, o Maze atribui um “usability score” (pontuação de usabilidade) tanto para o protótipo de modo geral, quanto para cada missão criada. Além disso, ele também mostra um mapa dos cliques nas telas, mapa de calor, percentual de cliques errados, tempo médio para cumprir a missão e outros dados muito úteis na avaliação de protótipos.
Conseguimos realizar os testes com 11 participantes no total, dos quais 5 foram estudantes e 6 professores. O protótipo dos alunos teve um usability score geral de 83/100, e o dos professores de 77/100.
Teste com os estudantes
Missão 01 — Para começar, acesse a tela inicial do aplicativo
(Usability Score da Missão: 93/100)
Na tela de login, apesar de termos colocado o email do estudante no campo “Usuário”, ainda observamos que alguns participantes clicavam naquele campo e não iam direto no botão de “ENTRAR”. Passamos então a refletir como poderíamos melhorar esse ponto para que o participante seguisse seu fluxo sem este “clique errado”. Apesar deste ponto, essa missão foi concluída sem demais problemas.
Missão 02 — Entre na aula de História que está acontecendo no momento. Não se atrase!
(Usability Score da Missão: 67/100)
Nesta missão nós percebemos que alguns dos participantes não clicaram no botão que já estava na página de início, pois clicaram na aba de “Aulas” e para assim, clicarem no botão de entrar na aula de história. Consideramos que esse não foi um erro crítico pois eles seguiram um fluxo também lógico. Caso nós tivéssemos definido essa alternativa como um segundo caminho para realizar a missão, o Maze teria, muito provavelmente, relatado um score mais alto.
Missão 03 — Acesse o Mural e veja os novos avisos dos professores
(Usability Score da Missão: 90/100)
Esta missão foi cumprida sem dificuldades pelos participantes, apenas um tomou um caminho alternativo mas, ainda dessa forma, só acrescentou uma tela a mais até completar a missão. Também vimos que poderíamos ter criado um segundo caminho para esta tarefa.
Missão 04 — Mande uma mensagem para sua professora de História, Júlia Andrade
(Usability Score da Missão: 85/100)
Observamos que 4 dos 5 alunos completaram a missão sem cliques errados, apenas um quis explorar o aplicativo, clicando no ícone do seu Perfil e clicando também para ver a lista de conversas com os alunos, porém, ao ver que essas áreas não tinham interação, ele voltou a se ater à missão e a completou sem problemas.
Missão 05 — Na disciplina de História, assista à aula gravada “Brasil Pré-colonial”
(Usability Score da Missão: 97/100)
Esta missão foi cumprida com êxito e facilidade por todos os participantes.
Missão 06 — Na disciplina de História, verifique as atividades adicionadas pelos professores
(Usability Score da Missão: 58/100)
Apesar do score para essa missão ter sido baixa, observamos os dados e percebemos que: 3 participantes realizaram a missão seguindo o fluxo e cliques esperados mas dois participantes, antes de seguirem a missão, quiseram explorar os demais botões e áreas da tela em que estavam, o que resultou no score mais baixo. Portanto, ao interpretar os resultados, consideramos que o fluxo estava claro e sem dificuldades.
Missão 07 — Encontre os materiais disponíveis na matéria de História
(Usability Score da Missão: 90/100)
Esta missão foi cumprida sem dificuldades pelos participantes e antes disto, percebemos que eles estavam muito animados em conhecer mais do aplicativo e quiseram clicar em outros locais da tela que ainda não tinham interação.
Escala de opinião — Ao utilizar esse protótipo, qual foi o nível de facilidade em completar as missões?
Escala de 0 (muito difícil) a 5 (muito fácil)
Nesta questão tivemos a média de 4.8 e ficamos muito contentes com o resultado pois percebemos que, de modo geral, os participantes estavam completando as missões sem grandes dificuldades e, por estarem gostando da experiência, quiseram até explorar áreas do aplicativo que ainda estavam sem interação.
Questão aberta — Por fim, você teria alguma sugestão ou comentário a fazer? :)
Através dessa questão aberta nós recebemos comentários de que o protótipo estava muito bem organizado e intuitivo, o que nos deixou muito satisfeitos.
📲 Confira aqui o relatório no Maze deste teste de usabilidade
Teste com os professores
Missão 01 — Para começar, acesse a tela inicial do aplicativo
(Usability Score da Missão: 62/100)
Nesta missão, o ponto falho observado foi o mesmo que aconteceu no protótipo dos alunos e nossas medidas posteriores também foram as mesmas.
Missão 02 — Inicie uma aula ao vivo com a turma do 2º ano agora
(Usability Score da Missão: 67/100)
Apesar da nota dessa missão ter sido mais baixa, observamos que a maior parte dos participantes quiseram conhecer mais do aplicativo, clicando em áreas que não faziam parte da missão, mas quando foram relembrados de suas metas, eles seguiram o fluxo corretamente.
Missão 03 — Visualize sua conversa com o aluno do 2º ano, Renato Silva
(Usability Score da Missão: 79/100)
O início dessa missão se deu na tela da aula ao vivo e percebemos que todos os participantes tiveram a curiosidade para explorar basicamente todos os botões e áreas da tela. Após esse momento, seguiram o fluxo sem dificuldades e o score das duas telas seguintes tiveram score de 100/100, enquanto essa teve 47/100.
Missão 04 — Publique um novo aviso no Mural para a turma do 2º ano
(Usability Score da Missão: 80/100)
Não verificamos problemas na realização dessa missão. Os cliques errados foram ocasionados pela curiosidade dos participantes em conhecer mais do aplicativo.
Missão 05 — Adicione uma aula gravada para a turma do 2º ano
(Usability Score da Missão: 59/100)
Nesta missão, verificamos que muitos participantes clicaram nos campos de formulário para alterar os dados, quando eles só precisariam clicar no botão de “ADICIONAR AULA”. Tendo em vista essa questão, passamos a refletir quais medidas poderíamos tomar para deixar as informações dessa tela mais eficientes.
Missão 06 — Adicione uma nova atividade para a turma do 2º ano
(Usability Score da Missão: 77/100)
O ponto de melhora observado é o mesmo da missão anterior.
Missão 07 — Adicione um novo material para a turma do 2º ano
(Usability Score da Missão: 88/100)
As telas desta missão apresentaram um bom desempenho e o único ponto de ajuste foi o mesmo citado na Missão 06.
Missão 08 — Publique um novo aviso no Mural para a turma do 2º ano
(Usability Score da Missão: 100/100)
Esta missão não apresentou pontos falhos e foi alcançada com sucesso.
Escala de opinião — Ao utilizar esse protótipo, qual foi o nível de facilidade em completar as missões?
Escala de 0 (muito difícil) a 5 (muito fácil)
Nesta questão, tivemos a média de 4.8, que foi a mesma tida no protótipo utilizado para o fluxo dos estudantes. Ficamos contentes com o resultado e animados para realizar os ajustes para proporcionar uma melhor usabilidade.
Questão aberta — Por fim, você teria alguma sugestão ou comentário a fazer? :)
Através dessa questão nós também recebemos bons comentários e dicas.
📲 Confira aqui o relatório no Maze deste teste de usabilidade
Conclusões
A utilização da ferramenta Maze foi de uma importância imensa nessa etapa. As métricas geradas por ela nos possibilitou estudar melhor nosso protótipo e propor mudanças que resultariam em uma melhor usabilidade.
Em seguida, procuramos desenvolver o protótipo de alta fidelidade sanando os problemas anteriormente citados e na expectativa de saber como seria seu desempenho na próxima etapa de testes.
Terceiro teste de usabilidade — Protótipo de alta fidelidade
Por fim, chegamos na etapa do nosso último teste de usabilidade!
Nesse momento, nossas telas já estavam com cores, imagens e vários detalhes que antes não tínhamos colocado, além dos ajustes que fizemos após as observações descritas anteriormente.
Grande parte dos testes desta etapa foram assistidos e funcionaram do mesmo modo que os testes passados, a diferença é que desta vez nós não deixamos o público restrito a professores e estudantes do ensino médio pois ampliamos também aos de ensino fundamental e universitário.
Conseguimos um total de 48 respostas, das quais 27 foram no fluxo dos alunos, onde o usability score foi de 86/100; e 21 no fluxo dos professores, onde conseguimos 83/100 de usability score.
Teste com os estudantes
Missão 01 — Para começar, entre como estudante e acesse a tela inicial do aplicativo
(Usability Score da Missão: 88/100)
Observamos que esta missão foi cumprida sem dificuldades. Os cliques errados foram, em sua maior parte, nas ilustrações da splash screen pois os participantes queriam ver se algo diferente acontecia se clicassem neles. Além disso, melhoramos bastante a questão do formulário da tela de login e tivemos apenas 3 cliques que não foram no botão de “ENTRAR”, o que fez com que o usability score dessa tela passasse de 90/100 (protótipo de média fidelidade) para 100/100! 🎉
Missão 02 — Ative a tradutora virtual de libras, Sofia
(Usability Score da Missão: 91/100)
Esta missão foi cumprida sem maiores dificuldades e todos conheceram a Sofia!
Missão 03 — Entre na aula de Física que está acontecendo no momento. Não se atrase!
(Usability Score da Missão: 75/100)
Ao observar a realização dessa missão nós vimos que este fluxo carecia de um ajuste muito simples, mas que traria um enorme impacto. Vimos que 24% dos participantes não seguiram o caminho proposto, que seria, na tela de Início (aonde eles estavam) clicar no botão para para entrar na aula, mas sim, foram na área de Disciplinas, entraram na de Física e lá procuraram algum botão para entrar na aula “ao vivo” e não encontraram. Nós não tínhamos pensado nessa possibilidade pois achávamos que a entrada na aula, já pela tela de Início, seria suficiente e era bastante clara.
Missão 04 — Acesse o Mural e veja os novos avisos dos professores
(Usability Score da Missão: 86/100)
Essa missão foi cumprida sem problemas, os únicos cliques errados foram de alguns participantes que ficaram com “pena” de sair da aula “ao vivo” de Física (tela em que a missão iniciou) e optaram por clicar em permanecer na aula… porém, depois viram que realmente eles teriam que sair para chegar até o mural.
Missão 05 — Envie uma mensagem para a professora Júlia Andrade
(Usability Score da Missão: 76 /100)
Nesta missão, observamos que os cliques errados se deram por algumas questões: pelo pensamento de que essa “mensagem” seria um “comentário” na publicação do Mural, por irem até a área da disciplina de História, e também por alguns terem a intenção de explorar o aplicativo.
Em resumo, apesar de apresentar um score mais baixo do que outras missões, não interpretamos a situação como algo crítico, mas que se derivou mais da atenção dos participantes.
Missão 06 — Na disciplina de História, acesse a aula gravada “Brasil Pré-Colonial”
(Usability Score da Missão: 86/100)
Os participantes completaram essa missão sem maiores dificuldades.
Missão 07 — Realize o quiz da aula “Brasil Pré-Colonial”
(Usability Score da Missão: 97/100)
Nesta missão tivemos quase 100/100 de score e os participantes comentaram que gostaram muito dessa parte do aplicativo.
Escala de opinião — Ao utilizar esse protótipo, qual foi o nível de facilidade em completar as missões?
Escala de 0 (muito difícil) a 5 (muito fácil)
Nesta questão tivemos a ótima média de 4.8, que foi a mesma do protótipo de média fidelidade.
Questão aberta — Por fim, você teria alguma sugestão ou comentário a fazer? :)
Através dessa questão aberta nós recebemos comentários muito positivos, de que o protótipo estava muito intuitivo, organizado e fácil de usar.
📲 Confira aqui o relatório no Maze deste teste de usabilidade
Teste com os professores
Missão 01 — Para começar, entre como PROFESSOR e acesse a tela de início do aplicativo
(Usability Score da Missão: 93/100)
Ficamos muito satisfeitos com o resultado dessa missão pois, no protótipo de média fidelidade tivemos o score de 63/100 e agora tivemos de 93/100. Os cliques errados foram, em sua maior parte, pelas mesmas razões descritas no teste dos alunos. Além disso, melhoramos a questão do formulário da tela de login e tivemos apenas 1 clique que não foi no botão de “ENTRAR”, o que fez com que o usability score dessa tela passasse de 42/100 para 98/100! 🎉
Missão 02 — Você está atrasado para sua aula com o 2° ano. Inicie a aula agora!
(Usability Score da Missão: 92/100)
No teste passado esse fluxo teve o score de 67/100 e nesse também tivemos expressiva melhora!
Missão 03 — Responda à mensagem do aluno Renato Silva, do 2° ano
(Usability Score da Missão: 72/100)
O início dessa missão se deu na tela da aula ao vivo e percebemos que os participantes tiveram a curiosidade para explorar basicamente todos os botões e áreas da tela, assim como no teste passado. Após esse momento, seguiram o fluxo sem maiores dificuldades.
Missão 04 — Publique um novo aviso no Mural para a turma do 2º ano
(Usability Score da Missão: 74/100)
Observamos que muitos participantes não fizeram uma boa leitura da missão e ficaram tentando adicionar um novo aviso na área das turma do 1º ano. Após notarem a ausência de interações seguintes, leram novamente o enunciado e completaram a missão.
Missão 05 — Adicione uma aula gravada para a turma do 2º ano
(Usability Score da Missão: 51/100)
Vimos que grande parte dos participantes não clicaram de área de “Disciplinas” no menu inferior de navegação, mas sim, clicaram na seta de “voltar”, que fica no menu superior, e assim seguiram o fluxo sem problemas. Concluímos que poderíamos ter configurado um caminho alternativo de realização dessa missão e isso, com certeza, iria ocasionar em um melhor score.
Missão 06 — Adicione uma nova atividade para a turma do 2º ano
(Usability Score da Missão: 83/100)
Não identificamos erros graves para a realização dessa missão.
Missão 07 — Adicione um novo material para a turma do 2º ano
(Usability Score da Missão: 99/100)
Nessa missão nós tivemos uma melhora do score que antes foi 88/100. Todos seguiram o fluxo sem dificuldades.
Missão 08 — Adicione uma nova avaliação para a turma do 2º ano
(Usability Score da Missão: 99/100)
Também percebemos que todos os participantes não tiveram dificuldades nessa missão.
Escala de opinião — Ao utilizar esse protótipo, qual foi o nível de facilidade em completar as missões?
Escala de 0 (muito difícil) a 5 (muito fácil)
Nesta questão tivemos a média de 4.6 e no protótipo passado tivemos 4.8. Apesar da nota ter sido um pouquinho mais baixa, levamos em consideração que o número de participantes foi bem maior e que o protótipo tinha muito mais recursos que acabaram por aguçar a curiosidade dos participantes em explorar áreas além das referentes à missão.
Questão aberta — Por fim, você teria alguma sugestão ou comentário a fazer? :)
Através dessa questão nós também recebemos bons comentários que consideraram o protótipo muito intuitivo, fácil de usar e simples.
📲 Confira aqui o relatório no Maze deste teste de usabilidade
Conclusões finais
No desenvolvimento do Edux nós tivemos a oportunidade de ingressar no universo do UX Design e podemos dizer que, sem dúvidas, foi uma experiência extremamente rica para nós.
Ao longo desse processo, nós utilizamos diversas técnicas, métricas, ferramentas e com certeza os testes de usabilidade tiveram um papel fundamental para a qualidade do trabalho que concluímos. Através deles nós tivemos a possibilidade de realmente ver como seria a experiência dos possíveis usuários com a ferramenta e, também, de desenvolver melhorias através de dados sólidos obtidos com a ajuda do Maze.
