Estudantes Versus Sistemas Acadêmicos

Usamos as heurísticas de Nielsen pra avaliar a usabilidade do SUAP-Edu com calouros do ensino técnico do IFRN-Natal Central.

Nosso objetivo foi o de mapear as principais dificuldades de calouros do IFRN com o SUAP, já que usuários frequentes teriam mais familiaridade com as tarefas a serem testadas e tenderiam a cometer menos erros.

Depois de identificarmos em questionário que a insatisfação dos alunos com a versão mobile do SUAP gira em torno de 82%, decidimos direcionar os testes para smartphones.

Planejamento 💭

Primeiro identificamos dados consultados com maior frequência durante cada período letivo. Aí estão:

  1. Chamada
  2. Notas
  3. Aulas ministradas
  4. Material de aula
  5. Locais e horários de aula
  6. Mensagens

Em seguida, descrevemos as tarefas a serem executadas pelos alunos (Considere o X como o nome da disciplina a ser buscada):

  1. Busque o horario e local da aula X
  2. Busque o conteúdo da última aula da disciplina X
  3. Busque a nota da última prova da disciplina X
  4. Busque o total de faltas na disciplina X
  5. Busque pelas mensagens enviadas pelo professor da disciplina X
  6. Baixe o material de aula da disciplina X

Preparação do Ambiente 🛠

Utilizamos o Lab 5 da DIATINF com 16 computadores conectados à Internet.

Em cada computador utilizamos:

  1. Navegador Google Chrome para acessar o site suap.ifrn.edu.br
  2. Chrome DevTools’ Device Mode para simular a tela de um Smartphone
  3. Plugin MediaCore (não existe mais, recomendo Loom) pra gravar a tela com as interações dos alunos.

Além dos computadores, usamos um projetor para mostrar as tarefas a serem executadas, e um cronometro pra acompanhar a duração das tarefas.


Execução 🏁

Os 15 alunos foram testados em 3 grupos com em média 5 participantes em cada. Iniciamos o plugin MediaCore com resolução de 480p, o que reduziu tamanho final dos arquivos sem dificultar a visualização das ações.

A lógica dos testes é simples:

  1. Uma tarefa é mostrada através do projetor;
  2. Os alunos tem até 1 minuto para executar a tarefa;
  3. Quem concluir em até 1 minuto levanta a mão;
  4. Ao término de 1 minuto, a próxima tarefa é passada.

Estipulamos o tempo limite de 1 minuto porque passar mais do que isso pra encontrar uma informação em um site é demais e seria tempo suficiente pra ver as tentativas de cada um.


Análise dos dados 📝

Ao fim dos testes, conseguimos 5 horas de video com alunos interagindo com o SUAP. Analisamos os videos e criamos um infográfico mapeando as seguintes informações:

  1. As principais dificuldades enfrentadas pelos alunos (linhas verticais);
  2. A quantidade de alunos que enfrentou cada dificuldade (negrito); e
  3. A relação entre cada dificuldade e as Heurísticas de Usabilidade de Nielsen que se relacionavam a cada uma das dificuldades (linhas horizontais).
Mapeamento das dificuldades enfrentadas por usuários iniciantes do SUAP-Edu. Note que uma das Heurísticas não foi listada. Esta Heurística é relativa a “Ajuda e Documentação” e consideramos que ela não se enquadraria num teste que leva em conta a facilidade de uso da interface.

Os pequenos detalhes 👀

Entre planejamento e execução, tivemos apenas 3 dias pra trabalhar nos testes, porque as aulas estavam prestes a começar e o SUAP passaria a ser usado por todos os alunos. Se o teste fosse executado depois, os alunos já teriam uma maior familiaridade com o sistema. Mesmo com essa correria, cumprimos a missão e ainda aprendemos lições importantes:

As reações dos alunos são valiosas

Por mais que estivéssemos lá durante a aplicação dos testes, deixamos de registrar as reações dos alunos comentando sobre suas impressões do sistema. Gravadores de audio ou câmeras poderiam complementar o registro da experiência e enriquecer a discussão sobre os problemas na interface.

Durante uma experiência, cada reação é tão importante quanto a ação que a causou.

Histórias expandem a mente

O cérebro fica mais ativo quando nos contam uma história, partes do cérebro que seriam usadas para viver aquela história se ativam. Por isso, decidimos construir uma narrativa para conectar as tarefas a serem testadas. É uma técnica simples que expande a nossa mente, porque nos conectamos e engajamos às atividades mais naturalmente.

O plano de um teste não acaba na execução

Quando começamos a análise dos vídeos, tivemos uma dificuldade grande de mapear qual tarefa cada aluno estava tentando executar. Isso aconteceu porque os videos tinham tamanhos diferentes e por não termos indicações explícitas de qual tarefa estava sendo executada nos vídeos gravados. Planejar a análise dos testes teria nos salvado muito tempo.


Então…

Com o mapeamento entre as heurísticas de Nielsen e as principais dificuldades de interação com o SUAP, identificamos áreas problemáticas do sistema e suas possíveis causas. O infográfico que fizemos documenta as falhas da atual interface do SUAP-Edu e é uma das nossas referências na elaboração de propostas para melhorar a experiência dos estudantes com seus dados acadêmicos.

*Esse trabalho está sendo desenvolvido por alunos e ex-alunos do IFRN, também como forma de retribuir tudo que o IF já nos permitiu. Se quiser ajudar a gente nessa missão, é só dar um ❤ aqui