Como medir a qualidade das estratégias de UX Writing na prática

Uma das coisas que eu mais me questionava desde que comecei a atuar como UX Writer era como medir a qualidade do meu trabalho.

Isso era uma questão tão grande para mim que, inclusive, se tornou a pesquisa do estudo de caso para o meu trabalho de conclusão de curso da pós-graduação.

Para tentar encontrar a resposta, procurei referências bibliográficas e realizei muita pesquisa. Durante esse processo, encontrei cases e sugestões de testes que já haviam dado certo, como testes A/B, cloze, marca texto etc., mas nenhum deles trazia as análises qualitativas que eu buscava validar.

Precisava entender, qualitativamente, qual retorno o meu trabalho trazia para a experiência, quais impactos causava na compreensão das pessoas que liam os textos, se as análises e cada boa prática que eu vinha aplicando estavam, de fato, sendo úteis.

Por isso, optei por aplicar uma pesquisa com o nosso público associado, voltada para esse objetivo e adaptada de alguns métodos já existentes no mercado.

A primeira tentativa

Sabíamos que essa validação seria como nosso protótipo inicial, precisávamos testar e ver se ia funcionar. Então montamos a primeira versão.

Definimos que o cenário utilizado seria o depósito de cheques no nosso aplicativo Sicredi, e o motivo dessa escolha foi justamente por ser um fluxo que, em geral, não é tão acessado pelas pessoas (como é o caso do Pix, por exemplo) e, assim, traria menos ou quase nenhum viés.

Contei com apoio do meu líder Igor, da minha colega product designer Hodara e, juntos, começamos a pensar qual seria o melhor formato.

Inicialmente pensamos em uma jornada completa desse fluxo, mais próximo de um teste de usabilidade, porém com perguntas específicas sobre o conteúdo. Prototipei o fluxo original e fiz uma cópia, aplicando nela boas práticas de Writing. Ambos seriam utilizados em um celular específico para o teste.

Mas, ao aplicar esse modelo com 4 pessoas, percebemos que os resultados estavam sendo muito parecidos e superficiais, com comentários mais voltados à usabilidade e itens de design do que propriamente ao conteúdo, que era o nosso objetivo total.

Mas bora lá. Rebobina e volta ao ponto zero da descoberta.

Precisávamos de resultados mais objetivos, então tínhamos que ser mais objetivos também.

A segunda tentativa

Em um brainstorming, chegamos a uma alternativa que parecia ser a mais apropriada.

Da jornada completa do depósito de cheques, algumas telas tinham mudanças bem significativas de texto, facilitando a comparação entre a proposta atual e a nova, até mesmo para pessoas que não estavam familiarizadas com a funcionalidade.

Então, optamos por dispor as telas lado a lado, cada par (texto original à esquerda e texto com melhorias à direita) em uma folha de ofício A4, na horizontal, resultando em 6 folhas. Pensamos que mais do que isso iria tornar o processo um pouco cansativo para quem participasse.

Com isso, o objetivo era que todas as pessoas olhassem as 6 folhas, com as telas originais e as de melhorias, e pudessem escolher uma tela em cada uma das folhas, justificando a sua escolha.

Também era importante descartar qualquer interferência visual de design, pois isso poderia proporcionar uma distração, como aconteceu na primeira tentativa. Não queria que o foco fosse desviado do texto. Por isso, aumentamos o tamanho da fonte, e as cores originais utilizadas no nosso aplicativo foram substituídas por preto e branco.

Para não criar nenhum tipo de hierarquia entre as telas da mesma folha, não usamos números, letras ou qualquer outro tipo de tag. Deixamos apenas um espaço abaixo de cada tela para ser colado um post-it, sinalizando a escolha da pessoa. Como dizem, o simples sempre funciona.

Ainda tinha o desafio de evitar que a escolha fosse meramente por preferência. Queria perceber nas pessoas o entendimento sobre cada tela e, com isso, identificar aspectos de boas práticas de UX Writing.

Devido a isso, o roteiro de perguntas precisou ser bem estruturado. As perguntas e o contexto passado às pessoas não podiam ter as mesmas palavras usadas nas telas, para não provocar nenhum viés. Além disso, era necessário criar um storytelling na cabeça de cada pessoa, já que não faria sentido apresentar as folhas sem um contexto.

Roteiro de perguntas

Para alcançar o objetivo, a cada folha que entregava para a pessoa ler, também passava o contexto, um tempo para leitura e depois fazia a pergunta.

Abaixo está o roteiro utilizado e as folhas que foram apresentadas.

• Entrega da primeira folha

Contexto: essa é a primeira folha com duas telas do processo de depósito de cheques. Vamos supor que hoje seja domingo e você lembrou que precisa depositar um cheque que recebeu. Ao abrir seu aplicativo Sicredi para fazer o depósito, encontra uma mensagem sobre o período de funcionamento do depósito no aplicativo. Pode ler essas duas telas, por favor.

Ilustração das telas da primeira folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a primeira folha:

• Em qual das telas você entendeu melhor o que aconteceu?
• O que você mais gostou nessa tela?
• Entrega da segunda folha

Contexto: vamos supor que você retornou na segunda-feira, dentro do horário permitido citado na tela anterior, e agora vai iniciar o seu depósito. Pode ler as telas, por favor.

Ilustração das telas da segunda folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a segunda folha:

• Considerando que você esteja fazendo esse depósito sozinho(a) na sua casa, em qual das telas você ficaria mais confortável para realizar a tarefa?
• O que fez você escolher essa tela e não a outra?
• Entrega da terceira folha

Contexto: essa é a terceira folha. E, aqui, vamos supor que você tirou as fotos do cheque, mas decidiu descartar elas porque percebeu que fotografou um cheque errado. Pode ler, por favor.

Ilustração das telas da terceira folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a terceira folha:

• Em qual das telas você se sente mais confiante para descartar as fotos?
• Tem algo na tela que você não escolheu que te deixou alguma dúvida? Qual?
• Entrega da quarta folha

Contexto: essa é a quarta folha. Digamos que você já descartou as fotos na tela anterior, já fotografou o cheque correto, e agora recebeu essa mensagem de erro. Pode ler as duas telas.

Ilustração das telas da quarta folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a quarta folha:

• Em qual das telas você entende melhor o que precisa fazer?
• Algum motivo específico para essa escolha?
• Entrega da quinta folha

Contexto: essa é a quinta folha. Aqui, é uma mensagem sobre outro erro que aconteceu. Pode ler.

Ilustração das telas da quinta folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a quinta folha:

• Em qual das telas você se sente mais confortável sobre o erro apresentado?
• O que fez você escolher essa tela?
• Entrega da sexta folha

Contexto: essa é a última folha. Aqui, você já passou pelo processo completo do depósito, corrigiu todos os erros e está finalizando o depósito. Essa é a tela de confirmação. Pode ler cada uma.

Ilustração das telas da sexta folha entregue às pessoas participantes. À esquerda texto original, à direita texto com melhoria de UX Writing.

Perguntas depois de ler a sexta folha:

• Em qual dessas telas você melhor entende o que aconteceu?
• Tem algo que deixou você em dúvida?

A aplicação

Aplicamos a pesquisa presencialmente com 10 pessoas, entre homens e mulheres de 26 a 75 anos, que compareceram em uma das agências do Sicredi, localizada em Porto Alegre-RS.

Inclusive, utilizar as telas impressas possibilitou descartar qualquer receio com tecnologia. Notamos que, na aplicação da segunda tentativa, as pessoas se sentiam mais à vontade com o protótipo em folhas de papel do que as pessoas que participaram na primeira tentativa, com o protótipo no celular.

No entanto, foi necessário descartar as respostas de 2 participantes, que tinham um perfil menos comunicativo e utilizavam muito pouco o aplicativo. Mesmo direcionando, contextualizando e adaptando o roteiro, não compreenderam a dinâmica e não foi possível considerar as respostas para análise. Inclusive, ter contato com esse público me fez querer, em um momento futuro, aplicar uma nova versão dessa pesquisa de forma mais aprofundada para entender suas dificuldades com o conteúdo.

Durante a aplicação, optamos por gravar apenas o áudio da conversa para ser feita a transcrição. Isso deixou as pessoas mais à vontade, mas sentimos falta da gravação das imagens para poder extrair expressões e gestos que, na hora, não foram possíveis de se perceber ou anotar.

Análises

Decidir como fazer a análise foi um pouco complicado. Os dados eram qualitativos e, com uma amostra relativamente pequena, não seria possível transformar em números, mas ainda queria uma forma de visualizar o resultado em quantidade.

Então, separei as seleções de cada folha e organizei na imagem abaixo.

Representação visual da quantidade de pessoas que escolheram o fluxo com melhorias de Writing em cada uma das folhas apresentadas.

Na imagem, é possível perceber que o fluxo com melhorias de Writing foi selecionado pela maioria das pessoas.

A partir disso, iniciei a análise qualitativa, e confesso que esse foi o momento mais legal de toda a jornada. Para confirmar a hipótese sobre a maior compreensão em fluxos com estratégias de Writing, analisei no detalhe a transcrição das respostas de cada pessoa, e foi possível perceber em suas falas os estímulos que eu queria passar quando escrevi as mensagens.

Frases como “prefiro ter uma informação mais direta do que aconteceu e o que eu preciso fazer pra corrigir”, “Aqui já tá a parte óbvia no título já dizendo o que é, se eu ler esse início aqui, eu não preciso nem ler o resto”, foram algumas das várias justificativas que nosso público associado participante citou.

Muito do que foi dito são estratégias que apliquei a partir de conhecimentos de Writing, baseado em cursos e especialmente na “bíblia” de qualquer UX Writer: o livro “Redação estratégica para UX”, da Torrey Podmajersky.

Além disso, foi possível analisar mais detalhes espontâneos, como adjetivos positivos e negativos utilizados em ambas as mensagens de cada folha, sentimentos expressados, possíveis dúvidas que uma palavra ou falta de mais instrução gerou em algum momento, palavras que geraram mais estranheza e as mais comuns, entre outros detalhes que a gravação e transcrição possibilitam.

Para essas análises qualitativas, fiz uma nuvem de palavras com todos os adjetivos positivos recebidos na versão com aplicação de estratégias de Writing, para ver quais mais se repetiram. Separei comentários positivos em post-its verdes e negativos em vermelhos, para visualizar qual fluxo tinha recebido mais cada tipo de comentário, além de perceber qual tom de voz da marca foi identificado pela pessoa na etapa da jornada.

Também cataloguei comentários próximos e recorrentes para entender o que mais se repetia. A partir disso, foi possível compilar as confirmações e aprendizados adquiridos nesta tarefa.

Ter alcançado o objetivo foi muito gratificante. Mais ainda, foi ver que o meu trabalho estava gerando maior compreensão nas pessoas, e por consequência, uma experiência melhor.

Mas, como nem tudo são flores, tudo gera aprendizado. Analisei também com maior atenção as justificativas que fizeram as pessoas selecionarem os textos originais. E essas justificativas serviram de insumos, pontos de atenção e aprendizado para os próximos fluxos em que eu for trabalhar.

Aprendizados

Não poderia deixar de citar alguns aprendizados que tive com esse experimento, para servirem como melhorias para os próximos que pretendo fazer.

Algumas pessoas traziam a percepção pensando no que outras iriam entender daquela mensagem. Isso foi um obstáculo, pois gerava hipóteses sobre interpretação de outras pessoas, e não delas mesmas, ou sobre situações reais. Então nesses casos, sempre que necessário, era preciso recorrer à mediações de UX Research, retornando ao objetivo, direcionando a pessoa a responder por ela mesma, mas também, sem soar de forma grosseira.

Acredito que 6 páginas seja o limite para essa aplicação, pois mais do que isso vai ficar realmente cansativo. Por mais que tenham sido conversas rápidas (em torno de 5 a 10 minutos), a partir de um momento, algumas pessoas já entendiam o padrão das perguntas, o que fazia com que fosse necessário retomar o objetivo, ou fazer a pergunta com uma abordagem diferente.

Foi muito significativo para mim, como profissional de UX Writing ver as estratégias que usei serem reconhecidas positivamente na prática e ainda extrair insumos para aplicações e melhorias futuras aqui no Sicredi.

Além disso, essa foi uma experiência incrível, inspirada no meu trabalho de conclusão do curso de pós-graduação de User Experience Design and Beyond, da PUCRS.

E aí, me conta nos comentários o que achou dessa pesquisa. Quais telas te geraram maior entendimento?

Se você for aplicar algo assim, não esquece de me contar depois. Espero que tenha te ajudado a despertar ainda mais ideias por aí!

Ficou com vontade de viver esses desafios com a gente?

Acompanhe nossas oportunidades de carreira em https://techsicredi.gupy.io/

Quer saber mais sobre o Sicredi?

Siga a gente no Linkedin: https://www.linkedin.com/company/sicredi/ e no Instagram @Sicredi.