Medindo os resultados de UX Research com OKRs

A disciplina de UX Research é nova na comunidade de UX, especialmente aqui no Brasil. Enquanto a disciplina evolui, muito se é discutido sobre como demonstrar a entrega de valor de pesquisa para o negócio. Nesse texto, queremos deixar nossa parcela de contribuição a comunidade, contando sobre como estamos medindo esses resultados na prática na Centauro.

Antes de mais nada, é preciso dizer que aqui na Centauro, UX Research é uma disciplina de DesignOps, que é uma estrutura de suporte ao time de product designers, que constroem nossos produtos digitais. Além de UX Research, DesignOps comporta nosso Design System, Writing e Customer Experience. Apesar de serem disciplinas bastante diferentes, precisamos trabalhar alinhados sob os mesmos objetivos.

Da nossa experiência, o processo de definição de OKRs passa por 4 momentos: Criação de objetivos, Definição de key results, Diagnóstico da operação e Acompanhamento. Vamos passar por cada um a seguir.

Criação de objetivos

Sendo um time de design jovem, muito antes de acompanhar nossas entregas de valor, fizemos um exercício de criação de objetivos para o nosso trabalho, chamada de Five Bold Steps. Esse exercício nos ajuda a vislumbrar, de maneira abstrata, qual nosso horizonte de atuação na companhia e quais são os principais passos que precisamos dar enquanto time para alcançar esse horizonte.

Nossos Five Bold Steps são:

1. Planejar e estruturar processos de design
2. Mostrar o valor de design para a companhia
3. Escalar a operação de design
4. Ter o design como estratégia e processo
5. Design orientando a visão do negócio

Dos passos que precisamos tomar para alcançar nossa visão, desdobramos todos para as disciplinas que compõem DesignOps. Para UX Research, então, nossos objetivos agora são:

O1: Planejar e estruturar processos de UX Research

O2: Mostrar o valor de UX Research para a companhia

Tendo objetivos amplos e abstratos como esses, nosso próximo desafio passou a ser entender como medir se estamos caminhando no sentido de cumpri-los.

Definição de key results

Os key results são as partes mais importantes de um sistema de gestão porque são eles que vão nos dizer se estamos ou não tomando as iniciativas certas e caminhando em direção a nossa visão. Nesse texto, para não ficar muito extenso, vamos abordar os key results que compõem somente nosso O1( Planejar e estruturar processos de UX Research).

Contamos com mais detalhes sobre isso no texto sobre estrutura de DesignOps aqui no Medium. Lá mostramos que a nossa estrutura de DesignOps é construída sobre 4 eixos de trabalho: Processos, Ferramentas, Gestão e Pessoas. Apesar de terem muitas interseções entre si, são eixos únicos e que comportam todas as iniciativas do nosso time. Sendo assim, decidimos que precisamos medir nossa caminhada em termos desses 4 eixos, definindo um key result para cada um.

Para definir os key results, exercitamos o que significa um bom planejamento e estrutura para cada um dos eixos:

• Processos: Definimos que uma estrutura ótima de processos de pesquisa é composta por um conjunto de métodos e artefatos de pesquisa que o time de sente confiante em utilizar e, por isso, os utiliza com frequência.
• Ferramentas: Análogo aos processos, entendemos que uma estrutura ótima de ferramentas de pesquisa é composta por um conjunto enxuto de ferramentas, que o time se sente confiante em utilizar nas suas pesquisas e, por isso, as utilizam com frequência.
• Gestão: Entendemos que uma gestão ótima de pesquisa é aquela que disponibiliza processos e ferramentas para serem utilizados pelo time, que tem agilidade em resolver demandas e que tem transparência na priorização de iniciativas.
• Pessoas: Também é preciso garantir que todas as pessoas se sintam parte da infraestrutura de pesquisa, que sintam que estão evoluindo nessa disciplina e que o time está evoluindo como um todo.

Dadas nossas descrições para cada eixo de trabalho, o próximo passo é criar um sistema de diagnóstico da operação de pesquisa junto aos product designers e entender com eles, que são os usuários do nosso trabalho, o quanto a nossa estrutura entrega valor ao trabalho deles.

Diagnóstico da operação

Para entender junto aos product designers, os convidamos para responder um formulário sobre a nossa estrutura de pesquisa, passando por cada um dos eixos de trabalho.

Para cada ferramenta que usamos, perguntamos sobre a frequência de uso e a confiança de usar. As mesmas perguntas foram feitas para cada processo de pesquisa.

Para gestão, perguntamos sobre a percepção de transparência da estrutura de pesquisa, de disponibilidade de ferramentas e de agilidade em resolução de problemas.

Para pessoas, perguntamos sobre a percepção do product designer sobre o domínio de pesquisa pelo time como um todo.

Junto ao formulário, construimos um sistema de cálculo para cada key result:

• O KR de Ferramentas, assim como o de processos, é calculado pela soma ponderada dos valores de frequência de uso e confiança de usar cada ferramenta e processo.
• O KR de Gestão é calculado pela soma ponderada das respostas dos product designer a partir de pesos que definimos para cada um dos critérios de gestão.
• O KR de Pessoas é calculado pela soma média simples das respostas dos product designers.

No final, todos os KRs são normalizados para um valor entre 0 e 100, onde 100 é o nosso cenário ótimo.

Aqui é importante destacar a importância de um sistema de diagnóstico que seja flexível a ponto de receber novas ferramentas, novos processos e novas perguntas para o próximo diagnóstico. Desde a última vez que fizemos esse diagnósticos, já descontinuamos algumas ferramentas/processos e adicionamos outros. Da próxima vez que rodarmos esse formulário, vamos adicionar ferramentas e processos de teste de usabilidade remoto, que não estavam da primeira vez. Ainda assim, o sistema de diagnóstico permanece.

Acompanhamento

No fim do diagnóstico, conseguimos ter informações suficientes para planejar e priorizar as iniciativas de UX Research para o próximo trimestre, buscando entregar cada vez mais valor de pesquisa para a companhia através dos product designers.

Além das iniciativas de Gestão e Pessoas, conseguimos ter um diagnóstico detalhado de cada ferramenta e processo que utilizamos para fazer pesquisa, dependendo do seu resultado individual e da variação de resposta que cada um recebeu. A partir disso, conseguimos listar iniciativas como automações de processos, capacitações ou mesmo descontinuações de ferramentas.

A ideia de usar o modelo de OKRs para pensar em um sistema de medida para o trabalho de UX Research vem no sentido de avaliar se estamos realmente entregando valor para os product designers, que executam a maior parte do trabalho de pesquisa dentro das suas squads. Além disso, nos dá espaço para pensar em iniciativas mais robustas para um período maior de tempo.

No fim do dia, o objetivo é criar um sistema de gestão mais analítico para avaliar o resultados dos nossos esforços. Temos clareza de que é impossível construir uma operação de pesquisa nota 100 em todos os KRs. Também temos clareza que ainda há muito o que melhorar nesse trabalho, mas esse é um bom primeiro passo.

Gostou do texto? Comenta aqui embaixo o que achou!

Temos vagas para Product Designers e UX Researchers. Se você tem interesse em se juntar a maior plataforma de esportes da América Latina, fala com a gente!