Conduzindo a Engenharia de Software ao Sucesso: Indicadores Alinhados ao Propósito do Cliente
Um time de engenharia de Produto de Software ter resultados chave bem definidos para entender onde estamos, e nortear o trabalho de melhoria contínua é essencial para voarmos visualmente rumo a busca por atender de forma satisfatória os anseios dos clientes, aos quais estamos provendo soluções.
Em um escopo de vários times de engenharia alinhados ao desenvolvimento de um mesmo produto, que aqui eu vou chamar de Tribo de Desenvolvimento, o desafio é ainda maior. Focando neste escopo da engenharia, muitas vezes olhamos, em nossos ciclos de inspeção e adaptação, métricas como análise da quantidade e taxonomia dos defeitos, tempo de ciclo para as mudanças de código, indicadores de performance e muitos outros, todas igualmente importantes, mas quero trazer aqui uma reflexão que surgiu de um desafio real de um gestor na engenharia, acerca do desafio de criarmos uma espécie de retrospectiva da tribo para alavancar a melhoria contínua deste escopo de time de times, e mantermos o foco de sermos orientados a dados neste ciclo de revisão da eficiência desta.
Olhando por uma perspectiva de gestão de entrega, precisávamos ter mais do que somente métricas, mas indicadores se estávamos indo na direção correta e que ações e experimentos seriam necessários para eventuais correções de curso. Mas voltando ao tema central, uma pergunta aparentemente simples, mas incômoda é: “O que é realmente a direção correta?”.
"Para quem não sabe para onde vai, qualquer caminho serve."
(Lewis Carroll — Alice no País das Maravilhas)
Para chegar na resposta desta pertinente questão, entendemos que precisávamos debater antes qual o nosso papel como engenharia, que é refinar, definir e criar as soluções de software do nosso produto para os nossos clientes, então por associação, o resultado do trabalho da engenharia está intrinsecamente ligado as necessidades desses clientes, de forma que se olharmos somente para parâmetros que consideramos importantes, em um olhar unicamente para dentro da própria engenharia, corremos o risco de não enxergarmos algo que pode ser relevante para atender a necessidade das pessoas reais que vão usar nossas soluções.
Entendendo o conceito acima, passamos a mudar o foco da nossa reflexão para o quão realmente a entrega da engenharia é adequada ao propósito de nossos clientes. Mas o desafio é fazermos isto mantendo uma perspectiva técnica que faça sentido para a realidade desta. Uma inspiração importante neste momento foram os conceitos de mapeamento de propósitos, critérios de adequação e métricas de alinhamento a estes propósitos do framework “Fit For Purpose” do David Anderson e Alexei Zheglov.
“Sem entender os propósitos e critérios de adequação de seus clientes, sua empresa pode ser desafiada em satisfazer ou reter seus clientes existentes ou encontrar novos. Portanto, entender o “porquê” do seu cliente e seus critérios de adequação deve ser a principal capacidade estratégica da sua empresa”
Anderson, David J; Zheglov, Alexei. Fit for Purpose: Sintetizando a Experiência do Cliente e a Estratégia para acelerar os resultados de negócio.
Considerando esta ideia adotamos então alguns passos que nos ajudaram a chegar nos indicadores que estávamos buscando:
1 — Procuramos entender o propósito dos clientes
Nós buscamos através de narrativas coletar o entendimento do porquê nossa solução é mais adequada para a necessidade de nossos usuários, e uma boa pergunta que pode ser feita neste momento para entendermos o que é sucesso para a perspectiva do cliente é “O que faz nossos clientes procurarem a nós e não a um concorrente?”.
Para isto, nós convidamos para um brainstorm os stakeholders do time de negócio, que tem contato direto com o cliente, para nos ajudar a levantar estas informações, após este levantamento nós categorizamos os propósitos identificados com a resposta desta pergunta.
2 — Entenda quais indicadores estão mais conectados a estes propósitos
Com o objetivo de começarmos com o que já tínhamos em mãos, trouxemos a vista de todos as métricas que tínhamos no momento. De fato colocamos no quadro de discussão deste brainstorming um card com a descrição de cada uma destas métricas da engenharia, tanto de delivery, qualidade ou operacional, e lançamos a seguinte questão: “quais destas métricas são critérios de adequação? Ou seja, quais destas podemos dizer que é diretamente relacionada com a tomada de decisão do cliente em relação aos propósitos que foram identificados?”. Precisaria ser algo explicitamente ligado a esta tomada de decisão e que pudéssemos justificar que falhar com aquele KPI (Key Performance Indicator) específico poderia implicar em o cliente procurar uma solução mais adequada em um concorrente. Por exemplo, marcaram que o indicador de tempo de resposta para problemas críticos era um critério de adequação para o propósito de clientes que escolheram a nossa solução por ser a mais confiável em relação a integridade dos dados e ter um tempo de reação superior a concorrência na resposta a problemas que afetem a operação deles. Esta fase do estudo gerou debates muitos interessantes sobre a observabilidade da engenharia sob uma ótica de produto.
Passamos a chamar estes KPI identificados nesta primeira etapa de fitness criteria, e precisavam ser a chave de nossa atenção em relação a buscarmos o alinhamento aos critérios de escolha dos clientes que eram de influência direta da engenharia.
3 — Categorize seus indicadores de saúde
Entender quais eram os indicadores de fitness da nossa solução foi um passo essencial, mas dada a restrição de ser diretamente relacionada à tomada de decisão do cliente, muitos indicadores ficaram de fora. Desta forma, seguindo a proposta do framework Fit for Purpose (aqui neste site tem mais detalhes adicionais sobre o framework que podem lhe ajudar a se aprofundar sobre o tema: https://www.fitterforpurpose.com/), ainda durante a mesma dinâmica entre os times de negócio e engenharia, nós pedimos para cada um marcar nos cards das demais métricas em qual dos tipos de indicadores abaixo elas se encaixariam:
- Indicadores de Saúde: Seriam as métricas relativas a suportar a estratégia para podermos cumprir bem os critérios de adequação, não estariam diretamente ligadas a tomada de decisão do cliente, mas teriam um efeito indireto sobre as mesmas, assim como sobre a qualidade e expectativas em torno do nosso produto.
- Métricas de Vaidade: Métricas que não eram decisivas para a tomada de decisão do cliente, nem falavam nada sobre a saúde da nossa solução, tendo um papel mais de ativador psicológico, métricas que quanto mais, melhor. E acompanha aquela sensação de bem-estar, mas sem nos contar nada sobre a satisfação real dos clientes.
Após esta etapa, saímos com uma visão geral de como cada indicador que era observado pela engenharia, era visto em uma ótica de alinhamento ao negócio, e identificamos também métricas que jugávamos importantes, mas durante este exercício passamos a entender que era muito mais uma métrica de vaidade. Um exemplo foi o número de defeitos por squad, em um primeiro momento pode parecer algo importante, mas vimos que era muito mais uma métrica de vaidade do time, quando na verdade a densidade de defeitos (a relação entre histórias e defeitos) nos dizia muito mais sobre qualidade, ao final não espere perfeição nesta etapa, mas a definição de acordos que vão evoluindo conforme a maturidade da tribo com o modelo também evolui.
Este é um resumo das categorias em que segmentamos as métricas:
4 — Encontre os intervalos dos seus indicadores
Fechando esta etapa síncrona do trabalho, procuramos nos dividir em grupos de pesquisa e focamos no entendimento dos níveis de performance para cada um dos critérios de adequação que foram selecionados. Para tal, buscamos voar visualmente, com o uso de pessoas e narrativas através dos stakeholders que conheciam os clientes, e buscamos responder inicialmente os seguintes questionamentos relativos as principais métricas dos critérios de adequação (fitness criteria) que observamos nos passos anteriores:
- Qual o nível de performance mínima aceitável que abaixo disso afetamos a tomada de decisão do cliente sobre a nossa solução ser a mais adequada para o mesmo?
- Qual o nível de performance extraordinária, que acima disto já não é mais nem percebido o ganho pelo cliente?
Após mapearmos os níveis de performances mínimos e excepcionais dos KPIs dos critérios de adequação, nos voltamos aos indicadores de saúde, para estes não existe uma meta baseada diretamente na tomada de decisão do cliente, mas precisamos ser capazes de identificar um intervalo razoável. Se os indicadores de saúde estiverem em qualquer ponto dentro deste intervalo, podemos assumir que está em um range saudável, portanto, estudamos quais seriam os intervalos que poderiamos considerar que aquele indicador estaria dentro da normalidade e não requereria nenhuma atenção especial.
Para criar um melhor registro e colaboração nesta etapa, criamos uma planilha que trabalhamos juntos no preenchimento com a seguinte estrutura:
5 — Defina os seus primeiros direcionadores de melhoria
Após o mapeamento dos indicadores e os devidos intervalos, nós fizemos um primeiro assessment, onde levantamos para cada um destes indicadores o corte do status atual dos mesmos, e com isto observamos primeiro quais os KPIs da engenharia que colocamos como critérios de adequação estavam abaixo do limite mínimo, e quais os indicadores de saúde estavam fora do intervalo saudável, estes nós escolhemos como indicadores de melhoria e definimos a meta (target) que iríamos trabalhar para estabilizá-los, após isto, os mesmo voltariam a ser acompanhados como indicadores de adequação ou de saúde normalmente.
Este estudo teve por objetivo escolhermos os primeiros alvos de melhorias, nos passos seguintes nós estruturamos melhor esta visão, investindo em um maior nível de visibilidade e transparência.
6 — Crie cadência e visibilidade
Conhecendo nossos indicadores, o impacto destes sob uma perspectiva do cliente, os intervalos aceitáveis e como estes dados seriam coletados. Estabelecemos uma periodicidade para realizarmos uma retrospectiva de tribo, em que analisamos os KPIs de fitness e depois os indicadores de saúde, e então definimos nossos direcionadores de melhoria com base nesta análise, para tal, passamos a publicar mensalmente uma página atualizada na nossa ferramenta de compartilhamento de informações, o Confluence da Atlassian, com os KPIs, o status atual de saúde e os intervalos esperados, assim como o detalhamento necessário da informação (cada indicador era um link para a tela com o detalhe gráfico do mesmo).
Este padrão nos permitiu não somente termos uma análise objetiva sobre onde precisávamos focar nossos esforços de melhorias, como para compartilhar regularmente e com transparência, junto aos stakeholders, os indicadores de performance da engenharia, mantendo um alinhamento único e voltado ao cliente.
Todavia, é importante sempre revisitarmos o entendimento dos critérios de adequação dos nossos clientes, e no cenário deste case, procurarmos mapear os pontos de influência da engenharia neste processo de tomada de decisão e com isto mantermos sempre uma agenda de adaptabilidade ao propósito, e consequentemente, trazermos para dentro da engenharia de software uma visão sistêmica do seu impacto organizacional e usar esta visão como uma bússola para conduzir o nosso trabalho a quem de fato é o foco principal do resultado do que entregamos, nossos clientes.
“(…) empresas, com seus produtos e serviços, sobrevivem e prosperam como resultado de processos evolutivos no mercado. Uma espécie sobrevive e prospera se for selecionada como adaptada, adaptadora ou a mais adaptada ao seu ambiente. Daí a expressão “sobrevivência do mais apto”. Acreditamos que esse mesmo mecanismo se aplica às empresas (…)
Anderson, David J; Zheglov, Alexei. Fit for Purpose: Sintetizando a Experiência do Cliente e a Estratégia para acelerar os resultados de negócio.
