Métricas & Cultura & Integrações: A ciência por de trás de organizações de alto desempenho

“Software is transforming and accelerating organizations of all kinds.”

Escolhi começar o artigo citando uma frase do livro Accelerate pois é com apoio deste livro que vamos decorrer a leitura. Ultimamente estamos ouvindo com frequência que a mudança tecnológica veio numa alta intensidade e é um caminho que não tem mais volta causado pela pandemia. Levamos em consideração que essa mudança, normalmente com o nome de transformação digital, já vinha acontecendo há alguns anos, porém há uma pergunta que também vem junto: “O que mudamos na transformação digital?”

É aí que vamos dar o primeiro passo nesse assunto. Algumas coisas já sabemos como: implantar projetos pontuais, entregar uma feature inovadora, atender aos stakeholders e seguir um padrão de arquitetura. Essas são coisas que, isoladamente, não fazem a transformação digital e não garantem o desempenho da organização. Então, vamos dar o segundo passo.

Cultura

Quando falamos sobre cultura as primeiras coisas que vem em mente são: “Como conhecer a cultura da organização?” ou “Como consigo identificar cultura organizacional?”. Porém, antes de responder essas duas perguntas, primeiro temos que entender sobre o conceito de cultura.

“Culture is intangible. However there exist many definitions and models of culture.”

Na literatura podemos encontrar muitas definições de cultura e conceitos de cultura organizacional. Porém, preferi proceder sobre modelos culturais, acredito que seja uma aplicação prática. Para isso, vamos definir conforme Forgrens (2018) os três níveis de cultura organizacional:

• No primeiro nível são práticas e conhecimentos recorrentes aplicados no dia-a-dia, relacionados aos colaboradores, o grupo e as atividades. São ações definidas ou praticadas no cotidiano, e que ficam claras para as pessoas que estão envolvidas.
• No segundo nível são os valores praticados por grande parte das equipes dentro da organização. Algo como, os valores da empresa aplicados no dia-a-dia dos colaboradores. Dessa forma tem impactos nas decisões que serão tomadas e as estratégias adotadas.
• No terceiro nível de uma cultura organizacional podemos explicar como práticas e valores inegociáveis. São ações e tarefas que tornam-se rituais. Aplicações de valores que são determinantes no cotidiano e não podem ser excluídas em nenhuma hipótese. Organizações que estão nesse nível cultural são as que deixam transparecer as missões e valores para todos os colaboradores e, em nenhuma hipótese e situação, deixará de lado na tomada de decisão.

A partir da identificação destes níveis, podemos abordar a aplicação prática baseada no estudo de Westrum (2014), onde como a cultura organizacional é orientada a partir de modelos.

Patológica: são organizações que têm como características a retenção de informações e o medo. Nesse modelo, quanto mais conhecimento o colaborador tiver, menos irá compartilhar e, quanto maior for seu cargo ou função, maior será a força para gerar medo nas pessoas. Pois, tem a premissa que a relação conhecimento e medo gera poder.

Burocrática: são organizações orientadas a departamentos. Cada departamento ou área tem as suas funções e objetivos de forma isolada. Não há interações e metas compartilhadas. E, quando existe uma dependência, o processo de partilha é longo e com muitas etapas que impossibilita a colaboração.

Generativa: Organizações com esta característica tendem a ser orientadas a desempenho, deixando claro a sua missão. Todos os colaboradores são baseados na missão e valores, e não cargo. Deixam claro que os objetivos são da organização e não pessoais.

Entendendo sobre o nível e modelo de cultura organizacional levamos em consideração que a cooperação entre os colaboradores e decisões baseadas nos valores resultam em melhores desempenho, problemas solucionados mais rapidamente e ambiente favorável a inovações e confiança. Podemos seguir para o próximo passo que é: “Como fazer com que os colaboradores e sistemas interajam?”.

Integração

Quando falamos de integração estamos nos referindo, também, as práticas. Sabemos que o objetivo final é entregar soluções que melhorem a experiência do usuário, inovem na forma de realizar algo e resolvam algum problema existente. Para isso, esse processo de entrega deverá ser uma prática contínua.

“Continuous Delivery also emphasizes the importance of these technical practices as an enabler of more frequent, higher-quality, and lower-risk software releases.”

Portanto, sabemos que é um conjunto de capacidades que tem como objetivo prover algo com segurança, rapidez e sustentável. Abaixo as 5 principais capacidades para praticar entrega contínua:

Qualidade em construção: Está relacionada às ferramentas e pessoas na qual, em conjunto, tem a capacidade e agilidade de construir soluções rápidas, detecção e correções de problemas.

Trabalhar em pequenas entregas: Sabemos que, na maioria dos casos, as inovações são decorrentes de grandes planos. Porém, saber dividir em pequenas frentes ou funcionalidades e conseguir implementá-las, tem como resultado feedbacks mais rápidos e melhorias com mais rapidez.

Softwares executam tarefas, pessoas resolvem problemas: As ferramentas e softwares são importantes para executar tarefas repetidas, na qual, consigam reduzir o volume de trabalho operacional. Como por exemplo, automatizar tarefas de testes regressivos e implantação para produção. As pessoas conseguem desenvolver trabalhos intelectuais com melhor qualidade, focando na resolução de problemas e inovação.

Melhoria contínua: Melhoria contínua na construção de soluções é uma das principais capacidades de uma organização de alto desempenho. Constantemente são mapeados os pontos de melhoria e colocados em ação.

Responsabilidade de todos: Organizações que estão no modelo Generativa tem como característica que todos são responsáveis pelos objetivos. Desde a construção de soluções, qualidade e estabilidade. O objetivo chave desta capacidade é a transparência.

DevOps

A cultura DevOps faz parte do movimento de transformação digital das organizações. Essa cultura tem como evidência as capacidades acima apresentadas, aplicadas no dia-a-dia. Ferramentas, sistemas, processos e pessoas têm interações entre si para alcançar resultados com softwares seguros, resilientes, distribuídos e escaláveis.

Organizações que investem no desenvolvimento das habilidades e capacidades acabam adquirindo suporte necessário para o sucesso na adoção da cultura DevOps. E está diretamente relacionado ao desempenho do software.

Algumas estratégias são adotadas na implementação da cultura DevOps na organização. São elas:

• Controle de versão de software;
• Implantação Automatizada;
• Integração Contínua;
• Testes Automatizados;
• Controle de Dados em Testes;
• Arquitetura Distribuída;
• Monitoramento de Softwares;
• Autonomia de Times;

Métricas

“We already know that continuous delivery predicts lower change failure rates, which is an important quality metric.”

Nesse ponto nos deparamos com dúvidas recorrentes de como mensurar a qualidade de um time, suas entregas, desempenho de um software, satisfação do usuário, etc. É justamente aqui que vamos falar sobre as métricas que são utilizadas para mensurar os pontos citados.

Mensurar desempenho de uma organização vinha se tornando um paradigma difícil de ser estabelecido. Porém, os autores e pesquisadores Nicole Forgren, Jez Humble e Gene Kim conseguiram, de forma genial e científica, identificar as principais métricas para avaliar o desempenho de uma organização. São elas:

Four Key Metrics (4KM)

Antes de explicar cada uma das 4KM é preciso descrever os seus motivadores.

Para falar que uma organização tem sucesso tem que ser levado em consideração que seus times buscam resultados em conjuntos e globais, e não se compete a ponto de prejudicar um ao outro. E, outra característica é, que empresas se concentram nos resultados e na entrega de valor, e não na produtividade. Ou seja, não criar um ambiente de trabalho onde a produtividade esteja acima da entrega. Não adianta as pessoas trabalharem exaustivamente se na verdade não estão concentradas para atingir as metas organizacionais.

Depois desse entendimento, podemos falar que as metas foram escolhidas para apresentar o tempo de entrega de uma solução em software, tempo médio de correção após a identificação de um problema e a porcentagem de problemas surgidos a cada entrega.

Lead Time for Changes: Esta métrica está relacionada a velocidade do time, identifica o intervalo de tempo entre o código finalizado (commit) e a sua implantação (deploy) em produção. Times de alto desempenho tem como resultado intervalos entre 1 dia a 1 semana. E times de elite diminuem esse intervalo para menos de 1 dia. Ou seja, ao realizar o commit de uma mudança de código, em algumas horas, após executar etapas de integração contínua, o código está em produção.

Deployment Frequency: Como a métrica anterior, esta também está relacionada a velocidade do time. Porém, não é apenas isto. Em software quando falamos em diminuir o tamanho da solução que será entregue, estamos falando diretamente no conceito apresentado pela Toyota — Lean Concept. Com pequenas entregas e em maior frequência conseguimos reduzir o tempo do ciclo desta atividade, aceleramos o feedback, reduzimos os riscos e sobrecarga, custos e aumentamos a produtividade do time.

Mean Time to Restore (MTTR): Esta métrica está relacionada à qualidade e estabilidade da solução entregue. Normalmente produtos e serviços de softwares são complexos para atender as necessidades existentes. Entretanto, sabemos que em muitos casos podem ocasionar problemas e prejudicar a usabilidade. Então, qual é a capacidade de tempo da organização em conseguir resolver isso de maneira mais rápida? Essa resposta está na métrica MTTR, que é a média (em um período analisado) de tempo para realizar a correção do software e estabilizá-lo.

Change Fail Rate: Como a anterior, esta métrica também está relacionada à qualidade e estabilidade. No caso é a porcentagem da taxa de falha em produção causada por uma nova entrega. Ou seja, quando tem uma implantação de produção e devido a isso ocorre alguma falha e necessidade de correção. O cálculo é feito com relação às implantações realizadas naquele período de tempo analisado.

A partir das 4 métricas, periodicamente é atualizado a tabela representando os níveis de uma organização de alto desempenho.

Anualmente é apresentado o relatório Accelerate State of DevOps, que é o resultado anual de uma das maiores pesquisas globais no qual fornece percepções baseadas em dados que examinam os recursos e práticas que impulsionam a entrega de software. Para mais informação poderá o link.

Existe outra métrica que não faz parte da Four Key Metrics mas que vale comentar, é o NPS.

- Net Promoter Score. Esse é um indicador que mede a satisfação dos clientes e, também, dos colaboradores. Essa métrica consegue identificar o percentual de consumidores ou colaboradores que são engajados com a organização e a promovem.

Aplicação da Ciência nas Organizações

“Take a step back and think about what it is you are trying to measure and how you will measure”

Quando falamos de estudos, podemos ficar curiosos para saber como chegou àquele resultado ou como conseguiu alcançar tais expectativas. Porém, se não identificarmos qual o problema que tentou resolver ou quais as problemáticas que influenciaram para chegar na situação atual, há uma grande chance de aplicarmos sua solução e obtermos resultados que não nos interessam.

Identificar o problema para ser estudado é difícil, e às vezes podemos ser genéricos, como: A cultura organizacional da empresa é boa? O time de desenvolvimento é eficaz?

Isso são perguntas genéricas que não levam a solução de um problema específico. Primeiramente é necessário entender como se chegou ao problema, e isso se dá com a problemática. A problemática se dá ao assunto no seu geral, sem muito aprofundamento. Como podemos ver nos exemplos abaixo:

• Baixo índice de satisfação dos colaboradores;
• Falta de prática cultural na organização;
• Alto número de problemas em produção;

A partir do conhecimento da problemática, conseguimos chegar ao(s) problema(s). Problema é a identificação do que deverá ser resolvido, atingindo seu objetivo específico, por exemplo:

• Como identificar a quantidade de entregas num determinado período?;
• Quais são as práticas culturais da empresa?;
• Quais são os índices de erros em cada implantação em produção?

Entendendo a problemática e chegando a um problema a ser resolvido, o próximo passo é saber como vai ser resolvido.

“Teams wanting to understand the performance of their software delivery process often begin data by instrumenting their delivery process and toolchain to obtain data.”

Resolver um problema está no final do processo, está depois que obtém dados a serem coletados, análises, aplicação de estratégia e um plano de ação. Porém, ao saber qual problema precisa ser resolvido, terá que saber quais dados deverá ter.

Dado qualitativo pode ser qualquer tipo de dado que não envolva numericamente resultados. Ou seja, são dados interpretativos de conteúdos obtidos através de perguntas abertas ou observações de textos. Esse tipo de análise é muito importante em uma organização pois consegue observar pontos de vistas diferentes, explicações válidas e outra informação textual onde não conseguiria observar em um gráfico.

Dados quantitativos são números extraídos de perguntas fechadas, de opções, de escalas, de extração de ferramentas. O ponto forte destes dados é conseguir atingir grande abrangência e obter uma grande quantidade de informações. Tendo sua análise a partir de gráficos, tabelas, etc.

A partir do momento que se tem os dados é importante saber analisar. Alguns conceitos abaixo poderão ser úteis na análise, podendo ser análise estatística ou qualitativa.

Média — O valor da média é calculado somando todos os valores e dividindo pela quantidade numérica. Por exemplo, no período de 15 dias foram finalizadas 20 tarefas. A média de tempo delas é a somatória geral dividida pelo número. O resultado é a média de tempo geral;

Moda — A moda é o valor que mais aparece nos dados analisados;

Mediana — É uma tendência central, pode-se dizer que é uma alternativa a média. Equivale ao valor do meio do que está sendo analisado.

Desvio Padrão — Esta é uma análise interessante e demonstra os valores que estão mais distantes da média, tanto para mais ou para menos.

Análise qualitativa — Esta análise é mais complexa do que a análise quantitativa. O objetivo é entender o cenário de forma geral, podendo ser dividida em subtemas. A partir disto pode entender o que foi obtido nos dados qualitativos, podendo criar categorias e associações.

“Leadership really does have a powerful impact on results.”

Encerramos esta leitura com muito conteúdo e conceitos importantes para identificar o problema que está tendo e como poderá resolver. Talvez até melhor, identificar qual nível cultural a organização no qual está e como poderá melhorar. Vimos que práticas cotidianas como automação podem melhorar a entrega de soluções e aumentar o desempenho dos colaboradores. E, ao final, coloque em prática, mesmo que seja inicial, monte um plano de ação onde aos poucos vá agregando hábitos culturais, utilização de ferramentas e extração de métricas.