Como a McKinsey criou uma métrica para mensurar o impacto dos treinamentos

Pedro Piovan
SEIVA BRUTA
Published in
6 min readJan 18, 2019
As pessoas geram os dados ou os dados geram pessoas?

Faz algum tempo venho trabalhando com áreas de treinamento para conseguir mensurar o real impacto que elas tem em suas empresas. Para quem trabalha nessa área sabe que uma survey no fim de um treinamento não é uma métrica, mas sim apenas uma percepção (que se perde em um dado momento e este dado fica inútil).

Então aqui quero explicar de forma bem sucinta e prática: como mensurar o impacto que a área de treinamentos tem na empresa.

E para isso, vou usar um case: McKinsey e o programa Generation.

Contexto

Os Estados Unidos têm milhares de programas de desenvolvimento e treinamento de força de trabalho, administrados pelos setores público, social e privado. Alguns são excelentes; outros, não tanto. O problema é que não sabemos separar o joio do trigo.

E essa falta de conhecimento custa muito caro. O Centro da Universidade de Georgetown sobre Educação e Força de Trabalho fez um levantamento dos gastos em programas nos EUA para aqueles que não freqüentam faculdades de quatro anos — desde iniciativas de trabalho federais e estaduais até treinamento no trabalho, certificações, faculdade comunitária e empregador treinamento — o custo é pelo menos US $ 300 bilhões por ano.

Mas, de acordo com o Banco Mundial, apenas 30% dos programas de emprego para jovens são bem-sucedidos, com muitos deles oferecendo apenas benefícios marginais. E a maioria dos programas não tem nenhum efeito positivo.

De qualquer forma, treinar times profissionais é mais necessário do que nunca, já que a tecnologia e a globalização continuam a mudar os tipos de empregos disponíveis.

Em uma economia dinâmica, espera-se que os trabalhadores se adaptem, para mudar não apenas empregos, mas às vezes carreiras, para adquirir novas habilidades quando necessário.

Isso requer programas de treinamento bem-sucedidos, o que significa que precisamos saber quais funcionam.

Medindo eficiência

A maioria dos programas de treinamento existentes tenta avaliar sua eficácia. Muitos medem o custo por aluno. Alguns medem as taxas de colocação no emprego. Uma faixa minoritária de retenção no trabalho. Essas métricas são úteis, mas perdem a visão geral, em parte porque confundem o custo de um programa com seu valor.

Pense nisso. Se um programa tem um custo baixo por aluno, mas falha em realmente ajudar as pessoas a criar uma carreira sólida, então por mais que é uma falha barata, continua sendo uma falha.

Por outro lado, alguns programas podem prometer altas taxas de retenção de emprego, mas com um custo tão alto por aluno que o programa se mostra impraticável ou impossível de escalar. Ou, se os trabalhos em si são de baixa remuneração e não oferecem aos alunos uma carreira viável, eles podem não valer a pena, independentemente das altas taxas de retenção. É bom saber o custo por aluno, mas isso não significa muito se os alunos não tiverem sucesso no local de trabalho.

A colocação de emprego é importante, mas uma taxa de colocação elevada não tem sentido se o participante sair depois de uma semana, se o trabalho for temporário ou não pagar bem.

A realização de uma análise de custo-benefício requer uma abordagem holística, que incorpore custos e colocação no emprego e também explique como os participantes estão se saindo depois que saem do programa. A ideia foi adotar algo semelhante a uma análise de “custo total de propriedade” (CTP).

A TCP considera os custos diretos e indiretos ao longo do tempo. Para a McKinsey a aplicação da TCP para treinamentos de recolocação no mercado de trabalho fez sentido porque, em vez de se concentrar em insumos (na forma de gastos), essa abordagem enfatiza os resultados (na forma de resultados de longo prazo).

Eles chegaram a essa constatação da maneira mais difícil — através da experiência. Nos últimos dois anos eles implementaram o Generation, um programa de emprego para jovens que faz parte da McKinsey Social Initiative. Até agora, o Generation já atendeu cerca de 10 mil jovens em cinco países: Índia, Quênia, México, Espanha e Estados Unidos. Ao buscarmos medir os resultados do Generation, eles começaram a entender as limitações da prática atual.

Chegando na métrica ideal

Então, com base no estudo do CTP, eles desenvolveram uma nova métrica — custo por dia empregado (CPED, em inglês) nos primeiros seis meses — que definiria o impacto dos programas de treinamento para empregrabilidade.

A métrica CPED combina os dados que mensuram os benefícios sociais e econômicos dos programas de emprego com uma precisão muito maior.

Aqui vai um exemplo: se o programa X atende 1.000 estudantes a um custo de US $ 1.000 cada, temos US $ 1 milhão no total. Se quinhentos indivíduos são colocados no trabalho (uma taxa de “colocação profissional” de 50%) e permanecem empregados por uma média de 60 dias nos primeiros seis meses, isso soma 30 mil dias no trabalho, a um custo de US $ 33 por dia de trabalho.

O programa Y, por outro lado, tem um custo inicial de US $ 2.000 por aluno, mas uma taxa de colocação de 80% e os graduados permanecem no cargo por uma média de 120 dias. Isso sai para 96.000 dias úteis, ou US $ 21 por dia de trabalho.

Claramente, o Programa Y, que à primeira vista parece duas vezes mais caro que o Programa X, oferece muito mais valor em termos de ajudar os participantes a encontrar e manter um emprego remunerado.

No Generation, o número de CPED varia de acordo com o mercado, variando de cerca de US $ 5 na Índia a US $ 26 nos Estados Unidos.

Debater a utilidade de métricas específicas pode parecer uma coisa menor. Mas adotar medidas mais precisas de sucesso aumenta a responsabilidade. E a responsabilidade gera resultados.

Por exemplo, quando os gerentes do Generation perceberam o poder do CPED, eles o usaram para fazer melhorias operacionais. Com base no que aprenderam com a CPED, começaram a trabalhar mais de perto com os empregadores para monitorar as taxas de retenção, aumentando a ênfase na orientação nos primeiros dias de trabalho.

O Generation também está desenvolvendo ferramentas para melhorar a coleta e o gerenciamento de dados. Embora os dados necessários para fazer comparações com outros programas de treinamento profissional ainda não existam, a percepção é que o uso do CPED revelaria dezenas de bilhões de dólares em gastos ineficientes, na forma de programas com desempenho inferior ao CPED.

Talvez o maior desafio para o uso generalizado do CPED é que os programas de desenvolvimento da força de trabalho são fragmentados, com milhares de provedores e quase tantas maneiras de fazer as coisas.

Isso torna quase impossível obter informações básicas. E como os requisitos de relatórios variam de um lugar para outro, os profissionais gastam uma quantidade excessiva de tempo cumprindo as obrigações de conformidade que podem ser inúteis.

O CPED, pelo contrário, fornece uma maneira simples e eficaz de medir o desempenho. Para que seja adotado de forma mais ampla, ou até se torne padrão, todos os programas precisariam coletar dados sobre custo por aluno, colocação de emprego e retenção.

Além disso, para permitir que todos aprendam o que funciona, deve haver um banco de dados centralizado no qual essas informações possam ser reunidas e acessadas facilmente. Os financiadores poderiam ajudar adotando o CPED e exigindo que os programas coletem os dados necessários, por exemplo.

Apesar da promessa demonstrada pela CPED, existe um trabalho significativo pela frente para melhorar essa nova métrica e torná-la o padrão entre os programas de treinamento.

Hoje, por exemplo, muitos programas lutariam para medir o CPED na marca de três meses, quanto mais na marca de seis meses. A esperança do Generation é que uma vez que eles mensuram, e outros programas tomem este próximo passo, podendo implementar a métrica CPED, e talvez até mesmo incorporar salários — ambos tornariam a CPED uma métrica mais rica e precisa.

“O que é medido é gerenciado” se tornou um clichê.

Como muitos clichês, este ganhou seu status porque há um grande elemento de verdade nisso. Num mundo em que 73 milhões de jovens estão desempregados e mais de 200 milhões lutam em empregos instáveis ​​ou sem saída, é certamente possível fazer muito melhor. Dados e métricas fazem parte da solução.

Aqui esta um exemplo muito claro de como mensurar seu impacto na área de treinamentos.

Com base no case do Generation ao criar o CPED, a Ensaio criou um processo para criar métricas de impacto da área de treinamentos, tornando o qualitativo no quantitativo.

O mundo é de quem mensura o seu impacto. :)

Se você gostou do artigo, clap!

Obs.: texto extraído com base no artigo da HBR.

--

--

Pedro Piovan
SEIVA BRUTA

Design Sprinter, Business Designer e Fundador da Ensaio. Ajudando organizações em um mundo de transformação digital. pedro@ensaio.cc