Estratégias de Inovação na Engenharia de Dados

Parte 1: Capturando percepções

Bruno Almeida
afya
5 min readJan 19, 2024

--

Somos a Afya, o maior hub de educação e soluções digitais médicas do Brasil.

Introdução

Lembro que nos anos 2000, em meus primeiros anos de carreira, uma discussão que já pairava no meio de tecnologia era como mudar a visão que TI era uma área cara e que não gerava retorno ao negócio — apenas despesas.

O tempo passou, as empresas passaram a enxergar que os dados por ela gerados são uma fonte valiosa de receita, no entanto, o ciclo de indagações sobre o ROI em infraestrutura sempre se repete, com óticas levemente distintas. Agora, não mais no on-premisses e sim na nuvem.

Foi pensando um pouco sobre isso que resolvi colocar em prática uma estratégia inovação na engenharia de dados, conectado com as diretrizes estratégicas da Afya.

Escritório da Afya no Rio de Janeiro/Brasil. Prover inovação em uma área "backend" é um de nossos objetivos.

Essa é a primeira parte do artigo, que dividirei em 3, falando dessa jornada.

Passo 1: Entenda as dores dos seus clientes

Pode parecer que uma coisa não se encaixa com a outra, mas precisamos entender no que investir tempo para inovação, e não há nada mais direto ao ponto do que fazê-lo resolvendo algo que vai facilitar o dia a dia das pessoas, melhor ainda dos seus clientes.

"O que as pessoas fazem?"
"Quais são as suas dores?"
"O que ganhariam se as suas dores fossem resolvidas?"

Mapa de empatia. Nos baseamos nessa metodologia para recebermos os insights dos nossos clientes.

Dessa forma, no início do último quarter de 2023, reunimos representantes de várias áreas que interagem com o time de engenharia de dados, dentre elas Análise de Dados, Ciência de Dados, Governança de dados, SRE/DevSecOps, Sistemas Corporativos e DPOs, para um sessão de Design Thinking, chamada Estratégia: Engenharia de dados 2024/26.

Em um board montamos uma dinâmica que passou pelos passos que detalharei a seguir.

Design do board usado nessa dinâmica.

a) Aquecimento

Com a pergunta "Como você imagina a companhia em 2026?" iniciamos nossa dinâmica, com 5 minutos para preenchimento. Essa pergunta nos municiou com visões de todo o time de como eles idealizam a empresa daqui a uns anos. Exemplos de respostas:

"Agilidade na exploração dos dados"
"Referência no Brasil em tecnologia de dados"
"Marca empregadora fortalecida"
"Produtos de dados consolidados"

Ao todo, 27 respostas foram colhidas.

b) Empatia

Na seção que chamamos de empatia dividimos em 3 partes as indagações ao time. Vamos falar sobre cada uma delas.

i) Primeira pergunta: "Quais tarefas que você executa se relacionam com a plataforma de dados?".

Mais 5 minutos para preencher. Como tínhamos um público de diversas áreas, coletamos visões bem distintas, o que foi ótimo para nós.
Exemplos de respostas:

“Integração de dados ao Customer Data Platform — CDP”
“Modelagem de dados”
“Gerar informações para as áreas de negócio”
“Apoio e suporte em problemas na plataforma cloud”
"Conhecer o ciclo de vida dos dados para gerenciar/monitorar"
"Garantir alinhamento com nossos clientes internos"
"Desenvolver cultura de dados"

Ao todo, 46 respostas foram colhidas.

ii) Segunda pergunta: "Quais são os problemas com a plataforma de dados para executar as suas tarefas?". 5 minutos para preenchimento do quadro. Exemplos de respostas:

"Autonomia maior para o time de ciência de dados realizarem testes usando a plataforma de dados"
"Cargas de dados falham e só descobrimos após o negócio nos informar"
"Precisamos de uma estratégia corporativa de esfriamento dos dados"
"Falta de padrão de arquitetura entre os datalakes"
"Não temos uma política única definida para ingestão/uso dos dados nos datalakes"

Ao todo, 40 respostas foram coletadas.

iii) Terceira pergunta em empatia: “Quais são os ganhos com a solução dos problemas?”. Ou seja, se os problemas colocados na pergunta anterior fossem resolvidos, quais benefícios isso traria? 5 minutos para preenchimento do quadro.
Exemplos de respostas:

“Padronização de processos técnicos”
“Atividades padronizadas entre as BUs”
“Foco em arquitetura permite uma governança melhor do ambiente de dados”
“Estabilidade maior nos pipelines e plataforma”
“Solução real dos problemas de negócio e não somente dos problemas técnicos”

Por fim, mais 44 respostas foram coletadas.

Passo 2: Clusterize as respostas fornecidas

Com os insights gerados na sessão de empatia, passamos ao estágio de agrupar os cards do board e criar clusters.
O cluster nada mais é do que nomear uma série de atividades em uma só, como, por exemplo:

Em amarelo os insights gerados pelo time e em roxo o cluster

Faça o processo de clusterização em cada quadro, ou seja nos quadros dos itens i), ii) e iii).

No final nosso quadro ficou assim:

Quadros de aquecimento e empatia preenchidos com os clusters criados (em roxo).

Passo 3: Priorize os clusters

a) Organize as informações

Com os clusters dos conjuntos de insights criados, agora vamos priorizar cada um deles. Crie quadros verticais referentes as dinâmicas anteriores, por exemplo:

No nosso caso, no primeiro quadro colocamos os clusters criados no item i) “Quais tarefas que você executa se relacionam com a plataforma de dados?”.

No segundo os clusters criados no item ii) “Quais problemas com a plataforma de dados para executar as suas tarefas?”.

No terceiro os clusters criados no item iii) “Quais são os ganhos com a solução dos problemas?"

b) Abra para votação

Peça que os participantes votem nos itens que eles consideram mais importantes. Automaticamente, teremos um ranking dos clusters que mais demandam atenção da engenharia de dados, indicado pelos próprios clientes. Incrível, não?

Com isso, nossa dinâmica ficou finalizou assim:

Quadro de atividades apontadas pelos clientes da engenharia de dados, com priorização já realizada.

Resumo

Falamos nessa primeira parte do processo de inovação na Engenharia de Dados, trabalhando perto dos nossos clientes.

Dessa forma, conseguimos extrair:

Resumo da primeira parte do processo de inovação

Na parte II, falarei sobre o processo de refinamento das atividades priorizadas, e na parte III, como a metodologia de inovação do Ifood nos influenciou e como executamos cada uma das iniciativas.

Espero que esse exercício possa te ajudar no processo de inovação, sendo ele na Engenharia de Dados, ou em qualquer outra área e time.

Fiquem a vontade para enviar sugestões nos comentários ou diretamente pelo LinkedIn.

Até a próxima.

--

--

Bruno Almeida
afya
Writer for

Head of Data Engineering | AWS Community Builder