O manifesto DataOps

Jefte Barboza
DataInfoCon
4 min readFeb 6, 2019

--

Através do trabalho com dados em organizações, com ferramentas, e em indústrias, nós pudemos desvendar a melhor maneira de desenvolver e entregar analises, que nós chamamos de DataOps.

Quer seja chamado de Gestāo de dados, ciência de dados, engenharia de dados, gerenciamento de dados, big data, BI (Business Intelligence), ou coisa semelhante, através de nosso trabalho, nós chegamos aos seguintes valores para análise de dados:

* Indivíduos, interações sobre processos e ferramentas;
* Trabalho de análise sobre uma documentação abrangente;
* Colaboração do cliente sobre negociação de contratos;
* Experimentação, iteração, e resposta sobre um projeto detalhado e extenso;
* Propriedade de todas as equipes nas operações sobre silos de responsabilidades;

Princípios de DataOps

Satisfaça continuamente o seu cliente:

Nossa maior prioridade é satisfazer o cliente através da entrega antecipada e contínua de informações analíticas valiosas que podem ser de 2 minutos até duas semanas.

2. Valor do trabalho analítico:

Acreditamos que a principal medida do desempenho da análise de dados é o grau em que as análises são entregues, incorporando dados precisos, a bases de dados e sistemas robustos.

3. Abrace a mudança:

Acolhemos as crescentes necessidades do cliente, de fato, nós abraçamos essas necessidades a fim de gerar vantagem competitiva. Acreditamos que o método de comunicação mais eficiente, eficaz e ágil com os clientes é uma conversa cara-a-cara.

4. É um esporte em equipe:

As equipes sempre terão uma variedade de papéis, habilidades, ferramentas favoritas e títulos.

5. Interações diárias:

Clientes, equipes de análise de dados e operações devem trabalhar juntas durante todo o projeto.

6. Auto-organização:

Acreditamos que a melhor visão analítica, algoritmos, arquiteturas, requisitos e projetos emergem de equipes auto-organizadas.

7. Reduza o heroísmo:

À medida que o ritmo e a amplitude da necessidade de insights analíticos aumentam, acreditamos que as equipes devem se esforçar para reduzir o heroísmo e criar equipes e processos sustentáveis ​​e escaláveis.

8. Reflita:

Equipes de análise de dados devem aperfeiçoar seu desempenho nas operações através de uma auto-reflexão, em intervalos regulares, sobre os feedbacks fornecidos por seus clientes, por eles próprios e pelas estatísticas operacionais.

9. Os códigos:

As equipes usam uma variedade de ferramentas para acessar, integrar, modelar e visualizar dados. Fundamentalmente, cada uma dessas ferramentas gera códigos e configurações que descrevem as ações tomadas sobre dados para fornecer informações.

10. Orquestração:

Orquestração de dados, ferramentas, códigos, ambientes e equipes de trabalho são fatores-chave para o sucesso dos projetos de análise de dados.

11. Faça tudo ser reproduzível:

São necessários resultados reproduzíveis e, portanto, nós versionamos tudo: dados, configurações de hardware e software, código e configurações específicas de cada ferramenta utilizada.

12. Ambientes descartáveis:

Acreditamos que é importante minimizar o custo para os membros das equipes de análise de dados fazerem experimentações, proporcionando-lhes facilidade de criar ambientes técnicos descartáveis, isolados e seguros que reflitam o ambiente de produção.

13. Simplicidade:

Acreditamos que a atenção contínua à excelência técnica e ao bom design aumenta a agilidade; bem como a simplicidade — a arte de maximizar a quantidade de trabalho não feito — é essencial.

14. Análise de dados é manufatura:

Os pipelines de análise de dados são análogos às linhas de fabricação enxuta. Acreditamos que um conceito fundamental de DataOps é o foco no pensamento processual destinado a alcançar eficiência contínua na construção de insights analíticos.

15. A qualidade é primordial:

Os pipelines de análise de dados devem ser construídos com uma fundação capaz de detectar automaticamente erros no código, configuração e dados, e devem fornecer feedback contínuo aos operadores para evitar erros.

16. Monitorar a qualidade e o desempenho:

Nosso objetivo é ter medidas de desempenho e qualidade que sejam monitoradas continuamente para detectar variações inesperadas e gerar estatísticas operacionais.

17. Reutilizar:

Acreditamos que um aspecto fundamental da eficiência na fabricação de insights analíticos é evitar a repetição do trabalho anterior pelo indivíduo ou pelo time.

18. Melhorar os tempos dos ciclos:

Devemos nos esforçar para minimizar o tempo e o esforço para transformar a necessidade de um cliente em uma idéia analítica, criá-la em desenvolvimento, liberá-la como um processo de produção repetível e, finalmente, refatorar e reutilizar esse produto.

Colaboraçāo e humanidade

É muito importante ressaltar que no cenário atual a demanda por agilidade e interações mais humanas com os clientes são indispensáveis. Isso nos leva a crer que não existe outro caminho e que a colaboração é algo primordial. A chave para o sucesso de qualquer projeto é a colaboração humana, ou seja, quando falamos de time estamos falando de pessoas que confiam umas nas outras e que tem objetivos em comum. Por esse fator eu entendo que ás startups dão tão certo no novo cenário econômico, ás pessoas tem a necessidade de fazer parte de algo, fazendo isso elas se dedicam mais aquilo que foi proposto a elas.

Deixo esta reflexão para todos os que tenham interesse em viajar no autoconhecimento!

Você é a sua empresa, trate bem os seus clientes, colabore com eles, ouça, oriente e sugira! Tenham sucesso na sua jornada! Grande Abraço!

Att

Jefte Barboza

Créditos: http://dataopsmanifesto.org/dataops-manifesto.html?lang=en

--

--