Dados: Um briefing executivo
Dados… esta é uma palavra que tem ganhado muito espaço nos dias de hoje, originado muitos novos campos de estudo e cargos no mercado de trabalho. Hoje temos termos como Data Strategy, Data Culture, Data Governance, Data Driven, Data Lake, Data Warehouse, Big Data, etc…. O que cada um deles significa?
A ideia deste artigo é conversamos sobre dados, entender os termos mais comuns que envolvem essa área e a importância de cada um. Também iremos investigar muito a ideia dos dados serem o “novo petróleo”. Se você está começando na área, esse artigo será muito agregador para você. Se você já está na área, acredito que o artigo poderá reforçar a sua paixão por esse ramo tão gratificante de se trabalhar e também agregar no entendimento de alguns conceitos que serão comentados.
Por que os dados são tão importantes hoje em dia?
Em seu sentido informacional, um dado é o ato de registrar um atributo de um ente, objeto ou fenômeno, ou seja, é a gravação ou a impressão de caracteres ou símbolos que tenham um significado em algum documento ou suporte físico.
Existe uma estatística até que interessante que afirma que a cada segundo cada pessoa cria 1.7 MB de dados. Essa é uma estatística até que assustadora, mas bem real. Dados sempre existiram. Por exemplo, quando a carta foi inventada, além do próprio texto de sua composição, eram adicionadas outros dados sobre o nome do remetente, do destinatário e localização para qual a carta seria enviada. Então, desde muito muito tempo atrás, dados já era uma realidade bem existente na vida de todos.
No entanto, nos dias de hoje, devido ao avanço da computação, se tornou mais viável e fácil registrar e armazenar dados. Com uma simples planilha do Excel, você é capaz de fazer uma base de dados de qualquer coisa. A tecnologia proporcionou uma maior escalabilidade disso tudo. Por isso, se antes os dados já eram coisas bem presentes no nosso cotidiano, agora que eles são mesmo. E vale lembrar que devido a essa possibilidade de armazenamento, começou também a capacidade de processamento e análise. Esse ingrediente final fez o setor de dados ganhar ainda mais sua relevância, pois não adianta apenas armazenar os dados por simplesmente armazenar. Processando e analisando os dados se adquire o grande segredo dos dados: conhecimento.
The DIKW Pyramid
Aqui vale a gente introduzir a The DIKW Pyramid (conhecida como Pirâmide do Conhecimento). A pirâmide do conhecimento é estruturada em quatro partes, que são os dados, informações, conhecimentos e, por fim, a sabedoria.
Facilitando seu entendimento, vamos pegar um exemplo. Inicialmente registramos um número, por exemplo, 12012000. Isso é apenas um dado, no fim, só ter isso não é suficiente, pois ficamos sem saber para onde ir por não entender o que está por trás desse valor. Dados são uma coleção de fatos em uma forma bruta ou desorganizada, como números ou caracteres. Agora imagina que atribuímos esse número a uma data de nascimento de um indivíduo, com uma formatação em dia, mês e ano (12/01/2000). Agora temos uma informação. Informação acrescenta contexto e significado aos dados. As informações são simplesmente uma compreensão das relações entre as partes dos dados, ou entre as partes dos dados e outras informações.
Compreendendo que a data simboliza o momento de nascimento do indivíduo, podemos agora pensar o que podemos extrair dessa informação. Pegando o ano de nascimento e comparando com o ano atual, podemos estimar a idade do indivíduo. Com essa idade, podemos tentar estimar alguma outra informação do individuo, como tentar prever sua renda (supondo que tenhamos condições e histórico de dados para isso). Agora temos um conhecimento. Conhecimento acrescenta a forma como usar adequadamente a informação. Quando não vemos as informações apenas como uma descrição dos fatos coletados, mas também entendemos como aplicá-las para atingir nossos objetivos, nós as transformamos em conhecimento. Para exemplificar, supomos que descobrimos que indivíduos com faixa de 18–25 anos possuem uma renda média de R$ 4000, este é o nosso conhecimento, ou, como vemos por aí, o famoso “insight”.
Beleza! Imagina que nossa empresa tem um produto que beneficia e possui como alvo pessoas com renda média menor que R$ 5000. Como sabemos que pessoas com a faixa etária entre 18–25 anos possuem, em média, uma renda inferior a R$ 5000, o que faz esse grupo entrar no nosso alvo de oferta, podemos direcionar campanhas desse produto focalizadas para esse público. Essa ação pode auxiliar na produtividade da prospecção e aumentar as vendas da empresa. Esse conhecimento vira uma sabedoria. A sabedoria está no topo da hierarquia do DIKW e, para chegar lá, devemos responder a perguntas como “por que fazer algo” e “o que é melhor”. Em outras palavras, sabedoria é conhecimento aplicado em ação.
Entendido essa teoria da pirâmide, podemos ver que o grande sonho é atingir o estágio de sabedoria, afinal é ele que possibilita ganhos de produtividade e de lucro. Com a sabedoria, pessoas físicas e jurídicas podem tomar decisões mais seguras e assertivas. O avanço tecnológico possibilitou, e muito, que as pessoas e empresas começassem a alcançar esse nível de sabedoria. Não que agora seja um caminho fácil, mas olhando pro poder computacional e acessibilidade dele, comparando com anos anteriores, hoje em dia é bem mais amplo. No próprio Excel podemos realizar análises e estudos dos dados armazenados, sem falar de muitas outras ferramentas computacionais que possibilitam diferentes formas de processar, tratar e analisar os dados nas mais diversas situações. Além disso, hoje em dia temos muitos dados armazenados comparado a dias atrás. Para conseguirmos chegar na fase de conhecimento e de sabedoria precisamos de uma grande quantidade de dados, para podermos termos uma análise mais assertiva. Na minha opinião, a explosão dos dados pode ser explicada por esse conjunto de fatores.
Os 3 C’s dos Dados
Para aprofundarmos nosso entendimento dos dados, vamos conversar agora sobre os 3 C’S dos Dados: Capture (Capturar), Curate (“Curar”), Consume (Consumir). Podemos fazer uma analogia a esse processo com um modelo produtivo genérico de qualquer matéria-prima. Como citamos no inicio deste artigo o petróleo, vamos utilizá-lo como exemplo.
Os dados são valiosos, assim como o petróleo, mas se não forem refinados, não podem realmente serem usados. Petróleo deve ser transformado em gás, plástico, produtos químicos e uma infinidade de outros produtos, para criar uma entidade valiosa que impulsione atividades lucrativas. Portanto, os dados, também devem ser decompostos, analisados e transformados para que tenham valor.
Capture
Capturar os dados é a fase inicial, pois é o recurso inicial que precisamos para buscar a informação, conhecimento e, por fim, a sabedoria. Existem várias formas de capturar os dados: podemos capturar por meio de formulários, extrair de uma página web ou determinado documento, compra de bases de dados já desenvolvidas, entre outros.
Nesta fase é importante responder perguntas como: “Que dados vamos coletar?”, “Que dados podemos gerar?”, “Que dados podem ser úteis para o futuro?” e “Existem dados que devemos buscar e/ou comprar?”.
Vamos aproveitar e introduzir alguns conceitos:
- Dados internos: são dados que possuem relação direta com a empresa/pessoa em questão. Por exemplo, informações de venda, documentos, contratos, imagens, informações do produto/serviço, etc…
- Dados externos: são dados que não possuem relação direta com a empresa /pessoa, como dados comprados ou extraídos de uma página web externa.
Dentro desses dois grupos temos os:
- Dados estruturados: são aqueles que possuem estruturas bem definidas, rígidas, pensadas antes da própria existência do dado que será carregado naquela estrutura. Por exemplo, um campo de data já possui uma formatação do tipo D/M/Y e sabemos que se trata de uma data. E esta data está armazenada em uma coluna específica destinada a ela de uma tabela.
- Dados não estruturados: Não possuem estruturas bem definidas, alinhadas, padronizadas, podendo ser compostos por diversos elementos diferentes dentro um todo. Por exemplo, vídeos, áudios, textos livres, imagens, etc…
- Dados semi-estruturados: são dados parcialmente estruturados. Por exemplo, o e-mail possui a parte do assunto, destinatário e remetente que podemos considerar como estruturado, enquanto o corpo do e-mail é menos estruturado.
Uma curiosidade é que os dados não estruturados compreendem cerca de 80% de todos os dados existentes no mundo, exatamente porque são criados a partir do uso cotidiano das tecnologias na sociedade, como mensagens de texto, documentos digitais, áudios do WhatsApp/Telegram, entre outros… Os dados não estruturados também são os que demandam mais esforço nesse processo de captura e no processamento, justamente por não serem estruturados.
Curate
Após a coleta e captura de dados, devemos verificar coisas como a veracidade dos dados e sua confiabilidade. Assim como preparar, processar e tratar esses dados. No caso de dados não estruturados ou semi-estruturados precisamos estruturar esses dados. Precisamos lidar com dados inválidos, nulos, inconsistentes, duplicados ou com formatação incorreta. Esse processo é um dos que mais ocupa o tempo dos profissionais de dados e um dos mais importantes também. Afinal a limpeza, tratamento e validação dos dados é o passo que permite utilizar os dados coletados para análises, modelagens e estudos, o que facilita a subida na pirâmide DIKW.
Consume
Com os dados limpos, validados, estruturados e prontos, podemos agora utilizá-los. Mas o que podemos fazer com eles?
- Data Analysis (Análise de Dados): envolve gerarmos relatórios com visualizações (Data Visualization) com a intenção de gerar conhecimento para auxiliar na tomada de decisão ou para facilitar o entendimento de um determinado aspecto do negócio. Por exemplo, a partir de dados dos clientes, podem ser feitas análises que auxiliem o departamento de marketing no direcionamento de campanhas e em ações de prospecção.
- Machine Learning (Aprendizado de Máquina): a partir dos dados podemos construir modelos que podem também auxiliar na tomada de decisão ou influenciar na produtividade de um determinado setor. Por exemplo, a partir de um histórico de clientes que fecharam ou não contrato com a organização, construir um modelo que prever para um novo cliente a probabilidade dele fechar ou não o contrato. Isso pode ajudar os gerentes comerciais a delimitar se o lead (possível cliente) é um contato frio ou quente, não ficando apenas na subjetividade, bem como direcionar melhores ações dependendo da posição que o lead se encontra.
Esses exemplos de consumo de dados podem ser aplicados tanto no sentido interno da organização, como gerar produtos comercializáveis para a organização. A organização também pode vender esses dados ou até prover serviços relacionados que envolvem a segurança, armazenamento, validação e/ou processamento dos dados.
Armazenamento de Dados
Como já foi falado, é essencial ter um armazenamento dos dados para viabilizar a fase de consumo. Visto essa importância, vamos agora ver alguns termos relevantes envolvendo isso.
Database
É um tipo de organização onde você coloca seus dados, auxiliando no mantimento da organização, da segurança, da confiabilidade e acessibilidade dos dados. Um exemplo de Database (base de dados) seria uma tabela no Excel, em que você pode distribuir os dados em colunas, com uma formatação pré-definida e com regras para o seu registro. A partir dessa tabela em Excel, você pode utilizar esses dados em outros ambientes facilmente, como carregar em um Power BI ou dentro de um script em Python para gerar algum relatório analítico.
Database Management System (DBMS)
É um software que cria, define e gerencia várias bases de dados. Por exemplo, o PostgreSQL é um exemplo de DBMS que permite gerenciar diversos bancos de dados, com regras e procedimentos para facilitar a manutenção das bases de dados, assim como, a organização dos dados. Atualmente, existem diversos programas responsáveis pelo gerenciamento de banco de dados que se assemelham muito entre si, tendo algumas diferenças mais específicas.
Agora vamos imaginar uma estrutura genérica de uma empresa com seus diversos departamentos: projetos, recursos humanos, marketing, financeiro e administrativo. Cada departamento possui seus processos e, consequentemente, geram dados relacionados com estes processos. Vamos aprofundar nossa discussão sobre o armazenamento de dados trazendo o ponto de vista como garantir uma organização e facilitar a manutenção dos dados dessa empresa de forma que todos os departamentos sejam beneficiados com a área de dados.
Data Silos
Cada departamento da empresa irá armazenar os dados em uma área específica destinada para aquilo. Por exemplo, o departamento de marketing terá um local específico para armazenar os dados de marketing e a mesma coisa para os outros departamentos.
Aqui utilizamos o chamado Data Silo (Silo de Dados) que é uma estrutura isolada (um database isolado), com uma coleta independente de dados, acessíveis apenas por uma parte da organização. Imagine uma indústria que produz diversas matérias-primas, temos um silo para cada matéria-prima, afinal, não faria sentido misturar grãos de arroz com grãos de feijão, inicialmente. Análogo a misturar em um mesmo local, já de inicio, dados de clientes com dados dos funcionários da empresa.
No entanto, utilizar apenas essa estrutura pode trazer muitas dores de cabeça, já que teremos muitos dados descentralizados e existe uma maior dificuldade para realizar a manutenção e escalabilidade do uso dos dados. Além de que eles dificilmente armazenariam grandes históricos de dados, já que possuem um foco mais operacional.
Aqui podemos incluir o termo de Data Store, que seria uma coleção de dados (não sendo apenas estruturados) com variedade de formatações para uma finalidade específica, que normalmente não se encaixa dentro das estruturas de armazenamento (Data Warehouse, Data Lake). O Data Silo funciona, dependendo do contexto, como um Data Store.
Data Warehouse
Bem, temos os dados isolados dos departamentos. No entanto, imagine quão complexo seria ter que realizar o acesso sempre separado dos dados. Para realizar qualquer análise ou algum procedimento de machine learning seria um imenso gasto de energia para carregar dados de diferentes Datas Silos, assim como padronizá-los e tratá-los.
O conceito de Data Warehouse é justamente proporcionar essa unificação: seria termos uma conexão com todos esses data silos, tendo um repositório central (um conjunto de bases de dados centrais) com os dados integrados e padronizados, sendo sempre alimentado com novos dados e guardando o histórico dos dados. A padronização se torna fundamental, pois uma mesma coisa podem ter conceitos diferentes entre os departamentos da empresa. Por exemplo, para o marketing o faturamento da empresa é equivalente ao valor total das vendas, já para o financeiro o faturamento é resultado das vendas menos os custos. Com a padronização, isso permite que os conceitos sejam alinhados com as métricas da empresa, assim facilitando uma análise única para tudo. O fato também de todos os dados e o histórico de todos os departamentos estarem em um mesmo local permite uma melhor manutenção, gerenciamento e carregamento de toda essa carga de dados.
Vale reforçar que a intenção não é o marketing utilizar o Data Warehouse para resgatar informações de um cliente para formalizar um contrato. Para essa operação de marketing, o gerente comercial utilizará o Data Silo do Marketing. O Data Silo é voltado para um uso mais operacional, enquanto o Data Warehouse tem o objetivo de ser algo paralelo a operação da empresa. Assim, o intuito final é este ser utilizado para o desenvolvimento de produtos de dados para a própria empresa, facilitar geração de análises, relatórios e modelagens para impulsionar nas operações da empresa e auxiliar uma tomada de decisão.
Data Lake
O Data Lake é um tipo de repositório que armazena conjuntos grandes e variados de dados brutos em formato nativo. Com os data lakes, você tem uma visão não refinada dos dados. O termo “data lake” (“lago de dados”, em português) foi criado por James Dixon, CTO da Pentaho. É apropriado descrever esse tipo de repositório como um lago porque ele armazena um conjunto de dados em seu estado natural, como um corpo d’água que não foi filtrado ou contido. Os dados fluem de diversas fontes para o data lake e são armazenados no formato original.
A diferença do Data Lake para o Data Warehouse é que o Data Warehouse armazena dados estruturados com a intenção de facilitar geração de relatórios e os dados já possuem um destino. Já o Data Lake realiza o armazenamento de dados, na sua forma bruta, que ainda não possuem uma finalidade destinada. Por exemplo, o Data Warehouse irá possui uma tabela com dados estruturados dos clientes: imagine uma tabela com nome do cliente, CPF do cliente, valor do contrato, funcionários alocados no projeto, etc…. Já o Data Lake possuirá coisas como o documento do contrato do projeto. Essa é a diferença entre essas duas estruturas. Vale lembrar que o Data Lake pode possuir dados estruturados, mas não é a regra.. A intenção do Data Lake é armazenar o dado na sua forma bruta, sem exigência de uma transformação antes do seu carregamento na estrutura. A semelhança entre essas estruturas é por serem estruturas centralizadas (que trabalham em paralelo e independente da operação da empresa), com a ideia de armazenar um histórico ao longo prazo e assim possuir um grande arsenal de dados.
O que é melhor utilizar? Bem, Data Warehouse é eficiente quando se tem já a ideia dos relatórios que serão gerados e das finalidades dos dados. Quando não se tem isso em mente, mas deseja-se uma estrutura central de informações, o Data Lake é a melhor saída e a mais rápida também, já que não existe preocupação realizar o processo de transformação dos dados. Mas vale ressaltar que, no fim das contas, as duas estruturas podem trabalhar juntas. Esse trabalho conjunto das estruturas centralizadas de dados é conhecida como Data Hub.
Os 3 V’s do Big Data
Quando falamos sobre a importância de armazenamento e ter uma grande quantidade de dados, aparece um outro termo relevante: o Big Data.
Mas o que é o Big Data? A diferença básica entre a palavras Data (dados) e Big Data (Grandes dados) é justamente a quantidade de dados presentes. Trabalhar com uma grande quantidade de dados envolve esforço computacional para seu carregamento e processamento, o que exige soluções tecnológicas e de engenharia para isso. A complexidade de carregar 1 MB (1 000 000 bytes) de dados é extremamente diferente da complexidade de carregar 1 PB (1 000 000 000 000 000 bytes).
E quando falamos de analisar ou de construir um modelo preditivo, quanto maior nosso histórico, maiores são os caminhos e mais fácil é subir na pirâmide DIKW. Afinal, não temos como extrair conhecimento, com uma certa acurácia e confiabilidade, com poucos dados. Você tem conclusões mais assertivas em pesquisas com 1000 pessoas participantes do que com 10, por exemplo.
Existem os 3 V’S do BIG DATA: Velocidade, Volume e Variedade:
- Volume: se refere ao tamanho dos dados, medido em terabytes, petabytes (ou mais).
- Variedade: os diferentes tipos de dados existentes, sendo estruturados, não estruturados e semi-estruturados.
- Velocidade: o quão rápido é carregar e processar esse volume e variedade de dados. Um dos principais desafios do BIG DATA.
Aqui podemos ainda incluir um quarto V que seria o de Veracidade. O quanto podemos confiar nesses dados? Eles são precisos? Qual a procedência desses dados? Afinal, não adianta termos a grande quantidade sem a qualidade necessária.
Termos relevantes da área de dados
Para fecharmos nossa discussão, iremos comentar um pouco de termos que são muito comuns de escutar dentro das organizações.
Data Strategy e Data Governance
A Data Strategy (Estratégia de Dados) é uma coisa extremamente importante em qualquer organização hoje em dia. Ela envolve todas as politicas, guias e regulamentos em relação a captura, armazenamento e trabalho com os dados.
Esse termo é relevante pois auxilia na unificação de como lidar com os dados em todos os departamentos da empresa. Apesar de existirem estruturas que integrem os dados dos departamentos, como o Data Warehouse e o Data Lake, temos os Data Silos que se encontram limitadas a cada departamento. É fundamental que esses data silos possuem um mesmo tratamento para todos os departamentos e que todos os departamentos entendam a importância deles. Afinal, são a base para as estruturas integradas. Se o departamento de marketing não entender a importância dos dados, teremos muitas dificuldades em coletar, armazenar e utilizar dados relacionados ao departamento de marketing. Reforço que a Data Strategy não fica só nos departamentos como um todo, ela entende para as outras estruturas da área de dados.
Os três elementos da Data Strategy são:
- Coleta e Captura (Capture): Como vamos coletar os dados? Que dados vamos gerar? Que dados serão úteis para o futuro? Existe algum conjunto de dados que possamos comprar/adquirir?
- Limpar e Preparar (Curate): Como iremos lidar com dados inconsistentes, duplicados, perdidos ou inválidos? Que ferramentas iremos utilizar? Como podemos validar essas decisões?
- Aproveitar e Capitalizar (Consume): Como podemos gerar valor a partir dos dados? Quem irá acessar nossos dados (internamente ou externamente)? Iremos vender nossos dados? Como vamos utilizar esses dados? Como proteger nossos dados?
As respostas desses perguntas levantam regras e regulamentos que chamamos de Data Governance (Governança dos dados). A governança é esse conjunto de regras que devem ser seguidas e respeitadas não apenas pelos funcionários, mas pelos clientes e parceiros. Não podemos deixar de citar os regulamentos já existentes em relação a proteção dos dados como Lei Geral de Proteção de Dados Pessoais (LGPD), que entra nessa parte de governança também.
Para entendermos a diferença entre esses dois termos podemos imaginar que a Data Strategy seria como “Vamos armazenar esses dados para a construção de um produto que realiza uma modelagem preditiva…” e a Data Governance seria justamente as regras, regulamentos e politicas para fazer isso acontecer, sendo algo mais formal e técnico.
Data Culture e Data Driven
Ao longo desse artigo vimos como os dados são importantes e fundamentais, assim como o quão é complexo pensar na estrutura de armazenamento e processamento dos dados. Mas uma outra complexidade para a área de dados é todos da organização entenderem sua importância e valorizar essa complexidade. Para a área de dados se tornar eficiente em uma organização é fundamental que todos estejam alinhados com isso e não apenas os colaboradores da área ou executivos da organização. Caso isso esteja desalinhado, será muito complicado aplicar uma estratégia e governança de dados, bem como executar os processos de coleta, captura e armazenamento de dados.
Imagine uma empresa de call center. Caso o atendente de telemarketing não veja a importância nos dados, todos seus atendimentos serão mal preenchidos ou não terão muita veracidade. Assim como, se o gerente desse atendente não ver a importância da coleta dos dados, não irá cobrar e fiscalizar isso dos seus operadores de telemarketing. Logo, dados úteis que poderiam entrar em uma análise ou modelagem são perdidos. Por isso é importante, para aorganização como um todo, ter uma estratégia de dados bem clara.
Aqui chegamos no conceito de Data Culture (Cultura de Dados), que é justamente entender a relevância e as possibilidades que os dados podem gerar para a organização e como cada um está dentro desse processo. A cultura de dados envolve também entender como acessar os dados, conhecimento das ferramentas existentes e possuir uma gestão de conhecimento de forma que essa área não fique apenas limitada aos profissionais de dados (como um profissional da área de marketing pode utilizar os dados?). Está muito ligada a uma cultura de exploração e experimentação. E claro, esses aspectos mais culturais, demandam sempre muito esforço e tempo para serem alcançados.. É uma construção que necessita ser sempre feita e estimulada pela organização.
Ao conquistar uma cultura de dados, possuindo e aplicando uma estratégia de dados que alcance todas as partes da organização, podemos afirmar que a instituição está caminhando para o Data Driven.
Data driven é um adjetivo que qualifica processos orientados por dados, ou seja, embasados na coleta e análise de informações. No mundo dos negócios, significa colocar os dados no centro da tomada de decisão e do planejamento estratégico, buscando fontes confiáveis ao invés de gerir a empresa por intuição. Uma organização data driven é uma organização totalmente guiada pelos dados.
Data Plataform
Para aplicação da estratégia de dados, bem como auxiliar com os aspectos que falamos ao longo desse artigo, é fundamental que a organização utilize uma plataforma de dados. As plataformas de dados auxiliam no quesito de segurança dos dados, melhoram a governança (realizando registros de acesso, auxiliando na aplicação das regras, etc..), auxiliam na geração de visualizações (dashboards e KPIs) e fornecem APIs para permitir um acesso mais fácil aos dados. Além disso, essas plataformas podem fornecer as estruturas para armazenamentos dos dados, como o Data Lake. Hoje em dia existem diversas plataformas de dados disponibilizadas por diferentes empresas: Amazon, Google, …
Esta foi nossa discussão de hoje. Espero que os aspectos aqui levantados e discutidos tenham agregado no seu entendimento sobre a área de dados. Não deixe de comentar sobre, deixo disponível também meu Linkedin e meu Instagram (@iuryrosaltech) para futuros contatos. =)
