O que são produtos de dados?

Já ouviram falar em produtos de dados? Parece ciência de foguetes, né? Mas se eu te disser que provavelmente a sua equipe já possui um produto de dados mas ainda não se deu conta, vamos lá entender como tudo isso funciona.

Um produto de dados nada mais é do que :

“um produto de dados tem como objetivo primário utilizar dados para facilitar um objetivo final.”(DJ Patil (U.S. Chief Data Science durante o governo Obama)

Ou seja, como qualquer outro produto, um produto de dados deve sempre ter a premissa de entregar valor aos seus consumidores. Até esse ponto estamos falando do princípio básico de um produto digital com o tempero da utilização de dados, porém como podemos materializar esse conceito?

“Produto de Dados é um um tipo de Produtos de Tecnologia que consome e analisa dados para organizar ou gerar novos dados em forma de informações, insights e decisões que ajudam alguém (o usuário) a atingir seu objetivo final.” (FERREIRA,2020)

Ou seja:

“Um Tech Product nem sempre é um Data Product, mas todo Data Product é um Tech Product.” (FERREIRA,2020)

Vamos pensar em exemplos práticos, o Spotify é um produto de dados? Não! O Spotify é um serviço de streaming de músicas e podcasts, porém o Spotify disponibiliza produtos de dados para os clientes como o caso do Metallica que faz a análise dos dados disponibilizados pelo Spotify e monta a setlist das músicas mais personalizadas de acordo com o que seus fãs mais curtem em cada local do seus shows. Massa né? Outro exemplo: o site do Magalu é um produto de dados? Não, ele é uma plataforma de marketplace, mas há muitos produtos de dados desde a recomendação de produtos, a inteligência da Lu, processos internos, etc. Já o Power BI é um produto de dados na sua essência, pois ele é uma ferramenta que auxilia a análise de negócios e análise de dados produzido pela Microsoft, ou seja, a sua entrega de valor está na transformação dos dados em insights e visualizações dos dados que geram decisões.

Muito legal isso tudo mas vamos aprofundar de forma mais granular esses exemplos:

• Dashboard para visualização de dados sobre Diversidade: Queremos garantir contratações que englobam grupos de minorias sociais;
• Modelo de aprendizado de máquina para realizar a sugestão de preços: Se ofereço 10% de desconto no meu produto, temos um aumento de 40% das vendas;
• Sistema de recomendação inteligente de produtos: Itens que você visualizou anteriormente; Itens mais vendidos; Itens comprados juntos.
• Plataforma de dados: A Plataforma de dados (engenharia, ingestão, machine learning e data vizualization) é um (ou vários) importante produto de dados

Características de um produto de dados

Para Zhamak Dehghani, autora do icônico livro: “Data Mesh: Delivering Data-Driven Value at Scale” determina 8 características ou atributos para uma boa usabilidade de um produto de dados :

• Descobrível: Encontrar o que é necessário, se já existir. Um produto de dados que exista apenas na máquina do usuário não pode ser considerado um produto de dados;
• Endereçável: Cada produto possui um endereço que respeita um padrão global de endereçamento e localização
• Compreensível: Uma vez encontrado, o produto é consistente e há clareza de significados dos dados encapsulados.
• Confiável: São corretos, íntegros e confiáveis, no momento e frequência necessários. São fonte de verdade e representam a realidade do negócio. São eles:

Intervalo de mudança: Com que frequência as alterações nos dados são refletidas

Pontualidade: O desvio entre o momento em que um fato comercial ocorre e se torna disponível para os usuários de dados

Completude: Grau de disponibilidade de todas as informações necessárias

Forma estatística dos dados: Sua distribuição, alcance, volume, etc.

Linhagem: A jornada de transformação de dados da origem até aqui

Precisão e exatidão ao longo do tempo: Grau de veracidade do negócio com o passar do tempo

• Nativamente acessível: Considera o perfil de usos e ferramentas nativas dos usuários finais.
• Interoperável: Padrões e harmonização que permite que os dados possam ser facilmente correlacionados entre os diferentes domínios.
• Entrega valor em si: Gera valor pela própria existência, não somente mediante cruzamento com outros dados.
• Seguro: Desenhado para ter confidencialidade e privacidade. Com controle de acesso granular. Em conformidade com regulamentação e governança .

Observar essas características na construção dos produtos de dados poderão dar mais sucesso na utilização e democratização dos seus produtos de dados.

Tipo de produtos de dados

Os produtos de dados não são todos iguais! Podemos ter tipos diferentes baseados na utilização, formas de interação, maior ou menor automação etc. em relação a automação temos os tipos de produtos de dados:

• Dados brutos: são dados com pouco ou nenhum tratamento, usados em análises exploratórias iniciais
• Dados derivados: os dados já possuem mais processamentos como a adição de novos atributos, por exemplo: atribuir um segmento a cada cliente, ou adicionar sua probabilidade de clicar em um anúncio
• Algoritmos: os dados recebidos são processados por meio de um algoritmo de ML para retornar informações ou insights
• Apoio à decisão: Os dados são processados e exibidos de uma forma que facilitem a tomada de decisão pelo usuário, um dashboard com dados já processados e com um modelo de machine learning trazendo insights é um bom exemplo
• Tomada de decisão automatizada: o algoritmo faz o trabalho e apresenta ao usuário o resultado final (às vezes com uma explicação de por que a IA escolheu essa opção, outras vezes completamente transparente ao usuário).

Podemos observar que os produtos de dados aumentam a complexidade conforme ganham inteligência e autonomia nas decisões ou seja, quanto mais automatizada a decisão sem a participação do usuário mais complexa poderá ser esse produto de dados:

Níveis de complexidade dos produtos de dados

Já em relação a interação dos produtos de dados com os usuários, ou seja, em relação aos artefatos gerados e disponibilizados a estes usuários temos:

• APIs: APIs são mecanismos que permitem que dois componentes de software se comuniquem usando um conjunto de definições e protocolos. Nesse tipo de interação é necessário um conhecimento técnico mais apurado para consumir esses dados, normalmente após a integração com APIs, os dados são exibidos de outras formas como no caso dos dashboards e ou elementos web, porém o responsável pelo processamento pós integração da API é o próprio cliente.
• Dashboards e visualizações: os dados são mostrados de forma estatística, podendo ser relatórios, gráficos, etc. Nesse tipo de interação o usuário poderá tomar decisão na análise desses elementos;
• Elementos da Web: interface menos técnica para produtos de dados, recentemente essas interfaces foram amplamente estendidas para realidade aumentada, robótica, etc.

Os tipos de dados acima se cruzam, podemos ter um dashboard com dados brutos ou com uma automação de suporte à decisão, ou dentro do site ter uma recomendação de de compra (elemento web) com uma inteligência de decisão automatizada baseada em últimas compras, visualizações e ranking de melhores produtos realizadas com um modelo de inteligência artificial por exemplo.

Conclusão

Construir produtos de dados poderá trazer mais escala para os clientes e também disponibilizar um melhor e mais personalizado serviço para esse cliente, seja em relação ao consumo dos dados em si, como o exemplo mencionado da banda Metallica como no caso de uma recomendação de compra do Magalu.

Referências

DEHGHANI, Zhamak.Data Mesh Delivering Data-Driven Value at Scale. 1a edição, volume. Boston: O’Reilly Media,2022.

FARINACCIO, Rafael. Spotify ajuda o Metallica a decidir quais músicas tocar em cada cidade. 2018. Disponível em: https://www.tecmundo.com.br/software/132666-spotify-ajuda-metallica-decidir-musicas-tocar-cada-cidade.htm acessado em 2023

FERREIRA, Guido. Data Product vs Tech Product , Belo Horizonte, 2020 Disponível em: https://pt.linkedin.com/pulse/data-product-vs-tech-guima-ferreira. Acessado em: 2023

O’REGAN, Simon. Designing Data Products- The 15 faces of Data Products are a little bit different.2018. Disponível em: https://towardsdatascience.com/designing-data-products-b6b93edf3d23 acessado em 2023