What-if: Modelagem de Sistemas de Simulação

Sistemas de what-if, de forma bem simplificada, consistem em soluções que permitem a simulação de cenários de forma dinâmica, em que o usuário pode alterar as principais variáveis como volume de vendas, preço de produto e margem líquida, para obter resultados diferentes ou visualizar cenários hipotéticos.

Hoje, a planilha de excel ainda é a ferramenta mais utilizada para simular resultados, principalmente por ser simples de usar e estar amplamente difundida no mercado. Assim, muitas empresas continuam fazendo previsões por meio de Planilhas Eletrônicas como MS Excel e Google Sheets, deixando as ferramentas de modelagem específicas relegadas somente à projetos de grande complexidade.

Para solucionar isso, novas alternativas e tecnologias robustas para a modelagem e simulação de cenários estão surgindo como Arena, Flexsim etc. Além disso, a proliferação de projetos de Data Warehouse e ferramentas de Business Intelligence (BI) tem tornado o uso de planilhas para o desenho de cenários está cada vez mais obsoleto. Isso porque não é mais possível utilizar planilhas sem perder as vantagens da manipulação de grandes volumes de dados e rapidez de acesso permitidas pelas ferramentas de BI. Por outro lado, grande parte das soluções de inteligência de negócios não permite a simulações de cenários de maneira automática ou requer grandes alterações no modelo de dados, fator que dificulta sua utilização pelo usuário padrão. Além disso, elas são geralmente de código proprietário e não modulares, com alto custo e dificultando a utilização em ambientes diversos.

A importância de utilização de dados cada dia ganha mais força e com isso, empresas e profissionais buscam soluções data-driven para a tomada de decisões.

O sistemas de what-if são recursos avançados criados para atender as demandas desse novo mercado. No entanto, ainda há muitos desafios. Por exemplo, a utilização de softwares simples como o excel, não permite a integração e/ou conexões diretas com Big Data e banco de dados. Além disso, as soluções mais robustas (BI e DW) têm um custo alto e são complexas de serem implementadas. Portanto, nosso principal objetivo neste artigo é simplificar o processo de simulação e demonstrar como a Indicium trabalha para superar este desafio.

Introdução aos conceitos envolvidos

Dados são gerados em aplicações operacionais como ERPs, CRMs, sistemas de PDVs etc. Tais aplicações geralmente armazenam essas informações em bancos de dados relacionais (SQL). Para fins analíticos, é geralmente recomendado que esses dados sejam transformados e armazenados em um Data Warehouse ou estrutura equivalente, tornando-se assim em informações relevantes para um negócio.

A partir disso, ferramentas de BI como MS PowerBI, Tableau, Looker, Qlik, etc. podem ser integradas à base de dados organizada, permitindo a visualização de informações e geração de relatórios, baseadas nas informações armazenadas no DW, de forma intuitiva através de ilustrações como gráficos, tabelas, mapas etc. Este processo é o que chamamos de Análise Descritiva.

Além disso, as mesmas informações podem ser utilizadas em processos de Data Mining ou Data Science para identificar padrões entre as variáveis de um negócio e possivelmente prever novos valores e situações por meio da Análise Preditiva. Finalmente, no estágio de Análise Prescritiva, modelos de simulação e otimização podem ser criados para suportar a tomada de decisão assertiva.

A análise descritiva é apenas o ponto de partida no processo de analytics. Apesar disso, é a etapa que recebe mais suporte de ferramentas e tecnologias. Embora boa parte esforço ao suporte na tomada de decisão ocorra depois da análise descritiva, a deficiência de técnicas e metodologias resta justamente nos últimos dois estágios de analytics. Isso porque corresponde a necessidades mais avançadas e equipe qualificada para execução e uso dos sistemas.

Passado, presente e futuro

Aplicações de BI permitem responder perguntas sobre o passado e o presente dos processos empresariais.Com isso, pode-se responder perguntas como:

• “ Qual foi o faturamento do produto X no ano de 2019 ? “
• “Nos últimos 5 anos, quais clientes foram responsáveis por pelo menos 10% do faturamento da empresa? ”
• “ Qual é a produtividade média da produção da empresa ano-a-ano?”

Ao contrário do BI, a análise what-if quer modelar o futuro de um negócio sob um conjunto de hipóteses denominadas de Cenário:

A análise de what-if é uma simulação com uso intensivo de dados cujo objetivo principal é inspecionar o comportamento de um sistema complexo (isto é, uma organização ou um departamento) sob alguns cenários hipotéticos. Por isso, simulações de what-if analisam o impacto das mudanças em um conjunto de variáveis independentes em um conjunto de variáveis dependentes, oferecendo uma representação simplificada de um negócio, ilustrando suas características fundamentais com base nos dados históricos de uma empresa (Kellern et al., 1999).

Estrutura What-if

A etapa de transformação de dados (ETL) necessária para modelar um DW compartilha diversas semelhanças com a estrutura lógica necessária para a modelagem de what-if.

Em ambos os casos, uma série de dados de entrada (input) são processados por um modelo ou função que gera um novo conjunto de dados de saída (output). A principal diferença entre eles é que no caso do ETL apenas dados históricos são utilizados, enquanto para concretização das análise what-if são necessários novos conjuntos de dados e modelos externos.

Um modelo de simulação estabelece uma série de relacionamentos complexos entre variáveis correspondentes a entidades de um domínio (ex. vendas, produtos, clientes, custos, etc).

Pode-se dizer que o Cenário é composto pelos seguintes elementos:

1. O conjunto das variáveis que são objeto de uma simulação
2. As variáveis fontes
3. A forma funcional como as fontes se relacionam
4. O modelo
5. O conjunto de parâmetros adicionais utilizados para gerar o resultado final.

Cada cenário descreve formas e alternativas de construir uma predição de interesse para o usuário, a partir de dados históricos reais, parâmetros ou hipóteses adicionais.

As hipóteses de um cenário podem ser divididas entre:

1. Hipóteses sobre os parâmetros de negócio,
2. Parâmetros do modelo,
3. Próprio modelo em si.

Isto significa que deter o histórico dos dados armazenados em um banco de dados relacional não é suficiente para criação das hipóteses de um cenário. Também é preciso identificar a forma funcional como esses dados se relacionam e combinar essas informações com outras variáveis que não estão diretamente vinculadas ao negócio.

Como já mencionado, enquanto as ferramentas de BI respondem perguntas sobre o passado e presente de um negócio, uma análise what-if procura responder o que irá acontecer no futuro ou em hipóteses atípicas caso alguma variável chave do negócio seja alterada. Por exemplo:

1. “Qual será o lucro da empresa se aumentarmos em 20% o preço do produto X?”
2. “Qual será o impacto nas vendas se reduzirmos 15% do investimento em publicidade na área Y?”

Simulações e resultados

Para responder diversas perguntas e hipóteses de negócio, como aquelas citadas no decorrer deste artigo, um modelo de simulação deve ser desenvolvido. Ele precisa ser capaz de expressar as relações complexas entre a variável dependente que queremos prever (por exemplo, o lucro anual) e as variáveis independentes que queremos “ajustar” (por exemplo, o preço do produto X).

Para isso, os dados históricos são utilizados para “calibrar” o modelo e realizar uma previsão ou predição dos lucros futuros. Traduzindo para o modelo de simulação, a partir de cenários que definimos acima, esse modelo precisaria conter:

• Uma relação de todas as variáveis necessárias para estimativa do lucro de uma empresa (por exemplo, receita de vendas por produto, custos em geral, evolução dos preços de cada produto, etc)
• Os dados de input das variáveis necessárias como “o aumento de 20% do preço do produto X” .
• O modelo de previsão que relaciona o lucro com as demais variáveis de negócio de forma determinística ou não-determinística.
• Os parâmetros do modelo, que definem quantos anos considerar na previsão, qual o intervalo de confiança da estimativa, etc.

Além disso, o modelo deve contemplar três perspectivas de uma simulação: funcional, estática e dinâmica.

A perspectiva funcional descreve como as variáveis se relacionam entre si, enquanto a estática define quais variáveis serão utilizadas e agregadas na criação de cada objeto (dataframe). Por fim, a perspectiva dinâmica descreve explicitamente a ordem de execução das tarefas (sequenciais, concorrentes ou alternativas).

Conclusão

Sistemas de what-if são fundamentais para elevar a tomada de decisão a outro patamar. Isto é, incluir verdadeiramente a previsão e predição do futuro nos negócios. Portanto, as empresas que se preocupam com o futuro e utilizam recursos de what-ifs (ou similares) hoje, irão ganhar cada vez mais mais espaço mercado e obter uma vantagem analítica e competitiva importante nos próximos anos.

Entretanto, existem diversos obstáculos no caminho para atingirmos o nível de futuro. Sabemos que a eficiência dos modelos depende de um projeto de dados bem-estruturado, que contemple o passado, o presente e o futuro. Tanto a configuração de passado e presente, por meio de ferramentas de DW e BI, quanto o desenvolvimento de modelos de what-if, requer uma estrutura robusta e complexa de dados e nem todas as empresas têm os recursos necessários para investir nisso.

Este post foi originalmente publicado no blog da Indicium Tech

Referências:

Golfarelli, Matteo & Rizzi, Stefano. (2009). What-if Simulation Modeling in Business Intelligence. IJDWM. 5. 24–43. 10.4018/jdwm.2009080702.

Golfarelli, M., Rizzi, S., & Proli, A. (2006). Designing What-if Analysis: Towards a Methodology. In: Proceedings International Workshop on Data Warehousing and OLAP (pp. 51–58). Arlington,USA.

Peter J. Haas et.al . Data is Dead… without What-If Models. In: Proceedings of Very Large Data Bases Endowment, PVLDB 2011. [Best Paper Honorable Mention, VLDB 2011 Challenges and Visions Track]

Peter J. Haas et.al. Splash: Simulation optimization in complex systems of systems. In Proceedings of 50th Annual Allerton Conference. on Communication, Control and Computing, 2012. [Invited paper]

Melissa Cefkin et.al : “SPLASH: A Progress Report on Building a Platform for a 360 Degree View of Health”. Proceedings of the 5th INFORMS Workshop on Data Mining and Health Informatics, DM-HI 2010.