Dadosfera versus AWS

Menos custo, menos trabalho e mais resultados

Pietro Oliveira
Dadosfera
4 min readJun 10, 2022

--

Introdução

Sabemos que a AWS é um grande provedor de serviços em nuvem, afinal detém quase 40% do Market Share de Cloud Computing do mundo, porém a sua utilização pode se transformar em um pesadelo de alto custo e complexidade.

Vamos a um exemplo, “Nosso sistema de vendas exporta diariamente 30 mil registros, precisamos gerar relatórios gráficos com esses dados para apresentar para a diretoria”.

Temos algumas maneiras de resolver esse desafio, uma delas iremos detalhar a seguir:

Efetuar uma conexão com o banco de dados do sistema de vendas, processar as informações, armazená-las em um banco de dados e construir os dashboards necessários.

Utilizando os serviços da AWS estamos falando de DMS para capturar os dados do banco de dados, S3 para armazenar os dados crus e posteriormente tratados, EMR para limpar, processar e transformar os dados, Redshift como base analítica e QuickSight como ferramenta de visualização de dados.

Na Dadosfera esses serviços são abstraído em 3 módulos, Coletar, Explorar e Analisar.

Arquitetura na AWS para solução do exemplo
Diagrama de funcionalidades da Dadosfera

Custo

Na AWS, cada um desses serviços tem seu custo próprio, seja por volume ou tempo de disponibilidade, abaixo listaremos eles, baseado em 1 milhão de linhas mensais, com armazenamento de 20 Gigabytes de histórico e dashboards acessados por 10 pessoas.

Custo estimado através da calculadora da AWS

Estamos falando de uma projeção mensal de US $971,19, ou mais de R$ 4.600,00 na cotação atual.

Na Dadosfera, 1 milhão de registros mensais, com armazenamento histórico de 20Gb e acesso ilimitado a dashboards, seria atendido pelo plano Basic.

Nesse comparativo, não consideramos o custo com engenheiros de dados e analistas de dados, mas vale lembrar que os salários da área de dados variaram com um aumento médio de cerca de 40%, segundo a pesquisa produzida pela comunidade DataHackers

Gráfico retirado do relatório State of Data 2021

Manutenção

Cada serviço na AWS tem sua complexidade e particularidade de manutenção, boas práticas de segurança e codificação.

Para isso eles contam com uma vasta documentação, como por exemplo as 1026 páginas da documentação do QuickSight, com isso em mente, podemos notar que uma carga de dados como o exemplo acima, teremos muito o que aprender e resolver.

As respostas de suporte na maioria das vezes são um genérico “Leia a parte X da documentação” qual não colabora muito para times que estão com backlog cheio e muitas demandas para entregar.

Enquanto a Dadosfera, por se tratar de um SaaS — Software as a Service — toda a manutenção será feita pelo time interno, lhe garantido altos níveis de SLA e disponibilidade além de um interface intuitiva, acessível tanto para usuários seniores, juniores e não técnicos.

Não terá que atuar em momentos de crise e está garantido por níveis de SLA de acordo com a sua necessidade.

O suporte é oferecido para todos os clientes, em todos os tiers — Standard, Advanced e Premium.

Time to Market

Um projeto de integração de dados, como nosso exemplo, contaria com muitas atividades e entregáveis, então listamos algumas dessas:

  • Mapeamento de tabelas fonte
  • Definição da arquitetura
  • Provisionamento de serviços na AWS
  • Modelagem de dados
  • Desenvolvimento das integrações
  • Construção dos dashboards
  • Documentação
  • Validação
  • Ajustes

Sejamos otimistas e utilizaremos o prazo de 15 dias para a entrega de cada um dos itens, estamos falando de quase 6 meses de projeto.

Gantt de um projeto real de integração de dados

Na Dadosfera implantamos e configuramos a plataforma em até 8 semanas, tendo casos específicos onde levou 3 dias. Isso significa que nosso cliente em menos de uma semana está utilizando de todo o potencial da plataforma, utilizando seu tempo para gerar insigths e inteligência através dos dados.

Flexibilidade

No momento que escrevo esse texto, a AWS conta com mais de 200 serviços, sendo 17 destes específicos para Data & Analytics, o que lhe deixa em uma situação perfeita para escolher o melhor e mais barato para cada caso de uso que sua empresa esteja construindo.

Já na Dadosfera, a sua solução estará atrelada ao road-map, não sendo possível efetuar grandes personalizações e assim impactando no seu produto final.

Conclusão

Nesse texto comparativo entre Dadosfera e AWS, notamos que a Dadosfera mostra-se superior nas dimensões apresentadas, o custo é equivalente se não considerarmos recursos humanos, a manutenção é nula e a entrega de valor é pelo menos de 50% mais rápida.

--

--

Pietro Oliveira
Dadosfera

Head of Data @ TC ( B3:TRAD3 ) | Community Manager @ Data Hackers