Você precisa de Big Data?
Uma das coisas que mais ouço de profissionais dos mais diversos segmentos é como implementar Big Data em seu dia a dia ou negócio. A primeira pergunta que faço é “Para que?”.
Atualmente todo o ecossistema Big Data está à disposição para os mais diversos propósitos possíveis e isso causa muita confusão e indecisão em relação à melhor abordagem a ser escolhida ou até mesmo qual o framework a ser utilizado. São milhares de softwares, frameworks e soluções open source e proprietárias que podem ajudar a resolver vários tipos de problemas e desafios, mas nem todas as empresas terão um “Big Data”. Calma que vou explicar!!! 😬
Quando falamos de Big Data estamos falando de grandes quantidades de dados, como vários terabytes (muitos) e petabytes, e nem todas as empresas possuem esse volume de dados ou nem faz sentido armazenar e processar tal quantidade de informação, seja pelo segmento ou até mesmo pelo tamanho do negócio. Quando exponho essa opinião sempre vem a próxima pergunta… “Então eu não posso ter Big Data?”. A questão não é poder ter e sim precisar ter.
De fato você pode (e deve) utilizar softwares existentes no ambiente Big Data, mas não necessariamente precisa ter um Big Data. Nem sempre um HDFS (sistemas de armazenamento distribuído do ecossistema Big Data) vai ser a melhor opção de armazenamento para seu negócio. Eu mesmo já desenvolvi solução de Analytics sem ter um ecossistema Big Data, apenas utilizando Python, Kafka e MongoDb.
Na Via Varejo temos um ecossistema Big Data completo e estamos desenvolvendo muitas soluções bem interessantes baseadas nessas tecnologias, mas também temos algumas soluções que não são de Big Data que utilizam alguns desses frameworks como Kafka, Solr e NoSQL.
Cada empresa possui seus desafios e esses frameworks vieram para ajudar na resolução desses desafios através da tecnologia. O importante é identificar o framework mais adequado para cada situação e problema proposto. Exemplificando em um cenário real, muitas empresas tem a necessidade de capturar, tratar e distribuir dados em tempo real. Para isso há varias possibilidades dentro do mundo Big Data como Nifi, Flume e Storm entre outros. A escolha da tecnologia pode se basear no conhecimento da equipe envolvida na solução, nos requisitos de infraestrutura ou até mesmo em questões de alta disponibilidade e paralelismo, mas no geral todas as tecnologias mencionadas acima podem ser utilizadas na resolução do problema proposto e o mais interessante é que podem ser utilizadas independentemente de existir um ecossistema Big Data implantando ou não.
Apenas para confundir ainda mais na escolha das tecnologias, segue o Landscape 2018. 😁
Quer saber mais sobre Big Data, tecnologia e suas aplicações no desafios atuais? Siga-me também no Linkedin
