A Era do Big Data

Gabriel Luz
Gabriel Luz
Published in
6 min readMay 12, 2019

Introdução

Olá! Bem vindo de volta.

Antes de falar sobre temas como Inteligência Artificial na saúde, finanças, negócios entre outros, preciso introduzir um conceito muito importante, que está muito relacionado à IA: Big Data. Se você ainda não conhecia essa expressão talvez tenha pensado na imagem abaixo!

Um dado bem grande hehe

O Big Data é um conceito muito importante e que vem ganhando bastante notoriedade nos últimos anos. Basicamente, diz respeito ao momento tecnológico que nossa sociedade está passando. Caso você não tenha percebido, nunca antes na história da humanidade foram gerados tantos dados, sobre tantas coisas, nos mais diversos formatos e na velocidade atual. Na verdade, essas últimas frases explicam bem uma ideia fundamental por trás do Big Data, os 3 Vs: Volume, referente a gigantesca quantidade de dados, Velocidade, por conta da rapidez de geração, E Variedade, relativo a grande diversificação de tipos de dados.

Para demonstrar a profundidade do Big Data nada melhor do que… dados. Até o ano de 1986, todos os dados que a humanidade havia produzido (de todas as formas até então possíveis, livros, pinturas, filmes etc) ocupavam a ordem de grandeza do petabyte (a que vem depois do terabyte). Em 2007, já havíamos produzido algo em torno de 300 exabytes de dados (a que vem depois do petabyte). E logo em 2011, chegamos a uma nova ordem de grandeza, com algo em torno de 1.6 zettabytes (a que vem depois do exabyte). E em 2015 a humanidade já passou de 8 zettabytes. O YouTube sozinho já possui mais de 1 exabyte de dados. Ou seja, a quantidade de dados aumenta exponencialmente conforme o desenvolvimento tecnológico avança.

É dado que não acaba mais hehe

Temos muitos dados, e daí?

Você deve ter se questionado: beleza, temos dados de sobra e essa quantidade continuará aumentando. O que faremos com isso?

Dados sozinhos não podem dizer muita coisa. Por exemplo, eu posso te dizer que meu cabelo é preto. Isso não te leva a tirar muitas conclusões sobre minha personalidade. Porém, se eu te der uma pequena tabela em excel com alguns dos meus filmes favoritos, provavelmente você terá conclusões mais significativas sobre mim. O que aconteceu foi que você, munido da sua capacidade mental e analítica, aliada a uma certa quantidade de dados foi capaz de tirar alguns insights sobre um assunto. E é exatamente aí que está a beleza e a grandiosidade dessa chamada “Era do Big Data”.

Não somente temos uma quantidade monstruosa de dados, como também possuímos capacidade de armazenar todos eles, processá-los e analisá-los! Tudo isso graças ao desenvolvimento da eletrônica e da computação.

O caminho do dado à sua utilidade

Mas o que exatamente é Big Data, além desse momento tecnológico? O que uma pessoa quer dizer ao afirmar que irá aplicar Big Data a um problema?

Big Data é basicamente análise de dados. De fato isso não é nenhuma novidade. Há muitos e muitos anos a humanidade coleta dados para serem analisados. A grande inovação está em aliar métodos antigos e limitados de análise de dados (fórmulas matemáticas, técnicas estatísticas etc) aos modernos recursos de hardware de alto processamento. Ou seja, agora é possível transitar todos esses cálculos e análises por meio de softwares desenvolvidos especificamente para trabalharem com enormes quantidades de dados. Uma solução de Big Data funciona com algoritmos complexos que trabalham a informação de modo a obter como saída os mais diversos tipos de insights.

Mas nem tudo são flores

Antes de entrarmos um pouco mais afundo nos benefícios, é importante apontar para uma delicada questão que surge em tempos de Big Data: a privacidade.

Um outro conceito importante do que muitos chamam de 4º Revolução Industrial é a Internet das Coisas (IoT), que junto com tecnologias como computação em nuvem, robótica, inteligência artificial, impressão 3D e realidade virtual e aumentada vem mudando radicalmente o mundo em que vivemos. Para quem não conhece isso, trata-se basicamente da conexão de bilhões de dispositivos à internet. O exemplo mais trivial e comum usado para descrever a IoT é o caso de uma geladeira conectada. Conforme os alimentos vão acabando, ela pode lançar avisos sobre o que precisa-se comprar através de um app no smartphone. E este é somente um pequeno exemplo. No futuro os mais diversos dispositivos estarão conectados à rede e com isso estarão gerando ainda mais dados.

No futuro bem próximo, bilhões de dispositivos estarão conectados.

Também é válido citar o exemplo das redes sociais. Hoje o Facebook possui mais de 1 bilhão de usuários, ou seja, mais de 1 bilhão de pessoas conectadas, gerando dados através de curtidas, posts e compartilhamentos.

É bem legal pensar que todos esses dados estão sendo armazenados e processados para serem úteis a criação de serviços inovadores como o Google Analytics, os sistemas de recomendação da Netflix, Amazon, Spotify, dentre centenas de outros. Porém, quem mais possui acesso a nossos dados pessoais?

Há alguns anos fomos alertados pelo ex-analista da NSA (Agência de Segurança Nacional dos EUA), Edward Snowden, de que diversos governos possuíam acesso a grandes quantidades de dados pessoais de centenas de milhares de pessoas. A privacidade e segurança de dados é um assunto sério que precisa ser discutido, não só por empresas e governos, mas também pela sociedade como um todo.

Um oceano de oportunidades

Com tudo que foi falado até aqui já dá pra se ter uma noção de que o Big Data oferece uma quantidade absurdamente grande de aplicações e resoluções de problemas. Já existem diversos exemplos de empresas e governos que usam técnicas robustas de análise de dados para resolverem problemas reais.

Um dos mais surpreendentes é de uma rede de loja de varejo chamada Target, em que treinando (também usando técnicas de IA) seu sistema com dados antigos de consumidoras que se identificavam como grávidas e analisando quais produtos elas haviam comprado antes de se declararem grávidas, a loja conseguiu prever alguns casos de gravidez. Uma situação bem engraçada foi inclusive tema de reportagem do The New York Times, quando o sistema dessa rede descobriu que uma garota estava grávida antes do pai dela.

Loucura né?

Um outro exemplo de utilização de Big Data em negócios é o caso do McDonalds. É natural imaginar que uma empresa desse porte tenha uma quantidade enorme de dados. E como toda empresa que queira continuar existindo na era da tecnologia e altíssima competição, foi necessário tornar esses dados úteis para tomadas de decisões estratégicas serem mais acertadas. A rede de fast food coleta e analisa dados de lanchonetes ao redor do mundo a fim de compreender como cada país e seus nichos de consumo reagem a chegada de um novo produto, de um novo design nas lojas, de promoções etc. Baseado em estudos de análise de sentimentos em redes sociais, já foram lançados até mesmo novos sanduíches.

Um exemplo brasileiro extremamente interessante e que ficou famoso no início de 2017 é o do software Rosie, um sistema com o objetivo de identificar reembolsos suspeitos no mundo parlamentar. Utilizando uma base de dados de antigos pedidos de reembolsos irregulares feitos por deputados federais, o sistema é capaz de apontar um pedido suspeito. Esse projeto ganhou o nome de Operação Serenata de Amor em referência a um caso sueco em que uma ministra utilizou um cartão corporativo para fazer compras pessoais e depois pediu reembolso.

Conclusão

Falei muito brevemente de alguns exemplos de utilização de Big Data, porém, não paramos por aí. Podemos tornar o mundo um lugar melhor utilizando análise de dados nas mais diferentes áreas, passando pela segurança pública até a saúde, mobilidade urbana até a economia e por aí vai. São milhares de possíveis aplicações.

Um mundo novo está nascendo graças a popularização de novas tecnologias. Parafraseando o escritor Eric Siegel, no livro “Predictive Analytics”, o Big Data nos permite ver coisas que antes eram grandes demais para serem enxergadas.

--

--

Gabriel Luz
Gabriel Luz

Estudante de engenharia eletrônica, aspirante a cientista de dados e apaixonado por tecnologia.