Os 7 principais desafios de Big Data
Os projetos de Big Data se tornaram uma parte normal dos negócios — mas isso não significa que o Big Data seja fácil. Os desafios de Big Data são inúmeros.
(Adaptação do artigo originalmente publicado aqui, em inglês) Traduzido por Thabata
Os projetos de Big Data se tornaram uma parte normal dos negócios — mas isso não significa que o Big Data seja fácil. Os desafios de Big Data são inúmeros.
De acordo com a Pesquisa Executiva de Big Data da NewVantage Partners 2017, 95% dos líderes empresariais da Fortune 1000 entrevistados disseram que suas empresas realizaram um projeto de Big Data nos últimos cinco anos.
No entanto, menos da metade (48,4%) disse que suas iniciativas de Big Data alcançaram resultados realmente mensuráveis.
Um relatório de outubro de 2016 do Gartner descobriu que as organizações estavam travando no estágio piloto de suas iniciativas de Big Data. “Apenas 15% das empresas relataram implantar seu projeto de Big Data na produção, um número efetivamente inalterado em relação ao ano passado (14%)”, disse a empresa.
Claramente, as organizações estão enfrentando alguns desafios importantes quando se trata de implementar suas estratégias na área.
E, de fato, a Pesquisa de Dados e Análises do IDG Enterprise de 2016 descobriu que 90% dos entrevistados e entrevistadas relataram ter enfrentado desafios relacionados a seus projetos de Big Data.
Então, quais são esses desafios?
E o mais importante, o que as organizações podem fazer para superá-los?
O que é Big Data?
Antes de nos aprofundarmos nos desafios de Big Data mais comuns, devemos primeiro definir a expressão.
Não há um número definido de gigabytes, terabytes ou petabytes que separa o Big Data dos “dados de tamanho médio”.
Os armazenamentos de dados estão crescendo constantemente, então o que parece ser uma grande quantidade de dados agora pode parecer uma quantidade perfeitamente normal em um ou dois anos.
Além disso, cada organização é diferente, portanto, a quantidade de dados que parece desafiadora para uma pequena loja de varejo pode não parecer muito para uma grande empresa de serviços financeiros.
Em vez disso, a maioria das pessoas especialistas define o Big Data de acordo com “os três V’s”:
- Volume. Big Data é qualquer conjunto de dados tão grande que a organização que os possui enfrenta desafios relacionados ao armazenamento ou processamento. Na realidade, tendências como comércio eletrônico, mobilidade, mídia social e Internet das Coisas (IoT) estão gerando tantas informações que quase todas as organizações provavelmente atendem a esse critério;
- Velocidade. Se a sua organização está gerando novos dados em um ritmo rápido e você precisa apresentar respostas em tempo real, você tem a velocidade associada ao Big Data. A maioria das organizações envolvidas em comércio eletrônico, mídia social ou IoT satisfaz essa vertente;
- Variedade. Se seus dados residem em muitos formatos diferentes, eles possuem a variedade associada ao Big Data. Por exemplo, os armazenamentos de Big Data normalmente incluem mensagens de e-mail, documentos de processamento de texto, imagens, vídeo e apresentações, bem como dados que residem em sistemas de gerenciamento de banco de dados relacionais estruturados (RDBMSes).
Essas três características causam muitos dos desafios que as organizações encontram em suas iniciativas de Big Data.
Neste post, vamos falar sobre os 7 principais obstáculos do processo. Acompanhe!
1. Lidar com o crescimento dos dados
O desafio mais óbvio associado ao big data é simplesmente armazenar e analisar todas essas informações.
Em seu relatório Digital Universe, o IDC estima que a quantidade de informações armazenadas nos sistemas de TI do mundo dobra a cada dois anos.
Em 2020, a quantidade total é suficiente para encher uma pilha de comprimidos que vai da Terra à Lua 6,6 vezes. E as empresas são responsáveis por cerca de 85% dessas informações.
Muitos desses dados não são estruturados, o que significa que não residem em um banco de dados. Documentos, fotos, áudio, vídeos e outros dados não estruturados podem ser difíceis de pesquisar e analisar.
Não é nenhuma surpresa, então, que o relatório do IDG descobriu que: “(…) gerenciar dados não estruturados está sendo um desafio que aumentou de 31% em 2015 para 45% em 2016, por exemplo”.
Para lidar com o crescimento dos dados, as organizações estão se voltando para uma série de tecnologias diferentes.
Quando se trata de armazenamento, a infraestrutura convergente e hiperconvergente e o armazenamento definido por software podem tornar mais fácil para as empresas dimensionar seu hardware.
E tecnologias como compactação, desduplicação e classificação por níveis podem reduzir a quantidade de espaço e os custos associados ao armazenamento de Big Data.
No lado do gerenciamento e análise, as empresas estão usando ferramentas como bancos de dados NoSQL, Hadoop, Spark, software de análise de Big Data, aplicativos de inteligência de negócios, inteligência artificial e Machine Learning para ajudá-los a vasculhar seus armazenamentos de Big Data (para encontrar os insights de que suas empresas precisam).
2. Gerar insights em tempo hábil
Obviamente, as organizações não querem apenas armazenar seu Big Data — elas querem usar os dados para atingir as metas de negócios.
De acordo com a pesquisa NewVantage Partners, os objetivos mais comuns associados a projetos de Big Data incluíam:
- Diminuição de despesas por meio de estratégias de custos operacionais;
- Estabelecimento de uma cultura baseada em dados;
- Criação de novos caminhos para inovação;
- Aceleração da velocidade com que novos recursos e serviços são implantados;
- Lançamento de novas ofertas de produtos e serviços.
Todas essas metas podem ajudar as organizações a se tornarem mais competitivas — mas somente se elas puderem extrair insights de seus Big Data e, em seguida, agir de acordo com essas informações rapidamente.
A Pesquisa Global de Dados e Análise de 2016 da PwC demonstrou que: “Todo mundo quer que a tomada de decisões seja mais rápida, especialmente nos setores bancário, de seguros e de saúde”.
Para alcançar essa velocidade, algumas organizações estão buscando uma nova geração de ETL e ferramentas analíticas que reduzem drasticamente o tempo que leva para gerar relatórios.
As empresas estão investindo em softwares com recursos de análise em tempo real que lhes permite responder aos desenvolvimentos no mercado imediatamente.
3. Recrutar e reter talentos de Big Data
Para desenvolver, gerenciar e executar esses aplicativos que geram insights, as organizações precisam de profissionais com habilidades de Big Data, certo?
Esse cenário aumentou a demanda por especialistas em Big Data — e os salários desses cargos aumentaram dramaticamente como resultado.
Em 2017, o Robert Half Technology Salary Guide relatou que os engenheiros de Big Data estavam ganhando entre $135.000 e $196.000 (em média) por ano, enquanto os salários dos cientistas de dados variavam de $116.000 a $163.500 anualmente.
Mesmo os analistas de inteligência de negócios eram muito bem pagos, ganhando de $118.000 a $138.750 por ano.
Para lidar com a escassez de talentos, as organizações têm algumas opções.
Primeiro, muitos estão aumentando seus orçamentos e seus esforços de recrutamento e retenção.
Em segundo lugar, eles estão oferecendo mais oportunidades de treinamento para seus funcionários atuais, na tentativa de desenvolver o talento de que precisam internamente.
Terceiro, muitas organizações estão buscando por tecnologias. Elas estão comprando soluções de análise com recursos de autoatendimento e/ou Machine Learning. Projetadas para serem usadas por profissionais sem um diploma de ciência de dados, essas ferramentas podem ajudar as organizações a atingir seus objetivos de Big Data (mesmo que a empresa não tenha especialistas na equipe).
4. Integrar fontes de dados díspares
A variedade associada ao Big Data leva a desafios na integração de dados.
O Big Data vem de muitos lugares diferentes — aplicativos corporativos, fluxos de mídia social, sistemas de e-mail, documentos criados por funcionários, etc.
Combinar todos esses dados e reconciliá-los, para que possam ser usados para criar relatórios, pode ser incrivelmente difícil.
Os(as) fornecedores(as) oferecem uma variedade de ETL e ferramentas de integração de dados projetadas para tornar o processo mais fácil, mas muitas empresas afirmam que essas estratégias ainda não resolveram o seu problema de integração de dados.
Em resposta, muitas empresas estão se voltando para novas soluções de tecnologia.
No relatório do IDG, 89% dos entrevistados e entrevistadas disseram que suas empresas planejavam investir em novas ferramentas de Big Data nos próximos 12 a 18 meses.
Quando questionados sobre quais tipos de ferramentas eles planejavam comprar, a tecnologia de integração ficou em segundo lugar na lista, atrás do software de análise de dados.
5. Validar os dados
Intimamente relacionado à ideia de integração de dados está a ideia de validação de dados.
Frequentemente, as organizações estão obtendo dados semelhantes de sistemas diferentes, e os dados nesses sistemas diferentes nem sempre coincidem.
Por exemplo, o sistema de comércio eletrônico pode mostrar vendas diárias em um determinado nível, enquanto o sistema de planejamento de recursos empresariais (ERP) tem um número ligeiramente diferente. Ou o sistema de registro eletrônico de saúde (EHR) de um hospital pode ter um endereço de uma paciente, enquanto uma farmácia parceira tem um endereço diferente no seu registro.
O processo de obter a concordância desses registros, bem como garantir que eles sejam precisos, utilizáveis e seguros, é chamado de governança de dados.
Na Pesquisa de Maturidade de Big Data da AtScale de 2016, a área de crescimento mais rápido mais citada pelos entrevistados e entrevistadas foi a de governança de dados.
Resolver os desafios da governança de dados é um processo muito complexo que geralmente requer uma combinação de mudanças de política e tecnologia na empresa.
As organizações costumam criar um grupo de pessoas para supervisionar a governança de dados e escrever um conjunto de políticas e procedimentos.
Elas também podem investir em soluções de gerenciamento de dados projetadas para simplificar a governança de dados e para ajudar a garantir a precisão dos armazenamentos de Big Data — e dos insights derivados deles.
6. Proteger o Big Data
A segurança também é uma grande preocupação para organizações com grandes armazenamentos de dados.
Afinal, alguns armazenamentos de Big Data podem ser alvos atraentes para hackers ou ameaças persistentes avançadas (APTs).
A maioria das organizações, contudo, parece acreditar que seus métodos de segurança de dados existentes também são suficientes para suas necessidades de Big Data.
Entretanto, na pesquisa do IDG, menos da metade das pessoas entrevistadas (39%) disse que estava usando medidas de segurança adicionais para seus repositórios ou análises de Big Data. Entre aqueles que usam medidas adicionais, as mais populares incluem controle de identidade e acesso (59%), criptografia de dados (52%) e segregação de dados (42%).
7. Enfrentar a resistência organizacional
Não são apenas os aspectos tecnológicos do Big Data que podem ser desafiadores — as pessoas envolvidas nesse processo também podem ser um problema.
Na pesquisa da NewVantage Partners, 85,5% dos entrevistados(as) disseram que suas empresas estavam comprometidas com a criação de uma cultura orientada a dados, mas apenas 37,1% disseram que tiveram sucesso com esses esforços.
Quando questionados sobre os impedimentos para essa mudança de cultura, os entrevistados apontaram três grandes obstáculos dentro de suas organizações:
- Alinhamento organizacional insuficiente (4,6%);
- Falta de adoção e compreensão da gerência intermediária (41,0%);
- Resistência comercial ou falta de compreensão sobre a importância do Big Data (41,0%).
Para que as organizações aproveitem as oportunidades oferecidas pelo Big Data, elas terão que fazer algumas coisas de maneira diferente do que estão fazendo hoje.
E esse tipo de mudança pode ser extremamente difícil para grandes organizações.
O relatório da PwC recomendou: “Para melhorar os recursos de tomada de decisão em sua empresa, você deve continuar a investir em líderes fortes que entendem as possibilidades dos dados e que desafiam os negócios”.
Uma maneira de estabelecer esse tipo de liderança é nomear uma diretora ou diretor de dados (um passo que a NewVantage Partners disse que 55,9% das empresas da Fortune 1000 deram).
Mas, com ou sem uma diretora de dados, as empresas precisam de executivos, diretores e gerentes que se comprometam a superar seus desafios de Big Data se quiserem permanecer competitivas na economia cada vez mais orientada a dados.
