As 5 principais previsões para Big Data até 2021

O mundo dos big data deve atingir incríveis 163 zettabytes, ou 163 trilhões de gigabytes, até 2025. Curioso para saber o quão grande é um zettabyte? Ele poderia armazenar aproximadamente 2 bilhões de anos de música.

Existem muitos conceitos e ideias para aplicar big data, alguns exemplos incluem criar modelos de aprendizado personalizados para estudantes ou oferecer cuidados de saúde mais personalizados. No entanto, big data ainda é geralmente difícil e demorado de processar e analisar, e está sendo gerado mais rápido do que conseguimos acompanhar. Felizmente, na velocidade em que as tecnologias de big data estão avançando, essas dificuldades podem ser mitigadas nos próximos três anos.

Na verdade, mais empresas estão elaborando planos para adotar big data para o sucesso futuro. Big data, em última análise, revelará novas oportunidades e eficiências que podem mudar nossas vidas cotidianas – e é justo esperar que algumas dessas mudanças comecem a acontecer até 2021. Então, perguntamos a sete especialistas em tecnologia quais eram suas previsões de três anos para big data. Aqui está o que eles disseram:

1. A demanda por cientistas de dados continuará a crescer

Harry Dewhirst, Presidente da Blis.

“Recentemente li que a Harvard Business Review apelidou essa função de ‘o trabalho mais sexy do século 21’. Não há como negar que os dados serão a moeda que impulsionará nossa economia daqui para frente; já estamos bem avançados nesse caminho. O que significa que os cientistas de dados continuarão a impulsionar o futuro.

É fundamental que as empresas comecem a planejar a integração de cientistas de dados em suas estruturas organizacionais agora, e talvez mais ainda para faculdades e outros educadores fornecerem mais oportunidades para futuros trabalhadores explorarem esse campo. Os dados têm poder de permanência, não vão desaparecer tão cedo.”

Harry está certamente certo. A ciência de dados é um dos campos de crescimento mais rápido hoje devido ao seu papel importante em dar sentido aos big data.

Na verdade, um relatório da IBM, intitulado The Quant Crunch, estima que até 2,72 milhões de empregos que exigem habilidades em ciência de dados serão publicados até 2020.

Skipper Seabold, Co-Líder de P&D em Ciência de Dados na Civis Analytics.

“O papel de 'cientista de dados' deixará de ser uma posição especializada para a qual as pessoas são contratadas. A caixa de ferramentas da ciência de dados se tornará um conjunto de habilidades que as pessoas em várias funções dentro de uma organização serão esperadas ter.

A maioria dos cientistas de dados não precisará mais pensar em sistemas distribuídos – Hadoop, Spark ou HPCs. Tecnologias antigas, como bancos de dados relacionais tradicionais, alcançarão em desempenho e capacidades essas tecnologias, e a necessidade de pensar e programar para várias máquinas conectadas em uma rede será eliminada por ferramentas disponíveis através dos grandes provedores de nuvem.”

2. Big data será mais acessível

Sam Underwood, VP de Estratégia de Negócios na Futurety.

“Até 2021, big data se tornará muito mais acessível e, portanto, muito mais útil. Um desafio chave para muitas empresas hoje é unificar todos esses dados; por definição, isso é um grande trabalho!

Construir lakes de dados e outros ambientes de armazenamento flexíveis é uma prioridade importante em 2018, e prevemos que até 2021, muitos desses dados críticos estarão armazenados em sistemas que são muito mais acessíveis pelas ferramentas que os utilizarão (visualização, análise, modelagem preditiva). Isso abre possibilidades ilimitadas para todos os aspectos das operações de negócios serem puramente orientados por dados.”

A percepção de Sam está correta. Não será suficiente apenas reunir e processar big data. Se os dados não puderem ser facilmente compreendidos pelos usuários finais de negócios e tomadores de decisão dentro das empresas, será difícil encontrar valor.

Jeff Houpt, Presidente da DocInfusion.

“Vejo o cenário para big data evoluindo de altamente técnico e caro para métodos mais de autoatendimento e sob demanda, onde os recursos de que você precisa são ativados automaticamente e você só é cobrado pelo que usa.

Na verdade, no cenário atual, para analisar big data você precisa de uma infraestrutura massiva ou cara para capturar, catalogar e preparar os dados para uso. Então, para consultar e analisar os dados, você precisa ter o conjunto de habilidades de um programador/matemático muito técnico ou cientista de dados.

Acho que haverá plataformas e aplicativos que continuarão a tornar essas tarefas mais fáceis e intuitivas, e dentro de 3 anos chegaremos a um ponto em que você alimenta os dados diretamente em um único aplicativo que cuidará de todos os detalhes restantes para você – e fará isso em escala.

Também acho que, através do uso de inteligência artificial (IA) e conceitos de aprendizado de máquina, os aplicativos serão capazes de entender automaticamente seus objetivos usando o conhecimento obtido de usuários anteriores que realizaram uma tarefa semelhante. Isso permitirá que os sistemas otimizem os dados para fins específicos com muito pouco feedback do usuário.”

3. NLP será usado para recuperação de informações

KG Charles-Harris, CEO da Quarrio.

“A previsão mais fundamental para big data é que até 2021, a recuperação de informações de repositórios de big data será feita usando linguagem natural e será instantânea. As pessoas simplesmente farão perguntas em linguagem normal e o sistema responderá em linguagem comum, com gráficos e tabelas gerados automaticamente quando aplicável.”

4. Provedores de DBaaS adotarão análises de big data

Ben Bromhead, CTO e Co-Fundador da Instaclustr.

“Esperamos ver os provedores de Database-as-a-Service (DBaaS) realmente adotarem soluções de análises de big data nos próximos três anos, à medida que se adaptam para atender a uma necessidade crescente dos clientes. As empresas estão coletando e armazenando cada vez mais dados e continuam a buscar maneiras de filtrar esses dados da forma mais eficiente possível e fazê-los funcionar para elas.

Ao integrar soluções de análises de big data em suas plataformas, os provedores de DBaaS não apenas hospedarão e gerenciarão dados, mas também ajudarão os clientes empresariais a aproveitá-los melhor. Por exemplo, o Elasticsearch é uma tecnologia de código aberto poderosa com a qual nos familiarizamos bastante, que permite aos desenvolvedores pesquisar e analisar dados em tempo real.

Espere que essa e tecnologias semelhantes que colocam os desenvolvedores no comando de seus dados se tornem cada vez mais proeminentes dentro dos repertórios de DBaaS.”

5. A limpeza de dados será automatizada

Jomel Alos, Líder de PR Online da Spiralytics Performance Marketing.

“Um dos maiores problemas atualmente para big data é a desordem e os dados incorretos. A maioria das empresas atualmente tem sua própria estrutura de limpeza ou ainda está desenvolvendo a sua. Eventualmente, a limpeza e organização serão automatizadas com a ajuda de várias ferramentas. Como big data não é estático, espera-se que essas ferramentas também automatizem o processo de limpeza regularmente.”

Jomel levanta um ponto importante. Para que a recuperação rápida de dados ocorra, big data precisará ser limpo para qualidade e relevância. Na verdade, os EUA perderam cerca de 3,1 trilhões de dólares devido à má qualidade dos dados em 2016. É por isso que "limpar" os dados processados é tão importante quando se trata de estruturar big data.

Os processos atuais de limpeza de dados não são exatamente sensíveis ao tempo. Até agora, eles exigem quase 60 por cento do tempo de um cientista de dados. Uma vez que esses processos possam ser automatizados através do uso de IA e aprendizado de máquina, um progresso real será feito.

Descubra como entender efetivamente grandes conjuntos de dados com análises de big data e desbloquear oportunidades ocultas.