Esta postagem faz parte da série de tendências digitais de 2021 da G2. Leia mais sobre a perspectiva da G2 sobre tendências de transformação digital em uma introdução de Michael Fauscette, diretor de pesquisa da G2, e Tom Pringle, vice-presidente de pesquisa de mercado, além de cobertura adicional sobre tendências identificadas pelos analistas da G2.

Tendências de gerenciamento de dados em 2021

Em 2021, líderes orientados por dados estarão reavaliando suas estratégias de gerenciamento de dados devido ao ambiente tecnológico em evolução. As organizações priorizarão investimentos em plataformas de dados escaláveis para proteger, governar e analisar dados de forma eficaz em todas as funções de negócios por meio de uma única plataforma unificada. Essas plataformas proporcionarão maior controle e permitirão acesso contínuo aos seus dados, independentemente de onde eles residam, ajudando-as a obter insights valiosos e tomar melhores decisões de negócios.

As organizações podem obter uma vantagem competitiva ao desenvolver expertise em gerenciamento de dados para impulsionar sua estratégia de negócios. Novas ferramentas e tecnologias baseadas em inteligência artificial (IA) e aprendizado de máquina (ML) estão sendo continuamente introduzidas para lidar com as complexidades em constante evolução, como diversidade e disparidade de dados em diferentes ambientes.

Outra evolução gradual no gerenciamento de dados é a linha tênue entre responsabilidades de TI e de negócios; as organizações não estão mais limitadas por fronteiras funcionais, permitindo colaboração de dados em toda a empresa e capacitando as partes interessadas em toda a organização com os dados certos no momento certo. 

Vamos nos aprofundar nas tendências que provavelmente surgirão no espaço de gerenciamento de dados em 2021.

Repensando o gerenciamento de dados para estratégia híbrida e multicloud

O aumento da arquitetura híbrida e multicloud, e os avanços contínuos em IA e ML, estão levando o mercado de gerenciamento de dados a evoluir constantemente com desafios, oportunidades e estratégias intensificadas. A parceria recente entre dois gigantes da tecnologia, IBM e SAP, explica o movimento das organizações em direção à jornada de nuvem híbrida.

A adoção da nuvem aumentou drasticamente nos últimos anos, com 2020 acelerando ainda mais a tendência, em meio à pandemia de COVID-19. O crescimento do mercado de serviços de infraestrutura em nuvem disparou no terceiro trimestre, com a pandemia atuando como um catalisador, impulsionando a demanda online. As empresas começaram a mover cada vez mais suas cargas de trabalho e dados para a nuvem, ao mesmo tempo preferindo múltiplos ambientes de nuvem em vez de um único provedor de nuvem. 

À medida que as empresas aceleram sua migração para a nuvem, elas estão implementando cada vez mais uma estratégia multicloud. 93% das empresas têm uma estratégia multicloud e 87% têm uma estratégia de nuvem híbrida, de acordo com o Relatório do Estado da Nuvem 2020 da Flexera.

Uma estratégia multicloud permite que as organizações mantenham um ambiente de nuvem híbrida que oferece uma combinação de segurança e capacidades especializadas, como capacidades integradas de ML. As cargas de trabalho e dados mais focados em segurança podem ser mantidos na nuvem privada, enquanto dados e aplicativos regulares podem ser executados em redes de nuvem pública mais econômicas. Este tipo de infraestrutura está se mostrando um modelo bem-sucedido para as organizações, pois oferece um rico conjunto de opções de nuvem que ajuda tanto a otimizar os retornos sobre os investimentos em nuvem quanto a reduzir o bloqueio de fornecedores.

Um dos principais desafios que surgem com o aumento da adoção de multicloud ou nuvem híbrida é o gerenciamento de dados em vários sistemas e locais dentro das organizações. As empresas se verão em algum lugar entre estar 100% no local e na nuvem no espectro de implantação.

Em um cenário de nuvem híbrida em tempo real, a maioria das organizações usará uma mistura de implantação multicloud e no local. Para superar os desafios relacionados a este cenário em evolução, as organizações adotarão plataformas de gerenciamento de dados híbridas de ponta a ponta para oferecer maior visibilidade e controle sobre seus dados em ambientes de nuvem, híbridos e no local, garantindo segurança de dados e governança.

Gigantes no espaço de gerenciamento de dados, como a IBM define uma plataforma moderna de gerenciamento de dados híbrida como aquela que deve garantir acessibilidade completa, independentemente da fonte ou formato, suportar várias opções de implantação, eliminar restrições e democratizar o acesso aos dados, e abraçar o poder da análise inteligente com ML embutido.

Decifrando a tecnologia emergente no gerenciamento de dados: data fabric

Os dados não residem mais em um único ambiente; estão espalhados por ambientes no local e na nuvem, o que indica que as empresas estão se movendo para um mundo híbrido. Com o crescimento exponencial nos formatos, fontes e implantações de dados em organizações, as empresas estão constantemente procurando maneiras de otimizar da melhor forma os ativos de dados que vivem dentro dos sistemas legados existentes no local.

Data fabric pode ser pensado como um tecido que é esticado sobre um grande espaço que conecta múltiplos locais, tipos e fontes de dados, com métodos para acessar esses dados. A tecnologia de data fabric é projetada para resolver complexidades relacionadas ao gerenciamento de disparidade de dados em ambientes no local e na nuvem por meio de uma única plataforma unificada.

Data fabric é um termo emergente na indústria de tecnologia de dados. Organizações como a Cinchy, uma empresa de colaboração de dados com sede em Toronto, estão tentando educar os fornecedores sobre o potencial dessa tecnologia. A empresa também garantiu recentemente uma rodada de financiamento Série A para apoiar a crescente demanda por tecnologia de data fabric. O foco dessas empresas é criar um ambiente de dados que forneça acesso centralizado por meio de uma visão unificada dos dados de uma organização que herda restrições de acesso e governança, independentemente do formato ou localização dos dados.

A tecnologia de colaboração de dados aplicada em um data fabric permite que os usuários acelerem e simplifiquem processos intensivos de ETL conectando-se facilmente a diferentes fontes de dados e eliminando o tempo gasto movendo e copiando dados entre aplicativos por meio de uma arquitetura interconectada. Profissionais de dados acreditam que, com dados cada vez mais distribuídos, dinâmicos e diversos, as empresas precisam de acesso e compartilhamento de dados sem atritos, e isso vai impulsionar o aumento da tecnologia de data fabric.

Organizações continuam a adotar IA e ML para impulsionar estratégias de gerenciamento de dados

Gerenciamento de dados aumentado (ADM)

Cientistas de dados e engenheiros de dados passam a maior parte do tempo acessando, preparando e gerenciando dados manualmente. ADM é a aplicação de tecnologias de IA/ML na automação de tarefas manuais em processos de gerenciamento de dados. 

ADM ajudará as empresas a simplificar, otimizar e automatizar operações relacionadas à qualidade de dados, gerenciamento de metadados, gerenciamento de dados mestres, sistemas de gerenciamento de banco de dados, etc., tornando-os autoconfiguráveis e autotunáveis. Um mecanismo aumentado por IA/ML oferece recomendações inteligentes para profissionais de dados, permitindo que eles selecionem entre vários modelos pré-aprendidos de soluções para uma tarefa de dados específica. Automatizar tarefas manuais de dados dentro das organizações resultará em maior produtividade e maior democracia entre a comunidade de usuários de dados.

Aplicação de ADM em catálogos de dados

A necessidade de catálogos de metadados aumentados por ML continuará a crescer em 2021. Considerando como os conjuntos de dados estão cada vez mais amplos e distribuídos, há desafios significativos surgindo na inventariação e síntese dos dados para uso em toda a empresa. Hoje, buscar e rastrear a jornada dos dados está se tornando cada vez mais importante para análises eficazes.

Catálogos de dados de aprendizado de máquina foram vendidos como água em 2020 e essa tendência continuará a crescer. ML automatiza os aspectos mundanos de entender os dados e aplicar políticas, regras de negócios, tags e classificações em catálogos de dados. 

Proliferação de grafos de conhecimento

Bancos de dados de grafos são uma tecnologia relativamente antiga. Gigantes da tecnologia como Google, Facebook e Twitter têm usado grafos de conhecimento para entender seus clientes, decisões de negócios e linhas de produtos há anos. Grafos de conhecimento são compostos por um banco de dados de grafos subjacente para armazenar os dados e uma camada de raciocínio para buscar e derivar insights dos dados.

Este ano, a G2 viu um aumento de 119% na categoria de Bancos de Dados de Grafos e registrou o maior crescimento durante a pandemia. Pode-se inferir que os bancos de dados de grafos provaram ser uma ferramenta realmente valiosa na modelagem da disseminação do coronavírus. Organizações farmacêuticas como a AstraZeneca usaram algoritmos de grafos para encontrar pacientes que tinham tipos e padrões específicos de jornada, e depois encontrar outros que estavam próximos e semelhantes.

A capacidade dos grafos de conhecimento de desvendar e analisar relações complexas de dados heterogêneos para descobrir relações significativas aumentou a produtividade dos cientistas de dados. Também facilita a capacidade dos usuários de aprender continuamente e crescer organicamente com a ajuda de ontologias.

O grafo está se provando uma das maneiras mais rápidas de conectar dados, especialmente ao lidar com dados complexos ou grandes volumes de dados díspares. Implementar um grafo de conhecimento em combinação com algoritmos de IA e ML ajudará a instilar contexto e racionalidade nos dados. Principais casos de uso de processamento de grafos serão vistos em detecção de fraudes, análise de redes sociais e no espaço de saúde.

Principais conclusões

As organizações estão adotando cada vez mais estratégias multicloud e movendo suas cargas de trabalho e dados para a nuvem. Os dados serão armazenados em algum lugar entre o local e a nuvem. Gerenciar esses dados dispersos em várias fontes, formatos e implantações é um desafio que as organizações perceberão em 2021. Isso levará as empresas a reimaginar sua estratégia de gerenciamento de dados para adotar uma abordagem de gerenciamento de dados híbrida com o objetivo de conectar e gerenciar dados, independentemente de onde eles residam. 

As organizações serão vistas construindo plataformas de dados escaláveis alimentadas por tecnologia de IA/ML para atender ao cenário tecnológico em constante evolução.