Com o advento da automação, o volume, tamanho e velocidade dos dados estão em constante evolução. A maior preocupação que as equipes de dados enfrentam agora é gerenciar essa enorme quantidade de dados. O aumento da quantidade de dados traz a necessidade de armazená-los. O processo de armazenamento de dados consiste em três etapas básicas: extrair, transformar e carregar, geralmente realizadas usando ferramentas ETL.

As ferramentas ETL têm inúmeros usos comerciais. Tradicionalmente, os dados eram mais estáticos e a arquitetura do sistema era monolítica. O ETL era realizado em lotes, e o processo levava de meio a um dia inteiro para ser concluído. Um dos primeiros casos de uso do ETL foi a criação de relatórios analíticos. Recentemente, os analistas de dados descobriram que os dados são operacionais, como os dados obtidos de transações do dia a dia.

ETL vs. ELT vs. Reverse ETL

A atual arquitetura de data warehouse realiza o processo ETL em três etapas simples. Os dados presentes em várias formas, como arquivos planos, bancos de dados e serviços web, são extraídos de várias fontes e, em seguida, passados para transformação ou processamento. Nesta etapa, os dados são limpos e processados, após o que são carregados no armazém. O processo de ETL termina em um data mart que está presente no topo do data warehouse.

O ELT, por outro lado, envolve os mesmos processos, mas em uma sequência diferente. Os dados são extraídos de várias fontes e, em seguida, carregados no armazém. Os dados são então processados de acordo com os diferentes usos comerciais antes de serem utilizados.

Reverse ETL é uma reversão exata do processo ETL. A necessidade de visibilidade consistente dos dados dos clientes em todos os sistemas deu origem ao surgimento do reverse ETL. Esta ferramenta é usada para enviar dados em tempo real para vários sistemas SaaS. Por exemplo, enviar dados do armazém para o Salesforce para acompanhar a lista de todos os clientes de alto perfil.

Fonte: Deloitte

ETL/ELT e Reverse ETL são dois lados da mesma moeda—um é usado para integração de dados, e o outro para operações de dados.

ELT está ganhando popularidade

Tradicionalmente, a abordagem aos bancos de dados sempre foi "schema on write"—os pontos de dados tinham que receber um modelo antes do armazenamento. Quando os usuários queriam recuperar dados, eles já estavam em um formato gerenciável. Essa prática era para manter a consistência. No entanto, com o tempo e a quantidade de dados, isso se mostrou restritivo. Mesmo dados ligeiramente não estruturados eram rejeitados porque não se alinhavam com o modelo. As ferramentas ETL seguiam o "schema on write". Especialistas em TI perceberam que dados brutos ou menos estruturados também eram valiosos para a organização. E para extrair valor deles, era necessário modificar a abordagem aos bancos de dados. Assim surgiu o "schema on read".

O "schema on read" permite que dados não estruturados e estruturados sejam armazenados no sistema e formatados sempre que recuperados. As ferramentas ELT seguem essa abordagem para tornar os dados úteis e são mais flexíveis de usar. Inicialmente, os dados costumavam ser armazenados em servidores locais; assim, armazenar dados era muito mais caro do que é hoje. Muitas ferramentas ELT e ETL hoje trabalham em conjunto com data warehouses em nuvem que se dimensionam automaticamente com volumes de dados. Com a entrada dos data warehouses em nuvem, o armazenamento de dados é possível a baixos custos. As ferramentas ETL e ELT são meios de integração de dados usando abordagens diferentes.

O reverse ETL substituirá o ETL/ELT?

Agora que sabemos exatamente o que as ferramentas ETL e ELT fazem, é hora de mergulhar mais fundo no reverse ETL. Algumas pessoas podem perguntar, se já existem duas abordagens para armazenar dados no armazém, por que ir na direção oposta? É para substituir o ETL e o ELT?

A resposta curta é não. As empresas têm muitos dados que ficam no armazém e permanecem não utilizados. Eles precisam ser tornados visíveis para saber que valor têm a oferecer e serem ativados. Enquanto os cientistas de dados construíram Plataformas de Dados de Clientes (CDPs) que integram todos os dados dos clientes sob um único teto, isso só pode ser uma solução parcial para descobrir os dados ocultos. É aqui que as empresas precisam do reverse ETL.

Enquanto as ferramentas ETL e ELT fornecem às funções comerciais dados limpos e processados, é crucial entender se elas podem realmente usar esses dados para tomar decisões. Por exemplo, enquanto as equipes de marketing podem armazenar dados no Hubspot para campanhas, o reverse ETL ajuda essas equipes a acessar dados relacionados às campanhas para tornar a segmentação mais específica. Da mesma forma, um banco de dados de clientes no Salesforce ajuda as equipes de vendas a direcioná-los com mensagens específicas. Muitas ferramentas de reverse ETL movem dados de data warehouses para vários CRMs para que diferentes funções comerciais acessem esses dados e tomem decisões. O reverse ETL torna os dados mais operacionais e os enriquece para torná-los relevantes para os clientes.

As ferramentas de reverse ETL ajudam a quebrar silos e dão a várias equipes visibilidade dos dados necessários, cumprindo a ativação de dados. A análise operacional é uma abordagem emergente para utilizar dados; é exatamente isso que o reverse ETL faz. As empresas devem tirar os dados dos silos centralizados e colocá-los em várias funções comerciais.

A recém-criada categoria de Reverse ETL no G2 cresceu em tráfego desde sua criação. Os compradores demonstraram interesse tanto em ferramentas ETL quanto em reverse ETL, o que é evidente pelo tráfego no G2. O tráfego para a categoria Reverse ETL no G2 viu um crescimento de mais de 100% desde o início. O tráfego para a página da categoria Ferramentas ETL no G2 está crescendo de forma constante—32% desde julho de 2022. Está claro que as empresas estão interessadas em experimentar a combinação das ferramentas, o que vemos como uma tendência futura no espaço ETL.

O futuro das ferramentas ETL

O processo ETL tem sido usado desde os antigos métodos de data warehousing, e esses mudaram ao longo do tempo. O ELT é a abordagem moderna para armazenar dados usando recursos escaláveis, enquanto o reverse ETL enriquece sistemas externos com dados limpos usando ETL/ELT.

Uma combinação de ETL/ELT e reverse ETL pode ajudar as organizações a obter melhores insights dos dados que obtêm. Equipes centradas em operações podem acessar esses dados limpos para executar novas campanhas de vendas e marketing e copiar os dados para os aplicativos.

Editado por Jigmee Bhutia