Con la llegada de la automatización, el volumen, tamaño y velocidad de los datos están en constante evolución. La mayor preocupación que enfrentan ahora los equipos de datos es gestionar esta enorme cantidad de datos. El aumento de la cantidad de datos genera la necesidad de almacenarlos. El proceso de almacenamiento de datos consta de tres pasos básicos: extraer, transformar y cargar, generalmente realizados utilizando herramientas ETL.

Las herramientas ETL tienen numerosos usos empresariales. Tradicionalmente, los datos eran más estáticos y la arquitectura del sistema era monolítica. El ETL se realizaba en lotes y el proceso tardaba de medio día a un día completo en completarse. Uno de los primeros casos de uso del ETL fue crear informes analíticos. Recientemente, los analistas de datos descubrieron que los datos son operativos, como los datos obtenidos de transacciones diarias.

ETL vs. ELT vs. ETL inverso

La arquitectura actual del almacén de datos lleva a cabo el proceso ETL en tres pasos simples. Los datos presentes en diversas formas como archivos planos, bases de datos y servicios web se extraen de múltiples fuentes y luego se pasan para su transformación o procesamiento. En este paso, los datos se limpian y procesan, después de lo cual se cargan en el almacén. El proceso de ETL termina en un data mart que está presente en la parte superior del almacén de datos.

ELT, por otro lado, involucra los mismos procesos pero en un orden diferente. Los datos se extraen de varias fuentes y luego se cargan en el almacén. Los datos se procesan según los diferentes usos empresariales antes de utilizarlos.

ETL inverso es una reversión exacta del proceso ETL. La necesidad de una visibilidad consistente de los datos de los clientes en todos los sistemas dio lugar a la aparición del ETL inverso. Esta herramienta se utiliza para enviar datos en tiempo real a varios sistemas SaaS. Por ejemplo, enviar datos desde el almacén a Salesforce para hacer un seguimiento de la lista de todos los clientes de alto perfil.

Fuente: Deloitte

ETL/ELT y ETL inverso son dos caras de la misma moneda: uno se utiliza para la integración de datos y el otro para las operaciones de datos.

ELT está ganando popularidad

Tradicionalmente, el enfoque hacia las bases de datos siempre ha sido esquema en escritura: los puntos de datos debían tener una plantilla antes de ser almacenados. Cuando los usuarios querían recuperar datos, ya estaban en un formato manejable. Esta práctica era para mantener la consistencia. Sin embargo, con el tiempo y la cantidad de datos, resultó ser restrictiva. Incluso los datos ligeramente no estructurados eran rechazados porque no se alineaban con la plantilla. Las herramientas ETL seguían el esquema en escritura. Los expertos en TI se dieron cuenta de que los datos en bruto o menos estructurados también eran valiosos para la organización. Y para extraer valor de ellos, era necesario modificar el enfoque hacia las bases de datos. Así surgió el esquema en lectura.

El esquema en lectura permite que tanto los datos no estructurados como los estructurados se almacenen en el sistema y se formateen cuando se recuperen. Las herramientas ELT siguen este enfoque para hacer que los datos sean útiles y son más flexibles de usar. Inicialmente, los datos solían almacenarse en servidores locales; por lo tanto, almacenar datos era mucho más costoso de lo que es hoy. Muchas herramientas ELT y ETL hoy en día trabajan de la mano con almacenes de datos en la nube que se escalan automáticamente con los volúmenes de datos. Con la entrada de los almacenes de datos en la nube, el almacenamiento de datos es posible a bajos costos. Las herramientas ETL y ELT son medios de integración de datos utilizando diferentes enfoques.

¿Reemplazará el ETL inverso al ETL/ELT?

Ahora que sabemos exactamente qué hacen las herramientas ETL y ELT, es hora de profundizar en el ETL inverso. Algunas personas pueden preguntar, si ya hay dos enfoques para almacenar datos en el almacén, ¿por qué ir en reversa? ¿Es para reemplazar el ETL y el ELT?

La respuesta corta es no. Las empresas tienen grandes cantidades de datos que yacen en el almacén y permanecen sin usar. Necesitan hacerse visibles para saber qué valor tienen para ofrecer y activarse más. Mientras que los científicos de datos han construido Plataformas de Datos de Clientes (CDPs) que integran todos los datos de clientes bajo un mismo techo, esto solo puede ser una solución parcial para desenterrar los datos ocultos. Aquí es donde las empresas necesitan el ETL inverso.

Mientras que las herramientas ETL y ELT proporcionan a las funciones empresariales datos limpios y procesados, es crucial entender si realmente pueden usar estos datos para tomar decisiones. Por ejemplo, mientras que los equipos de marketing pueden almacenar datos en Hubspot para campañas, el ETL inverso ayuda a estos equipos a acceder a datos relacionados con las campañas para hacer que la segmentación sea más específica. De manera similar, una base de datos de clientes en Salesforce ayuda a los equipos de ventas a dirigirse a ellos con mensajes específicos. Muchas herramientas de ETL inverso mueven datos de almacenes de datos a varios CRM para que diferentes funciones empresariales accedan a estos datos y tomen decisiones. El ETL inverso hace que los datos sean más operativos y los enriquece para hacerlos relevantes para los clientes.

Las herramientas de ETL inverso ayudan a romper silos y dan a varios equipos visibilidad de los datos requeridos, cumpliendo con la activación de datos. La analítica operativa es un enfoque emergente para utilizar datos; eso es exactamente lo que hace el ETL inverso. Las empresas deben sacar los datos de los silos centralizados y ponerlos en varias funciones empresariales.

La categoría recién creada de ETL inverso en G2 ha crecido en tráfico desde su creación. Los compradores han mostrado interés tanto en las herramientas ETL como en las de ETL inverso, lo cual es evidente por el tráfico en G2. El tráfico a la categoría de ETL inverso en G2 ha visto un crecimiento de más del 100% desde su inicio. El tráfico a la página de categoría de herramientas ETL en G2 está creciendo constantemente: 32% desde julio de 2022. Está claro que las empresas están interesadas en probar la combinación de las herramientas, lo que vemos como una tendencia futura en el espacio ETL.

El futuro de las herramientas ETL

El proceso ETL se ha utilizado desde los antiguos métodos de almacenamiento de datos, y estos han cambiado con el tiempo. ELT es el enfoque moderno para almacenar datos utilizando recursos escalables, mientras que el ETL inverso enriquece los sistemas externos con datos limpios utilizando ETL/ELT.

Una combinación de ETL/ELT y ETL inverso puede ayudar a las organizaciones a obtener mejores conocimientos de los datos que obtienen. Los equipos centrados en operaciones pueden acceder a estos datos limpios para ejecutar nuevas campañas de ventas y marketing y copiar los datos a las aplicaciones.

Editado por Jigmee Bhutia