Big Data: Definición, Ejemplos y Tipos

¿Qué tan grande es realmente grande?

¿Qué pasaría si un día te despiertas y encuentras un ejército de estegosaurios fuera de tu casa?

Correrías por tu vida. Pero, ¿dónde se esconderán ciertos negocios cuando se enfrenten a toneladas de big data?

En un día normal, un negocio está expuesto a diferentes variantes de conjuntos de datos complejos en nombre del big data. Puede ser tanto flujos de clics en su sitio web, "me gusta" y compartidos en redes sociales, o información dura como el tiempo de configuración de la máquina, el número de modelo de la máquina, el tipo de modelo y la información del motor. Organizar y etiquetar estos datos con software de big data es importante para hacer predicciones futuras de negocios.

Sea cual sea el tipo de datos, desde atraer tráfico en redes sociales, datos de ingeniería o datos duros como el costo de producción, tiempos de configuración y seguimiento de inventario, se pueden alimentar a algoritmos de aprendizaje automático de alto rendimiento en aplicaciones ERP para hacer que los productos funcionen sin problemas.

Para entender la magnitud del big data, primero necesitamos mirar su historia y cuán lejos hemos llegado en tan poco tiempo.

Historia del big data

La práctica de recopilar y almacenar grandes cantidades de información e intentar darle sentido a esa información ha existido durante siglos. Por ejemplo, la Oficina del Censo de EE. UU. comenzó a registrar datos de población en tarjetas perforadas en 1790, creando alrededor de 500 perforaciones al día. Avanzando 100 años, la "Máquina Tabuladora" procesaba información en estas tarjetas perforadas cientos de veces más rápido que los humanos.

Los primeros rastros del big data se pueden encontrar en el sector financiero. Con el crecimiento de los datos financieros durante la liberalización económica, muchas empresas financieras aprendieron a usar el big data a su favor. Números de riesgo, puntajes de crédito, estados de cuenta bancarios y libros mayores generales entraron en la categoría de big data, que se gestionaron utilizando bases de datos relacionales.

En 2005, aplicaciones de redes sociales como Facebook, Netflix y Twitter presentaron un nuevo ángulo al big data. Una gran cantidad de contenido de video ahora se transmitía en vivo y se distribuía a la audiencia para fomentar el compromiso. El compromiso social era una visión en tiempo real del comportamiento y sentimiento del consumidor, lo que llevó a la expansión del big data.

En marzo de 2009, Apache lanzó Cassandra, una base de datos No-SQL altamente escalable y multifuncional para gestionar, almacenar y recuperar big data. Fue diseñada para manejar grandes cantidades de datos a través de ERPs y servidores de commodities sin riesgo de fallos. Apache lanzó una segunda plataforma de gestión de bases de datos de código abierto, Hadoop,

Con el lanzamiento en 2011 de Hadoop por Apache, un poderoso marco de código abierto para almacenar grandes bases de datos y ejecutar aplicaciones. Hadoop es un entorno multi-nube que se sincroniza con entornos en la nube para proteger y asegurar el big data.

La Internet de las Cosas (IoT) revolucionó el big data en 2014. En un mundo conectado a internet, más empresas decidieron destinar gastos hacia el big data para reducir costos operativos, aumentar la eficiencia y desarrollar nuevos productos y servicios.

Ahora, el alcance del big data es casi infinito. Investigadores en dominios científicos utilizan datos en tiempo real para observar el consumo de electricidad, la contaminación, el tráfico y mucho más. Tecnologías emergentes como la inteligencia artificial y el aprendizaje automático están aprovechando el big data para la automatización futura y ayudando a los humanos a descubrir nuevas soluciones.

Estos hitos fueron posibles cuando el mundo decidió digitalizarse.

Seis V del big data

Nacido en el sector financiero y económico, el big data comenzó lentamente su renacimiento en otros sectores como el comercio electrónico, automotriz, cadena de suministro y logística. Principalmente, la ocurrencia del big data depende de seis factores influyentes.

1. Volumen

El big data se clasifica como un gran volumen de datos de baja densidad y no estructurados que necesitan ser tratados, programados y validados. Las organizaciones manejan terabytes, zettabytes y petabytes de datos de diferentes atributos como social, canales de consumidores, ingeniería, producto, aseguramiento de calidad, y así sucesivamente.

Hay muchos datos ahí fuera, una cantidad casi incomprensible. Según las últimas estimaciones, se generan, monitorean y consumen 328.77 millones de terabytes de datos cada día. Si pones este número en perspectiva, es como viajar a través de toda la galaxia de la Vía Láctea.

Si piensas que estos números son incomprensibles, échale un vistazo a esto; Un informe encargado por Seagate y realizado por IDC estima que para 2025, el universo digital alcanzará 163 zettabytes de datos o 163 billones de gigabytes.

2. Velocidad

La velocidad es la tasa a la que los datos se transmiten a través de redes móviles y LAN. Con el aumento de tecnologías como la Internet de las Cosas y la computación de borde 5G, los datos pueden transmitirse a través de grandes instalaciones. Se convierten en señales digitales y se transmiten a través de proveedores de protocolo de control de transmisión (TCP) o protocolo de internet (IP). El receptor convierte lo digital en analógico y lo escribe en disco o lo almacena en memoria.

La tasa a la que la Internet de las Cosas (IoT) está automatizando operaciones importantes en el mundo es asombrosa. Según un artículo de estadísticas de G2, 55.7 mil millones de dispositivos IoT conectados generarán casi 80 zettabytes de datos.

Me encantan las analogías. Así que para mí, el universo del big data se está expandiendo mucho como nuestro universo físico de estrellas, planetas, galaxias y materia oscura.

Las tecnologías de big data y los metadatos (datos sobre datos) emparejados con diferentes tipos de IA y aprendizaje automático se utilizarán a su máximo potencial para hacer del universo una máquina de autoasistencia.

3. Valor

El big data necesita ser altamente valioso para la causa del negocio. Cualquier flujo que generes necesita sincronizarse con tu implementación general de ERP. Estos datos responderán a todos tus problemas de negocio a largo plazo. Las bases de datos deben ser almacenables, compatibles con la nube, recuperables y compartibles con partes interesadas externas. Los datos son un camino complicado de recorrer. A veces, los datos valiosos pueden confundirse con valores atípicos debido a su forma no estructurada. Es imperativo derivar su valor completo para asegurarte de no perder ni un grano de datos valiosos. Esto se puede hacer a través de software de aprendizaje automático o entrenamiento cruzado de equipos de producto y datos.

El valor es la V más sencilla del big data. Pregunta: "¿Cómo podemos usar estos datos para extraer algo significativo para nuestros usuarios y el negocio?" El big data no aportará mucho valor si se analiza sin un propósito.

Confía en una fuente de atribución de datos confiable mientras recopilas datos para tu organización. Tus datos necesitan contar una historia sobre el valor de tu organización en el mercado de consumidores. La reciprocidad de los consumidores y su preferencia por tu marca en términos de cookies del sitio web, "me gusta", comentarios y compartidos es en lo que necesitas trabajar para predecir futuras tendencias de marca.

4. Veracidad

Conjuntos de datos de alta velocidad, alta calidad y altamente escalables solo se prefieren para tomar decisiones óptimas de negocio. Solo los datos altamente alcanzables y tangibles pueden ser alimentados como datos de entrada de entrenamiento y producir resultados significativos.

La veracidad se refiere a la precisión de los datos. No todos los datos son precisos o consistentes, y con el crecimiento del big data, se está volviendo más difícil determinar qué datos realmente aportan valor. Un buen ejemplo de datos inconsistentes son los datos de redes sociales, que a menudo son volátiles y tienden a ir en una dirección u otra. Los datos consistentes serían los pronósticos del tiempo, que son mucho más fáciles de predecir y rastrear.

5. Variabilidad

El rasgo más interesante del big data es que es variable. Un consumidor puede preferir una mercancía pero cambiar a una compra completamente diferente al siguiente segundo. Los modelos de suscripción o licencias en internet cambian según el interés del consumidor. Determinar qué tan rápido gira tu big data es una gran manera de aprender el comportamiento de la marca.

Por ejemplo, si estás prediciendo tendencias a partir del historial médico de un paciente, un dato puede alinearse con las sales prescritas para un conjunto actual de síntomas que están enfrentando. El historial médico puede ser una composición de n número de sales clínicas que el paciente podría haber consumido a lo largo de los años. Para estudiar el curso del próximo posible diagnóstico, necesitas procesar y tratar los datos antiguos. La variabilidad de los datos médicos ayuda a crear nanobots, una era creciente de la ciencia médica y de la salud hoy en día.

6. Variedad

La variedad del big data se refiere a los datos estructurados, no estructurados y semi-estructurados que se almacenan en lagos de datos y almacenes. Pueden ser enteros, matrices, cadenas, flotantes, dobles o booleanos. En el pasado, los datos podían recopilarse de bases de datos y hojas de cálculo, pero ahora una gran marea de tráfico en redes sociales ha traído tipos de datos heterogéneos. "Me gusta", comentarios, compartidos, descuentos, participación, SMS, formatos de video y audio son algunos ejemplos de volúmenes alarmantes de datos sociales que necesitan procesamiento adicional para derivar valor.

¿Cómo funciona el big data?

El mercado del big data está acelerándose a velocidades realmente asombrosas. En 2014, el big data era solo un mercado de $18.3 mil millones. Según la encuesta de Markets and Markets, con el aumento del almacenamiento en la nube y la conectividad de red, el big data vería su mayor salto en volumen de datos. Los ingresos asociados con el big data fueron de $162.1 mil millones en 2021 y se espera que alcancen $273.4 mil millones para 2026 con un CAGR del 11.0%.

Una de las principales razones de esta aceleración puede estar ligada a la Internet de las Cosas (IoT). Para bien o para mal, los humanos están constantemente comprometidos con dispositivos conectados a internet o automatización remota que contribuyen al flujo constante de datos. Se espera que el tamaño del mercado de IoT alcance $650.5 mil millones de dólares para 2026, creciendo a un ritmo constante cada año.

Los dispositivos que poseemos hoy, como teléfonos inteligentes, laptops, tabletas, televisores inteligentes, consolas de juegos, relojes inteligentes, tu Amazon Echo e incluso vehículos de autoasistencia como el piloto automático de Tesla, se estandarizarán en el futuro. Tecnologías como reconocimiento de objetos y realidad mixta teletransportarían fácilmente a un usuario entre entornos reales y digitales.

El hardware en sí permite formas más eficientes de compartir datos, pero el verdadero volumen del big data proviene de las formas en que interactuamos con estos dispositivos. Por ejemplo, un dispositivo portátil, como un reloj inteligente, puede recopilar todo tipo de datos sobre ti. Este dispositivo puede rastrear la frecuencia cardíaca, los pasos, la calidad del sueño, la presión arterial y los niveles de SPO2.

La fácil disponibilidad de datos también lleva a la utilización cruzada entre industrias. La presión biométrica utilizada para pronosticar condiciones climáticas puede tomarse como variables por los automóviles para diseñar autos a prueba de tornados. Neuronas radiactivas utilizadas para diseñar quimioterapia u otras inmunoterapias también podrían ser un medicamento farmacéutico que un paciente puede consumir como medicación indolora.

A medida que el big data se despliega y extiende su manto, más algoritmos de aprendizaje automático y aprendizaje profundo lo utilizarán para hacer predicciones rápidas, eficientes y precisas. Su fácil disponibilidad puede destacarse como un verdadero desafío para el futuro de la humanidad.

Tipos de big data

Sabemos que la afluencia de más dispositivos, plataformas y opciones de almacenamiento aumentará no solo el volumen de datos, sino también las formas en que se pueden almacenar, entrenar y producir.

Pero no todos los datos se crean iguales. Con esto quiero decir que la forma en que almacenarás y buscarás un número de identificación en una base de datos relacional es completamente diferente a extraer números de tráfico para contenido de video.

Un tipo de datos es lo que llamamos estructurado, y otro se llama no estructurado. Pero también hay un tercer tipo de datos llamado semi-estructurado. Examinemos las diferencias entre cada tipo de datos.

Datos estructurados

Los datos estructurados, en su mayor parte, están altamente organizados en una base de datos relacional. Los datos relacionales se almacenan en forma de consultas SQL (lenguaje de consulta estructurado). Si necesitas acceder a una pieza de información dentro de la base de datos, podrías hacerlo fácilmente con una rápida "select*from query".

Los datos estructurados son en realidad bastante similares al lenguaje de máquina, o el único lenguaje que una computadora es capaz de entender. Este tipo de datos se sienta ordenadamente en un campo fijo dentro de un registro o archivo. Constituye la primera capa de la arquitectura de red de bases de datos, donde los datos se gestionan y almacenan ordenadamente en grandes bases de datos estructuradas para crear tablas de características.

Uno de los ejemplos más comunes de datos estructurados es algo que verías en una hoja de cálculo. Si estás al teléfono con un representante de préstamos estudiantiles y te piden tu identificación personal, lo más probable es que estén trabajando con datos estructurados. Estas son variables dependientes de una hoja de Excel utilizadas para crear relaciones de datos y valores predichos para análisis de regresión.

Datos no estructurados

Sería agradable si todos los datos pudieran estar ordenadamente estructurados, pero los datos generados por humanos como fotos en redes sociales, mensajes de voz, mensajes de texto y más son altamente no estructurados y no cumplen con un solo tipo de datos.

De hecho, el 80-90 por ciento de todos los datos son no estructurados, lo que tiene sentido por qué solo hemos podido "etiquetar" el 3 por ciento de los datos del mundo. Pero, ¿a qué se refiere no estructurado? Significa datos que no son fácilmente identificables por el lenguaje de máquina y no se ajustan a una base de datos estándar o hoja de cálculo.

Te sorprendería, pero la mayoría de los datos no estructurados son en realidad pesados en texto. Puede ser una serie de comentarios hechos en una encuesta de datos, flujos de trabajo de descuentos automatizados que se ejecutan en un sitio web de comercio electrónico y marketing basado en cuentas para cada preferencia del consumidor. Cualesquiera que sean las métricas, es difícil disecarlas para medir el interés del consumidor y generar ingresos potenciales.

También hay datos no estructurados generados por máquinas, que son más fáciles de procesar para las máquinas. Un ejemplo sería imágenes satelitales que capturan pronósticos del tiempo o una marca que ejecuta planes de suscripción mensuales específicos para los que un consumidor puede optar.

Datos semi-estructurados

El tercer tipo de datos se encuentra en algún lugar entre estructurado y no estructurado, también conocido como datos semi-estructurados.

Cosas como mapas de sitio XML, feeds RSS o correos electrónicos son ejemplos de datos semi-estructurados porque, aunque contienen etiquetas como fechas, horas, información del sitio web, metadatos e información del remitente/receptor, su lenguaje no está estructurado. Estos documentos contienen información textual sobre atributos básicos de cualquier sitio web, como registro de dominio, puntuación de dominio, encabezados y subencabezados, URL (no-follow y do-follow), archivos esenciales para el rastreador de Google, y así sucesivamente.

Tipos de análisis de big data

El análisis de big data es una forma de extraer características y relaciones de datos de grandes volúmenes de datos, clasificarlos según características y usarlos en módulos de entrenamiento para extraer salidas rápidas y precisas.

Las empresas hoy en día utilizan software de inteligencia empresarial como Power BI para analizar decisiones importantes, gestionar fuentes de datos y tomar acciones de soporte de proveedores. Las quejas de proveedores y los datos de soporte también pueden abordarse de manera coherente con Power BI, que proporciona una visión inmersiva de las deficiencias y fallos del producto.

El análisis de big data también examina más datos en bruto para descubrir patrones ocultos, tendencias del mercado y preferencias del cliente para hacer predicciones informadas.

Análisis descriptivo

La técnica de análisis descriptivo crea informes simples, gráficos y otras visualizaciones de datos que permiten a las empresas entender qué sucedió en un momento particular. Es importante notar que el análisis descriptivo solo se refiere a eventos que ocurrieron en el pasado.

Se repurposean tus datos en distribuciones de probabilidad, niveles alfa, gráficos de confianza y gráficos de barras para determinar qué acción es influyente y qué hipótesis se mantiene verdadera en el análisis de datos.

Análisis diagnóstico

La técnica de análisis diagnóstico ofrece una visión más profunda de un problema específico, mientras que el análisis descriptivo es más una visión general. Las empresas pueden usar el análisis diagnóstico para entender por qué ocurrió un problema. Este análisis es un poco más complejo e incluso puede incorporar aspectos de IA o aprendizaje automático.

Las empresas realizan diagnósticos de salud completos y monitoreo de modelos de aprendizaje automático para verificar su aplicabilidad en diferentes aplicaciones empresariales. Debido a las caídas originales y el consumo de recursos en la etapa de diagnóstico, las empresas están optando por la operacionalización del aprendizaje automático de MLOps para ejecutar una automatización completa de ML que ahorra tiempo, ancho de banda, costo y recursos.

Análisis predictivo

El análisis predictivo es una abreviatura para el algoritmo de aprendizaje automático, ya que convierte las tendencias esperadas en datos observados. Es el lenguaje utilizado por los analistas de negocios para describir el descubrimiento de tendencias de datos, conjuntos de datos y técnicas decisivas para hacer predicciones empresariales.

El análisis predictivo es una forma de análisis avanzado que detecta tendencias y anomalías en los datos para equilibrar las salidas. Por ejemplo, en la previsión de desastres, el análisis predictivo puede medir la temperatura de las placas tectónicas, la presión biométrica y otros factores relacionados para predecir la ocurrencia de terremotos.

Al emparejar algoritmos predictivos avanzados con IA y aprendizaje automático, las empresas pueden ser capaces de predecir lo que probablemente sucederá a continuación. Poder dar una respuesta informada sobre el futuro puede aportar mucho valor a un negocio. El análisis predictivo es útil para la previsión de la demanda, la planificación de riesgos y la recuperación de desastres.

Análisis prescriptivo

La técnica de análisis prescriptivo es extremadamente compleja, por lo que aún no se incorpora ampliamente. Mientras que otras herramientas analíticas pueden usarse para sacar tus propias conclusiones, el análisis prescriptivo te proporciona respuestas reales. Se necesita un alto nivel de madurez en el aprendizaje automático y ancho de banda de infraestructura para estos informes.

Ejemplos de big data

Los datos están entrelazados en casi todas las partes de nuestra sociedad hoy en día. Ya sea un usuario actualizando su estado de Facebook a través de un dispositivo móvil, o una empresa aprovechando los datos para mejorar la funcionalidad del producto, todos estamos contribuyendo al universo del big data.

En un informe patrocinado por Tableau por la Unidad de Inteligencia de The Economist, el 76 por ciento de los encuestados dijo que el análisis de datos les ayuda a tomar mejores decisiones. Más empresas impulsadas por datos en todas las industrias están emergiendo constantemente. Aquí está lo que algunas industrias planean hacer con todos estos datos.

Telecomunicaciones

Con miles de millones de usuarios móviles en todo el mundo, las telecomunicaciones están maduras para la innovación del big data. Usando análisis de big data, los proveedores de servicios podrían recuperarse de una interrupción de la red más rápido al identificar su causa raíz con datos en tiempo real. El análisis también puede aplicarse para descubrir formas más precisas y personalizadas de facturar a los clientes. Los datos de sentimiento de las redes sociales, los datos geoespaciales y otros datos móviles pueden usarse para ofrecer opciones de medios y entretenimiento dirigidas.

Servicios financieros

Más bancos están alejándose de ser centrados en el producto y se están enfocando en ser centrados en el cliente. El big data puede ayudar a segmentar las preferencias del cliente a través de un enfoque de comunicación omnicanal. El uso más obvio del big data en los servicios financieros es la detección y prevención de fraudes. El análisis de big data y el aprendizaje automático pueden estudiar las tendencias de un cliente y distinguirlas de actividades o comportamientos inusuales en la cuenta.

Los tres casos de uso más populares del big data en los servicios financieros y bancarios son:

• Crecimiento explosivo de datos
• Detección de fraudes y riesgos
• Regulaciones de impuestos sobre ventas y cumplimiento

Salud

Mencionamos cómo los datos de relojes inteligentes podrían usarse para atención personalizada al paciente y tarifas de seguro de salud personalizadas. El análisis predictivo puede tener aplicaciones fenomenales en la industria de análisis de salud, permitiendo un diagnóstico más temprano de enfermedades y formas indoloras de proporcionar tratamiento. Echar un vistazo al historial de un paciente anterior, el historial de alergias y enfermedades, y los ciclos de tratamiento puede diseñar un diagnóstico prolongado para un paciente con mejores posibilidades de recuperación de una enfermedad.

Mira cómo los nanobots que nadan en la sangre inyectados en cápsulas médicas viajarán a través de un tracto endoscópico de humanos y matarán células afectadas.

                                                                                 Fuente: G2

Educación

Un modelo educativo no se adapta a todos los estudiantes. Algunos son aprendices visuales; otros son aprendices auditivos. Algunos prefieren en línea, mientras que otros prosperan durante las conferencias en persona. El análisis de big data puede usarse para construir modelos de aprendizaje más personalizados para todos los estudiantes. El big data también se usa en los campus universitarios para reducir las tasas de deserción al identificar factores de riesgo para los estudiantes que se quedan atrás en sus clases.

El big data construye entornos de aprendizaje experiencial para entrenar a los estudiantes en tiempo real al combinar entornos físicos y digitales en una simulación 3D. Mira este ejemplo:

                                                                               Fuente: NTLTP

Futuro del big data

El mercado del big data ha experimentado un crecimiento masivo por una razón. Más empresas están dándose cuenta de la importancia de adoptar un enfoque de marketing basado en datos y un enfoque empresarial general no solo para procesos internos, sino también para mejorar las experiencias de sus clientes.

Tecnologías emergentes como la IA, el aprendizaje automático y el PLN utilizan el big data para abrir camino a nuevos productos, experiencias de usuario, eficiencias de costos y más.

Entonces, ¿a dónde vamos desde aquí? ¿Cuál es el futuro del big data? Aunque la imagen no está completamente clara, tenemos algunas ideas.

Basándonos en la investigación de IDC, podemos predecir que el IoT está impulsando la mayor parte de este crecimiento. Para 2025, la base total de unidades IoT instaladas alcanzará 30.9 mil millones de unidades, un aumento masivo desde 13.8 mil millones de unidades en 2021. La automatización del hogar y la red alcanzará un nuevo máximo, uniendo a la fuerza laboral global en una hiperesfera de datos compartidos.

Una de las principales razones de este aumento en las interacciones es el auge del reconocimiento de voz y la interfaz de usuario conversacional. ¿Disfrutas charlando con Siri o Alexa? Buenas noticias: prepárate para hacer muchos más de estos amigos en un futuro cercano.

Pero el IoT no solo aumentará las interacciones usuario-dispositivo; también jugará un papel crucial en las interacciones máquina a máquina (M2M). Los sensores serán una tecnología impulsora que vincula las máquinas a internet. Usaremos datos de interacciones M2M para monitorear el impacto humano en el medio ambiente, incendios forestales, terremotos y otras fuerzas de la naturaleza.

Si bien el big data seguirá siendo crucial para ventas, marketing y desarrollo de productos, las apuestas son más altas cuando confiamos en los datos para cosas como autos autónomos o transporte masivo automatizado. Para que este sueño se haga realidad, la veracidad de los datos de diferentes estrategias empresariales y planes de oportunidad necesita ser capturada, analizada y traducida en decisiones.

"Grande" es un eufemismo para los datos

La aparición del big data ha puesto la centralidad del cliente en primer plano. El big data está ayudando a las empresas a tomar decisiones más rápidas y calculadas. Usando análisis de big data, podemos predecir dónde estarán los problemas futuros y cómo abordarlos con soluciones ágiles. Esto seguramente nos ha puesto en una hoja de ruta de innovación acelerada.

Aprende cómo el almacenamiento de datos aborda las quejas de los clientes y las escalaciones de la mesa de ayuda de manera mucho más eficiente que los sistemas tradicionales de gestión de consultas.

Este artículo fue publicado originalmente en 2018. El contenido ha sido actualizado con nueva información.