Diseñar estrategias para rutas de datos de acceso frecuente, medio o esporádico

  • 4 minutos

Tradicionalmente, los datos se almacenaban en un entorno local. No se hacía ningún tipo de consideración acerca de cómo se usaban los datos o sobre su ciclo de vida. En la nube, los datos se pueden almacenar en función del acceso, el ciclo de vida y otros requisitos de cumplimiento. En esta unidad, examinaremos las rutas de datos de acceso frecuente, medio y esporádico, y consideraremos las posibles opciones para almacenar y calcular los datos.

Ruta de datos de acceso medio

Una ruta de datos de acceso medio admite el análisis de datos a medida que fluye a través del sistema. El flujo de datos se procesa casi en tiempo real. Los datos se guardan en el almacenamiento intermedio y se insertan en los clientes de análisis.

  • La plataforma Azure proporciona muchas opciones para procesar los eventos, y una opción popular es Azure Stream Analytics.
  • Stream Analytics puede ejecutar análisis complejos a escala para ventanas de saltos de tamaño constante, ventanas deslizantes y ventanas de salto. El servicio admite la ejecución de agregaciones de flujos y la combinación de orígenes de datos externos. Para un procesamiento complejo, el rendimiento se puede ampliar mediante el procesamiento en cascada de varias instancias de Azure Event Hubs, trabajos de Stream Analytics y Azure Functions.
  • El almacenamiento intermedio se puede implementar con varios servicios en la plataforma Azure, como Azure SQL Database y Azure Cosmos DB.

Escenario empresarial

Vamos a explorar un escenario común para la agregación de datos de dispositivos IoT. Los dispositivos pueden enviar datos, pero no generar ningún resultado ni datos de análisis. Esta situación resalta un desafío común: intentar extraer información de los datos de IoT. Los datos que busca no están disponibles en los datos que recibe. Debe deducir el uso mediante la combinación de los datos que recibe con otros orígenes de datos. Posteriormente, se aplican reglas para determinar si la máquina genera resultados. Además, las reglas pueden cambiar de empresa a empresa, cuando tienen expectativas diferentes para el análisis o los resultados.

Ruta de datos de acceso esporádico

La ruta de datos de acceso medio es donde se produce el procesamiento de la secuencia para descubrir patrones a lo largo del tiempo. Sin embargo, es posible que tenga que calcular el uso durante algún período de tiempo en el pasado. También es posible que necesite diferentes áreas dinámicas y agregaciones, y que necesite fusionar estos resultados con los resultados de la ruta de datos de acceso medio para presentar una vista unificada al usuario. Una ruta de datos de acceso esporádico puede ayudar a realizar estas tareas.

  • Una ruta de datos de acceso esporádico consta de una capa por lotes y capas de servicio que proporcionan una vista a largo plazo del sistema.
  • La capa por lotes crea vistas de agregados calculados previamente para permitir respuestas rápidas a consultas durante largos períodos. La plataforma Azure proporciona diversas opciones tecnológicas para esta capa.
  • La ruta de datos de acceso esporádico incluye un almacén de datos a largo plazo para la solución y Azure Storage es un enfoque común. Azure Storage incluye Azure Blobs (objetos), Azure Data Lake Storage Gen2, Azure Files, Azure Queues y Azure Tables.
  • El almacenamiento en frío puede producirse en Blobs, Data Lake Storage Gen2, Azure Tables, o una combinación de ellos.
  • Para almacenar grandes cantidades de datos no estructurados, las mejores opciones son Blob Storage, Azure Files o Azure Data Lake Storage Gen2. El almacenamiento de rutas de datos de acceso esporádico es ideal para los mensajes originales que contienen datos no procesados recibidos por las aplicaciones de IoT.

Escenario empresarial

Examine el escenario en el que necesita crear modelos de aprendizaje automático para las interacciones del sitio web de Tailwind Traders a lo largo del tiempo. Debe automatizar el movimiento de datos y realizar transformaciones de datos. En este escenario, Azure Data Factory es una excelente solución para crear las vistas por lotes en la capa de servicio de la ruta de datos de acceso esporádico para cumplir estos requisitos. Se trata de un servicio de integración de datos administrados basado en la nube que le permite crear flujos de trabajo orientados a datos en la nube a fin de coordinar y automatizar el movimiento y la transformación de datos. Los datos se pueden procesar y transformar mediante servicios como Azure HDInsight Hadoop, Apache Spark y Azure Databricks. Puede crear modelos de aprendizaje automático y usarlos con los clientes de análisis.

Ruta de datos de acceso frecuente

La ruta de datos de acceso frecuente se usa normalmente para procesar o mostrar datos en tiempo real. Esta ruta de acceso se emplea para las operaciones de streaming y alertas en tiempo real. Una ruta de datos de acceso frecuente es donde están los datos sensibles a la latencia, donde los resultados deben estar listos en segundos o menos y donde fluyen para un consumo rápido por parte de los clientes de análisis.

Escenario empresarial

Tailwind Traders quiere implementar el análisis de datos para su portal de clientes. Deben recopilar datos de streaming y proporcionar alertas en tiempo real a los administradores, asistentes de atención al cliente y usuarios del portal. La ruta de acceso activa (o de acceso frecuente) es ideal para este escenario. Los datos se pueden recopilar a medida que el usuario los introduce o se muestran al cliente. Los datos se pueden entregar casi en tiempo real a los administradores para realizar un análisis rápido y una acción de seguimiento.

Comparación de las rutas de acceso de datos

En la tabla siguiente se comparan los escenarios de las tres soluciones de ruta de acceso. Revise los escenarios y tenga en cuenta qué soluciones son necesarias para Tailwind Traders.

Escenario Solución de ruta de acceso
Compatibilidad flexible con los requisitos de datos que cambian con frecuencia. Permite procesar o mostrar datos en tiempo real. Ruta de datos de acceso frecuente
Admite datos que rara vez se usan, como los datos almacenados por motivos legales o de cumplimiento. Permite el consumo de datos para el análisis a largo plazo y el procesamiento por lotes. Ruta de datos de acceso esporádico
Almacena o muestra un subconjunto reciente de datos. Permite el consumo de datos para el procesamiento por lotes y análisis pequeños. Ruta de datos de acceso medio