Patrón de datos en capas para análisis

Este patrón muestra cómo usar Azure Stack Hub y Azure para almacenar provisionalmente, analizar, procesar, sanear y almacenar datos en varias ubicaciones locales y en la nube.

Contexto y problema

Uno de los problemas a los que se enfrentan las organizaciones empresariales en el panorama tecnológico moderno se refiere al almacenamiento, el procesamiento y el análisis de datos seguros. Entre las consideraciones se incluyen las siguientes:

• contenido de datos
• ubicación
• requisitos de seguridad y privacidad
• permisos de acceso
• mantenimiento
• almacenamiento y gestión de almacenes

Azure, en combinación con Azure Stack Hub, aborda los problemas de datos y ofrece soluciones de bajo costo. Esta solución se expresa mejor a través de una empresa de fabricación distribuida o logística.

La solución se basa en el escenario siguiente:

• Una gran organización de fabricación de varias ramas.
• Se requieren almacenamiento, procesamiento y distribución de datos rápidos y seguros entre ubicaciones remotas globales y su sede central.
• Actividad de empleados y maquinaria, información de instalaciones y datos de informes empresariales que deben permanecer seguros. Los datos deben distribuirse de forma adecuada y cumplir las normativas regionales de cumplimiento y del sector.

Solución

El uso de entornos locales y de nube pública satisface las demandas de las empresas de varias instalaciones. Azure Stack Hub ofrece una solución rápida, segura y flexible para recopilar, procesar, almacenar y distribuir datos locales y remotos. Este patrón es especialmente útil cuando la seguridad, la confidencialidad, la directiva corporativa y los requisitos normativos pueden diferir entre ubicaciones y usuarios.

Componentes

Este patrón usa los siguientes componentes:

Nivel	Componente	Descripción
Azur	Almacenamiento	Una cuenta de Azure Storage proporciona un punto de conexión de consumo de datos estéril. Azure Storage es la solución de almacenamiento en la nube de Microsoft para escenarios de almacenamiento de datos modernos. Azure Storage ofrece un almacén de objetos escalable de forma masiva para objetos de datos y un servicio de sistema de archivos para la nube. También proporciona un almacén de mensajería para mensajería confiable y un almacén NoSQL.
Azure Stack Hub	Almacenamiento	Se utiliza una cuenta de Almacenamiento de Azure Stack Hub para múltiples servicios: - Blob Storage para el almacenamiento de datos sin procesar. Blob Storage puede contener cualquier tipo de texto o datos binarios, como un documento, un archivo multimedia o un instalador de aplicación. Cada blob está organizado en un contenedor. Los contenedores proporcionan una manera útil de asignar directivas de seguridad a grupos de objetos. Una cuenta de almacenamiento puede contener cualquier número de contenedores y un contenedor puede contener cualquier número de blobs, hasta el límite de capacidad de 500 TB de la cuenta de almacenamiento. - Blob storage para archivo de datos. Hay ventajas en el almacenamiento de bajo costo para el archivado de datos fríos. Entre los ejemplos de datos interesantes se encuentran las copias de seguridad, el contenido multimedia, los datos científicos, la información de cumplimiento normativo y los datos de archivo. En general, los datos a los que se accede con poca frecuencia se consideran almacenamiento frío. Clasificación de datos basados en atributos como la frecuencia de acceso y el período de retención. Los datos del cliente se acceden con poca frecuencia, pero requieren una latencia y un rendimiento similares a los datos activos. - Queue Storage para el almacenamiento de datos procesados. Queue Storage proporciona mensajería en la nube entre los componentes de la aplicación. En el diseño de aplicaciones para escalado, los componentes de la aplicación suelen desacoplarse para que se puedan escalar de forma independiente. Queue Storage ofrece mensajería asincrónica para la comunicación entre los componentes de la aplicación, tanto si se ejecutan en la nube, en el escritorio, en un servidor local como en un dispositivo móvil. Queue Storage también admite la administración de tareas asincrónicas y la creación de flujos de trabajo de procesos.
	Funciones de Azure	El servicio de Azure Functions lo proporciona el proveedor de recursos de Azure App Service en Azure Stack Hub. Azure Functions le permite ejecutar el código en un entorno simple y sin servidor en respuesta a varios eventos. Azure Functions puede escalar para adaptarse a la demanda sin tener que crear una máquina virtual o publicar una aplicación web, utilizando el lenguaje de programación que prefiera. La solución usa funciones para: - Ingesta de datos - Esterilización de datos. las funciones desencadenadas manualmente pueden realizar el procesamiento, la limpieza y el archivado de datos programados. Algunos ejemplos pueden incluir limpiezas nocturnas de listas de clientes y procesamiento mensual de informes.

Problemas y consideraciones

Tenga en cuenta los siguientes puntos al decidir cómo implementar esta solución:

Escalabilidad

Las funciones de Azure y las soluciones de almacenamiento escalan automáticamente para satisfacer las demandas de volumen de datos y procesamiento. Para más información sobre la escalabilidad y los destinos de Azure, consulte la documentación de escalabilidad de Azure Storage.

Disponibilidad

El almacenamiento es la consideración de disponibilidad principal para este patrón. La conexión a través de vínculos rápidos es necesaria para el procesamiento y la distribución de grandes volúmenes de datos.

Manejabilidad

La capacidad de administración de esta solución depende de las herramientas de creación en uso y la interacción del control de código fuente.

Pasos siguientes

Para obtener más información sobre los temas introducidos en este artículo:

• Consulte la documentación de Azure Storage y Azure Functions. Este patrón hace un uso intensivo de las cuentas de Azure Storage y Azure Functions en Azure y Azure Stack Hub.
• Consulte la familia de productos y soluciones de Azure Stack para obtener más información sobre toda la cartera de productos y soluciones.

Cuando esté listo para probar la solución de ejemplo, continúe con la guía de implementación de soluciones de datos por niveles para análisis. La guía de implementación proporciona instrucciones paso a paso para implementar y probar sus componentes.