Diseño de arquitectura de análisis

Con el crecimiento exponencial de los datos, las organizaciones se basan en la potencia analítica, el almacenamiento y el proceso ilimitados de Azure para escalar, transmitir, predecir y ver sus datos. Las soluciones de análisis convierten volúmenes de datos en inteligencia empresarial (BI) útil, como informes y visualizaciones, e inteligencia artificial (IA) ingeniosa, como previsiones basadas en el aprendizaje automático.

Tanto si su organización está empezando a evaluar herramientas de análisis basadas en la nube como si quiere expandir la implementación actual, Azure proporciona muchas opciones. El flujo de trabajo comienza con el aprendizaje sobre enfoques comunes y la alineación de procesos y roles en torno a una mentalidad en la nube.

Los datos se pueden procesar en lotes o en tiempo real, de forma local o en la nube, pero el objetivo de cualquier solución de análisis es hacer uso de los datos a gran escala. Cada vez más, las organizaciones quieren crear un único origen de verdad para todos los datos relacionales y no relacionales generados por personas, máquinas e Internet de las cosas (IoT). Es habitual usar una arquitectura de macrodatos o una arquitectura de IoT para transformar los datos sin procesar en un formato estructurado y, después, moverlos a un almacén de datos analíticos. Este almacén se convierte en la única fuente de confianza que puede crear una gran cantidad de soluciones de análisis detalladas.

Architecture

Diagrama que muestra el recorrido de la solución para el análisis en Azure. El recorrido comienza con el aprendizaje y la preparación de la organización y, a continuación, pasa a elegir soluciones de almacenamiento y tecnologías de inteligencia artificial o bi de Azure en función de los requisitos de la carga de trabajo.

Descargue un archivo de Visio de esta arquitectura.

En el diagrama anterior se muestra una implementación típica de análisis básico o de línea base. Consulte las arquitecturas proporcionadas en esta sección para encontrar soluciones reales que puede compilar en Azure.

Exploración de arquitecturas y guías de análisis

Los artículos de esta sección incluyen arquitecturas totalmente desarrolladas que puede implementar en Azure y ampliar a las soluciones y guías de nivel de producción. Estos pueden ayudarle a tomar decisiones importantes sobre cómo usar tecnologías de análisis en Azure. También puede revisar ideas de soluciones, lo que le da una idea de lo que es posible al planear el desarrollo de POC de análisis.

Arquitecturas

• Análisis de un extremo a otro con Microsoft Fabric: cree una plataforma de análisis moderna mediante las funcionalidades integradas de Microsoft Fabric.
• Almacenamiento y análisis de datos: integre grandes cantidades de datos de varios orígenes en una plataforma de análisis unificada.
• Usar Microsoft Fabric para diseñar una solución de BI empresarial : diseñe una solución de inteligencia empresarial empresarial mediante Microsoft Fabric.
• Procesamiento de datos casi en tiempo real de lakehouse : use Azure Synapse Analytics y Azure Data Lake Storage para el procesamiento casi en tiempo real de data lakehouse.
• Sincronización en tiempo real de MongoDB Atlas con Azure Synapse Analytics: sincronice los datos de MongoDB Atlas con Azure Synapse Analytics en tiempo real.
• Procesamiento de flujos con Azure Databricks : cree una canalización de procesamiento de flujos de un extremo a otro mediante Azure Databricks.
• Procesamiento de flujos con Azure Stream Analytics : cree una canalización de procesamiento de flujos que ingiere datos, correlaciona registros y calcula los promedios graduales.
• Almacenamiento de datos moderno para pequeñas y medianas empresas : cree una solución de almacenamiento de datos moderna diseñada para pequeñas y medianas empresas.

Ideas de solución

• Canalizaciones de ingesta, ETL y procesamiento de flujos con Azure Databricks : cree canalizaciones ETL para datos por lotes y streaming para simplificar la ingesta de data lake.
• Arquitectura de análisis moderno con Azure Databricks : recopilación, procesamiento, análisis y visualización de datos mediante una arquitectura de datos moderna.
• Plataforma de datos moderna para pequeñas y medianas empresas : cree una arquitectura de plataforma de datos moderna para pequeñas y medianas empresas que usan Microsoft Fabric y Azure Databricks.
• Análisis en tiempo real con Azure Data Explorer: análisis de datos en tiempo real mediante Azure Data Explorer y Azure Service Bus.

Guides

Opciones de tecnología

• Análisis e informes : compare las opciones de análisis y visualización de datos en Azure.
• Procesamiento por lotes : evalúe las tecnologías de procesamiento por lotes para cargas de trabajo de macrodatos.
• Procesamiento de flujo de datos: compare las tecnologías de procesamiento de flujo de datos para el análisis en tiempo real.
• Elija un almacén de datos analíticos : guía para seleccionar el almacén de datos analíticos correcto.
• Elija un almacén de datos analíticos en Microsoft Fabric : guía para seleccionar almacenes de datos en Microsoft Fabric.

Recuperación ante desastres para la plataforma de datos de Azure

• Información general: introducción a las estrategias de recuperación ante desastres para las plataformas de datos de Azure.
• Arquitectura : patrones de arquitectura para la recuperación ante desastres en plataformas de datos de Azure.
• Detalles del escenario: escenarios detallados para implementar la recuperación ante desastres.
• Recomendaciones : recomendaciones de procedimientos recomendados para la recuperación ante desastres.

Más información sobre el análisis en Azure

Si es nuevo en el análisis en Azure, el mejor lugar para obtener más información es con Microsoft Learn, una plataforma gratuita de cursos en línea. Encontrará vídeos, tutoriales y aprendizaje práctico para productos y servicios específicos, además de rutas de aprendizaje basadas en su rol de trabajo, como desarrollador o analista de datos.

Aquí tiene algunos recursos para empezar:

• Examinar temas de datos de Azure
• Introducción a los conceptos de datos principales de Microsoft Azure
• Introducción a Microsoft Fabric

Rutas de aprendizaje por rol

• Analista de datos: Introducción al análisis de datos de Microsoft
• Ingeniero de datos: Implementación de una solución de análisis de datos con Azure Databricks
• Científico de datos: Creación de soluciones de aprendizaje automático mediante Azure Databricks

Preparación de la organización

Si su organización no está en la nube, Cloud Adoption Framework puede ayudarle a empezar. Esta colección de documentación y procedimientos recomendados ofrece una guía probada de Microsoft diseñada para acelerar el recorrido de adopción en la nube. Para más información sobre el análisis a escala de nubes, consulte Análisis a escala de la nube.

Para ayudar a garantizar la calidad de la solución de análisis en Azure, se recomienda seguir el Marco de buena arquitectura de Azure. Proporciona instrucciones prescriptivas para organizaciones que buscan la excelencia arquitectónica y describe cómo diseñar, aprovisionar y supervisar soluciones de Azure optimizadas para costos.

Para obtener instrucciones sobre cargas de trabajo de datos alineadas con los pilares de Well-Architected Framework, consulte Azure Well-Architected Framework para cargas de trabajo de datos.

Ruta hacia la producción

Saber cómo almacenar los datos es una de las primeras decisiones que debe tomar en su recorrido para realizar análisis en Azure. A continuación, puede elegir la mejor tecnología de análisis de datos para su escenario.

Entre los puntos de decisión clave se incluyen:

• Almacenamiento de datos: elija entre lagos de datos, almacenes de datos o almacenes de lago en función de la estructura de datos y los patrones de consulta. Para obtener instrucciones sobre cómo seleccionar y diseñar soluciones de base de datos que potencian las cargas de trabajo de análisis, consulte Diseño de arquitectura de bases de datos.

• Modelo de procesamiento: determine si el procesamiento por lotes, el procesamiento de flujos o una combinación se ajusta mejor a los requisitos de carga de trabajo.

• Herramientas de análisis: seleccione tecnologías de INTELIGENCIA EMPRESARIAL e inteligencia artificial que se alineen con las aptitudes y las necesidades empresariales de su equipo.

Para ver diferentes estilos de arquitectura para soluciones de análisis, consulte arquitecturas.

procedimientos recomendados

Los análisis de alta calidad comienzan con datos sólidos y de confianza. En el nivel más alto, las prácticas de seguridad de la información ayudan a garantizar que los datos están protegidos en tránsito y en reposo. El acceso a los datos también debe ser de confianza. Los datos de confianza implican un diseño que implementa:

• Directivas de gobernanza : defina directivas de propiedad, clasificación y acceso de datos claros.

• Administración de identidades y acceso : implemente el control de acceso basado en rol y los principios de privilegios mínimos.

• Controles de seguridad de red : proteja los flujos de datos entre los servicios y evite el acceso no autorizado.

• Protección de datos - Cifrar los datos en reposo y en tránsito.

En el nivel de plataforma, los siguientes procedimientos recomendados sobre macrodatos contribuyen al análisis de confianza en Azure:

• Orquestación de la ingesta de datos: use un flujo de trabajo de datos o una solución de canalización como las admitidas por las canalizaciones de Azure Data Factory o Microsoft Fabric.

• Procesar datos in situ - Use un almacén de datos distribuido, un enfoque de big data que admita grandes volúmenes de datos y una gama más amplia de formatos.

• Eliminación temprana de datos confidenciales - elimine o enmascare los datos confidenciales como parte del flujo de trabajo de ingesta para evitar almacenarlos en el lago de datos.

• Considere el costo total: equilibre el costo por unidad de los nodos de proceso necesarios con el costo por minuto de usar esos nodos para completar un trabajo.

• Crear un lago de datos unificado : combine el almacenamiento de archivos en varios formatos, ya sea estructurado, semiestructurado o no estructurado. Utiliza Azure Data Lake Storage Gen2 como tu único punto de referencia fiable. Por ejemplo, consulte Arquitectura de la solución de BI en el centro de excelencia.

Mantenerse al día con el análisis

Los servicios de análisis de Azure evolucionan para abordar los desafíos de datos modernos. Manténgase informado sobre las últimas actualizaciones y características planeadas:

Obtenga las actualizaciones más recientes en los productos y características de Azure.

Manténgase al día con estos servicios de análisis clave:

• Novedades de Microsoft Fabric
• Notas de la versión de Azure Databricks
• Novedades de Azure Data Explorer
• Novedades de Power BI

Recursos adicionales

Análisis es una categoría amplia y abarca una amplia gama de soluciones. Los siguientes recursos pueden ayudarle a descubrir más sobre Azure.

Híbrido

La gran mayoría de las organizaciones necesitan un enfoque híbrido para el análisis porque sus datos se hospedan tanto en el entorno local como en la nube. Las organizaciones suelen ampliar las soluciones de datos locales a la nube. Para conectar entornos, las organizaciones deben elegir una arquitectura de red híbrida.

Escenarios clave de análisis híbrido:

• Modernización del sistema central: modernice los datos de sistema central y de rango medio : integre orígenes de datos heredados con plataformas de análisis modernas.
• Integración local: operaciones híbridas y multinube unificadas : conecte bases de datos locales a análisis en la nube.
• Analítica perimetral: procesar datos en el perímetro y agregar conocimientos en la nube.

Análisis en tiempo real

El análisis en tiempo real permite a las organizaciones actuar sobre los datos a medida que llegan. Estos son algunos recursos que le ayudarán a empezar a trabajar con análisis en tiempo real en Azure:

• Análisis en tiempo real de la arquitectura de macrodatos : procese y analice los datos de streaming a escala.
• Análisis de IoT con Azure Data Explorer : análisis de datos de telemetría de IoT en tiempo real.
• Procesamiento de flujos con Azure Stream Analytics : cree soluciones de streaming sin servidor.
• Cree una arquitectura de análisis moderna mediante Azure Databricks : análisis de nivel empresarial mediante Apache Spark.

Examinación de más ejemplos de análisis en el Centro de arquitectura de Azure

Profesionales de AWS o Google Cloud

Estos artículos pueden ayudarle a mejorar rápidamente comparando las opciones de análisis de Azure con otros servicios en la nube:

• Análisis y macrodatos en tecnologías de base de datos en Azure y AWS

• Macrodatos y análisis en Comparación de Google Cloud con los servicios de Azure