Escenario de un extremo a otro de Data Factory: introducción y arquitectura
Este tutorial le ayuda a acelerar el proceso de evaluación de Data Factory en Microsoft Fabric proporcionando una guía paso a paso para un escenario de integración de datos completo en un plazo de una hora. Al final de este tutorial, comprende el valor y las funcionalidades clave de Data Factory y sabe cómo completar un escenario común de integración de datos de un extremo a otro.
Importante
Microsoft Fabric se encuentra actualmente en versión preliminar. Esta información está relacionada con un producto en versión preliminar que puede modificarse considerablemente antes de su lanzamiento. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a la información que se ofrece aquí. Consulte Azure Data Factory documentación del servicio en Azure.
Información general: ¿Por qué Data Factory en Microsoft Fabric?
Esta sección le ayuda a comprender el rol de Fabric en general y el rol que desempeña Data Factory dentro de ella.
Descripción del valor de Microsoft Fabric
Microsoft Fabric proporciona una tienda única para todas las necesidades analíticas de cada empresa. Abarca un espectro completo de servicios, como el movimiento de datos, el lago de datos, la ingeniería de datos, la integración de datos y la ciencia de datos, el análisis en tiempo real y la inteligencia empresarial. Con Fabric, no es necesario unir diferentes servicios de varios proveedores. En su lugar, los usuarios disfrutan de un producto integral, altamente integrado, único y completo que es fácil de entender, incorporar, crear y operar.
Descripción del valor de Data Factory en Microsoft Fabric
Data Factory en Fabric combina la facilidad de uso de Power Query con la escala y potencia de Azure Data Factory. Reúne lo mejor de ambos productos en una experiencia unificada. El objetivo es asegurarse de que Integración de datos en Factory funciona bien tanto para desarrolladores de datos ciudadanos como profesionales. Proporciona experiencias de preparación y transformación de datos habilitadas para ia con poco código, transformación a escala de petabyte, cientos de conectores con conectividad híbrida y multinube. Purview proporciona gobernanza y las características de servicio compromisos de datos y operaciones de escala empresarial, CI/CD, administración del ciclo de vida de las aplicaciones y supervisión.
Introducción: Descripción de tres componentes clave de Data Factory
- Ingesta de datos: el actividad de copia en canalizaciones permite mover datos a escala de petabyte de cientos de orígenes de datos a su instancia de Data Lakehouse para su posterior procesamiento.
- Transformación y preparación de datos: Los flujos de datos gen2 proporcionan una interfaz de poco código para transformar los datos con más de 300 transformaciones de datos, con la capacidad de cargar los resultados transformados en varios destinos, como Azure SQL bases de datos, Lakehouse, etc.
- Automatización de flujos de integración de un extremo a otro: las canalizaciones proporcionan orquestación de actividades que incluyen actividades de copia, flujo de datos y cuadernos, etc. Esto le permite administrar las actividades en un solo lugar. Las actividades de una canalización se pueden encadenar para funcionar secuencialmente, o pueden funcionar de forma independiente en paralelo.
En este caso de uso de integración de datos de un extremo a otro, aprenderá lo siguiente:
- Ingesta de datos mediante una actividad de copia en una canalización
- Cómo transformar los datos mediante un flujo de datos con una experiencia sin código o escribiendo su propio código para procesar los datos con una actividad de script o cuaderno
- Cómo automatizar todo el flujo de integración de datos de un extremo a otro mediante una canalización con desencadenadores y actividades de flujo de control flexibles.
Architecture
En los próximos 50 minutos, se le encarga completar un escenario de integración de datos de un extremo a otro. Esto incluye la ingesta de datos sin procesar de un almacén de origen en la tabla Bronze de una instancia de Lakehouse, el procesamiento de todos los datos, el traslado a la tabla Gold del data Lakehouse, el envío de un correo electrónico para notificarle una vez completados todos los trabajos y, por último, configurar todo el flujo para que se ejecute de forma programada.
El escenario se divide en tres módulos:
- Módulo 1: Creación de una canalización con Data Factory para ingerir datos sin procesar de un almacenamiento de blobs en una tabla Bronze en una instancia de Data Lakehouse.
- Módulo 2: Transformar datos con un flujo de datos en Data Factory para procesar los datos sin procesar de la tabla Bronze y moverlos a una tabla Gold en data Lakehouse.
- Módulo 3: Complete el primer recorrido de integración de datos para enviar un correo electrónico para notificarle una vez completados todos los trabajos y, por último, configurar todo el flujo para que se ejecute de forma programada.
Use el conjunto de datos de ejemplo NYC-Taxi como origen de datos del tutorial. Después de finalizar, podrá obtener información sobre los descuentos diarios en las tarifas de taxi durante un período de tiempo específico mediante Data Factory en Microsoft Fabric.
Pasos siguientes
En esta introducción a nuestro tutorial completo para su primera integración de datos mediante Data Factory en Microsoft Fabric, ha aprendido:
- Valor y rol de Microsoft Fabric
- Valor y rol de Data Factory en Fabric
- Componentes clave de Data Factory
- Lo que aprenderá en este tutorial
Continúe con la sección siguiente para crear la canalización de datos.