Scénario de bout en bout de Data Factory : introduction et architecture

Ce tutoriel vous aide à accélérer le processus d’évaluation de Data Factory dans Microsoft Fabric en fournissant les étapes d’un scénario d’intégration de données complet dans un délai d’une heure. À la fin de ce tutoriel, vous comprenez la valeur et les fonctionnalités clés de Data Factory et savez comment effectuer un scénario d’intégration de données de bout en bout commun.

Le scénario est divisé en une introduction et trois modules :

• Présentation du didacticiel et des raisons pour lesquelles vous devez utiliser Data Factory dans Microsoft Fabric.
• Module 1 : Créez un pipeline avec Data Factory pour ingérer des données brutes d’un stockage Blob vers une table de couche de données bronze dans un data Lakehouse.
• Module 2 : Transformer des données avec un dataflow dans Data Factory pour traiter les données brutes de votre table bronze et les déplacer vers une table de couche de données gold dans data Lakehouse.
• Module 3 : Effectuez votre premier parcours d’intégration des données et envoyez un e-mail pour vous avertir une fois que tous les travaux sont terminés et enfin, configurez l’intégralité du flux pour qu’il s’exécute selon une planification.

Pourquoi Data Factory dans Microsoft Fabric ?

Microsoft Fabric fournit une plateforme unique pour tous les besoins analytiques d’une entreprise. Il couvre le spectre de l’analytique, notamment le déplacement des données, les lacs de données, l’ingénierie des données, l’intégration des données, la science des données, l’analytique en temps réel et le décisionnel. Avec Fabric, il n’est pas nécessaire de rassembler différents services de plusieurs fournisseurs. Au lieu de cela, vos utilisateurs bénéficient d’un produit complet qui est facile à comprendre, créer, intégrer et exploiter.

Data Factory dans Fabric combine la facilité d’utilisation de Power Query avec l’échelle et la puissance d’Azure Data Factory. Il réunit le meilleur des deux produits en une seule expérience. L’objectif est que les développeurs de données citoyens et professionnels disposent des outils d’intégration de données appropriés. Data Factory fournit des expériences de préparation et de transformation de données à faible code, compatibles avec l’IA, une transformation à l’échelle pétaoctet et des centaines de connecteurs avec une connectivité hybride et multicloud.

Trois fonctionnalités clés de Data Factory

• Ingestion des données : L’activité de copie dans les pipelines (ou le travail de copie autonome) vous permet de déplacer des données à l’échelle pétaoctets à partir de centaines de sources de données dans votre data Lakehouse pour un traitement ultérieur.
• Transformation et préparation des données : Dataflow Gen2 fournit une interface à faible code pour transformer vos données à l’aide de transformations de données 300+ avec la possibilité de charger les résultats transformés dans plusieurs destinations telles que les bases de données Azure SQL, Lakehouse, etc.
• Automatisation de bout en bout : Les pipelines fournissent une orchestration des activités qui incluent les activités de copie, de flux de données et de notebook, etc. Les activités d’un pipeline peuvent être chaînées de façon séquentielle, ou elles peuvent s'exécuter indépendamment en parallèle. Votre flux d’intégration de données entier s’exécute automatiquement et peut être surveillé à un seul endroit.

Architecture du didacticiel

Au cours des 50 prochaines minutes, vous allez découvrir les trois principales fonctionnalités de Data Factory à mesure que vous effectuez un scénario d’intégration de données de bout en bout.

Le scénario est divisé en trois modules :

• Module 1 : Créez un pipeline avec Data Factory pour ingérer des données brutes d’un stockage Blob vers une table de couche de données bronze dans un data Lakehouse.
• Module 2 : Transformer des données avec un dataflow dans Data Factory pour traiter les données brutes de votre table bronze et les déplacer vers une table de couche de données gold dans data Lakehouse.
• Module 3 : Effectuez votre premier parcours d’intégration des données et envoyez un e-mail pour vous avertir une fois que tous les travaux sont terminés et enfin, configurez l’intégralité du flux pour qu’il s’exécute selon une planification.

Vous utilisez l’exemple de jeu de données NYC-Taxi comme source de données pour le didacticiel. Une fois que vous avez terminé, vous pourrez obtenir des informations sur les remises quotidiennes sur les tarifs des taxis pendant une période spécifique à l’aide de Data Factory dans Microsoft Fabric.

Étape suivante

Passez à la section suivante pour créer votre pipeline de données.

Module 1 : Créer un pipeline avec Data Factory