Forum Aux Questions Azure Data Factory

Data Factory est un service ERL cloud d’intégration de données entièrement géré qui automatise le déplacement et la transformation des données. À l’instar d’une usine qui utilise des machines visant à transformer des matières premières en produits manufacturés, Azure Data Factory orchestre des services existants qui collectent des données brutes et les transforment en informations prêtes à l’emploi.

Grâce à Azure Data Factory, vous pouvez créer des flux de travail pilotés par les données pour déplacer des données entre des magasins locaux et cloud. Et vous pouvez traiter et transformer des données avec des flux de données. ADF prend également en charge des moteurs de calcul externe pour des transformations codées à la main en utilisant des services de calcul tels qu’Azure HDInsight, Azure Databricks et le runtime d’intégration SQL Server Integration Services (SSIS).

Avec Data Factory, vous pouvez exécuter votre traitement de données sur un service cloud Azure ou dans votre propre environnement de calcul auto-hébergé comme SSIS, SQL Server ou Oracle. Après avoir créé un pipeline qui exécute l’action dont vous avez besoin, vous pouvez planifier son exécution périodique (par exemple toutes les heures, tous les jours ou toutes les semaines), planifier une fenêtre de temps ou déclencher le pipeline à partir de l’occurrence d’un événement. Pour plus d’informations, consultez Présentation d’Azure Data Factory.

Azure Data Factory est certifié pour un éventail de certifications de conformité, notamment SOC 1, 2, 3, HIPAA BAA et HITRUST. Vous trouverez la liste complète (et sans cesse mise à jour) des certifications ici. Vous trouverez des copies numériques pour les rapports d’audit et les certifications de conformité dans le Centre de gestion de la confidentialité des services

Flux de contrôle et mise à l’échelle

Pour prendre en charge les divers flux d’intégration et modèles dans l’entrepôt de données moderne, Data Factory met en œuvre une modélisation flexible de pipeline de données. Cela implique des paradigmes de programmation de flux de contrôle complets, notamment l’exécution conditionnelle, la création de branches vers des pipelines de données et la possibilité de transmettre explicitement des paramètres dans et entre ces flux. Le flux de contrôle comprend également la transformation des données via la distribution des activités vers des moteurs d’exécution externes et des fonctionnalités de flux de données, notamment le déplacement des données à grande échelle via l’activité de copie.

Data Factory vous donne la liberté de modéliser n’importe quel style de flux nécessaire pour l’intégration des données, qui peut être distribué à la demande ou de façon répétée selon une planification. Voici quelques flux courants permis par ce modèle :

• Flux de contrôle :
  • Les activités peuvent être chaînées dans une séquence au sein d’un pipeline.
  • Les activités peuvent comprendre des branches dans un pipeline.
  • Paramètres :
    • Les paramètres peuvent être définis au niveau du pipeline et les arguments transmis quand vous appelez le pipeline à la demande ou à partir d’un déclencheur.
    • Les activités peuvent consommer les arguments transmis au pipeline.
  • Transmission d’un état personnalisé :
    • Les sorties de l’activité, notamment l’état, peuvent être consommées par une activité ultérieure du pipeline.
  • Bouclage des conteneurs :
    • L’activité foreach effectue une itération sur une collection spécifiée d’activités dans une boucle.
• Flux basés sur un déclencheur :
  • Les pipelines peuvent être déclenchés à la demande, en fonction du temps Horloge ou en réponse à des rubriques Event Grid pilotées par les événements
• Flux delta :
  • Vous pouvez utiliser des paramètres afin de définir la marque de borne haute pour la copie delta lors du déplacement des tables de dimension ou de référence à partir d’un magasin relationnel, localement ou dans le cloud, pour charger les données dans le lac.

Pour plus d’informations, consultez Didacticiel : Flux de contrôle.

Données transformées à grande échelle avec des pipelines sans code

La nouvelle expérience des outils basés sur un navigateur permet la création et le déploiement de pipelines sans code avec une expérience web interactive et moderne.

Pour les développeurs de données visuelles et les ingénieurs de données, l’interface utilisateur web de Data Factory constitue l’environnement de conception sans code à utiliser pour créer les pipelines. Il est entièrement intégré à Visual Studio Codespace Git et fournit une intégration pour intégration continue et livraison continue (CI/CD) et le développement itératif avec des options de débogage.

Kits SDK multiplateformes complets pour les utilisateurs avancés

Data Factory V2 fournit un ensemble enrichi de SDK que vous pouvez utiliser pour créer, gérer et superviser des pipelines à l’aide de votre IDE favori, notamment :

• Kit de développement logiciel (SDK) Python
• Interface de ligne de commande PowerShell
• Kit de développement logiciel (SDK) C#

Les utilisateurs peuvent également utiliser les API REST documentées pour interagir avec Data Factory V2.

Développement et débogage itératifs avec des outils visuels

Les outils visuels d’Azure Data Factory autorisent le développement et le débogage itératifs. Vous pouvez créer vos pipelines et effectuer des séries de tests avec la fonctionnalité Déboguer dans le canevas du pipeline sans écrire une seule ligne de code. Vous pouvez voire les résultats de vos séries de tests dans la fenêtre Sortie de votre canevas de pipeline. Après la réussite de votre série de tests, vous pouvez ajouter d’autres activités à votre pipeline et continuer le débogage de façon itérative. Vous pouvez aussi annuler votre série de tests alors qu’elle est en cours.

Vous n’êtes pas obligé de publier les modifications que vous avez apportées aux données sur le service Data Factory avant de sélectionner Déboguer. Ceci est pratique dans les scénarios où vous voulez être sûr que les nouveaux ajouts ou modifications fonctionnent comme prévu avant de mettre à jour les flux de travail de votre fabrique de données dans des environnements de développement, de test ou de production.

Capacité à déployer des packages SSIS sur Azure

Si vous voulez déplacer vos charges de travail SSIS, vous pouvez créer une fabrique de données et provisionner un runtime d’intégration Azure-SSIS. Un runtime d’intégration Azure-SSIS est un cluster entièrement managé de machines virtuelles Azure (nœuds) dédiées à l’exécution de vos packages SSIS dans le cloud. Pour obtenir des instructions pas à pas, consultez le didacticiel Déployer des packages SSIS vers Azure.

Kits SDK

Si vous êtes un utilisateur avancé et que vous recherchez une interface de programmation, Data Factory offre un ensemble étendu de SDK que vous pouvez utiliser pour créer, gérer ou superviser les pipelines avec votre IDE favori. La prise en charge des langages inclut .NET, PowerShell, Python et REST.

Surveillance

Vous pouvez surveiller vos fabriques de données via PowerShell, un SDK ou les outils de surveillance visuels dans l’interface utilisateur du navigateur. Vous pouvez superviser et gérer des flux personnalisés à la demande, basés sur des déclencheurs et pilotés par le temps, de façon efficiente et efficace. Annulez des tâches existantes, visualisez les échecs en un coup d’œil, explorez les détails des messages d’erreur et déboguez les problèmes dans un seul et même volet, sans avoir à changer de contexte ou à effectuer des allers-retours entre les écrans.

Nouvelles fonctionnalités pour SSIS dans Data Factory

Depuis la préversion publique initiale de 2017, les fonctionnalités suivantes pour SSIS ont été ajoutées à Data Factory :

• Prise en charge de trois configurations/variantes supplémentaires d’Azure SQL Database pour héberger la base de données SSIS (SSISDB) des projets/packages :
• SQL Database avec points de terminaison de service de réseau virtuel
• Instance managée SQL
• Pool élastique
• Prise en charge d’un réseau virtuel Azure Resource Manager sur un réseau virtuel classique qui sera dépréciée dans le futur : ceci vous permet d’injecter/joindre votre runtime d’intégration Azure-SSIS à un réseau virtuel configuré pour SQL Database avec des points de terminaison de service de réseau virtuel/MI/accès aux données locales. Pour plus d’informations, consultez également Joindre un runtime d’intégration Azure-SSIS à un réseau virtuel.
• Prise en charge de l’authentification Microsoft Entra et de l’authentification SQL pour se connecter à la SSISDB : ce qui vous permet d’utiliser l’authentification Microsoft Entra avec votre identité managée Data Factory pour des ressources Azure
• Prise en charge de votre licence SQL Server existante pour réaliser des économies substantielles avec l’option Azure Hybrid Benefit
• Prise en charge de l’édition Entreprise du runtime d’intégration Azure-SSIS, qui vous permet d’utiliser des fonctionnalités avancées/Premium, un programme d’installation personnalisé pour installer des composants/extensions supplémentaires, et un écosystème de partenaires. Pour plus d’informations, consultez également Enterprise Edition, Custom Setup, and 3rd Party Extensibility for SSIS in ADF.
• Une intégration plus étroite de SSIS dans Data Factory, qui vous permet d’appeler/déclencher des activités étendues d’exécution de package SSIS dans des pipelines Data Factory et de les planifier via SSMS. Pour plus d’informations, consultez Modernize and extend your ETL/ELT workflows with SSIS activities in ADF pipelines.

Le runtime d’intégration est l’infrastructure de calcul utilisée par Azure Data Factory pour fournir les fonctionnalités d’intégration de données suivantes entre différents environnements réseau :

• Déplacement des données : pour le mouvement des données, le runtime d’intégration déplace les données entre les magasins de données source et de destination, tout en fournissant une prise en charge des connecteurs intégrés, de la conversion de format, du mappage de colonnes et des transferts de données performants et scalables.
• Flux de données : pour un flux de données, exécutez un Flux de données dans un environnement de calcul Azure managé.
• Répartir les activités : pour la transformation, le runtime d’intégration offre la possibilité d’exécuter des packages SSIS en mode natif.
• Exécuter des packages SSIS : le runtime d’intégration exécute en mode natif les packages SSIS dans un environnement de calcul Azure managé. Le runtime d’intégration prend également en charge la répartition et la supervision des activités de transformation exécutées sur un large éventail de services de calcul, comme Azure HDInsight, Azure Machine Learning, SQL Database et SQL Server.

Vous pouvez déployer une ou plusieurs instances du runtime d’intégration en fonction de vos besoins pour déplacer ou transformer des données. Le runtime d’intégration peut s’exécuter sur un réseau public Azure ou un réseau privé (localement, réseau virtuel Azure ou cloud privé virtuel Amazon Web Services). Dans Data Factory, une activité désigne l’action à effectuer. Un service lié désigne un magasin de données cible ou un service de calcul. Un runtime d’intégration permet de créer une passerelle entre l’activité et les services liés. Il est référencé par l'activité ou le service lié, et fournit l'environnement Compute dans lequel l'activité s'exécute ou depuis lequel elle est envoyée. L’activité peut être effectuée de la façon la plus efficace possible dans la région la plus proche du magasin de données cible ou du service de calcul, tout en respectant les exigences de conformité et de sécurité.

Il est possible de créer des runtimes d'intégration dans l’expérience utilisateur Azure Data Factory via le hub de gestion et des activités, jeux de données ou flux de données qui y font référence. Pour plus d’informations, consultez Runtime d’intégration dans Azure Data Factory.

Il n’existe aucune limite quant au nombre d’instances de runtime d’intégration autorisées dans une fabrique de données. Il existe toutefois une limite relative au nombre de cœurs de machines virtuelles que le runtime d’intégration peut utiliser par abonnement pour l’exécution de package SSIS. Pour plus d’informations, consultez la section Limites de Data Factory.

Un abonnement Azure peut contenir une ou plusieurs instances Azure Data Factory (ou fabriques de données). Azure Data Factory s’articule autour de quatre composants clés. Ils fonctionnent ensemble en tant que plateforme sur laquelle composer des flux de travail pilotés par les données et constitués d’étapes de déplacement et de transformation de données.

Pipelines

Une fabrique de données peut avoir un ou plusieurs pipelines. Un pipeline est un regroupement logique d’activités nécessaires pour effectuer une unité de travail. Ensemble, les activités d’un pipeline effectuent une tâche. Par exemple, un pipeline peut contenir un groupe d’activités qui ingèrent des données à partir d’un objet blob Azure, puis exécute une requête Hive sur un cluster HDInsight pour partitionner les données. L’avantage est que vous pouvez utiliser un pipeline pour gérer les activités en tant qu’ensemble au lieu de devoir gérer chaque activité individuellement. Vous pouvez chaîner les activités dans un pipeline pour qu’elles fonctionnent de manière séquentielle, ou vous pouvez les exécuter indépendamment, en parallèle.

Flux de données

Les flux de données sont des objets que vous créez visuellement dans Data Factory et qui transforment les données à l’échelle sur des services Spark de back-end. Vous n’avez pas besoin de comprendre la programmation ni les éléments internes de Spark. Concevez simplement votre intention de transformation des données à l’aide de graphiques (mappage) ou de feuilles de calcul (activité Power Query).

Activités

Les activités représentent une étape de traitement dans un pipeline. Par exemple, vous pouvez utiliser une activité Copy pour copier des données d’un magasin de données vers un autre. De même, vous pouvez utiliser une activité Hive qui exécute une requête Hive sur un cluster Azure HDInsight afin de convertir ou d’analyser vos données. Data Factory prend en charge trois types d’activités : les activités de déplacement des données, les activités de transformation des données et les activités de contrôle.

Groupes de données

Les jeux de données représentent les structures des données dans les magasins. Ils pointent vers ou référencent simplement en tant qu’entrées ou sorties les données que vous voulez utiliser dans vos activités.

Services liés

Les services liés ressemblent à des chaînes de connexion. Ils définissent les informations de connexion nécessaires à Data Factory pour se connecter à des ressources externes. Voyez les choses de la façon suivante : un service lié définit la connexion à la source de données et un jeu de données représente la structure des données. Par exemple, un service lié Stockage Azure spécifie la chaîne de connexion pour se connecter au compte de stockage Azure. Et un jeu de données blob Azure spécifie le conteneur d’objets blob et le dossier qui contient les données.

Les services liés ont deux objectifs dans Data Factory :

• Représenter un magasin de données qui inclut, mais sans s’y limiter, une instance SQL Server, une instance de base de données Oracle, un partage de fichiers ou un compte de stockage d’objets blob Azure. Pour obtenir la liste des magasins de données pris en charge, consultez Activité de copie dans Azure Data Factory.
• Pour représenter une ressource de calcul qui peut héberger l’exécution d’une activité. Par exemple, l’activité HDInsight Hive s’exécute sur un cluster HDInsight Hadoop. Pour obtenir la liste des activités de transformation et des environnements de calcul pris en charge, consultez Transformer des données dans Azure Data Factory.

Déclencheurs

Les déclencheurs représentent des unités de traitement qui déterminent le moment où une exécution de pipeline est lancée. Il existe différents types de déclencheurs pour différents types d’événements.

Exécutions de pipeline

Une exécution du pipeline est une instance d’exécution d’un pipeline. Généralement, vous instanciez une exécution de pipeline en transmettant des arguments aux paramètres définis dans le pipeline. Vous pouvez transmettre les arguments manuellement ou dans la définition du déclencheur.

Paramètres

Les paramètres sont des paires clé-valeur dans une configuration en lecture seule. Vous définissez des paramètres dans un pipeline, et vous transmettez les arguments pour les paramètres définis lors de l’exécution à partir d’un contexte d’exécution. Le contexte d’exécution est créé par un déclencheur ou à partir d’un pipeline que vous exécutez manuellement. Les activités contenues dans le pipeline utilisent les valeurs des paramètres.

Un jeu de données est un paramètre fortement typé et une entité que vous pouvez réutiliser ou référencer. Une activité peut référencer des jeux de données et utiliser les propriétés définies dans la définition du jeu de données.

Un service lié est également un paramètre fortement typé qui contient des informations de connexion à un magasin de données ou à un environnement de calcul. Il s’agit également d’une entité que vous pouvez réutiliser ou référencer.

Flux de contrôle

Les flux de contrôle orchestrent des activités de pipeline telles que le chaînage des activités en une séquence, la création de branche, des paramètres que vous définissez au niveau du pipeline, et des arguments que vous transmettez lors de l’appel du pipeline à la demande ou à partir d’un déclencheur. Les flux de contrôle incluent également la transmission d’états personnalisés et le bouclage des conteneurs (autrement dit, des itérateurs foreach).

Pour plus d’informations sur les concepts de Data Factory, consultez les articles suivants :

• Jeux de données et services liés
• Pipelines et activités
• Runtime d’intégration

Pour plus d’informations sur la tarification d’Azure Data Factory, consultez Détails sur la tarification de Data Factory.

Pour obtenir les informations les plus récentes sur Azure Data Factory, consultez les sites suivants :

• Blog
• Page d’accueil de la documentation
• Page d’accueil du produit

Comment planifier un pipeline ?

Vous pouvez utiliser le déclencheur Planificateur ou Fenêtre de temps pour planifier un pipeline. Ce déclencheur utilise un planning horaire, qui peut planifier les pipelines périodiquement ou à l’aide de modèles récurrents basés sur le calendrier (par exemple, le lundi à 18h00 et le jeudi à 21h00). Pour plus d’informations, consultez l’article Exécution de pipelines et déclencheurs.

Puis-je passer des paramètres à une exécution de pipeline ?

Oui, les paramètres sont des concepts importants dans Data Factory. Vous pouvez les définir au niveau du pipeline et transmettre des arguments lors de l’exécution du pipeline à la demande ou à l’aide d’un déclencheur.

Puis-je définir des valeurs par défaut pour les paramètres des pipelines ?

Oui. Vous pouvez définir des valeurs par défaut pour les paramètres des pipelines.

Une activité dans un pipeline peut-elle consommer des arguments transmis à une exécution de pipeline ?

Oui. Chaque activité du pipeline peut consommer la valeur de paramètre transmise au pipeline et exécutée avec la construction @parameter.

Une propriété de sortie d’activité peut-elle être consommée dans une autre activité ?

Oui. Une sortie d’activité peut être consommée dans une activité suivante avec la construction @activity.

Comment gérer correctement les valeurs Null dans une sortie d’activité ?

Vous pouvez utiliser la construction @coalesce dans les expressions pour gérer correctement les valeurs Null.

Combien d’activités de pipeline peuvent être exécutées simultanément ?

Un maximum de 50 activités de pipeline simultanées est autorisé. La 51e°activité de pipeline sera mise en file d’attente jusqu’à l’ouverture d’un emplacement libre. Au maximum 800 activités externes simultanées seront autorisées, après quoi elles seront mises en file d’attente de la même façon.

J’ai besoin d’aide pour dépanner ma logique de flux de données. Quelles informations dois-je fournir pour obtenir une aide ?

Quand Microsoft fournit une aide ou une assistance au dépannage pour des flux de données, indiquez les fichiers de support du pipeline ADF. Ce fichier zip contient le script code-behind de votre graphe de flux de données. Dans l’interface utilisateur ADF, cliquez sur ... en regard du pipeline, puis cliquez sur Télécharger les fichiers de support.

Comment accéder à des données à l’aide des 90 autres types de jeux de données dans Data Factory ?

La fonctionnalité de flux de données de mappage autorise actuellement Azure SQL Database, Azure Synapse Analytics, les fichiers texte délimités à partir de Stockage Blob Azure ou Azure Data Lake Storage Gen2, et les fichiers Parquet à partir du stockage d’objets blob ou Data Lake Storage Gen2 en mode natif pour la source et le récepteur.

Utilisez l’activité de copie pour indexer les données des autres connecteurs, puis exécutez une activité de flux de données pour transformer les données une fois qu’elles ont été indexées. Par exemple, votre pipeline copiera tout d’abord dans le stockage d’objets blob, puis une activité de flux de données utilisera un jeu de données dans la source pour transformer ces données.

Le runtime d’intégration auto-hébergé est-il disponible pour les flux de données ?

Le runtime d’intégration auto-hébergé est une construction de pipeline ADF que vous pouvez utiliser avec l’activité de copie pour acquérir ou déplacer des données vers et depuis des sources de données et des récepteurs basés sur des machines virtuelles ou locaux. Les machines virtuelles que vous utilisez pour un runtime d’intégration auto-hébergé peuvent également être placées dans le même réseau virtuel (VNET) que vos magasins de données protégés pour accéder à ces magasins de données à partir d’ADF. Grâce aux flux de données, vous obtiendrez les mêmes résultats finaux en utilisant l’IR Azure avec le VNET managé à la place.

Le moteur de calcul du flux de données gère-t-il plusieurs locataires ?

Les clusters ne sont jamais partagés. Nous garantissons l’isolement de chaque travail exécuté dans des exécutions de production. Dans le cas d’un scénario de débogage, une personne obtient un cluster, et tous les débogages lancés par cet utilisateur sont dirigés vers ce cluster.

Existe-t-il un moyen d’écrire des attributs dans Cosmos DB dans le même ordre que celui spécifié dans le récepteur du flux de données ADF ?

Pour Cosmos DB, le format sous-jacent de chaque document est un objet JSON correspondant à un ensemble non trié de paires nom/valeur et dès lors, l’ordre ne peut pas être réservé.

Pourquoi un utilisateur ne peut-il pas utiliser l’aperçu des données dans les flux de données ?

Vous devez vérifier les autorisations pour le rôle personnalisé. Plusieurs actions sont impliquées dans l’aperçu des données de flux de données. Vous commencez par vérifier le trafic réseau pendant le débogage dans votre navigateur. Veuillez suivre toutes les actions. Pour plus d’informations, consultez Fournisseur de ressources.

Dans ADF, puis-je calculer la valeur d’une nouvelle colonne depuis une colonne existante à partir du mappage ?

Vous pouvez utiliser une transformation de dérivation dans le flux de données de mappage pour créer une colonne sur la logique de votre choix. Lors de la création d’une colonne dérivée, vous pouvez soit générer une nouvelle colonne, soit en mettre une à jour. Dans la zone de texte Colonne, entrez dans la colonne que vous êtes en train de créer. Pour remplacer une colonne existante dans votre schéma, vous pouvez utiliser la liste déroulante Colonne. Pour générer l’expression de la colonne dérivée, cliquez sur la zone de texte Entrer une expression. Vous pouvez soit commencer à entrer votre expression, soit ouvrir le générateur d’expressions pour construire votre logique.

Pourquoi l’aperçu du flux de données de mappage échoue-t-il avec une erreur de délai d’expiration de la passerelle ?

Essayez d’utiliser un cluster plus grand et de tirer parti des limites de lignes dans les paramètres de débogage afin de réduire la taille de la sortie de débogage.

Comment paramétrer le nom de colonne dans le flux de données ?

Le nom de colonne peut être paramétré comme d’autres propriétés. Comme dans les colonnes dérivées, le client peut utiliser $ColumnNameParam = ToString (byName ($myColumnNameParamInData)). Ces paramètres peuvent être passés de l’exécution du pipeline aux flux de données.

Conseils relatifs aux flux de données pour la durée de vie et les coûts

Ce document de dépannage peut vous aider à résoudre vos problèmes : Guide des performances et du réglage des flux de données de mappage.

Quelles sont les régions prises en charge pour le data wrangling ?

Data Factory est disponible dans les régions suivantes. La fonctionnalité Power Query est disponible dans toutes les régions de flux de données. Si cette fonctionnalité n’est pas disponible dans votre région, contactez le support technique.

Quelle est la différence entre un flux de données de mappage et une activité de requête Power (flux de données de mappage) ?

Le mappage de flux de données permet de transformer des données à grande échelle sans aucun codage. Vous pouvez concevoir une tâche de transformation de données dans le canevas de flux de données en créant une série de transformations. Commencez par un certain nombre de transformations sources, suivies par des étapes de transformation de données. Réalisez votre flux de données avec un récepteur qui servira de destination à vos résultats. Le mappage du flux de données est très utile lors du mappage et de la transformation des données avec des schémas connus et inconnus dans les récepteurs et les sources.

Le Data wrangling de Power Query vous permet d’effectuer des tâches de préparation et d’exploration de données agiles à l’aide de l’éditeur web hybride Power Query en ligne à grande échelle via l’exécution de Spark. Si votre organisation fait partie des entreprises de plus en plus nombreuses à adopter la technologie des lacs de données, vous devez parfois simplement explorer un jeu de données ou créer un jeu de données dans le lac. Vous n’effectuez pas de mappage vers une cible connue.

Types SQL pris en charge

Le Data wrangling de Power Query prend en charge les types de données suivants dans SQL. Vous obtiendrez une erreur de validation pour l’utilisation d’un type de données qui n’est pas pris en charge.

• short
• double
• real
• float
• char
• nchar
• varchar
• NVARCHAR
• entier
• int
• bit
• boolean
• SMALLINT
• TINYINT
• bigint
• long
• text
• Date
• DATETIME
• datetime2
• smalldatetime
• timestamp
• UNIQUEIDENTIFIER
• Xml

Contenu connexe

Pour obtenir des instructions pas à pas pour créer une fabrique de données, consultez les tutoriels suivants :

• Guide de démarrage rapide : Créer une fabrique de données
• Tutoriel : Copier des données dans le cloud