Services liés dans Azure Data Factory et Azure Synapse Analytics
S’APPLIQUE À :
Azure Data Factory Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Cet article décrit ce que sont les services liés, comment ils sont définis au format JSON et comment ils sont utilisés dans Azure Data Factory et Azure Synapse Analytics.
Pour en savoir plus, lisez l’article d’introduction d’Azure Data Factory ou d’Azure Synapse.
Vue d’ensemble
Azure Data Factory et Azure Synapse Analytics peuvent avoir un ou plusieurs pipelines. Un pipeline constitue un regroupement logique d’activités qui exécutent ensemble une tâche. Les activités d’un pipeline définissent les actions à effectuer sur les données. Par exemple, vous pouvez utiliser une activité de copie pour copier des données d’un serveur SQL Server vers un stockage Blob Azure. Ensuite, vous pouvez utiliser une activité Hive qui exécute un script Hive sur un cluster Azure HDInsight pour traiter les données du stockage Blob afin de produire des données de sortie. Enfin, vous pouvez utiliser une deuxième activité de copie pour copier les données de sortie dans Azure Synapse Analytics sur lequel des solutions de génération de rapports d’aide à la décision sont développées. Pour plus d’informations sur les pipelines et les activités, consultez Pipelines et activités.
À présent, un jeu de données est une vue de données nommée qui pointe ou fait référence simplement aux données que vous souhaitez utiliser dans vos activités en tant qu’entrées et sorties.
Avant de créer un jeu de données, vous devez créer un service lié pour lier votre magasin de données à l’instance Data Factory ou à l’espace de travail Synapse. Les services liés ressemblent à des chaînes de connexion. Ils définissent les informations de connexion nécessaires au service pour se connecter à des ressources externes. Considérez les choses de la façon suivante : le jeu de données représente la structure des données à l’intérieur des magasins de données liés, et le service lié définit la connexion à la source de données. Par exemple, un service lié Stockage Azure lie un compte de stockage au service. Un jeu de données d'objets blob représente le conteneur d’objets blob et le dossier à l’intérieur de ce compte Stockage Azure contenant les objets blob d’entrée à traiter.
Voici un exemple de scénario. Pour copier des données du stockage Blob vers une base de données SQL Database, vous devez créer deux services liés : Stockage Azure et Azure SQL Database. Créez ensuite deux jeux de données : le jeu de données d’objets blob Azure (qui fait référence au service lié Stockage Azure) et le jeu de données de table SQL Azure (qui fait référence au service lié Azure SQL Database). Les services liés Stockage Azure et Azure SQL Database contiennent des chaînes de connexion utilisées par le service pendant l’exécution pour se connecter à votre instance Stockage Azure et Azure SQL Database, respectivement. Le jeu de données d’objets blob Azure spécifie le conteneur d’objets blob et le dossier d’objets blob qui contient les objets blob d’entrée dans votre stockage Blob. Le jeu de données de table SQL Azure spécifie la table SQL dans votre base de données SQL Database dans laquelle les données doivent être copiées.
Le diagramme suivant montre la relation entre le pipeline, l’activité, le jeu de données et le service lié dans le service :
Service lié avec interface utilisateur
Pour créer un service lié dans Azure Data Factory Studio, sélectionnez l’onglet Gérer, puis Services liés, où vous pouvez voir tous les services liés que vous avez définis. Sélectionnez Nouveau pour créer un service lié.
Après avoir sélectionné Nouveau pour créer un service lié, vous pourrez choisir l’un des connecteurs pris en charge et configurer ses détails en conséquence. Par la suite, vous pourrez utiliser le service lié dans n’importe quel pipeline que vous créez.
Service lié JSON
Un service lié se définit de la façon suivante au format JSON :
{
"name": "<Name of the linked service>",
"properties": {
"type": "<Type of the linked service>",
"typeProperties": {
"<data store or compute-specific type properties>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
La table suivante décrit les propriétés dans le JSON ci-dessus :
| Propriété | Description | Obligatoire |
|---|---|---|
| name | Nom du service lié. Consultez les règles de nommage. | Oui |
| type | Type du service lié. Par exemple : AzureBlobStorage (magasin de données) ou AzureBatch (calcul). Consultez la description de typeProperties. | Oui |
| typeProperties | Les propriétés type sont différentes pour chaque magasin de données et chaque unité de calcul. Vous trouverez la liste des types de magasins de données pris en charge et leurs propriétés dans l’article vue d’ensemble du connecteur. Accédez à l’article sur le connecteur de magasin de données pour en savoir plus sur les propriétés de type propres à un magasin de données. Vous trouverez la liste des types de calcul pris en charge et leurs propriétés sur la page Services liés de calcul. |
Oui |
| connectVia | Runtime d’intégration à utiliser pour la connexion à la banque de données. Vous pouvez utiliser Azure Integration Runtime ou Integration Runtime auto-hébergé (si votre magasin de données se trouve dans un réseau privé). À défaut de spécification, le runtime d’intégration Azure par défaut est utilisé. | Non |
Exemple de service lié
Le service lié suivant est un service lié au stockage d’objets blob. Notez que le type est défini sur Stockage d’objets blob Azure. Les propriétés de type du service lié au stockage d’objets blob Azure comprennent une chaîne de connexion. Le service l’utilise pour se connecter au magasin de données à l’exécution.
{
"name": "AzureBlobStorageLinkedService",
"properties": {
"type": "AzureBlobStorage",
"typeProperties": {
"connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;AccountKey=<accountkey>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Créez des services liés
Il est possible de créer des services liés dans l’expérience utilisateur Azure Data Factory via le hub de gestion et des activités, jeux de données ou flux de données qui y font référence.
Vous pouvez créer des services liés en utilisant l’un de ces outils ou Kits de développement logiciel (SDK) : API .NET, PowerShell, API REST, Modèle Azure Resource Manager et Portail Azure.
Lors de la création d’un service lié, l’utilisateur a besoin de l’autorisation appropriée sur le service désigné. Si l’accès accordé n’est pas suffisant, l’utilisateur ne pourra pas voir les ressources disponibles et devra utiliser l’option de saisie manuelle.
Services liés de banque de données
Vous trouverez la liste des magasins de données pris en charge dans l’article Vue d’ensemble du connecteur. Cliquez sur un magasin de données pour en savoir plus sur les propriétés de connexion prises en charge.
Services liés de calcul
Reportez-vous aux environnements de calcul pris en charge pour plus d’informations sur les différents environnements de calcul auxquels vous pouvez vous connecter à partir de votre service, ainsi que les différentes configurations.
Contenu connexe
Consultez les didacticiels suivants pour obtenir des instructions pas à pas sur la création de pipelines et de jeux de données à l’aide de l’un de ces outils ou kits de développement logiciel (SDK).