Événement
31 mars, 23 h - 2 avr., 23 h
Le plus grand événement d’apprentissage Fabric, Power BI et SQL. 31 mars au 2 avril. Utilisez le code FABINSIDER pour économiser 400 $.
Inscrivez-vous aujourd’huiCe navigateur n’est plus pris en charge.
Effectuez une mise à niveau vers Microsoft Edge pour tirer parti des dernières fonctionnalités, des mises à jour de sécurité et du support technique.
S’APPLIQUE À : Azure Data Factory
Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Cet article explique comment planifier le démarrage et l’arrêt d’un runtime d'intégration (IR) Azure-SQL Server Integration Services (SSIS) à l’aide d’Azure Data Factory et d’Azure Synapse Analytics. Un runtime d’intégration Azure-SSIS est une ressource de calcul dédiée à l’exécution de packages SSIS.
Un coût est associé à l’exécution d’un runtime d’intégration Azure-SSIS. Vous souhaitez généralement exécuter votre IR uniquement quand vous devez exécuter des packages SSIS dans Azure et l’arrêter quand vous n’en avez plus besoin. Vous pouvez utiliser Data Factory, la page du portail Azure des pipelines Azure Synapse Analytics, ou Azure PowerShell pour démarrer ou arrêter manuellement votre runtime d’intégration.
Vous pouvez également créer des activités web dans des pipelines Data Factory ou Azure Synapse Analytics pour démarrer et arrêter votre runtime d’intégration selon une planification. Par exemple, vous pouvez le démarrer le matin avant d’exécuter vos charges de travail ETL quotidiennes et l’arrêter l’après-midi une fois les charges de travail terminées.
Vous pouvez également chaîné une activité Exécuter un package SSIS entre deux activités web qui démarrent et arrêtent votre runtime d’intégration. Votre runtime d’intégration démarrera et s’arrêtera alors à la demande, avant ou après l’exécution de votre package. Pour plus d’informations sur l’activité Exécuter un package SSIS, consultez Exécuter un package SSIS avec l’activité Exécuter un package SSIS dans le portail Azure.
Note
Nous vous recommandons d’utiliser le module Azure Az PowerShell pour interagir avec Azure. Pour bien démarrer, consultez Installer Azure PowerShell. Pour savoir comment migrer vers le module Az PowerShell, consultez Migrer Azure PowerShell depuis AzureRM vers Az.
Pour implémenter cette procédure pas à pas, vous avez besoin des éléments suivants :
Une instance d’Azure Data Factory. Si vous n’en avez pas approvisionné, suivez les étapes du Démarrage rapide : Créer une fabrique de données en utilisant le portail Azure et Azure Data Factory Studio.
Runtime d’intégration Azure-SSIS. Si vous n’en avez pas approvisionné, suivez les instructions fournies dans Approvisionner le runtime d’intégration Azure-SSIS dans Azure Data Factory.
Note
Cette section n’est pas prise en charge pour Azure-SSIS dans Azure Synapse Analytics si la protection contre l’exfiltration de données est activée.
Cette section vous montre comment utiliser des activités web dans des pipelines Azure Data Factory pour démarrer et arrêter votre runtime d’intégration Azure-SSIS selon une planification ou à la demande. Vous allez créer trois pipelines :
Après avoir créé et testé ces pipelines, vous pouvez créer un déclencheur qui planifie l’exécution d’un pipeline. Par exemple, vous pouvez créer deux déclencheurs. Le premier est planifié pour s’exécuter tous les jours à 6h00 et est associé au premier pipeline. Le deuxième est planifié pour s’exécuter tous les jours à 18h00 et est associé au deuxième pipeline. De cette façon, vous disposez d’une période de temps de 6h00 à 18h00 tous les jours, pendant laquelle votre runtime d’intégration est en cours d’exécution, prêt à exécuter vos charges de travail ETL quotidiennes.
Si vous créez un troisième déclencheur planifié pour s’exécuter tous les jours à minuit et associé au troisième pipeline, ce pipeline s’exécutera à minuit tous les jours. Il démarrera votre runtime d’intégration juste avant l’exécution du package, puis exécutera votre package. Il arrêtera immédiatement votre runtime d’intégration juste après l’exécution du package, de sorte que votre runtime d’intégration ne s’exécute pas en phase d’inactivité.
Dans la page d’accueil d’Azure Data Factory, sélectionnez Orchestrer.
Dans la boîte à outils Activités, développez le menu Général et faites glisser une activité web sur l’aire du concepteur de pipeline. Sur l’onglet Général de la fenêtre des propriétés de l’activité, changez le nom de l’activité en startMyIR. Basculez sur l’onglet Paramètres, puis effectuez les actions suivantes.
Note
Pour Azure-SSIS dans Azure Synapse Analytics, utilisez l’API REST Azure Synapse Analytics correspondante pour obtenir l’état du runtime d’intégration, démarrer le runtime d’intégration et arrêter le runtime d’intégration.
Dans URL, entrez l’URL suivante pour l’API REST qui démarre le runtime d’intégration Azure-SSIS. Remplacez {subscriptionId}
, {resourceGroupName}
, {factoryName}
et {integrationRuntimeName}
par les valeurs réelles de votre runtime d’intégration.
https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/start?api-version=2018-06-01
Vous pouvez également copier et coller l’ID de la ressource de votre runtime d’intégration à partir de sa page d’analyse sur l’interface utilisateur ou l’application Azure Data Factory pour remplacer la partie suivante de l’URL précédente : /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}
.
Pour Méthode, sélectionnez POST.
Pour Corps, entrez {"message":"Start my IR"}
.
Dans Authentification, sélectionnez Identité managée pour utiliser l’identité managée par le système spécifiée pour votre fabrique de données. Pour plus d’informations, consultez Identité managée pour Azure Data Factory.
Pour Ressource, entrez https://management.azure.com/
.
Clonez le premier pipeline pour en créer un deuxième. Remplacez le nom de l’activité par stopMyIR et remplacez les propriétés suivantes :
Dans URL, entrez l’URL suivante pour l’API REST qui arrête le runtime d’intégration Azure-SSIS. Remplacez {subscriptionId}
, {resourceGroupName}
, {factoryName}
et {integrationRuntimeName}
par les valeurs réelles de votre runtime d’intégration.
https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}/stop?api-version=2018-06-01
.
Pour Corps, entrez {"message":"Stop my IR"}
.
Créez un troisième pipeline. Faites glisser une activité Exécuter un package SSIS de la boîte à outils Activités sur l’aire du concepteur de pipeline. Puis configurez l’activité en suivant les instructions fournies dans Exécuter un package SSIS avec l’activité Exécuter un package SSIS dans le portail Azure.
Chaînez l’activité Exécuter le package SSIS entre deux activités web qui démarrent et arrêtent votre runtime d’intégration, similaires aux activités web des premier et deuxième pipelines.
Au lieu de créer manuellement le troisième pipeline, vous pouvez également le créer automatiquement à partir d’un modèle :
Après avoir créé automatiquement votre pipeline, il ne vous reste plus qu’à attribuer le package SSIS à l’activité Exécuter un package SSIS.
Pour rendre le troisième pipeline plus robuste, vous pouvez vous assurer que les activités web de démarrage et d’arrêt de votre runtime d’intégration sont retentées en cas d’erreurs temporaires (dues par exemple à la connectivité réseau). Vous pouvez également vous assurer que ces activités web sont terminées uniquement lorsque votre runtime d’intégration est réellement démarré ou arrêté.
Pour ce faire, vous pouvez remplacer chaque activité web par une activité Until. L’activité Until contient deux activités web : l’une pour démarrer et arrêter votre runtime d’intégration et l’autre pour vérifier son état. Appelons les activités Until Démarrer un runtime d’intégration SSIS et Arrêter un runtime d’intégration SSIS. L’activité Until Démarrer un runtime d’intégration SSIS contient les activités web Essayer de démarrer un runtime d’intégration SSIS et Obtenir l’état d’un runtime d’intégration SSIS. L’activité Until Arrêter un runtime d’intégration SSIS contient les activités web Essayer d’arrêter un runtime d’intégration SSIS et Obtenir l’état d’un runtime d’intégration SSIS.
Sur l’onglet Paramètres de l’activité Until Démarrer un runtime d’intégration SSIS, dansExpression, entrez @equals('Started', activity('Get SSIS IR Status').output.properties.state)
. Sur l’onglet Paramètres de l’activité Until Arrêter un runtime d’intégration SSIS, dansExpression, entrez @equals('Stopped', activity('Get SSIS IR Status').output.properties.state)
.
Dans les deux activités Until, les activités web Essayer de démarrer un runtime d’intégration SSIS et Essayer d’arrêter un runtime d’intégration SSIS sont similaires à celles des premier et deuxième pipelines. Sur l’onglet Paramètres des activités web Obtenir l’état du runtime d’intégration SSIS, effectuez les actions suivantes :
Dans URL, entrez l’URL suivante de l’API REST qui obtient l’état du runtime d’intégration Azure-SSIS. Remplacez {subscriptionId}
, {resourceGroupName}
, {factoryName}
et {integrationRuntimeName}
par les valeurs réelles de votre runtime d’intégration.
https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/integrationRuntimes/{integrationRuntimeName}?api-version=2018-06-01
Pour Méthode, sélectionnez GET.
Dans Authentification, sélectionnez Identité managée pour utiliser l’identité managée par le système spécifiée pour votre fabrique de données. Pour plus d’informations, consultez Identité managée pour Azure Data Factory.
Pour Ressource, entrez https://management.azure.com/
.
Attribuez à l’identité managée de votre fabrique de données un rôle Contributeur pour elle-même, afin que les activités web de ses pipelines puissent appeler l’API REST pour démarrer et arrêter les runtimes d’intégration Azure-SSIS qui y sont approvisionnés :
Sur votre page Azure Data Factory du portail Azure, sélectionnez Contrôle d’accès (IAM).
Sélectionnez Ajouter>Ajouter une attribution de rôle pour ouvrir la page Ajouter une attribution de rôle.
Attribuez le rôle suivant. Pour connaître les étapes détaillées, consultez Attribuer des rôles Azure à l’aide du portail Azure.
Paramètre | Valeur |
---|---|
Role | Contributeur |
Attribuer l’accès à | Utilisateur, groupe ou principal de service |
Membres | Votre nom d’utilisateur Data Factory |
Validez votre fabrique de données et tous les paramètres du pipeline en sélectionnant Valider tout ou Valider dans la barre d’outils de la fabrique ou du pipeline. Fermez Sortie de validation de la fabrique ou Sortie de validation du pipeline en sélectionnant la double flèche (>>).
Sélectionnez Exécution d’un test dans la barre d’outils de chaque pipeline. Dans le volet inférieur, l’onglet Sortie répertorie les exécutions du pipeline.
Pour tester le troisième pipeline, vous pouvez utiliser SQL Server Management Studio si vous stockez votre package SSIS dans le catalogue SSIS (SSISDB). Dans la fenêtre Se connecter au serveur, effectuez les actions suivantes :
Maintenant que vos pipelines fonctionnent comme prévu, vous pouvez créer des déclencheurs pour les exécuter à des cadences spécifiées. Pour plus d’informations sur l’association de déclencheurs à des pipelines, consultez Configurer des planifications de pipelines.
Dans la barre d’outils du pipeline, sélectionnez Déclencheur, puis Nouveau/Modifier.
Sur le volet Ajouter des déclencheurs, sélectionnez + Nouveau.
Sur le volet Nouveau déclencheur, effectuez les actions suivantes :
Sur la page Paramètres d’exécution du déclencheur, passez en revue tous les avertissements, puis sélectionnez Terminer.
Publiez tous les paramètres de Data Factory en sélectionnant Publier tout dans la barre d’outils de la fabrique.
Pour analyser les exécutions de déclencheur et de pipeline, utilisez l’onglet Analyser sur le côté gauche de l’interface utilisateur ou de l’application Data Factory. Pour obtenir des étapes détaillées, consultez Analyser visuellement Azure Data Factory.
Pour voir les exécutions d’activité associées à l’exécution d’un pipeline, sélectionnez le premier lien (Voir les exécutions d’activités) dans la colonne Actions. Pour le troisième pipeline, trois exécutions d’activité apparaissent, une pour chaque activité chaînée dans le pipeline (l’activité web de démarrage de votre runtime d’intégration, l’activité Exécuter un package SSIS pour exécuter votre package et l’activité web d’arrêt de votre runtime d’intégration). Pour revenir à l’affichage des exécutions de pipeline, sélectionnez le lien Pipelines en haut.
Pour afficher les exécutions du déclencheur, sélectionnez Exécutions de déclencheur dans la liste déroulante sous Exécutions de pipeline en haut.
Utilisez des scripts comme les exemples suivants pour analyser vos pipelines et vos déclencheurs :
Obtenez l’état d’une exécution de pipeline :
Get-AzDataFactoryV2PipelineRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -PipelineRunId $myPipelineRun
Obtenez des informations sur un déclencheur :
Get-AzDataFactoryV2Trigger -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name "myTrigger"
Récupérez l’état de l’exécution d’un déclencheur :
Get-AzDataFactoryV2TriggerRun -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -TriggerName "myTrigger" -TriggerRunStartedAfter "2018-07-15" -TriggerRunStartedBefore "2018-07-16"
Dans cette section, vous apprenez à créer un runbook Azure Automation qui exécute un script PowerShell pour démarrer et arrêter votre runtime d’intégration Azure-SSIS selon une planification. Ces informations sont utiles lorsque vous souhaitez exécuter des scripts supplémentaires avant ou après le démarrage et l’arrêt de votre runtime d’intégration en prétraitement et post-traitement.
Si vous n’avez pas de compte Azure Automation, créez-en un en suivant les instructions indiquées dans cette section. Pour obtenir des instructions détaillées, consultez Créer un compte Azure Automation.
Dans le cadre de ce processus, vous créez un compte d’identification Azure (un principal de service dans Microsoft Entra ID), puis vous lui attribuez un rôle Contributeur dans votre abonnement Azure. Assurez-vous qu’il s’agit du même abonnement que celui qui contient votre fabrique de données avec le runtime d’intégration Azure-SSIS. Azure Automation utilise ce compte pour s’authentifier auprès d’Azure Resource Manager et pour agir sur vos ressources.
Ouvrez le navigateur web Microsoft Edge ou Google Chrome. Actuellement, l’interface utilisateur de Data Factory est prise en charge uniquement dans ces navigateurs web.
Connectez-vous au portail Azure.
Sélectionnez Nouveau dans le menu de gauche, sélectionnez Surveillance + gestion, puis sélectionnez Automation.
Sur le volet Ajouter un compte Automation, effectuez les actions suivantes :
Analysez l’état du déploiement de votre compte Azure Automation sur le tableau de bord Azure et dans les notifications.
Vérifiez que la page d’accueil de votre compte Azure Automation s’affiche. Cela signifie que vous avez créé le compte avec succès.
Sur le menu de gauche, dans la section RESSOURCES PARTAGÉES, sélectionnez Modules. Vérifiez que Az.DataFactory et Az.Profile apparaissent dans la liste des modules. Ils sont tous les deux obligatoires.
Si Az.DataFactory n’apparaît pas :
Accédez au module Az.DataFactory dans PowerShell Gallery.
Sélectionnez Déployer sur Azure Automation, sélectionnez votre compte Azure Automation, puis OK.
Revenez en arrière pour afficher Modules dans la section RESSOURCES PARTAGÉES du menu de gauche. Attendez que l’ÉTAT du module Az.DataFactory passe à Disponible.
Si Az.Profile n’apparaît pas :
Accédez au module Az.Profile dans PowerShell Gallery.
Sélectionnez Déployer sur Azure Automation, sélectionnez votre compte Azure Automation, puis OK.
Revenez en arrière pour afficher Modules dans la section RESSOURCES PARTAGÉES du menu de gauche. Attendez que l’ÉTAT du module Az.Profile passe à Disponible.
Cette section indique les étapes à suivre pour créer un runbook PowerShell. Le script associé à votre runbook démarre ou arrête le runtime d’intégration Azure-SSIS selon la commande que vous spécifiez dans le paramètre OPÉRATION.
Les étapes suivantes ne fournissent pas les détails complets de la création d’un runbook. Pour plus d’informations, consultez Créer un runbook.
Basculez vers l’onglet Runbooks, puis sélectionnez + Ajouter un runbook dans la barre d’outils.
Sélectionnez Créer un runbook, puis effectuez les actions suivantes :
Copiez et collez le script PowerShell suivant dans la fenêtre de script de votre runbook. Enregistrez et publiez votre runbook à l’aide des boutons Enregistrer et Publier de la barre d’outils.
Note
Cet exemple utilise une identité managée affectée par le système. Si vous utilisez un compte d’identification (principal de service) ou une identité managée affectée par l’utilisateur, consultez Exemples de scripts Azure Automation pour la partie connexion.
Activez les autorisations de contrôle d’accès en fonction du rôle (RBAC) appropriées à l’identité managée de ce compte Automation. Pour plus d’informations, consultez Rôles et autorisations pour Azure Data Factory.
Param
(
[Parameter (Mandatory= $true)]
[String] $ResourceGroupName,
[Parameter (Mandatory= $true)]
[String] $DataFactoryName,
[Parameter (Mandatory= $true)]
[String] $AzureSSISName,
[Parameter (Mandatory= $true)]
[String] $Operation
)
$ErrorActionPreference = "Stop"
try
{
"Logging in to Azure..."
Connect-AzAccount -Identity
}
catch {
Write-Error -Message $_.Exception
throw $_.Exception
}
if($Operation -eq "START" -or $operation -eq "start")
{
"##### Starting #####"
Start-AzDataFactoryV2IntegrationRuntime -ResourceGroupName $ResourceGroupName -DataFactoryName $DataFactoryName -Name $AzureSSISName -Force
}
elseif($Operation -eq "STOP" -or $operation -eq "stop")
{
"##### Stopping #####"
Stop-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Force
}
"##### Completed #####"
Testez votre runbook en sélectionnant le bouton Démarrer dans la barre d’outils.
Sur le volet Démarrer un Runbook, procédez comme suit :
Sur le volet Travail, sélectionnez la vignette Sortie. Sur le volet Sortie, attendez qu’apparaisse le message ##### Terminé ##### après le message ##### Démarrage #####. Fermez le volet Travail et revenez à la page Runbook.
Répétez les deux étapes précédentes en utilisant ARRÊTER comme valeur d’OPÉRATION. Redémarrez votre runbook en sélectionnant le bouton Démarrer dans la barre d’outils. Entrez les noms de votre groupe de ressources, de la fabrique de données et de votre runtime d’intégration Azure-SSIS. Pour OPERATION, entrez STOP (Arrêter). Sur le volet Sortie, attendez qu’apparaisse le message ##### Terminé ##### après le message ##### Arrêt #####. L’arrêt d’un runtime d’intégration Azure-SSIS prend moins de temps que son démarrage. Fermez le volet Travail et revenez à la page Runbook.
Vous pouvez également déclencher votre runbook via un webhook. Pour créer un webhook, sélectionnez l’élément de menu Webhooks. Vous pouvez également créer le webhook selon une planification en sélectionnant l’élément de menu Planifications, comme spécifié dans la section suivante.
Dans la section précédente, vous avez créé un runbook Azure Automation qui peut démarrer ou arrêter un runtime d’intégration Azure-SSIS. Dans cette section, vous créez deux planifications pour votre runbook. Quand vous configurez la première planification, vous spécifiez DÉMARRER dans OPÉRATION. Quand vous configurez la seconde planification, vous spécifiez ARRÊTER dans OPÉRATION. Pour obtenir des instructions détaillées sur la création des planifications, consultez Créer une planification.
Sur la page Runbook, sélectionnez Planifications, puis sélectionnez + Ajouter une planification dans la barre d’outils.
Sur le volet Planifier un Runbook, effectuez les actions suivantes :
Passez à l’onglet Paramètres et valeurs d’exécution. Spécifiez les noms de votre groupe de ressources, de la fabrique de données et de votre runtime d’intégration Azure-SSIS. Dans OPÉRATION, entrez DÉMARRER, puis sélectionnez OK. Resélectionnez OK pour afficher la planification sur la page Planifications de votre runbook.
Répétez les deux étapes précédentes pour créer une planification nommée Arrêter le runtime d’intégration tous les jours. Entrez une heure postérieure d’au moins 30 minutes à l’heure que vous avez spécifiée dans la planification Démarrer le runtime d’intégration tous les jours. Dans OPÉRATION, entrez ARRÊTER, puis sélectionnez OK. Resélectionnez OK pour afficher la planification sur la page Planifications de votre runbook.
Sur la page Runbook, sélectionnez Travaux dans le menu de gauche. La page qui s’ouvre répertorie les travaux créés par vos planifications aux heures spécifiées, ainsi que leurs états. Vous pouvez voir les détails des travaux, comme leurs sorties, comme ce qui est apparu après avoir testé votre runbook.
Lorsque vous avez terminé les tests, désactivez vos planifications en les modifiant. Sélectionnez Planifications dans le menu de gauche, sélectionnez Démarrer le runtime d’intégration tous les jours/Arrêter le runtime d’intégration tous les jours, puis sélectionnez Non dans Activé.
Consultez le billet de blog suivant :
Consultez les articles suivants de la documentation relative à SSIS :
Événement
31 mars, 23 h - 2 avr., 23 h
Le plus grand événement d’apprentissage Fabric, Power BI et SQL. 31 mars au 2 avril. Utilisez le code FABINSIDER pour économiser 400 $.
Inscrivez-vous aujourd’huiFormation
Parcours d’apprentissage
Use advance techniques in canvas apps to perform custom updates and optimization - Training
Use advance techniques in canvas apps to perform custom updates and optimization
Certification
Microsoft Certified : Power Automate RPA Developer Associate - Certifications
Montrez comment améliorer et automatiser les workflows avec le développeur RPA de Microsoft Power Automate.