CI/CD pour le travail de copie dans Data Factory dans Microsoft Fabric

Pour mener des projets d'analyse de données réussis avec Copy job, vous devriez utiliser le contrôle de source, l'intégration continue, le déploiement continu et un environnement collaboratif.

Dans Microsoft Fabric, vous obtenez deux outils principaux pour ceci : les pipelines d’intégration et de déploiement Git. Celles-ci vous permettent de gérer les ressources de l’espace de travail et de les mettre à jour en fonction des besoins.

Avec les pipelines d’intégration et de déploiement Git, vous pouvez connecter vos propres référentiels Git dans Azure DevOps ou GitHub et utiliser les outils de déploiement intégrés de Fabric. Cela facilite la configuration de flux de travail CI/CD lisses, ce qui vous permet de créer, tester et déployer vos projets de données en toute confiance.

Intégration Git pour le travail de copie

Suivez ces étapes pour connecter votre travail de copie dans Data Factory à Git. Cela vous aide à suivre les modifications, à travailler avec votre équipe et à assurer la sécurité de votre travail :

1. Conditions préalables
2. Se connecter à un référentiel Git
3. Se connecter à un espace de travail
4. Valider les modifications apportées à Git

Configuration requise pour l’intégration Git

• Vous avez besoin d’une licence Power BI Premium ou d’une capacité Fabric.
• Vérifiez que ces paramètres d’administrateur sont activés :
  • Les utilisateurs peuvent créer des éléments Fabric
  • Les utilisateurs peuvent synchroniser des éléments d’espace de travail avec leurs référentiels Git
  • (Pour les utilisateurs GitHub) Les utilisateurs peuvent synchroniser des éléments d’espace de travail avec des référentiels GitHub
• Vous avez besoin d’une organisation Azure DevOps ou d’un compte GitHub.
  • Pour Azure DevOps :
    • Inscrivez-vous à un compte Azure gratuit si vous n’en avez pas.
    • Vérifiez que vous avez accès à un référentiel.
  • Pour GitHub :
    • Inscrivez-vous à un compte GitHub gratuit si vous n’en avez pas.
    • Vous avez besoin d’un jeton affiné avec des autorisations de lecture et d’écriture pour le contenu ou un jeton classique GitHub avec des étendues de dépôt activées.

Étape 1 : se connecter à un référentiel Git

Pour utiliser l’intégration de Git avec le travail de copie dans Fabric, vous devez d’abord vous connecter à un dépôt Git :

1. Connectez-vous à Fabric et accédez à l’espace de travail que vous souhaitez connecter à Git.

2. Sélectionnez Paramètres de l’espace de travail.

   

3. Configurer l’intégration de Git.

4. Choisissez votre fournisseur Git ( Azure DevOps ou GitHub). Si vous choisissez GitHub, sélectionnez Ajouter un compte pour connecter votre compte GitHub. Une fois connecté, sélectionnez Se connecter afin que Fabric puisse accéder à votre compte GitHub.

   

Étape 2 : se connecter à un espace de travail

Une fois que vous êtes connecté à un dépôt Git, vous devez vous connecter à votre espace de travail.

1. Dans le menu déroulant, renseignez les détails sur l’espace de travail et la branche que vous souhaitez utiliser :

   • Pour Azure DevOps :

     • Nom de l’organisation
     • Nom du projet
     • Nom du dépôt
     • Nom de la branche
     • Nom du dossier

   • Pour GitHub :

     • URL du dépôt
     • Nom de la branche
     • Nom du dossier

2. Sélectionnez Se connecter et synchroniser.

3. Après la connexion, sélectionnez Contrôle de code source pour obtenir des informations sur la branche liée, l’état de chaque élément et le moment où il a été synchronisé pour la dernière fois.

   

Étape 3 : valider les modifications apportées à Git

Vous pouvez valider vos modifications sur Git en procédant comme suit :

1. Accédez à votre zone de travail.
2. Sélectionnez l’icône Contrôle de code source. Vous voyez un nombre indiquant le nombre de modifications qui ne sont pas encore validées.
3. Dans le panneau de configuration source , sélectionnez l’onglet Modifications . Vous voyez une liste de tous les éléments que vous avez modifiés, ainsi que des icônes d’état.
4. Choisissez les éléments que vous souhaitez valider. Pour tout sélectionner, cochez la case en haut.
5. (Facultatif) Ajoutez un commentaire de validation sur vos modifications.
6. Sélectionner Valider.

Une fois que vous avez validé, ces éléments disparaissent de la liste, et votre espace de travail pointe vers la dernière validation.

Pipelines de déploiement pour Git

Procédez comme suit pour utiliser des pipelines de déploiement Git avec votre espace de travail Fabric :

1. Conditions préalables
2. Créer un pipeline de déploiement
3. Affecter un espace de travail au pipeline de déploiement
4. Déployer sur une étape vide
5. Déployer du contenu d’une étape vers un autre

Configuration requise pour les pipelines de déploiement

Avant de commencer, veillez à configurer la configuration requise suivante :

• Un abonnement Microsoft Fabric actif.
• Accès administrateur sur un espace de travail Fabric.

Étape 1 : créer un pipeline de déploiement

1. Dans le menu Espaces de travail , sélectionnez Pipelines de déploiement.
2. Lorsque la fenêtre Créer un pipeline de déploiement s’ouvre, entrez un nom et une description pour votre pipeline, puis sélectionnez Suivant.
3. Choisissez le nombre d’étapes souhaitées dans votre pipeline. Par défaut, trois étapes s’affichent : développement, test et production.

Étape 3 : attribuer un espace de travail à un pipeline de déploiement

Après avoir créé un pipeline, vous devez ajouter le contenu que vous souhaitez gérer au pipeline. L’ajout de contenu au pipeline est effectué en affectant un espace de travail à n’importe quelle étape de pipeline :

1. Ouvrez le pipeline de déploiement.

2. Lorsque vous souhaitez affecter un espace de travail, développez la liste déroulante intitulée Ajouter du contenu à cette étape.

3. Sélectionnez l’espace de travail que vous souhaitez attribuer à cette étape.

   

4. Sélectionnez Affecter.

Déployer dans une étape vide

Lorsque vous êtes prêt à déplacer votre contenu d’une étape de pipeline à l’autre, vous pouvez le déployer à l’aide de l’une des options suivantes :

• Déploiement complet : sélectionnez cette option pour déployer tout ce qui se trouve à l’étape actuelle à la phase suivante.
• Déploiement sélectif : choisissez uniquement les éléments que vous souhaitez déployer.
• Déploiement vers l’arrière : déplacez le contenu d’une étape ultérieure vers une étape antérieure. Vous ne pouvez le faire que si l’étape cible est vide (aucun espace de travail n’est affecté).

Après avoir choisi votre option de déploiement, vous pouvez consulter les détails et laisser une note sur le déploiement si vous le souhaitez.

Déployer du contenu d’une phase à une autre

1. Une fois que vous avez du contenu dans une étape de pipeline, vous pouvez le déployer vers l'étape suivante, même si l'espace de travail de l'étape suivante contient du contenu. Les éléments associés sont remplacés. Vous pouvez en savoir plus sur ce processus, dans l’article Déployer du contenu sur un espace de travail existant

2. Vous pouvez également consulter l’historique du déploiement pour voir la dernière fois que le contenu a été déployé à chaque étape. Pour examiner les différences entre les deux pipelines avant le déploiement, consultez Comparer le contenu dans différentes étapes de déploiement.

   

Limitations connues

Voici quelques-unes des limitations actuelles lors de l’utilisation de CI/CD pour le travail de copie dans Data Factory dans Microsoft Fabric :

• Variables d’espace de travail : CI/CD ne prend pas en charge les variables d’espace de travail actuellement.
• Prise en charge limitée de l’intégration Git : actuellement, Fabric prend en charge l’intégration Git uniquement avec Azure DevOps et GitHub. L’intégration Git Azure DevOps est recommandée, car l’intégration Git GitHub a d’autres limitations.

Contenu connexe

• Présentation du processus CI/CD dans le cadre du cycle ALM dans Microsoft Fabric
• Démarrer l’intégration Git, l’outil ALM (Application Lifecycle Management) Fabric
• Démarrer l’utilisation de pipelines de déploiement, l’outil ALM (Application Lifecycle Management) Fabric