Créer et analyser un projet de migration

Un projet de migration contient les fichiers sources que vous migrez avec Genie Migrate. Créez un projet et ajoutez vos fichiers sources. Ensuite, analysez le projet pour examiner la complexité du code et les dépendances entre les fichiers, et planifiez la migration en groupes avant de convertir. L’analyse est optionnelle pour les projets SQL et requise pour les projets Informatica. Pour un aperçu des projets de migration, voir Qu’est-ce qu’un projet de migration ?.

Créer un projet de migration

Pour créer un projet de migration, téléchargez vos fichiers sources dans votre espace de travail, créez le projet, puis ajoutez les fichiers à celui-ci.

Étape 1 : Charger des fichiers sources

Téléchargez vos fichiers SQL existants (.sql) ou exports ETL (.xml) via le navigateur de fichiers de l’espace de travail, ou utilisez la Databricks CLI pour télécharger en masse un répertoire de scripts.

Étape 2 : Choisissez le dialecte source et le cadre cible

Créez un projet de migration à partir de votre espace de travail :

  1. Cliquez sur Nouvelle icône>projet de migration.
  2. Entrez un nom pour le projet.
  3. Utilisez les sélecteurs déroulants pour choisir un dialecte source et une infrastructure cible. Pour framework cible, choisissez DBSQL ou Notebooks (Beta). Voir les dialectes sources pris en charge et les frameworks cibles. Si vous choisissez Informatica comme dialecte source, le framework cible est défini sur Notebooks.
  4. Entrez le chemin d’accès du fichier au dossier destination cible. Cliquez sur Parcourir pour choisir une destination dans une liste de dossiers d’espace de travail disponibles.
  5. Cliquez sur Créer.

Boîte de dialogue Nouveau projet de migration montrant le nom du projet, le dialecte source, l’infrastructure cible et les champs de dossier de destination.

Étape 3 : Ajouter des fichiers sources au projet

Après avoir créé le projet, ajoutez les fichiers que vous avez téléchargés :

  1. Dans le projet, cliquez sur Ajouter des fichiers>+ Ajouter des fichiers.
  2. Sélectionnez le dossier source ou un fichier dans votre espace de travail.

Dans les projets Informatica, seuls les fichiers .xml sont ajoutés. Les autres types de fichiers sont ignorés.

L’onglet Fichiers liste chaque fichier avec son type de fichier, son nombre de lignes et son statut de conversion. Les projets Informatica s’ouvrent dans l’onglet Inventaire , qui liste chaque exportation avec les objets qu’elle contient.

L’onglet Fichiers du projet de migration affichant les fichiers sources regroupés par type de script, chacun avec un statut Non commencé et son nombre de lignes.

Analyser la complexité et la traçabilité du code (Bêta)

Important

Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur d’espace de travail doit activer Migration Projects Experimental Features depuis la page Previews. Consultez Gérer les préversions d’Azure Databricks.

L’analyse montre la complexité de chaque fichier source et les dépendances entre fichiers et tables, afin de planifier quels fichiers migrer ensemble. Une analyse est disponible pour chaque dialecte source supporté. Les étapes dépendent du type de projet.

Projets SQL

  1. Dans le projet, cliquez sur Analyze all. Si le projet n’a pas de traçabilité, Analyser tout est l’action par défaut. Sinon, sélectionnez Analyser tout dans le menu déroulant du bouton. L’analyse couvre tous les fichiers du projet, même si vous sélectionnez des fichiers.
  2. Attendre que l’analyse se termine. Pour annuler une analyse en cours, cliquez sur Arrêter. Lorsque l’analyse est terminée, le bouton passe à Convertir tout.
  3. Cliquez sur un fichier source pour ouvrir son évaluation de complexité, puis cliquez sur Lineage pour ouvrir un graphe de dépendances qui montre les fichiers et tables interdépendants que vous devez migrer ensemble.

Onglet Migration Lineage montrant un graphe de dépendances qui relie les fichiers sources aux tables qu’ils lisent et écrivent.

Projets Informatica

Vous devez analyser un export avant de pouvoir le convertir.

  1. Dans le projet, ouvrez l’onglet Inventaire .
  2. Cliquez sur « Analyser tout ».
  3. Attendre que l’analyse se termine. L’analyse divise chaque export en workflows, worklets, mappages et mapplets.

Planifiez la migration en groupes

Après analyse, utilisez des groupes pour planifier l’ordre de votre migration. Un groupe est un ensemble de fichiers que vous convertissez et relisez ensemble, afin de pouvoir gérer la migration en plusieurs étapes. L’onglet Fichiers liste vos groupes dans l’ordre, suivi d’un groupe Non assigné qui contient les fichiers qui ne sont pas encore dans un groupe. Des groupes sont disponibles pour les sources SQL. Les projets Informatica affichent plutôt les fichiers par dossier.

Dans les projets ciblant les pipelines Lakeflow, chaque groupe devient un pipeline, et les fichiers que vous ajoutez commencent dans un groupe. Un dossier devient un groupe nommé d’après le dossier, les fichiers individuels sont regroupés en groupes nommés « Groupe 1 », « Groupe 2 », et ainsi de suite, et un groupe contient jusqu’à 300 fichiers, donc un dossier plus grand est divisé en groupes numérotés. Placez les scripts qui construisent un ensemble de tables, comme un data mart, dans le même groupe, afin que leurs tables puissent se lire mutuellement dans le pipeline du groupe.

  • Pour créer un groupe, sélectionnez fichiers, cliquez sur Déplacer, puis sélectionnez Nouveau groupe.... Pour déplacer des fichiers vers un autre groupe, sélectionnez-les, cliquez sur Déplacer, puis choisissez le groupe. Vous pouvez aussi glisser des fichiers dans un groupe.
  • Pour renommer un groupe, cliquez sur son nom. Pour supprimer un groupe, survolez sa ligne et cliquez sur Supprimer le groupe. Ses fichiers passent à Non assigné.
  • Pour convertir un groupe, survolez sa ligne et cliquez sur Convertir ce groupe. Les fichiers déjà convertis ou examinés sont sautés, et chaque exécution convertit jusqu’à 500 fichiers. Voir l’étape 1 : Effectuez la conversion. Si un groupe contient des fichiers dont la conversion a échoué, sa ligne affiche plutôt Réessayer les échecs. Cliquez dessus pour ne convertir à nouveau que ces fichiers.
  • Pour voir vos fichiers par type de script, comme les procédures stockées, les vues et les tables, sélectionnez Type de script au-dessus de la liste. Sélectionnez les groupes pour revenir à vos groupes.
  • Vous pouvez aussi demander à Genie Code de regrouper les fichiers pour vous. Il peut lire le lineage du projet, créer des groupes et y ajouter des fichiers. Dans les projets ciblant les pipelines Lakeflow, il peut également définir le catalogue et le schéma d’un groupe, par exemple lorsque vous lui demandez de définir le catalogue et le schéma d’un pipeline. Genie Code vous demande d’approuver chaque changement avant que Genie Code ne l’effectue.

Dans l’onglet Lignée , vérifiez les groupes dans le panneau latéral pour voir leur lignée. Les groupes sont disposés de gauche à droite, et chaque groupe apparaît après les groupes dont il lit les tables, donc vous pouvez voir quels groupes convertir en premier.

Étapes suivantes