Remarque
L’accès à cette page requiert une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page requiert une autorisation. Vous pouvez essayer de modifier des répertoires.
Genie Migrate convertit du SQL de dialectes tels que T-SQL, Snowflake, Redshift, Oracle, BigQuery et Teradata en requêtes Databricks SQL ou en notebooks Databricks. Il convertit également des charges de travail d’extraction, de transformation et de chargement (ETL) d’Informatica PowerCenter (Bêta) en notebooks Databricks. Vous convertissez les fichiers dans un projet de migration, et vous choisissez le format de sortie, appelé le framework cible, lors de la création du projet. Consultez Dialectes sources et frameworks cibles pris en charge.
Pour connaître les prérequis, consultez Prérequis de Genie Migrate.
Comment Genie Migrate convertit le code
Lorsque vous lancez une conversion, Genie Code déploie des sous-agents qui convertissent les fichiers simultanément. Chaque sous-agent analyse le dialecte source et génère le code équivalent pour le cadre cible du projet (Databricks SQL ou un notebook Databricks).
Chaque sous-agent vérifie ensuite le code converti :
- Syntaxe : Vérifie que le code converti s’exécute sur Azure Databricks sans erreurs.
-
Intention sémantique : vérifie que le code converti conserve la logique métier du code source, comme les mêmes jointures et conditions
WHERE.
Lorsqu’une vérification échoue, le sous-agent révise le code et le vérifie à nouveau. Genie Code applique aussi vos compétences personnalisées lors de la conversion des fichiers. Voir Améliorer les conversions avec des compétences personnalisées. Les fichiers convertis sont écrits directement dans le dossier de l’espace de travail que vous spécifiez pour le projet.
Vous pouvez également convertir un seul fichier ou dossier sans projet à l’aide de la /migrate commande d’une conversation Génie Code.
Dialectes sources pris en charge et cadres cibles
Genie Migrate convertit les dialectes SQL suivants :
- T-SQL
- Snowflake SQL
- Redshift SQL
- Oracle
- BigQuery
- Teradata
Lorsque vous créez un projet de migration pour un dialecte SQL, choisissez l’un des frameworks cibles suivants :
- DBSQL : requêtes SQL Databricks compatibles ANSI.
-
Notebooks (Bêta) : notebooks Databricks utilisant l’API DataFrame, avec
spark.sqlpour une logique plus claire en SQL. - Pipelines déclaratifs Spark (Bêta) : pipelines Lakeflow, uniquement pour les projets T-SQL, y compris les scripts des pools SQL dédiés SQL Server et Azure Synapse. Lorsque l’aperçu de Migration Projects Experimental Features est activé, cette cible est sélectionnée par défaut pour les projets T-SQL.
Genie Migrate prend également en charge Informatica PowerCenter en tant que source ETL.
Important
Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur d’espace de travail doit activer Migration Projects Experimental Features depuis la page Previews. Consultez Gérer les préversions d’Azure Databricks.
Informatica Intelligent Gestion des données Cloud (IDMC) et Informatica Intelligent Cloud Services (IICS) ne sont pas pris en charge. Genie Migrate convertit les objets dans une exportation Informatica, tels que les workflows et les mappages, en notebooks Databricks, donc les projets Informatica utilisent toujours le framework cible Notebooks.
Pour préparer les flux de travail Informatica à la conversion, exportez-les depuis PowerCenter Repository Manager au format PowerMart XML. Exportez au niveau du workflow et incluez des objets dépendants, tels que les mappages, sessions, mapplets et worklets. N’incluez pas les identifiants dans l’exportation.
Convertir des fichiers dans un projet de migration
Avant de convertir, créez un projet de migration et ajoutez vos fichiers sources. Voir Créer et analyser un projet de migration.
Étape 1 : Effectuez la conversion
Dans les projets Informatica, vous sélectionnez et convertissez les workflows, mappages et autres objets créés par l’analyse, et non les exportations téléchargées .xml .
Pour convertir des fichiers spécifiques, sélectionnez-les et cliquez sur Convertir la sélection. Pour convertir tous les fichiers du projet, effacer la sélection et cliquer sur Convertir tout. Pour convertir un groupe à la fois, survolez la ligne du groupe et cliquez sur Convertir ce groupe. Voir Planifier la migration en groupes. Genie Code ouvre une conversation, appelle la compétence de migration et déploie des sous-agents pour convertir les fichiers simultanément. Chaque fichier converti apparaît sous la forme d’un fichier lié dans le projet. Chaque fichier affiche l’un des statuts suivants :
- Gris : Le fichier n’a pas encore été converti (Non commencé, mis en file d’attente ou arrêté). Un indicateur de chargement s’affiche pendant la conversion du fichier.
- Vert non rempli : Le fichier a été converti sans problème (converti).
- Rempli en vert : Vous avez examiné et accepté le fichier converti (Examiné).
- Jaune : Le fichier a été converti, mais il contient des points à examiner.
- Rouge : La conversion a échoué (Erreur).
Dans les projets qui ciblent les pipelines Lakeflow, chaque groupe devient un pipeline que vous possédez, et un fichier ne se convertit qu’une fois qu’il est dans un groupe avec un catalogue et un schéma. Avant de convertir un groupe, cliquez sur Sélectionner catalogue et schéma sur sa ligne pour choisir où son pipeline publie les tables et les vues. La destination s’applique lorsque le pipeline du groupe est créé pour la première fois. Si le pipeline d’un groupe est supprimé, la conversion suivante du groupe crée un nouveau pipeline, tant que le groupe possède encore un catalogue et un schéma. Sinon, la conversion échoue et vous demande de les configurer. Chaque exécution convertit des fichiers provenant d’un maximum de 10 groupes.
Chaque exécution convertit jusqu’à 500 fichiers. Si vous mettez plus de 500 fichiers en file d’attente, les 500 premiers fichiers non convertis se convertissent lors de l’exécution en cours. Une fois l’exécution terminée, recommencez la conversion pour convertir les 500 suivants.
Étape 2 : Examiner les résultats de conversion
Pour les projets Databricks SQL, cliquez sur un fichier converti pour ouvrir une diff en ligne dans l’éditeur SQL, qui affiche chaque section du code source au-dessus du SQL proposé de Databricks qui le remplace. Acceptez toutes les modifications suggérées, ou passez en revue et acceptez les modifications individuelles. Pour les projets Notebooks, cliquez sur un fichier converti pour ouvrir le notebook Databricks généré. Pour les scripts qui ne parviennent pas à convertir, modifiez le code dans l’éditeur ou demandez à Genie Code de valider ou réessayer des sections spécifiques. Une fois satisfait, exécutez le SQL converti ou le notebook pour confirmer qu’il fonctionne sur Azure Databricks. Si la même erreur apparaît dans plusieurs fichiers, capturez la correction dans une compétence personnalisée et relancez ces fichiers. Voir Améliorer les conversions avec des compétences personnalisées.
Pour les projets ciblant les pipelines Lakeflow, cliquez sur Ouvrir pipeline sur un groupe converti, examinez les -- TODO: manual review required commentaires dans ses fichiers SQL, puis exécutez le pipeline. Genie Migrate valide chaque groupe converti par une répétition complète de son pipeline, donc rien ne s’exécute et aucune donnée n’est écrite tant que vous n’avez pas exécuté le pipeline.
Le pipeline de chaque groupe porte le nom du projet et du groupe, par Retail warehouse migration / Sales (Lakebridge 2761…/a0b2…)exemple . Ses fichiers convertis se trouvent dans un dossier nommé d’après le groupe à l’intérieur du dossier de destination du projet, sous transformations/. Renommer le groupe plus tard ne déplace pas le dossier.
Pour les projets Informatica, comparez chaque notebook généré avec le mappage PowerCenter correspondant. Vérifiez les tables source et cible, les jointures, les filtres et les groupes de routage, les lookups, la logique de la stratégie de mise à jour et les paramètres. Avant d’utiliser un pipeline converti en production, exécutez-le sur des données hors production et comparez les résultats tels que le nombre de lignes et les agrégats de clés avec la sortie du workflow PowerCenter.
Améliorez les conversions grâce à des compétences personnalisées
Les compétences personnalisées vous permettent d’encoder automatiquement les règles métier appliquées par Genie Code lors de chaque conversion. Utilisez-les pour gérer les types de données propriétaires, appliquer les modèles cibles préférés ou capturer des corrections que vous effectuez à plusieurs reprises. Une compétence de migration est une compétence Génie Code. Vous pouvez donc la créer et la gérer de la même façon que n’importe quelle autre compétence. Consultez Étendre le code Genie avec des compétences d’agent.
Vous n’avez pas besoin de définir toutes vos compétences avant votre première conversion. La plupart des règles qu’une compétence devrait capturer ne deviennent claires qu’après avoir examiné les premiers résultats. Un flux de travail typique est :
- Convertir un ensemble représentatif de fichiers.
- Examinez les fichiers comportant des éléments nécessitant une action ou des erreurs, et recherchez des erreurs qui se répètent d’un fichier à l’autre, comme le même type de données, la même fonction ou le même motif de nommage non pris en charge.
- Créez un skill qui capture la correction de chaque erreur récurrente.
- Sélectionnez uniquement les fichiers concernés et cliquez sur Convertir la sélection. Genie Code applique le nouveau skill à ces fichiers.
Répétez ce cycle au fur et à mesure que vous convertissez plus de votre code. Genie Code applique chaque skill aux conversions ultérieures dans l’espace de travail, donc une correction couvre d’autres fichiers avec le même schéma.
Vous pouvez créer une compétence à partir des paramètres du code Génie ou d’une conversation Génie Code. Utilisez le chemin d’accès des paramètres pour les compétences complexes qui incluent des instructions détaillées, des exemples ou des fichiers complémentaires. Utilisez le parcours de conversation pour des compétences rapides à règle unique.
Paramètres du code Génie
Créez la compétence en tant que fichier afin de pouvoir créer des instructions détaillées et la version dans un dossier Git :
Dans le panneau Génie Code, cliquez sur
Paramètres, puis cliquez sur
Ouvrez le dossier compétences.
Créez un dossier pour votre compétence dans le chemin des compétences de l’espace de travail,
Workspace/.assistant/skills/. Par exemple :Workspace/.assistant/skills/sql-migration/.Dans le dossier skill, créez un fichier
SKILL.mdavec les métadonnées d’en-tête requises et vos règles de conversion. Par exemple:--- name: sql-migration description: Conversion rules to apply when migrating legacy SQL to ANSI SQL. --- Always convert the custom type MYDATE to TIMESTAMP_NTZ.
Genie Code récupère la compétence la prochaine fois que vous exécutez une conversion.
Conversation Genie Code
Décrivez la règle de conversion que vous souhaitez encoder, puis demandez à Genie Code de l’enregistrer :
Tip
Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.
Genie Code crée et enregistre la compétence, puis l’applique lors des conversions futures dans l’espace de travail.
Pour afficher les compétences actives :
Tip
Show me my migration skills
Pour supprimer une compétence :
Tip
Delete the migration skill for [description]
Les compétences de l’espace de travail sont stockées au niveau de l’espace de travail et partagées entre tous les utilisateurs de l’espace de travail.
Tester et valider le code converti
Les conseils suivants vous aident à revoir et à gagner en confiance dans la sortie convertie :
- Conversion par lots : Convertir un petit ensemble de deux à cinq fichiers en une session pour vérifier que la conversion multi-fichiers fonctionne de bout en bout.
- Validation de la syntaxe : après la conversion, exécutez la sortie dans un éditeur OU un notebook Databricks SQL pour confirmer qu’elle s’exécute sans erreur.
-
Cas de périphérie : incluez un script avec des constructions spécifiques au dialecte, telles que les fonctions de fenêtre T-SQL, Snowflake
QUALIFYou RedshiftLISTAGG, pour voir comment le convertisseur gère les modèles non trivials. - Correction sémantique : exécutez les requêtes d’origine et converties sur des données de test équivalentes et comparez les résultats. Vérifiez que la sortie est sémantiquement correcte, et non seulement syntaxiquement valide.