Migration d’Azure Synapse Spark vers Fabric

Avant de commencer votre migration, vous devez vérifier que l’engineering données de Fabric est la meilleure solution pour votre charge de travail. L’engineering données de Fabric prend en charge les éléments lakehouse, notebook, environnement, définition de tâche Spark et pipeline de données, notamment différentes fonctionnalités de runtime et Spark.

Considérations relatives aux clés

L’étape initiale de la création d’une stratégie de migration consiste à évaluer le degré de pertinence. Il est important de noter que certaines fonctionnalités Fabric liées à Spark sont actuellement en cours de développement ou de planification. Pour découvrir plus de détails et les derniers changements, consultez la feuille de route de Fabric.

Pour Spark, consultez une comparaison détaillée des différences entre Azure Synapse Spark et Fabric.

Scénarios de migration

Si vous déterminez que l’engineering données de Fabric est le bon choix pour migrer vos charges de travail Spark existantes, le processus de migration peut impliquer plusieurs scénarios et plusieurs phases :

• Éléments : La migration d’éléments implique le transfert d’un ou de plusieurs éléments de votre espace de travail Azure Synapse existant vers Fabric. En savoir plus sur la migration des pools Spark, des configurations Spark, des bibliothèques Spark, des notebooks et de la définition de tâche Spark.
• Données et pipelines : Avec les raccourcis OneLake, vous pouvez rendre les données ADLS Gen2 (liées à un espace de travail Azure Synapse) disponibles dans le lakehouse Fabric. La migration de pipeline implique le déplacement de pipelines de données existants vers Fabric, y compris les activités de pipeline de définition de tâche Spark et de notebook. En savoir plus sur la migration des données et des pipelines.
• Métadonnées : La migration des métadonnées implique de déplacer les métadonnées de catalogue Spark (bases de données, tables et partitions) d’un metastore Hive (HMS) existant dans Azure Synapse vers le lakehouse Fabric. En savoir plus sur la migration des métadonnées HMS.
• Espace de travail : Les utilisateurs peuvent migrer un espace de travail Azure Synapse existant en créant un espace de travail dans Microsoft Fabric, y compris les métadonnées. La migration d’espace de travail n’est pas abordée dans ce guide, car nous supposons que les utilisateurs doivent créer un espace de travail ou disposer d’un espace de travail Fabric existant. En savoir plus sur les rôles d’espace de travail dans Fabric.

Pour passer d’Azure Synapse Spark à Fabric Spark, vous devez très bien connaître votre architecture actuelle et les différences entre Azure Synapse Spark et Fabric. La première étape cruciale est une évaluation, suivie de la création d’un plan de migration détaillé. Ce plan peut être personnalisé pour correspondre aux caractéristiques uniques de votre système, aux dépendances de phase et aux complexités de charge de travail.

Contenu connexe

• Fabric ou Azure Synapse Spark
• En savoir plus sur les options de migration pour les pools Spark, les configurations , les bibliothèques , les notebooks et la définition de tâche Spark
• Migrer des données et des pipelines
• Migrer les métadonnées du metastore Hive