Migrer des pools Spark d’Azure Synapse vers Fabric

Alors qu’Azure Synapse fournit des pools Spark, Fabric propose des pools de démarrage et des pools personnalisés. Le pool de démarrage peut être un bon choix si vous avez un pool unique sans configurations ou bibliothèques personnalisées dans Azure Synapse, et si la Taille de nœud moyenne répond à vos besoins. Toutefois, si vous recherchez plus de flexibilité avec vos configurations de pool Spark, nous vous recommandons d’utiliser des pools personnalisés. Deux options sont possibles :

• Option 1 : Déplacez votre pool Spark vers le pool par défaut d’un espace de travail.
• Option 2 : Déplacer votre pool Spark vers un environnement personnalisé dans Fabric.

Si vous avez plusieurs pools Spark et que vous envisagez de les déplacer vers le même espace de travail Fabric, nous vous recommandons d’utiliser l’option 2, en créant plusieurs environnements et pools personnalisés.

Pour connaître les considérations relatives au pool Spark, reportez-vous aux différences entre Azure Synapse Spark et Fabric.

Prérequis

Si vous n’en avez pas encore, créez un espace de travail Fabric dans votre locataire.

Option 1 : du pool Spark au pool par défaut de l’espace de travail

Vous pouvez créer un pool Spark personnalisé à partir de votre espace de travail Fabric et l’utiliser comme pool par défaut dans l’espace de travail. Le pool par défaut est utilisé par tous les notebooks et définitions de tâches Spark dans le même espace de travail.

Pour passer d’un pool Spark existant d’Azure Synapse à un pool par défaut d’espace de travail :

1. Accédez à l’espace de travail Azure Synapse : connectez-vous à Azure. Accédez à votre espace de travail Azure Synapse, accédez à Pools Analytics et sélectionnez Pools Apache Spark.
2. Localiser le pool Spark : à partir de pools Apache Spark, localisez le pool Spark que vous souhaitez déplacer vers Fabric et vérifiez les propriétés du pool.
3. Obtenir les propriétés : obtenez les propriétés du pool Spark telles que la version Apache Spark, la famille de tailles de nœud, la taille du nœud ou la mise à l’échelle automatique. Reportez-vous aux considérations relatives au pool Spark pour voir les différences.
4. Créez un pool Spark personnalisé dans Fabric :
   • Accédez à votre espace de travail Fabric et sélectionnez Paramètres de l’espace de travail.
   • Accédez à Ingénieurs de données/Science et sélectionnez Paramètres Spark.
   • Dans l’onglet Pool et dans la section Pool par défaut pour l’espace de travail, développez le menu déroulant et sélectionnez créer un Nouveau pool.
   • Créez votre pool personnalisé avec les valeurs cibles correspondantes. Renseignez le nom, la famille de nœuds, la taille du nœud, la mise à l’échelle automatique et les options d’allocation d’exécuteur dynamique.
5. Sélectionnez une version du runtime :
   • Accédez à l’onglet Environnement, puis sélectionnez la Version du runtime requise. Consultez les runtimes disponibles ici.
   • Désactivez l’option Définir l’environnement par défaut.

Remarque

Dans cette option, les bibliothèques ou configurations au niveau du pool ne sont pas prises en charge. Toutefois, vous pouvez ajuster la configuration de calcul pour des éléments individuels, tels que des notebooks et des définitions de tâches Spark, et ajouter des bibliothèques inline. Si vous devez ajouter des bibliothèques et des configurations personnalisées à un environnement, envisagez un environnement personnalisé.

Option 2 : du pool Spark à un environnement personnalisé

Avec des environnements personnalisés, vous pouvez configurer des propriétés et des bibliothèques Spark personnalisées. Pour créer un environnement personnalisé :

1. Accédez à l’espace de travail Azure Synapse : connectez-vous à Azure. Accédez à votre espace de travail Azure Synapse, accédez à Pools Analytics et sélectionnez Pools Apache Spark.
2. Localiser le pool Spark : à partir de pools Apache Spark, localisez le pool Spark que vous souhaitez déplacer vers Fabric et vérifiez les propriétés du pool.
3. Obtenir les propriétés : obtenez les propriétés du pool Spark telles que la version Apache Spark, la famille de tailles de nœud, la taille du nœud ou la mise à l’échelle automatique. Reportez-vous aux considérations relatives au pool Spark pour voir les différences.
4. Créer un pool Spark personnalisé :
   • Accédez à votre espace de travail Fabric et sélectionnez Paramètres de l’espace de travail.
   • Accédez à Ingénieurs de données/Science et sélectionnez Paramètres Spark.
   • Dans l’onglet Pool et dans la section Pool par défaut pour l’espace de travail, développez le menu déroulant et sélectionnez créer un Nouveau pool.
   • Créez votre pool personnalisé avec les valeurs cibles correspondantes. Renseignez le nom, la famille de nœuds, la taille du nœud, la mise à l’échelle automatique et les options d’allocation d’exécuteur dynamique.
5. Créez un élément d’environnement si vous n’en avez pas.
6. Configurer le calcul Spark :
   • Dans l’Environnement, accédez à Calcul Spark>Calcul.
   • Sélectionnez le pool nouvellement créé pour le nouvel environnement.
   • Vous pouvez configurer les cœurs et la mémoire du pilote et des exécuteurs.
7. Sélectionnez une version du runtime pour l’environnement. Consultez les runtimes disponibles ici.
8. Cliquez sur Enregistrer et Publier les modifications.

En savoir plus sur la création et l’utilisation d’un Environnement.

Contenu connexe

• Migrer des configurations Spark
• Migrer des bibliothèques Spark