Gérer la configuration Apache Spark

Dans ce didacticiel, découvrez comment créer une configuration Apache Spark pour votre studio synapse. La configuration Apache Spark créée peut être gérée de manière normalisée et lorsque vous créez un bloc-notes ou une définition de travail Apache Spark, vous pouvez sélectionner la configuration Apache Spark que vous souhaitez utiliser avec votre pool Apache Spark. Lorsque vous le sélectionnez, les détails de la configuration s’affichent.

Créer une configuration pour Apache Spark

Vous pouvez créer des configurations personnalisées à partir de différents points d’entrée, comme à partir de la page de configuration Apache Spark d’un pool Spark existant.

Créer des configurations personnalisées dans les configurations Apache Spark

Suivez les étapes ci-dessous pour créer une configuration Apache Spark dans Synapse Studio.

1. Sélectionnez Gérer>Configurations Apache Spark.

2. Cliquez sur le bouton Nouveau pour créer une configuration Apache Spark, ou cliquez sur Importer pour un fichier .json local dans votre espace de travail.

3. La page Nouvelle configuration Apache Spark s’ouvre une fois que vous avez cliqué sur le bouton Nouveau.

4. Pour Nom, vous pouvez entrer votre nom préféré valide.

5. Pour Description, vous pouvez entrer une description.

6. Pour Annotations, vous pouvez ajouter des annotations en cliquant sur le bouton Nouveau, et vous pouvez également supprimer des annotations existantes en sélectionnant et en cliquant sur le bouton Supprimer.

7. Pour les Propriétés de configuration, personnalisez la configuration en cliquant sur le bouton Ajouter afin d’ajouter des propriétés. Si vous n’ajoutez pas de propriété, Azure Synapse utilise la valeur par défaut, le cas échéant.

   

8. Cliquez sur le bouton Continuer.

9. Cliquez sur le bouton Créer lorsque la validation a réussi.

10. Publier tout

Notes

La fonctionnalité Charger une configuration Apache Spark a été supprimée, mais Synapse Studio conservera votre configuration précédemment chargée.

Créer une configuration Apache Spark dans un pool Apache Spark existant

Suivez les étapes ci-dessous pour créer une configuration Apache Spark dans un pool Apache Spark existant.

1. Sélectionnez un pool Apache Spark existant, puis cliquez sur le bouton d’action « ... ».

2. Sélectionnez la configuration Apache Spark dans la liste de contenu.

   

3. Pour la configuration d’Apache Spark, vous pouvez sélectionner une configuration déjà créée dans la liste déroulante, ou cliquer sur +Nouveau pour créer une configuration.

   • Si vous cliquez sur +Nouveau, la page Configuration d’Apache Spark s’ouvre et vous pouvez créer une nouvelle configuration en suivant les étapes décrites dans Créer des configurations personnalisées dans les configurations Apache Spark.

   • Si vous sélectionnez une configuration existante, les détails de configuration s’affichent en bas de la page, vous pouvez également cliquer sur le bouton Modifier pour modifier la configuration existante.

     

4. Cliquez sur Afficher les configurations pour ouvrir la page Sélectionner une configuration. Toutes les configurations s’affichent sur cette page. Vous pouvez sélectionner une configuration que vous souhaitez utiliser sur ce pool Apache Spark.

   

5. Cliquez sur le bouton Appliquer pour enregistrer vos actions.

Créer une configuration Apache Spark dans la session de configuration du notebook

Si vous devez utiliser une configuration Apache Spark personnalisée lors de la création d’un notebook, vous pouvez la créer et la configurer dans la session de configuration en suivant les étapes ci-dessous.

1. Ouvrez/créez un notebook.

2. Ouvrez les propriétés de ce notebook.

3. Cliquez sur Configurer la session pour ouvrir la page Configurer la session.

4. Faites défiler la page configurer la session, pour la configuration d’Apache Spark, développez le menu déroulant, vous pouvez cliquer sur Nouveau pour créer une nouvelle configuration. Ou sélectionnez une configuration existante, si vous sélectionnez une configuration existante, cliquez sur l’icône Modifier pour accéder à la page de configuration Modifier Apache Spark pour modifier la configuration.

5. Cliquez sur Afficher les configurations pour ouvrir la page Sélectionner une configuration. Toutes les configurations s’affichent sur cette page. Vous pouvez sélectionner une configuration que vous souhaitez utiliser.

   

Créer une configuration Apache Spark dans les définitions de travaux Apache Spark

Lorsque vous créez une définition de travail Spark, vous devez utiliser la configuration Apache Spark, qui peut être créée en suivant les étapes ci-dessous :

1. Créez/Ouvrez une définition de travail Apache Spark existante.

2. Pour la configuration d’Apache Spark, vous pouvez cliquer sur le bouton Nouveau pour créer une nouvelle configuration. Ou sélectionnez une configuration existante dans le menu déroulant, si vous sélectionnez une configuration existante, cliquez sur l’icône Modifier pour accéder à la page de configuration Modifier Apache Spark pour modifier la configuration.

3. Cliquez sur Afficher les configurations pour ouvrir la page Sélectionner une configuration. Toutes les configurations s’affichent sur cette page. Vous pouvez sélectionner une configuration que vous souhaitez utiliser.

   

Notes

Si la configuration Apache Spark dans la définition de travail Notebook et Apache Spark ne fait rien de spécial, la configuration par défaut est utilisée lors de l’exécution du travail.

Importer et exporter une configuration Apache Spark

Vous pouvez importer le configuration .txt/.conf/.json dans trois formats, puis la convertir en artefact et la publier. Et peut également s’exporter vers l’un de ces trois formats.

• Importez la configuration .txt/.conf/.json à partir de local.

  

• Exportez la configuration .txt/.conf/.json vers local.

  

Pour le fichier de config .txt et le fichier de configuration .conf, vous pouvez consulter les exemples suivants :

spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

Pour le fichier de config .json, vous pouvez vous référer aux exemples suivants :

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

Étapes suivantes

• Utilisation du pool Apache Spark serverless dans Synapse Studio
• Exécution d’une application Spark dans un notebook
• Création d’une définition de tâche Apache Spark dans Azure Studio
• Collecter les journaux et les métriques des applications Apache Spark avec un compte de stockage Azure.
• Collecter les journaux et les métriques des applications Apache Spark avec Azure Event Hubs.