Surveiller les tâches Spark dans un notebook

Le notebook Microsoft Fabric est une surface interactive basée sur le Web pour développer des tâches Apache Spark et mener des expériences d'apprentissage automatique. Cet article explique comment surveiller la progression de vos tâches Spark, accéder aux journaux Spark, recevoir des conseils dans le bloc-notes et accéder à la vue détaillée de l'application Spark ou à l'interface utilisateur Spark pour obtenir des informations de surveillance plus complètes pour l'ensemble du notebook.

Surveiller la progression de la tâche Spark

Un indicateur de progression de la tâche Spark est fourni avec une barre de progression en temps réel qui vous aide à surveiller l'état d'exécution de la tâche pour chaque cellule du bloc-notes. Vous pouvez afficher l'état et la progression des tâches dans vos tâches et étapes Spark.

Surveiller l’utilisation des ressources

Le graphique d’utilisation de l’Exécuteur affiche visuellement l’allocation d’Exécuteurs de travail Spark et l’utilisation des ressources. Seules les informations de runtime de spark 3.4 et versions ultérieures affichent actuellement cette fonctionnalité. Cliquez sur l’onglet Ressources, le graphique en courbes pour l’utilisation des ressources de la cellule de code s’affiche.

Afficher les recommandations de Spark Advisor

Un conseiller Spark intégré analyse le code de votre bloc-notes et les exécutions Spark en temps réel pour aider à optimiser les performances d'exécution de votre bloc-notes et aider au débogage des échecs. Il existe trois types de conseils intégrés : Info, Avertissement et Erreur. Les icônes avec des chiffres indiquent le nombre respectif de conseils dans chaque catégorie (Info, Avertissement et Erreur) générés par le conseiller Spark pour une cellule de bloc-notes particulière.

Pour afficher les conseils, cliquez sur la flèche au début pour développer et afficher les détails.

Après avoir développé la section des conseillers, un ou plusieurs conseils deviennent visibles.

Détection d'inclinaison Spark Advisor

L'asymétrie des données est un problème courant que les utilisateurs rencontrent souvent. Le conseiller Spark prend en charge la détection d'asymétrie, et si une inclinaison est détectée, une analyse correspondante s'affiche ci-dessous.

Accéder aux journaux en temps réel de Spark

Les journaux Spark sont essentiels pour localiser les exceptions et diagnostiquer les performances ou les défaillances. La fonction de surveillance contextuelle du bloc-notes vous apporte directement les journaux pour la cellule spécifique que vous exécutez. Vous pouvez rechercher les journaux ou les filtrer par erreurs et avertissements.

Accédez aux détails de la surveillance Spark et à l'interface utilisateur Spark

Si vous souhaitez accéder à des informations supplémentaires sur l'exécution de Spark au niveau du bloc-notes, vous pouvez accéder à la page des détails de l'application Spark ou à l'interface utilisateur Spark via les options disponibles dans le menu contextuel.

Contenu connexe

• En savoir plus sur Spark Advisor
• Surveillance détaillée des applications Apache Spark
• Utiliser le serveur d’historique Spark étendu pour déboguer des applications