Présentation de la surveillance d'Apache Spark

  • Article

La surveillance Microsoft Fabric Spark est conçue pour offrir une expérience basée sur l'interface utilisateur Web avec des fonctionnalités riches intégrées pour surveiller la progression et l'état des applications Spark en cours, parcourir les activités Spark passées, analyser et optimiser les performances et faciliter le dépannage des pannes. Plusieurs points d'entrée sont disponibles pour parcourir, surveiller et afficher les détails de l'application Spark.

Centre de surveillance

Le hub de surveillance sert de portail centralisé pour parcourir les activités Spark à travers les éléments. En un coup d'œil, vous pouvez afficher les applications Spark en cours déclenchées à partir des blocs-notes, des définitions de tâche Spark et des pipelines. Vous pouvez également rechercher et filtrer les applications Spark en fonction de différents critères et explorer pour afficher plus de détails d'exécution Spark d'une application Spark.

Exécutions récentes de l'article

Lorsque vous travaillez sur des éléments spécifiques, la fonctionnalité Exécutions récentes de l'élément vous permet de parcourir les activités actuelles et récentes de l'élément et d'obtenir des informations sur l'émetteur, le statut, la durée et d'autres informations pour les activités soumises par vous ou d'autres.

Surveillance contextuelle du bloc-notes

Notebook Contextual Monitoring offre la possibilité de créer, de surveiller et de déboguer des tâches Spark à partir d'un seul endroit. Vous pouvez surveiller la progression de la tâche Spark, afficher les tâches d'exécution et les exécuteurs Spark et accéder aux journaux Spark dans un Notebook au niveau de la cellule Notebook. Le conseiller Spark est également intégré à Notebook pour offrir des conseils en temps réel sur l'exécution du code et de la cellule Spark et effectuer une analyse des erreurs.

Surveillance en ligne de la définition des tâches Spark

La fonctionnalité de surveillance en ligne de la définition de tâche Spark vous permet d'afficher l'état de soumission et d'exécution de la définition de tâche Spark en temps réel, ainsi que d'afficher les exécutions et configurations passées de la définition de tâche Spark. Vous pouvez accéder à la page de détails de l'application Spark pour afficher plus de détails.

Surveillance en ligne de l'activité de Pipeline Spark

Pour la surveillance en ligne de l'activité Spark de Pipeline, des liens profonds ont été intégrés dans les activités de définition de tâche Notebook et Spark dans le pipeline. Vous pouvez afficher les détails d'exécution de l'application Spark, l'instantané de définition de travail Notebook et Spark respectif, et accéder aux journaux Spark pour le dépannage. Si les activités Spark échouent, le message d'erreur en ligne est également disponible dans les activités Pipeline Spark.

Contenu connexe