Überwachen von Spark-Aufträgen in einem Notebook

Das Microsoft Fabric-Notebook ist eine webbasierte interaktive Oberfläche zum Entwickeln von Apache Spark-Aufträgen und zum Durchführen von Machine Learning-Experimenten. In diesem Artikel wird beschrieben, wie Sie den Status Ihrer Spark-Aufträge überwachen, auf Spark-Protokolle zugreifen, Ratschläge innerhalb des Notebooks erhalten und zur Detailansicht der Spark-Anwendung oder Spark-Benutzeroberfläche navigieren, um umfassendere Überwachungsinformationen für das gesamte Notebook zu erhalten.

Überwachen des Spark-Auftragsstatus

Eine Spark-Auftragsstatusanzeige mit einem Fortschrittsbalken in Echtzeit wird bereitgestellt, damit Sie die Auftragsausführungsstatus der einzelnen Notebookzellen überwachen können. Sie können den Satus und den Aufgabenfortschritt in Ihren Spark-Aufträgen und -Phasen anzeigen.

Überwachen der Ressourcenverwendung

Das Diagramm für die Executornutzung zeigt die Zuteilung der Executors für Spark-Aufträge und die Ressourcennutzung an. Derzeit wird dieses Feature nur in den Laufzeitinformationen von Spark 3.4 und höheren Versionen angezeigt. Klicken Sie auf die Registerkarte Ressourcen. Dadurch wird das Liniendiagramm für den Ressourceneinsatz der Codezelle angezeigt.

Anzeigen von Spark Advisor-Empfehlungen

Der integrierte Spark Advisor analysiert Ihren Notebookcode und die Spark-Ausführungen in Echtzeit, um die Ausführungsleistung Ihres Notebooks zu optimieren und beim Debuggen von Fehlern zu unterstützen. Es gibt drei Arten von integrierten Ratschlägen: Info, Warnung und Fehler. Die Symbole mit Zahlen geben die jeweilige Anzahl von Ratschlägen in jeder Kategorie (Info, Warnung und Fehler) an, die vom Spark Advisor für eine bestimmte Notebookzelle generiert wurden.

Klicken Sie auf den Pfeil am Anfang, um die Details zu erweitern und die Ratschläge anzuzeigen.

Nach dem Erweitern des Advisor-Abschnitts wird mindestens ein Ratschlag angezeigt.

Spark Advisor – Erkennung der Datenschiefe

Datenschiefe ist ein häufiges Problem, auf das Benutzer*innen stoßen. Der Spark Advisor unterstützt die Erkennung der Datenschiefe, und wenn eine solche erkannt wird, wird eine entsprechende Analyse angezeigt.

Zugreifen auf Spark-Echtzeitprotokolle

Spark-Protokolle sind für das Auffinden von Ausnahmen und die Leistungs- oder Fehlerdiagnose unerlässlich. Das Feature für die kontextbezogene Überwachung im Notebook ermöglicht Ihnen den direkten Zugriff auf die Protokolle für die spezifische Zelle, die Sie ausführen. Sie können die Protokolle durchsuchen oder nach Fehlern und Warnungen filtern.

Navigieren zu Spark-Überwachungsdetails und zur Spark-Benutzeroberfläche

Wenn Sie auf zusätzliche Informationen zur Spark-Ausführung auf Notebookebene zugreifen möchten, können Sie über die im Kontextmenü verfügbaren Optionen zur Seite mit den Spark-Anwendungsdetails oder zur Spark-Benutzeroberfläche navigieren.

Zugehöriger Inhalt

• Informationen zu Spark Advisor
• Detailüberwachung von Apache Spark-Anwendungen
• Verwenden des erweiterten Spark-Verlaufsservers zum Debuggen von Apps