Detailüberwachung von Apache Spark-Anwendungen

Mit Microsoft Fabric können Sie mithilfe von Apache Spark Notebooks, Aufträge und andere Arten von Anwendungen in Ihrem Arbeitsbereich ausführen. In diesem Artikel wird erläutert, wie Sie Ihre Apache Spark-Anwendung überwachen, wodurch Sie den aktuellen Ausführungsstatus, die aktuellen Probleme und den aktuellen Fortschritt Ihrer Aufträge im Auge behalten können.

Anzeigen von Apache Spark-Anwendungen

Sie können alle Apache Spark-Anwendungen über die Spark-Auftragsdefinition anzeigen, oder Sie können die Option für die zuletzt ausgeführten Anwendungen >Letzte Ausführungen über das Kontextmenü Notebookelement anzeigen.

Sie können den Namen der Anwendung auswählen, die Sie in der Anwendungsliste anzeigen möchten. Auf der Seite mit den Anwendungsdetails können Sie die Anwendungsdetails anzeigen.

Überwachen des Apache Spark-Anwendungsstatus

Öffnen Sie die Seite Letzte Ausführungen der Notebook- oder Spark-Auftragsdefinition, auf der Sie den Status der Apache-Anwendung anzeigen können.

• Erfolg

• In Warteschlange

• Beendet

• Storniert

• Fehlerhaft

Aufträge

Öffnen Sie einen Apache Spark-Anwendungsauftrag über das Elementkontextmenü Spark-Auftragsdefinition oder Notebook, wodurch die Option für Zuletzt ausgeführten Anwendungen>Letzte Ausführungen angezeigt wird. > Wählen Sie einen Auftrag auf der Seite „Letzte Ausführungen“ aus.

Auf der Seite mit den Überwachungsdetails der Apache Spark-Anwendung wird die Liste der Auftragsausführungen auf der Registerkarte Aufträge angezeigt. Hier können Sie die Details der einzelnen Aufträge einsehen, einschließlich Auftrags-ID, Beschreibung, Status, Phasen, Aufgaben, Dauer, Verarbeitet, Gelesene Daten, Geschriebene Daten und Codeschnipsel.

• Durch Klicken auf „Auftrags-ID“ kann der Auftrag auf- oder zugeklappt werden.
• Klicken Sie auf die Auftragsbeschreibung, um zur Seite „Auftrag“ oder „Phase“ in der Spark-Benutzeroberfläche zu wechseln.
• Klicken Sie auf den Codeschnipsel für den Auftrag, um den zu diesem Auftrag gehörenden Code zu überprüfen und zu kopieren.

Ressourcen (Vorschau)

Das Diagramm für die Executornutzung zeigt die Zuteilung der Executors für Spark-Aufträge und die Ressourcennutzung an. Derzeit wird dieses Feature nur in den Laufzeitinformationen von Spark 3.4 und höheren Versionen angezeigt. Wählen Sie Ressourcen (Vorschau) aus. Vier Kurventypen zur Executor-Nutzung werden entworfen, u. a. Wird ausgeführt, Im Leerlauf, Zugeteilt, Maximale Anzahl von Instanzen.

• „Zugeteilt“ bezieht sich auf die Kerne, die während der Ausführung der Spark-Anwendung zugewiesen werden.

• „Maximale Anzahl von Instanzen“ bezieht sich auf die maximale Anzahl von Kernen, die der Spark-Anwendung zugeordnet werden.

• „Wird ausgeführt“ bezieht sich auf die tatsächliche Anzahl von Kernen, die von der Spark-Anwendung während der Ausführung verwendet werden. Klicken Sie auf einen Zeitpunkt, zu dem die Spark-Anwendung ausgeführt wird. Unten im Diagramm werden Details zur Zuteilung der ausgeführten Executor-Kerne angezeigt.

  

• „Im Leerlauf“ bezieht sich auf die Anzahl nicht verwendeter Kerne während der Ausführung der Spark-Anwendung.

In einigen Fällen kann die Anzahl der Aufgaben zu bestimmten Zeiten die Kapazität der Executorkerne (d. h. Aufgabenanzahl > Gesamtanzahl Executorkerne/spark.task.cpus) überschreiten. Dies wird erwartet, da zwischen einer als ausgeführt markierten Aufgabe und ihrer tatsächlichen Ausführung in einem Executorkern eine zeitliche Lücke besteht. Daher werden einige Aufgaben möglicherweise als ausgeführt angezeigt, sie werden jedoch in keinem Kern ausgeführt.

Wählen Sie das Farbsymbol aus, um den entsprechenden Inhalt in allen Diagrammen auszuwählen oder die Auswahl aufzuheben.

Panel „Zusammenfassung“

Klicken Sie auf der Anwendungsüberwachungsseite für Apache Spark auf die Schaltfläche Eigenschaften, um das Panel „Zusammenfassung“ auf- oder zuzuklappen. Sie können die Details für diese Anwendung unter Details anzeigen.

• Status für diese Spark-Anwendung
• ID dieser Spark-Anwendung
• Gesamtdauer
• Ausführungsdauer für diese Spark-Anwendung
• Warteschlangendauer für diese Spark-Anwendung
• Livy-ID
• Einreichende Person für diese Spark-Anwendung
• Übermittlungszeit für diese Spark-Anwendung
• Anzahl von Executors

Protokolle

Auf der Registerkarte Protokolle können Sie das vollständige Protokoll von Livy, Prelaunch und Driver über die Auswahl der verschiedenen Optionen im linken Panel anzeigen. Außerdem können Sie die erforderlichen Protokollinformationen direkt abrufen, indem Sie Schlüsselwörter durchsuchen und die Protokolle durch Filtern des Protokollstatus anzeigen. Klicken Sie auf „Protokoll herunterladen“, um die Protokollinformationen lokal herunterzuladen.

Manchmal sind keine Protokolle verfügbar, z. B. wenn der Status des Auftrags „In der Warteschlange“ lautet und die Clustererstellung fehlgeschlagen ist.

Liveprotokolle sind nur verfügbar, wenn die App-Übermittlung fehlschlägt und Treiberprotokolle ebenfalls bereitgestellt werden.

Daten

Auf der Registerkarte Daten können Sie die Datenliste in die Zwischenablage kopieren, die Datenliste und einzelne Daten herunterladen und die Eigenschaften für die einzelnen Daten überprüfen.

• Das linke Panel kann auf- oder zugeklappt werden.
• Name, Leseformat, Größe, Quelle und Pfad der Ein- und Ausgabedateien werden in dieser Liste angezeigt.
• Die Dateien in Ein- und Ausgabe können heruntergeladen, Pfade kopiert und Eigenschaften angezeigt werden.

Verwandte Elemente

Auf der Registerkarte Verwandte Elemente können Sie Elemente durchsuchen und anzeigen, die der Apache Spark-Anwendung zugeordnet sind, einschließlich Notebooks, Spark-Auftragsdefinition und/oder Pipelines. Auf der Seite „Verwandte Elemente“ wird die Momentaufnahme der Code- und Parameterwerte zum Zeitpunkt der Ausführung von Notebooks angezeigt. Außerdem wird die Momentaufnahme aller Einstellungen und Parameter zum Zeitpunkt der Übermittlung von Spark-Auftragsdefinitionen angezeigt. Wenn die Apache Spark-Anwendung einer Pipeline zugeordnet ist, werden auf der zugehörigen Elementseite auch die entsprechende Pipeline und die Spark-Aktivität angezeigt.

Auf dem Bildschirm „Verwandte Elemente“ haben Sie folgende Möglichkeiten:

• Durchsuchen von und Navigieren durch „Verwandte Elemente“ in der hierarchischen Struktur
• Klicken auf das Ellipsensymbol „Liste mit weiteren Aktionen“ für jedes Element, um unterschiedliche Aktionen auszuführen
• Klicken auf das Element „Momentaufnahme“, um dessen Inhalt anzuzeigen
• Anzeigen der Breadcrumb-Leiste, um den Pfad vom ausgewählten Element zum Stamm anzuzeigen

Diagnose

Im Diagnosepanel finden Benutzer*innen Echtzeitempfehlungen und Fehleranalysen, die von Spark Advisor durch eine Analyse des Benutzercodes generiert werden. Mit integrierten Mustern hilft Apache Spark Advisor Benutzer*innen, häufige Fehler zu vermeiden und Fehler zu analysieren, um ihre Grundursache zu identifizieren.

Zugehöriger Inhalt

Der nächste Schritt nach dem Anzeigen der Details einer Apache Spark-Anwendung besteht darin, den Fortschritt des Spark-Auftrags unterhalb der Zelle „Notebook“ anzuzeigen. Weitere Informationen finden Sie hier:

• Kontextbezogenes Überwachen und Debuggen von Notebooks