Überwachen von Pipelines in der Benutzeroberfläche

Überwachen Sie Lakeflow-Pipelines in der Azure Databricks Benutzeroberfläche, um den Updatestatus nachzuverfolgen, warnungen bei Pipelineereignissen zu erhalten und Streamingquellenmetriken anzuzeigen. Diese integrierten Features unterstützen Aufgaben wie:

• Beobachten des Fortschritts und des Status von Pipelineupdates. Siehe Pipelinedetails, die auf der Überwachungsseite verfügbar sind.
• Warnung bei Pipelineereignissen wie Erfolg oder Fehlschlag von Pipelineupdates. Siehe Hinzufügen von E-Mail-Benachrichtigungen für Pipelineereignisse.
• Anzeigen von Metriken für Streamingquellen wie Apache Kafka und Auto Loader (Public Preview). Siehe Streamingmetriken anzeigen.

Hinzufügen von E-Mail-Benachrichtigungen für Pipelineereignisse

Sie können eine oder mehrere E-Mail-Adressen für den Empfang von Benachrichtigungen konfigurieren, wenn Folgendes auftritt:

• Ein Pipelineupdate wird erfolgreich abgeschlossen.
• Ein Pipelineupdate schlägt fehl, entweder mit einem wiederholbaren oder einem nicht wiederholbaren Fehler. Wählen Sie diese Option aus, um eine Benachrichtigung für alle Pipelinefehler zu erhalten.
• Ein Pipelineupdate schlägt mit einem nicht wiederholbaren (schwerwiegenden) Fehler fehl. Wählen Sie diese Option aus, um nur dann eine Benachrichtigung zu erhalten, wenn ein nicht wiederholbarer Fehler auftritt.
• Ein einzelner Datenfluss schlägt fehl.

Um E-Mail-Benachrichtigungen zu konfigurieren, bearbeiten Sie die Einstellungen für eine Pipeline. Siehe Benachrichtigungen.

Hinweis

Erstellen Sie benutzerdefinierte Antworten auf Ereignisse, einschließlich Benachrichtigungen oder benutzerdefinierter Behandlung, mithilfe von Python-Ereignishaken.

Pipelines in der Benutzeroberfläche anzeigen

Suchen Sie Ihre Pipeline über die Option Einzelvorgänge & Pipelines in der Seitenleiste des Arbeitsbereichs. Dadurch wird die Seite "Aufträge und Pipelines " geöffnet, auf der Sie Informationen zu jedem Auftrag und jeder Pipeline anzeigen können, auf die Sie Zugriff haben. Klicken Sie auf den Namen einer Pipeline, um die Pipelineüberwachungsseite zu öffnen. Um den Auftrag oder die Pipeline zu bearbeiten, klicken Sie auf das Und wählen Sie "Bearbeiten" aus.

Hinweis

Aufträge und verschiedene Pipelinetypen weisen unterschiedliche Editoren auf. Mit der Option "Bearbeiten" wird der richtige Editor für das ausgewählte Objekt geöffnet.

Die Liste „Aufträge und Pipelines“ verwenden

Um die Liste der Pipelines anzuzeigen, auf die Sie Zugriff haben, klicken Sie auf das Aufträge & Pipelines in der Randleiste. Auf der Registerkarte "Aufträge & Pipelines " werden Informationen zu allen verfügbaren Aufträgen und Pipelines aufgelistet, z. B. der Ersteller, der Trigger (falls vorhanden) und das Ergebnis der letzten fünf Ausführungen.

Wenn Sie auf den Namen einer Pipeline oder eines Auftrags klicken, gelangen Sie zur Überwachungsseite für diese Pipeline oder diesen Auftrag. Um die Pipeline oder den Auftrag zu bearbeiten, klicken Sie auf das Wählen Sie dann "Bearbeiten" aus.

Wenn Sie die in der Liste angezeigten Spalten ändern möchten, klicken Sie auf , und wählen Sie Spalten aus, oder deaktivieren Sie sie. Wenn Sie z. B. die Pipeline Type Spalte als Spalte hinzufügen möchten, wählen Sie diese Spalte aus, die angezeigt werden soll.

Sie können Aufträge in der Liste Jobs & pipelines filtern, wie im folgenden Screenshot gezeigt.

1. Textsuche: Die Schlüsselwortsuche wird für die Felder "Name " und "ID " unterstützt. Um nach einem Tag zu suchen, das mit einem Schlüssel und einem Wert erstellt wurde, können Sie nach dem Schlüssel und/oder dem Wert suchen. Beispielsweise können Sie für ein Tag mit dem Schlüssel department und dem Wert finance nach department oder finance suchen, um übereinstimmende Aufträgen zu ermitteln. Um nach dem Schlüssel und wert zu suchen, geben Sie den Schlüssel und den Wert ein, der durch einen Doppelpunkt getrennt ist (z. B. department:finance).
2. Typ: Filtern nach Aufträgen, Pipelines oder Allen. Wenn Sie Pipelines auswählen, können Sie auch nach Pipelinetyp filtern, einschließlich ETL- und Aufnahmepipelinen.
3. Besitzer: Zeigen Sie nur die Aufträge an, die Sie besitzen.
4. Favoriten: Anzeigen von Aufträgen, die Sie als Favoriten markiert haben.
5. Tags: Verwenden Sie Tags. Um nach Tag zu suchen, können Sie das Dropdownmenü "Tags" verwenden, um gleichzeitig nach bis zu fünf Tags zu filtern oder die Stichwortsuche direkt zu verwenden.
6. Ausführen als: Filtern nach bis zu zwei run as Werten.

Um einen Job oder eine Pipeline zu starten, klicken Sie auf die Wiedergabeschaltfläche . Um einen Auftrag oder eine Pipeline zu beenden, klicken Sie auf die . Um auf andere Aktionen zuzugreifen, klicken Sie auf das Sie können z. B. den Auftrag oder die Pipeline bearbeiten oder löschen oder auf Einstellungen für eine Pipeline in diesem Menü zugreifen.

Pipeline-Details, die auf der Überwachungsseite verfügbar sind

Hinweis

Die Vorschau der Liste der einheitlichen Ausführungen fügt der Liste der Einzelvorgangsausführungen Pipelineausführungen hinzu. Weitere Informationen zu den Änderungen bei aktivierter Vorschau und dazu, wie Sie sie aktivieren, finden Sie unter Änderungen in der Vorschau der einheitlichen Ausführungsliste.

Wenn Sie auf der Seite "Aufträge und Pipelines " auf den Namen einer Pipeline klicken, wird die Überwachungsseite für diese Pipeline angezeigt. Von hier aus können Sie eine Pipelineausführung starten und vorherige Ausführungsdetails anzeigen.

Das Pipelinediagramm, auch als weitergeleitetes azyklisches Diagramm (DAG) bezeichnet, wird angezeigt, sobald ein Update für eine Pipeline erfolgreich gestartet wurde. Pfeile stellen Abhängigkeiten zwischen Datasets in Ihrer Pipeline dar. Standardmäßig zeigt die Pipelineüberwachungsseite das neueste Update für die Tabelle an, Sie können jedoch ältere Updates aus einem Dropdownmenü auswählen.

Im rechten Bereich werden oben die Details zur Pipeline angezeigt, einschließlich der Pipeline-ID, der Rechenkosten, der Produktedition und des Kanals. Details zur Aktualisierung werden unterhalb der Pipeline-Details angezeigt. Um auf den Pipelinequellcode zuzugreifen, klicken Sie oben auf der Seite auf " Pipeline bearbeiten ". Um zum Code für eine bestimmte Tabelle zu navigieren, zeigen Sie mit der Maus auf die Tabelle im Pipelinediagramm, und klicken Sie auf Navigieren Sie zu Code.

Wenn Sie eine tabellarische Ansicht von Datasets anzeigen möchten, klicken Sie auf die Registerkarte "Liste ". In der Listenansicht können Sie alle Datasets in Ihrer Pipeline anzeigen, die als Zeile in einer Tabelle dargestellt werden, und ist nützlich, wenn Ihr Pipelinediagramm zu groß ist, um sie in der Graph-Ansicht zu visualisieren. Sie können die in der Tabelle angezeigten Datasets mithilfe mehrerer Filter steuern, z. B. Datensatzname, Typ und Status. Um zurück zum Pipelinediagramm zu wechseln, klicken Sie auf "Graph".

Der Ausführen als-Benutzer ist der Pipelinebesitzer, und Pipeline-Updates werden mit den Berechtigungen dieses Benutzers ausgeführt. Um den run as-Benutzer zu ändern, klicken Sie auf Berechtigungen, und ändern Sie den Pipelinebesitzer.

Hinweis

Ausführungsverhalten von Aktualisierungen: Durch einen Zeitplan, die Pipelines-API oder kontinuierliche Pipelines ausgelöste Updates nutzen ein automatisches Wiederholungs- und Neustartverhalten. Updates, die von der Überwachungsbenutzeroberfläche oder dem Pipeline-Editor ausgelöst werden, verwenden ein Verhalten mit schnellem Start und Fokus auf Debugging. Um das Verhalten für eine bestimmte Ausführung außer Kraft zu setzen, verwenden Sie die Option "Jetzt ausführen" mit unterschiedlichen Einstellungsoptionen in der Dropdownliste. Weitere Informationen finden Sie unter Updateausführungsverhalten.

Ereignisprotokoll: Wenn ein Pipelineupdate Fehler aufweist, werden die Fehler im unteren Bereich mit einer Schaltfläche " Protokolle anzeigen " angezeigt, um auf das Ereignisprotokoll für diese Ausführung zuzugreifen. Das Ereignisprotokoll ist auch verfügbar, indem Anzeigen des Ereignisprotokolls aus den Ausführungsdetails im rechten Bereich. Wenn Sie ein Update im Lakeflow Pipelines Editor ausführen, navigieren Sie am unteren Rand des Editors zum Bereich "Probleme ", und klicken Sie dann neben einem Fehler auf " Protokolle anzeigen " oder auf die Schaltfläche " In Protokollen öffnen ". Weitere Informationen finden Sie unter Lakeflow Pipelines Editor und Pipeline-Einstellung für das Ereignisprotokoll.

Änderungen in der Vorschau der Unified Runs-Liste

Wenn die Vorschau der einheitlichen Ausführungsliste aktiviert ist, können Sie auf der Seite "Aufträge und Pipelines" die Pipelineausführungsaktualisierungen sehen.

Von Bedeutung

Die Liste der einheitlichen Ausführungen befindet sich in der öffentlichen Vorschauversion. Arbeitsbereiche nehmen standardmäßig an der Vorschau teil.

Um die Einheitliche Ausführungsliste zu deaktivieren, muss ein Arbeitsbereichsadministrator die Teilnahme an der Vorschauversion beenden. Ausführliche Informationen zum Anmelden oder Abmelden einer Vorschau finden Sie unter Verwalten von Vorschauen auf Kontoebene.

Um auf die einheitliche Ausführungsliste zuzugreifen, wählen Sie entweder -Ausführungen in der Seitenleiste des Arbeitsbereichs aus oder klicken Sie auf Einzelvorgänge & Pipelines und wählen Sie anschließend die Registerkarte Ausführungen aus.

Auf der Registerkarte wird eine Liste der kürzlich durchgeführten Läufe der letzten 60 Tage angezeigt. Ein Diagramm, das Erfolg und Fehler von Läufen über die letzten 48 Stunden zeigt, wird zuerst angezeigt, in den folgenden Fällen:

• Sie werden nur nach Aufträgen oder Pipelines gefiltert.
• Sie sind Administrator oder wenden Sie einen Filter an, um nur bestimmte Ausführungen anzuzeigen Run as: Me
• Es kann bis zu einer Stunde dauern, bis die Läufe im Diagramm angezeigt werden.

Sie können die Liste und das Diagramm filtern nach:

• Name des Auftrags oder der Pipeline.
• Alle, Jobs oder Pipelines.
• Pipelinetyp (ETL, Erfassung, MV/ST oder Datenbanktabellensynchronisierung).
• Als -Benutzer ausführen.
• Die Startzeit des Prozesses (innerhalb der letzten 48 Stunden).
• Der Ausführungsstatus.
• Fehlercode für fehlgeschlagene Ausführung.

Neben dem obigen können Sie die folgenden Spalten in der Liste anzeigen:

• Endzeit
• Run-ID
• Gibt an, ob die Ausführung manuell oder nach einem Zeitplan gestartet wurde.
• Ausführungsdauer.
• Führen Sie Parameter aus.

Um die in der Ausführungsliste angezeigten Spalten zu ändern, klicken Sie auf , und wählen Sie die gewünschten Spalten aus, oder heben Sie die Auswahl auf.

Wenn Sie auf die Startzeit, die Endzeit oder den Namen einer Pipelineausführung klicken, gelangen Sie zur Überwachungsseite für die Pipeline.

Wenn eine Pipeline aktiv ausgeführt wird, können Sie die Ausführung beenden, indem Sie auf das klicken. Sie können jederzeit auf das Menüschaltfläche in der Zeile für die Ausführung klicken und Pipeline bearbeiten auswählen, um die Pipeline im Editor anzuzeigen.

Details des Datensatzes anzeigen

Wenn Sie auf ein Dataset in der Pipelinediagramm- oder Datasetliste klicken, werden Informationen zum Dataset im unteren Bereich angezeigt. Im rechten Bereich werden weiterhin Pipeline- und Aktualisierungsdetails angezeigt.

• Schema: Wählen Sie die Tabelle auf der Registerkarte "Tabellen " im unteren Bereich und dann "Spalten" aus.
• Datenqualitätsmetriken: Sichtbar im unteren Bereich, wenn eine Tabelle ausgewählt ist.
• Quellcode: Um zum Code für eine bestimmte Tabelle zu navigieren, zeigen Sie mit der Maus auf die Tabelle im Pipelinediagramm, und klicken Sie auf das Navigieren Sie zur Codeschaltfläche .
• Abfrageverlauf: Wählen Sie im unteren Bereich "Leistung " aus.
• Tabellenkommentare: Tabellenkommentare sind auf der Pipelinedetailseite nicht verfügbar. Um Tabellenkommentare anzuzeigen, öffnen Sie die Tabelle im Katalog-Explorer. Um direkt zur Tabelle zu navigieren, zeigen Sie im Pipelinediagramm darauf, klicken Sie auf das Klicken Sie dann auf das Ansicht im Katalog. Um über die Tabellenliste im unteren Bereich auf den Katalog-Explorer zuzugreifen, klicken Sie auf das

Prüfen des Updateverlaufs

Klicken Sie auf das Dropdownmenü „Updateverlauf“, um den Verlauf und den Status von Pipelineupdates anzuzeigen.

Wählen Sie das Update im Dropdownmenü aus, um den Graph, die Details und die Ereignisse für ein Update anzuzeigen. Klicken Sie auf Aktuelles Update anzeigen, um zum neuesten Update zurückzukehren.

Hinweis

Die Aufbewahrung des Updateverlaufs hängt von der Produktedition der Pipeline ab: Core speichert vergangene Updates 5 Tage lang, während Pro und Advanced vergangene Updates 30 Tage lang speichern. Updates, die älter als das Aufbewahrungsfenster sind, werden hier nicht mehr angezeigt, bleiben aber im Ereignisprotokoll.

Anzeigen von Streamingmetriken

Von Bedeutung

Streaming-Observierbarkeit für Pipelines befindet sich in Public Preview.

Sie können Streamingmetriken aus den Datenquellen anzeigen, die von Spark Structured Streaming unterstützt werden, z. B. Apache Kafka, Amazon Kinesis, Auto Loader und Delta-Tabellen für jeden Streamingfluss in Ihrer Pipeline. Metriken werden als Diagramme im rechten Bereich der Pipeline-Benutzeroberfläche angezeigt und enthalten Backlog-Sekunden, Backlogbytes, Backlog-Datensätze und Backlogdateien. In den Diagrammen wird der maximale Wert nach Minute aggregiert angezeigt, und ein Tooltip zeigt die maximalen Werte an, wenn Sie mit der Maus über das Diagramm fahren. Die Daten sind auf die letzten 48 Stunden ab der aktuellen Zeit beschränkt.

Tabellen in Ihrer Pipeline, für die Streaming-Metriken verfügbar sind, zeigen in der LDP Chart IconGraph-Ansicht der UI beim Anzeigen des Pipeline-Diagramms das an. Um die Streamingmetriken anzuzeigen, klicken Sie auf das , um das Streamingmetrikdiagramm auf der Registerkarte "Flüsse " im rechten Bereich anzuzeigen. Sie können auch einen Filter anwenden, um nur Tabellen mit Streamingmetriken anzuzeigen, indem Sie auf Liste und dann auf Mit Streamingmetrikenklicken.

Jede Streamingquelle unterstützt nur bestimmte Metriken. Metriken, die von einer Streamingquelle nicht unterstützt werden, stehen nicht zur Anzeige auf der Benutzeroberfläche zur Verfügung. In der folgenden Tabelle sind die Metriken aufgeführt, die für unterstützte Streamingquellen verfügbar sind:

source	Backlogbytes	Backlog-Datensätze	Backlog-Sekunden	Backlogdateien
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatischer Lader	✓			✓
Google Pub/Sub (Nachrichtendienst)	✓	✓