Entwickeln und Debuggen von ETL-Pipelines mit einem Notizbuch in Lakeflow Declarative Pipelines

Von Bedeutung

Dieses Feature befindet sich in der öffentlichen Vorschau.

In diesem Artikel wird beschrieben, wie Sie ein Notizbuch in Lakeflow Declarative Pipelines zum Entwickeln und Debuggen von ETL-Pipelines verwenden. Dies ist die Standardentwicklungserfahrung in Lakeflow Declarative Pipelines.

Hinweis

Wenn Sie den Multidatei-Editor für deklarative Lakeflow-Pipelines konfiguriert haben, lesen Sie " Entwickeln und Debuggen von ETL-Pipelines" mit dem Lakeflow-Pipelines-Editor.

Übersicht der Notebooks in Lakeflow-Deklarative-Pipelines

Wenn Sie an einem Python- oder SQL-Notizbuch arbeiten, das als Quellcode für eine vorhandene Pipeline konfiguriert ist, können Sie das Notizbuch direkt mit der Pipeline verbinden. Wenn das Notizbuch mit der Pipeline verbunden ist, stehen die folgenden Features zur Verfügung:

• Die Pipeline über das Notebook starten und überprüfen.
• Sehen Sie sich den Datenflussgraphen und das Ereignisprotokoll der Pipeline für das letzte Update im Notizbuch an.
• Die Pipelinediagnose im Notebook-Editor anzeigen.
• Zeigen Sie den Status des Pipelineclusters im Notizbuch an.
• Greifen Sie über das Notizbuch auf die Benutzeroberfläche der Deklarativen Pipelines von Lakeflow zu.

Voraussetzungen

• Sie müssen über eine vorhandene Pipeline mit einem Python- oder SQL-Notizbuch verfügen, das als Quellcode konfiguriert ist.
• Sie müssen entweder der Besitzer der Pipeline sein oder über die CAN_MANAGE Berechtigung verfügen.

Einschränkungen

• Die in diesem Artikel behandelten Features sind nur in Azure Databricks-Notizbüchern verfügbar. Arbeitsbereichsdateien werden nicht unterstützt.
• Das Webterminal ist beim Anfügen an eine Pipeline nicht verfügbar. Daher ist es im unteren Bereich nicht als Registerkarte sichtbar.

Verbinden eines Notizbuchs mit einer Pipeline

Klicken Sie im Notebook auf das Dropdownmenü, das zum Auswählen der Berechnung verwendet wird. Das Dropdownmenü zeigt alle Ihre Lakeflow-Deklarative-Pipelines mit diesem Notizbuch als Quellcode an. Um das Notizbuch mit einer Pipeline zu verbinden, wählen Sie es aus der Liste aus.

Anzeigen des Clusterstatus der Pipeline

Um den Zustand Ihres Pipeline-Clusters leicht zu verstehen, wird sein Status im Compute-Dropdownmenü mit einer grünen Farbe angezeigt, um anzuzeigen, dass das Cluster rennt.

Pipelinecode validieren

Sie können die Pipeline überprüfen , um auf Syntaxfehler im Quellcode zu überprüfen, ohne Daten zu verarbeiten.

Führen Sie zum Überprüfen einer Pipeline eine der folgenden Aktionen aus:

• Klicken Sie in der oberen rechten Ecke des Notizbuchs auf "Überprüfen".
• Drücken Sie Shift+Enter in einer beliebigen Notizbuchzelle.
• Klicken Sie im Dropdownmenü einer Zelle auf "Pipeline überprüfen".

Hinweis

Wenn Sie versuchen, die Pipeline zu überprüfen, während bereits ein vorhandenes Update ausgeführt wird, wird in einem Dialogfeld gefragt, ob Sie das vorhandene Update beenden möchten. Wenn Sie auf "Ja" klicken, wird das vorhandene Update beendet, und ein überprüftes Update wird automatisch gestartet.

Starten eines Pipelineupdates

Um eine Aktualisierung Ihrer Pipeline zu starten, klicken Sie in der oberen rechten Ecke des Notizbuchs auf die Schaltfläche " Start ". Siehe Ausführen eines Updates in Lakeflow Declarative Pipelines.

Anzeigen des Status einer Aktualisierung

Im oberen Bereich des Notebooks wird angezeigt, ob ein Pipeline-Update in einem der folgenden Zustände vorliegt:

• Wird gestartet
• Die Überprüfen erfolgt.
• Anhalten

Anzeigen von Fehlern und Diagnosen

Nachdem Sie eine Pipelineaktualisierung oder -überprüfung gestartet haben, werden alle Fehler inline mit einer roten Unterstreichung angezeigt. Zeigen Sie mit der Maus auf einen Fehler, um weitere Informationen anzuzeigen.

Anzeigen von Pipeline-Ereignissen

Wenn an eine Pipeline angeschlossen, gibt es unten im Notizbuch eine Registerkarte für das Lakeflow Deklarative Pipelines Ereignisprotokoll.

Anzeigen des Pipelinedatenflussdiagramms

Um das Datenflussdiagramm einer Pipeline anzuzeigen, verwenden Sie die Registerkarte „Lakeflow Declarative Pipelines“ am unteren Rand des Notizbuchs. Wenn Sie einen Knoten im Diagramm auswählen, wird dessen Schema im rechten Bereich angezeigt.

So greifen Sie über das Notizbuch auf die Benutzeroberfläche der Deklarativen Pipelines von Lakeflow zu

Verwenden Sie das Menü in der oberen rechten Ecke des Notizbuchs, um auf einfache Weise zur Benutzeroberfläche von Lakeflow Declarative Pipelines zu springen.

Zugreifen auf Treiberprotokolle und die Spark-UI aus dem Notizbuch

Auf die Treiberprotokolle und spark UI, die der zu entwickelnden Pipeline zugeordnet sind, kann einfach über das Menü "Ansicht " des Notizbuchs zugegriffen werden.