Entwickeln und Debuggen von Pipelines mit einem Notebook (Legacy)

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

In diesem Artikel wird beschrieben, wie Sie ein Notizbuch in Lakeflow Spark Declarative Pipelines zum Entwickeln und Debuggen von ETL-Pipelines verwenden.

Hinweis

Diese Seite beschreibt die Bearbeitungserfahrung für veraltete Notizbücher. Die empfohlene Standarderfahrung ist der Lakeflow Pipelines Editor. Sie können den Lakeflow Pipelines Editor verwenden, um Notizbücher oder Python- oder SQL-Codedateien für eine Pipeline zu bearbeiten. Weitere Informationen finden Sie unter Entwickeln und Debuggen von ETL-Pipelines mit dem Lakeflow Pipelines Editor.

Um die auf dieser Seite beschriebene Notizbuchoberfläche zu konfigurieren, müssen Sie den Lakeflow-Pipelines-Editor deaktivieren. Siehe Aktivieren des Lakeflow-Pipelines-Editors und der aktualisierten Überwachung.

Übersicht über Notizbücher in Lakeflow Spark Declarative Pipelines

Wenn Sie an einem Python- oder SQL-Notizbuch arbeiten, das als Quellcode für eine vorhandene Pipeline konfiguriert ist, können Sie das Notizbuch direkt mit der Pipeline verbinden. Wenn das Notizbuch mit der Pipeline verbunden ist, stehen die folgenden Features zur Verfügung:

• Die Pipeline über das Notebook starten und überprüfen.
• Sehen Sie sich den Datenflussgraphen und das Ereignisprotokoll der Pipeline für das letzte Update im Notizbuch an.
• Die Pipelinediagnose im Notebook-Editor anzeigen.
• Zeigen Sie den Status des Pipelineclusters im Notizbuch an.
• Greifen Sie über das Notizbuch auf die Benutzeroberfläche von Lakeflow Spark Declarative Pipelines zu.

Voraussetzungen

• Sie müssen über eine vorhandene Pipeline mit einem Python- oder SQL-Notizbuch verfügen, das als Quellcode konfiguriert ist.
• Sie müssen entweder der Besitzer der Pipeline sein oder über die CAN_MANAGE Berechtigung verfügen.

Einschränkungen

• Die in diesem Artikel behandelten Features sind nur in Azure Databricks-Notizbüchern verfügbar. Arbeitsbereichsdateien werden nicht unterstützt.
• Das Webterminal ist beim Anfügen an eine Pipeline nicht verfügbar. Daher ist es im unteren Bereich nicht als Registerkarte sichtbar.

Verbinden eines Notizbuchs mit einer Pipeline

Klicken Sie im Notebook auf das Dropdownmenü, das zum Auswählen der Berechnung verwendet wird. Im Dropdown-Menü werden alle "Lakeflow Spark Declarative Pipelines" angezeigt, die dieses Notizbuch als Quellcode verwenden. Um das Notizbuch mit einer Pipeline zu verbinden, wählen Sie es aus der Liste aus.

Anzeigen des Clusterstatus der Pipeline

Um den Zustand Ihres Pipeline-Clusters leicht zu verstehen, wird sein Status im Compute-Dropdownmenü mit einer grünen Farbe angezeigt, um anzuzeigen, dass das Cluster rennt.

Pipelinecode validieren

Sie können die Pipeline überprüfen , um auf Syntaxfehler im Quellcode zu überprüfen, ohne Daten zu verarbeiten.

Führen Sie zum Überprüfen einer Pipeline eine der folgenden Aktionen aus:

• Klicken Sie in der oberen rechten Ecke des Notizbuchs auf "Überprüfen".
• Drücken Sie Shift+Enter in einer beliebigen Notizbuchzelle.
• Klicken Sie im Dropdownmenü einer Zelle auf "Pipeline überprüfen".

Hinweis

Wenn Sie versuchen, die Pipeline zu überprüfen, während bereits ein vorhandenes Update ausgeführt wird, wird in einem Dialogfeld gefragt, ob Sie das vorhandene Update beenden möchten. Wenn Sie auf "Ja" klicken, wird das vorhandene Update beendet, und ein überprüftes Update wird automatisch gestartet.

Starten eines Pipelineupdates

Um eine Aktualisierung Ihrer Pipeline zu starten, klicken Sie in der oberen rechten Ecke des Notizbuchs auf die Schaltfläche " Start ". Siehe Ausführen eines Pipelineupdates.

Anzeigen des Status einer Aktualisierung

Im oberen Bereich des Notebooks wird angezeigt, ob ein Pipeline-Update in einem der folgenden Zustände vorliegt:

• Wird gestartet
• Die Überprüfen erfolgt.
• Anhalten

Anzeigen von Fehlern und Diagnosen

Nachdem Sie eine Pipelineaktualisierung oder -überprüfung gestartet haben, werden alle Fehler inline mit einer roten Unterstreichung angezeigt. Zeigen Sie mit der Maus auf einen Fehler, um weitere Informationen anzuzeigen.

Anzeigen von Pipeline-Ereignissen

Wenn an eine Pipeline angefügt, gibt es unten im Notizbuch einen Reiter für das Ereignisprotokoll der Lakeflow Spark Declarative Pipelines.

Anzeigen des Pipelinedatenflussdiagramms

Um das Datenflussdiagramm einer Pipeline anzuzeigen, verwenden Sie die Registerkarte "Lakeflow Spark Declarative Pipelines" im unteren Bereich des Notebooks. Wenn Sie einen Knoten im Diagramm auswählen, wird dessen Schema im rechten Bereich angezeigt.

So greifen Sie über das Notizbuch auf die Benutzeroberfläche von Lakeflow Spark Declarative Pipelines zu

Verwenden Sie das Menü in der oberen rechten Ecke des Notizbuchs, um einfach zur Benutzeroberfläche von Lakeflow Spark Declarative Pipelines zu springen.

Zugreifen auf Treiberprotokolle und die Spark-UI aus dem Notizbuch

Auf die Treiberprotokolle und spark UI, die der zu entwickelnden Pipeline zugeordnet sind, kann einfach über das Menü "Ansicht " des Notizbuchs zugegriffen werden.