Entwickeln und Debuggen von Pipelines mit einem Notebook (Legacy)

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

Sie können ETL-Pipelines aus einem Azure Databricks Notizbuch entwickeln und debuggen, das mit einer Pipeline verbunden ist, indem Sie die älteren Notizbuchbearbeitungsfunktionen in Lakeflow-Pipelines verwenden.

Von Bedeutung

Diese Seite beschreibt die Bearbeitungserfahrung für veraltete Notizbücher. Dieses Feature kann nicht mehr aktiviert werden und ist nur in Arbeitsbereichen verfügbar, die zuvor den Lakeflow-Pipelines-Editor deaktiviert haben. Die Bearbeitungsfunktion für Notizbücher wird nicht mehr unterstützt und wird entfernt.

Die Standardansicht ist der Lakeflow Pipelines Editor. Verwenden Sie den Lakeflow-Pipelines-Editor, um Notizbücher oder Python oder SQL-Codedateien für eine Pipeline zu bearbeiten. Weitere Informationen finden Sie unter Entwickeln und Debuggen von ETL-Pipelines mit dem Lakeflow Pipelines Editor.

Übersicht über Notizbücher in Pipelines

Wenn Sie an einem Python oder SQL-Notizbuch arbeiten, das als Quellcode für eine vorhandene Pipeline konfiguriert ist, können Sie das Notizbuch direkt mit der Pipeline verbinden. Wenn das Notizbuch mit der Pipeline verbunden ist, stehen die folgenden Features zur Verfügung:

• Die Pipeline über das Notebook starten und überprüfen.
• Sehen Sie sich den Datenflussgraphen und das Ereignisprotokoll der Pipeline für das letzte Update im Notizbuch an.
• Die Pipelinediagnose im Notebook-Editor anzeigen.
• Zeigen Sie den Status des Pipelineclusters im Notizbuch an.
• Greifen Sie über das Notizbuch auf die Pipeline-Benutzeroberfläche zu.

Voraussetzungen

• Sie müssen über eine vorhandene Pipeline mit einem Python oder SQL-Notizbuch verfügen, das als Quellcode konfiguriert ist.
• Sie müssen entweder der Besitzer der Pipeline sein oder über die CAN_MANAGE Berechtigung verfügen.

Einschränkungen

• Die in diesem Artikel behandelten Features sind nur in Azure Databricks Notizbüchern verfügbar. Arbeitsbereichsdateien werden nicht unterstützt.
• Das Webterminal ist beim Anfügen an eine Pipeline nicht verfügbar. Daher ist es im unteren Bereich nicht als Registerkarte sichtbar.

Verbinden eines Notizbuchs mit einer Pipeline

Klicken Sie im Notebook auf das Dropdownmenü, das zum Auswählen der Berechnung verwendet wird. Das Dropdownmenü zeigt alle Ihre Pipelines an, bei denen dieses Notebook als Quellcode dient. Um das Notizbuch mit einer Pipeline zu verbinden, wählen Sie es aus der Liste aus.

Anzeigen des Clusterstatus der Pipeline

Um den Zustand Ihres Pipeline-Clusters leicht zu verstehen, wird sein Status im Compute-Dropdownmenü mit einer grünen Farbe angezeigt, um anzuzeigen, dass das Cluster rennt.

Pipelinecode validieren

Sie können die Pipeline überprüfen , um auf Syntaxfehler im Quellcode zu überprüfen, ohne Daten zu verarbeiten.

Führen Sie zum Überprüfen einer Pipeline eine der folgenden Aktionen aus:

• Klicken Sie in der oberen rechten Ecke des Notizbuchs auf "Überprüfen".
• Drücken Sie Shift+Enter in einer beliebigen Notizbuchzelle.
• Klicken Sie im Dropdownmenü einer Zelle auf "Pipeline überprüfen".

Hinweis

Wenn Sie versuchen, die Pipeline zu überprüfen, während bereits ein vorhandenes Update ausgeführt wird, wird in einem Dialogfeld gefragt, ob Sie das vorhandene Update beenden möchten. Wenn Sie auf "Ja" klicken, wird das vorhandene Update beendet, und ein überprüftes Update wird automatisch gestartet.

Starten eines Pipelineupdates

Um eine Aktualisierung Ihrer Pipeline zu starten, klicken Sie in der oberen rechten Ecke des Notizbuchs auf die Schaltfläche " Start ". Siehe Ausführen eines Pipelineupdates.

Anzeigen des Status einer Aktualisierung

Im oberen Bereich des Notebooks wird angezeigt, ob ein Pipeline-Update in einem der folgenden Zustände vorliegt:

• Wird gestartet
• Die Überprüfen erfolgt.
• Anhalten

Anzeigen von Fehlern und Diagnosen

Nachdem Sie eine Pipelineaktualisierung oder -überprüfung gestartet haben, werden alle Fehler inline mit einer roten Unterstreichung angezeigt. Zeigen Sie mit der Maus auf einen Fehler, um weitere Informationen anzuzeigen.

Anzeigen von Pipeline-Ereignissen

Wenn das Notebook mit einer Pipeline verbunden ist, gibt es unten im Notebook eine Registerkarte „Pipelineereignisprotokoll“.

Anzeigen des Pipelinedatenflussdiagramms

Um das Datenflussdiagramm einer Pipeline anzuzeigen, verwenden Sie die Registerkarte "Pipelinediagramm" am unteren Rand des Notizbuchs. Wenn Sie einen Knoten im Diagramm auswählen, wird dessen Schema im rechten Bereich angezeigt.

So greifen Sie über das Notizbuch auf die Pipeline-UI zu

Um einfach zur Pipeline-Benutzeroberfläche zu gelangen, verwenden Sie das Menü in der oberen rechten Ecke des Notebooks.

Zugreifen auf Treiberprotokolle und die Spark-UI aus dem Notizbuch

Auf die Treiberprotokolle und spark UI, die der zu entwickelnden Pipeline zugeordnet sind, kann einfach über das Menü "Ansicht " des Notizbuchs zugegriffen werden.