Entwickeln Sie Pipeline-Code in Ihrer lokalen Entwicklungsumgebung

Sie können den Python-Pipeline-Quellcode in Ihrer bevorzugten integrierten Entwicklungsumgebung (IDE) erstellen.

Sie können keine Updates für Pipelinecode überprüfen oder ausführen, der in einer IDE geschrieben wurde. Sie müssen Quellcodedateien wieder in einem Azure Databricks-Arbeitsbereich bereitstellen und als Teil einer Pipeline konfigurieren.

Dieser Artikel enthält eine Übersicht über die Unterstützung für die lokale IDE-Entwicklung. Für interaktivere Entwicklung und Tests empfiehlt Databricks die Verwendung des Lakeflow Pipelines Editors. Siehe Entwickeln und Debuggen von ETL-Pipelines mit dem Lakeflow Pipelines-Editor.

Konfigurieren einer lokalen IDE für die Pipelineentwicklung

Databricks stellt ein Python-Modul für die lokale Entwicklung bereit, das über PyPI verteilt wird. Installations- und Verwendungsanweisungen finden Sie unter Python-Stub für DLT.

Dieses Modul enthält die Schnittstellen und Dokumentationsstring-Verweise für die Pipeline-Python-Schnittstelle, die die Syntaxüberprüfung, Autovervollständigung und Datentypüberprüfung während Sie in Ihrer IDE Code schreiben, bereitstellt.

Dieses Modul enthält Schnittstellen, aber keine funktionalen Implementierungen. Sie können diese Bibliothek nicht verwenden, um Pipelines lokal zu erstellen oder auszuführen.

Sie können Databricks Asset Bundles verwenden, um Quellcode und Konfigurationen in einem Zielarbeitsbereich zu packen und bereitzustellen und das Ausführen eines Updates für eine Pipeline auszulösen, die auf diese Weise konfiguriert ist. Siehe Konvertieren einer Pipeline in ein Databricks Asset Bundle-Projekt.

Die Databricks-Erweiterung für Visual Studio Code verfügt über zusätzliche Funktionen zum Arbeiten mit Pipelines mithilfe von Databricks-Objektbündeln. Siehe Bündel-Ressourcen-Explorer.

Synchronisieren von Pipelinecode aus Ihrer IDE mit einem Arbeitsbereich

In der folgenden Tabelle sind optionen für die Synchronisierung von Pipelinequellcode zwischen Ihrer lokalen IDE und einem Azure Databricks-Arbeitsbereich zusammengefasst:

Tool oder Muster	Einzelheiten
Databricks-Ressourcenpakete	Verwenden Sie Databricks Asset Bundles, um Pipelineressourcen bereitzustellen, die von einer einzelnen Quellcodedatei bis hin zu Konfigurationen für mehrere Pipelines, Aufträge und Quellcodedateien reichen. Siehe Konvertieren einer Pipeline in ein Databricks Asset Bundle-Projekt.
Databricks-Erweiterung für Visual Studio Code	Azure Databricks bietet eine Integration in Visual Studio Code, die eine einfache Synchronisierung zwischen Ihren lokalen IDE- und Arbeitsbereichsdateien umfasst. Diese Erweiterung bietet auch Tools für die Verwendung von Databricks Asset Bundles zum Bereitstellen von Pipelines-Ressourcen. Weitere Informationen finden Sie unter Was ist die Databricks-Erweiterung für Visual Studio Code?.
Arbeitsbereichsdateien	Sie können Databricks-Arbeitsbereichsdateien verwenden, um den Pipelinequellcode in Ihren Databricks-Arbeitsbereich hochzuladen und diesen Code dann in eine Pipeline zu importieren. Weitere Informationen finden Sie unter Was sind Arbeitsbereichsdateien?.
Git-Ordner	Mit Git-Ordnern können Sie Code zwischen Ihrer lokalen Umgebung und dem Azure Databricks-Arbeitsbereich synchronisieren, indem Sie ein Git-Repository als Vermittler verwenden. Siehe Azure Databricks Git-Ordner.