Referenz für Pipelineentwickler

Dieser Abschnitt enthält Referenz- und Anweisungen für Pipelineentwickler.

Datenladevorgänge und Transformationen werden in Pipelines durch Abfragen implementiert, die Streamingtabellen und materialisierte Ansichten definieren. Um diese Abfragen zu implementieren, unterstützt Lakeflow Spark Declarative Pipelines SQL- und Python-Schnittstellen. Da diese Schnittstellen für die meisten Anwendungsfälle für die Datenverarbeitung gleichwertige Funktionen bereitstellen, können Pipelineentwickler die Schnittstelle auswählen, mit der sie am besten vertraut sind.

Python-Entwicklung

Erstellen Sie Pipelines mit Python-Code.

Thema	Description
Entwickeln von Pipelinecode mit Python	Eine Übersicht über die Entwicklung von Pipelines in Python.
Lakeflow Spark Declarative Pipelines Python-Sprachreferenz	Python-Referenzdokumentation für das pipelines Modul.
Verwalten von Python-Abhängigkeiten für Pipelines	Anweisungen zum Verwalten von Python-Bibliotheken in Pipelines.
Importieren von Python-Modulen aus Git-Ordnern oder Arbeitsbereichsdateien	Anweisungen für die Verwendung von Python-Modulen, die Sie in Azure Databricks gespeichert haben.

SQL-Entwicklung

Erstellen Sie Pipelines mit SQL-Code.

Thema	Description
Entwickeln von Lakeflow Spark Declarative Pipelines-Code mit SQL	Eine Übersicht über die Entwicklung von Pipelines in SQL.
SQL-Sprachreferenz für Pipeline	Referenzdokumentation für SQL-Syntax für Lakeflow Spark Declarative Pipelines.
Verwenden von Pipelines in Databricks SQL	Verwenden Sie Databricks SQL, um mit Pipelines zu arbeiten.

Weitere Entwicklungsthemen

In den folgenden Themen werden weitere Möglichkeiten zum Entwickeln von Piplines beschrieben.

Thema	Description
Konvertieren einer Pipeline in ein Databricks Asset Bundle-Projekt	Konvertieren Sie eine vorhandene Pipeline in ein Bundle, mit dem Sie Ihre Datenverarbeitungskonfiguration in einer quellgesteuerten YAML-Datei verwalten können, um die Wartung und automatisierte Bereitstellungen in Zielumgebungen zu vereinfachen.
Erstellen von Pipelines mit dlt-meta	Verwenden Sie die Open Source-Bibliothek dlt-meta , um die Erstellung von Pipelines mit einem metadatengesteuerten Framework zu automatisieren.
Entwickeln von Pipelinecode in Ihrer lokalen Entwicklungsumgebung	Eine Übersicht über optionen für die lokale Entwicklung von Pipelines.