Referentie voor pijplijnontwikkelaars

Deze sectie bevat naslaginformatie en instructies voor pijplijnontwikkelaars.

Gegevens laden en transformaties worden geïmplementeerd in pijplijnen middels query's die streaming-tabellen en gematerialiseerde views definiëren. Als u deze query's wilt implementeren, ondersteunt Lakeflow Spark Declarative Pipelines SQL- en Python-interfaces. Omdat deze interfaces gelijkwaardige functionaliteit bieden voor de meeste gebruiksscenario's voor gegevensverwerking, kunnen pijplijnontwikkelaars de interface kiezen waarmee ze het meest vertrouwd zijn.

Python-ontwikkeling

Pijplijnen maken met behulp van Python-code.

Onderwerp	Description
Pijplijncode ontwikkelen met Python	Een overzicht van het ontwikkelen van pijplijnen in Python.
Naslaginformatie over Python-taal voor Lakeflow Spark-declaratieve pijplijnen	Python-referentiedocumentatie voor de pipelines module.
Python-afhankelijkheden voor pijplijnen beheren	Instructies voor het beheren van Python-bibliotheken in pijplijnen.
Python-modules importeren uit Git-mappen of werkruimtebestanden	Instructies voor het gebruik van Python-modules die u hebt opgeslagen in Azure Databricks.

SQL-ontwikkeling

Pijplijnen maken met behulp van SQL-code.

Onderwerp	Description
Code voor declaratieve pijplijnen voor Lakeflow Spark ontwikkelen met SQL	Een overzicht van het ontwikkelen van pijplijnen in SQL.
SQL-taalreferentie voor pipelines	Referentiedocumentatie voor SQL-syntaxis voor Lakeflow Spark-declaratieve pijplijnen.
Pijplijnen gebruiken in Databricks SQL	Databricks SQL gebruiken om te werken met pijplijnen.

Andere ontwikkelonderwerpen

In de volgende onderwerpen worden verschillende manieren beschreven om pijpleidingen te ontwikkelen.

Onderwerp	Description
Een pijplijn converteren naar een Databricks Asset Bundle-project	Converteer een bestaande pijplijn naar een bundel, waarmee u uw gegevensverwerkingsconfiguratie in een door bron beheerd YAML-bestand kunt beheren voor eenvoudiger onderhoud en geautomatiseerde implementaties naar doelomgevingen.
Pijplijnen maken met dlt-meta	Gebruik de opensource-bibliotheek dlt-meta om het maken van pijplijnen te automatiseren met een framework op basis van metagegevens.
Pijplijncode ontwikkelen in uw lokale ontwikkelomgeving	Een overzicht van opties voor het lokaal ontwikkelen van pijplijnen.