Referens för utvecklare av pipelines

Det här avsnittet innehåller referenser och instruktioner för pipelineutvecklare.

Datainläsning och transformeringar implementeras i pipelines av frågor som definierar strömmande tabeller och materialiserade vyer. För att implementera dessa frågeställningar stöder Lakeflow Spark deklarativa pipelines SQL- och Python-gränssnitt. Eftersom dessa gränssnitt ger motsvarande funktioner för de flesta användningsfall för databearbetning kan pipelineutvecklare välja det gränssnitt som de är mest bekväma med.

Python-utveckling

Skapa pipelines med Python-kod.

Ämne	Description
Utveckla pipelinekod med Python	En översikt över hur du utvecklar pipelines i Python.
Python-språkreferens för Lakeflow Spark Deklarativa pipelines	Python-referensdokumentation för modulen pipelines .
Hantera Python-beroenden för pipelines	Instruktioner för att hantera Python-bibliotek i pipelines.
Importera Python-moduler från Git-mappar eller arbetsytefiler	Instruktioner för att använda Python-moduler som du har lagrat i Azure Databricks.

SQL-utveckling

Skapa pipelines med SQL-kod.

Ämne	Description
Utveckla Lakeflow Spark Deklarativ pipelinekod med SQL	En översikt över hur du utvecklar pipelines i SQL.
Sql-språkreferens för pipeline	Referensdokumentation för SQL-syntax för Lakeflow Spark Deklarativa Pipelines.
Använd pipelines i Databricks SQL	Använd Databricks SQL för att arbeta med pipelines.

Andra utvecklingsämnen

I följande avsnitt beskrivs andra sätt att utveckla pipelines.

Ämne	Description
Konvertera en pipeline till ett Databricks Asset Bundle-projekt	Konvertera en befintlig pipeline till ett paket, vilket gör att du kan hantera databearbetningskonfigurationen i en källkontrollerad YAML-fil för enklare underhåll och automatiserade distributioner till målmiljöer.
Skapa pipelines med dlt-meta	Använd biblioteket med öppen källkod dlt-meta för att automatisera skapandet av pipelines med ett metadatadrivet ramverk.
Utveckla pipelinekod i din lokala utvecklingsmiljö	En översikt över alternativ för att utveckla pipelines lokalt.