Referenční informace pro vývojáře kanálů

Tato část obsahuje referenční informace a pokyny pro vývojáře kanálů.

Načítání a transformace dat se implementují v kanálech pomocí dotazů, které definují streamované tabulky a materializovaná zobrazení. Pokud chcete tyto dotazy implementovat, deklarativní kanály Sparku lakeflow podporují rozhraní SQL a Python. Vzhledem k tomu, že tato rozhraní poskytují ekvivalentní funkce pro většinu případů použití zpracování dat, můžou vývojáři kanálů zvolit rozhraní, se kterým jsou nejpohodlnější.

vývoj pro Python

Vytvořte kanály pomocí kódu Python.

Téma	Description
Vývoj kódu kanálu pomocí Pythonu	Přehled vývoje pipelin v Pythonu
Referenční dokumentace k deklarativním pipeline Lakeflow Spark v jazyce Python	Python referenční dokumentace k modulu pipelines.
Spravování Python závislostí pro potrubí	Pokyny ke správě knihoven Pythonu v datových tocích
Importujte moduly Python ze složek Gitu nebo souborů pracovního prostoru	Pokyny pro použití modulů Python, které jste uložili v Azure Databricks.

Vývoj SQL

Vytvářejte kanály pomocí kódu SQL.

Téma	Description
Vývoj kódu deklarativních kanálů Sparku Lakeflow pomocí SQL	Přehled vývoje datových toků v SQL
Referenční dokumentace jazyka SQL pipelineu	Referenční dokumentace pro syntaxi SQL pro deklarativní kanály Sparku Lakeflow
Použití kanálů v Databricks SQL	Pomocí Databricks SQL můžete pracovat s kanály.

Další témata týkající se vývoje

Následující témata popisují další způsoby vývoje pipin.

Téma	Description
Převod kanálu na projekt sady	Převeďte existující kanál na sadu, která umožňuje spravovat konfiguraci zpracování dat v souboru YAML řízeném zdrojem pro snadnější údržbu a automatizovaná nasazení do cílových prostředí.
Metaprogramování pomocí deklarativních kanálů Sparku Lakeflow	Vytvořte kanály pomocí dlt-meta. Pomocí knihovny open source dlt-meta automatizujte vytváření kanálů pomocí architektury řízené metadaty. Kurz: Vytvoření více toků s různými parametry Vytvoření více toků ve smyčce v Python
Vyvíjejte kód potrubí ve vašem místním vývojovém prostředí	Přehled možností pro místní vývoj kanálů