Referenční informace pro vývojáře kanálů

Implementujte načítání a transformace dat v deklarativních kanálech Sparku Lakeflow s dotazy, které definují streamované tabulky a materializovaná zobrazení. Deklarativní kanály Sparku pro Lakeflow podporují rozhraní SQL i Python. Vzhledem k tomu, že poskytují ekvivalentní funkce pro většinu případů použití zpracování dat, můžete zvolit, které rozhraní nejpohodlnější. Nápovědu k rozhodování najdete v tématu Volba mezi SQL a Python.

vývoj pro Python

Vytvořte kanály pomocí kódu Python.

Téma	Description
Vývoj kódu kanálu pomocí Pythonu	Přehled vývoje pipelin v Pythonu
Referenční dokumentace k deklarativním pipeline Lakeflow Spark v jazyce Python	Python referenční dokumentace k modulu pipelines.
Spravování Python závislostí pro potrubí	Pokyny ke správě knihoven Pythonu v datových tocích
Importujte moduly Python ze složek Gitu nebo souborů pracovního prostoru	Pokyny pro použití modulů Python, které jste uložili v Azure Databricks.

Vývoj SQL

Vytvářejte kanály pomocí kódu SQL.

Téma	Description
Vývoj kódu deklarativních kanálů Sparku Lakeflow pomocí SQL	Přehled vývoje datových toků v SQL
Referenční dokumentace jazyka SQL pipelineu	Referenční dokumentace pro syntaxi SQL pro deklarativní kanály Sparku Lakeflow
Samostatné kanály	Pomocí Databricks SQL můžete pracovat s kanály.

Další témata týkající se vývoje

Následující témata popisují další způsoby vývoje kanálů.

Téma	Description
Převod kanálu na projekt sady	Převeďte existující kanál na sadu, která umožňuje spravovat konfiguraci zpracování dat v souboru YAML řízeném zdrojem pro snadnější údržbu a automatizovaná nasazení do cílových prostředí.
Metaprogramování pomocí deklarativních kanálů Sparku Lakeflow	Vytvořte kanály pomocí dlt-meta. Pomocí knihovny open source dlt-meta automatizujte vytváření kanálů pomocí architektury řízené metadaty. Kurz: Vytvoření více toků s různými parametry Vytvoření více toků ve smyčce v Python
Vyvíjejte kód potrubí ve vašem místním vývojovém prostředí	Přehled možností pro místní vývoj kanálů