Referenční informace pro vývojáře kanálů

Tato část obsahuje referenční informace a pokyny pro vývojáře kanálů.

Načítání a transformace dat se implementují v kanálech pomocí dotazů, které definují streamované tabulky a materializovaná zobrazení. Pokud chcete tyto dotazy implementovat, deklarativní kanály Sparku lakeflow podporují rozhraní SQL a Python. Vzhledem k tomu, že tato rozhraní poskytují ekvivalentní funkce pro většinu případů použití zpracování dat, můžou vývojáři kanálů zvolit rozhraní, se kterým jsou nejpohodlnější.

Vývoj v Pythonu

Vytvářejte kanály pomocí kódu Pythonu.

Téma	Description
Vývoj kódu kanálu pomocí Pythonu	Přehled vývoje datových toků v Pythonu
Referenční dokumentace jazyka Python pro deklarativní kanály Sparku Lakeflow	Referenční dokumentace Pythonu pro modul pipelines.
Správa závislostí Pythonu pro kanály	Pokyny ke správě knihoven Pythonu v pipelinách
Import modulů Pythonu ze složek Gitu nebo souborů pracovního prostoru	Pokyny k používání modulů Pythonu, které jste uložili v Azure Databricks

Vývoj PRO SQL

Vytvářejte kanály pomocí kódu SQL.

Téma	Description
Vývoj kódu deklarativních kanálů Sparku Lakeflow pomocí SQL	Přehled vývoje datových toků v SQL
Referenční dokumentace jazyka SQL pipelineu	Referenční dokumentace pro syntaxi SQL pro deklarativní kanály Sparku Lakeflow
Použití kanálů v Databricks SQL	Pomocí Databricks SQL můžete pracovat s kanály.

Další témata týkající se vývoje

Následující témata popisují další způsoby vývoje pipin.

Téma	Description
Převést datový tok na projekt Asset Bundle Databricks	Převeďte existující kanál na sadu, která umožňuje spravovat konfiguraci zpracování dat v souboru YAML řízeném zdrojem pro snadnější údržbu a automatizovaná nasazení do cílových prostředí.
Vytváření kanálů pomocí dlt-meta	Pomocí opensourcové dlt-meta knihovny můžete automatizovat vytváření kanálů pomocí architektury řízené metadaty.
Vyvíjejte kód potrubí ve vašem místním vývojovém prostředí	Přehled možností pro místní vývoj kanálů