Referenční informace pro vývojáře kanálů

Tato část obsahuje referenční informace a pokyny pro vývojáře kanálů.

Načítání a transformace dat se implementují v kanálech pomocí dotazů, které definují streamované tabulky a materializovaná zobrazení. Pokud chcete tyto dotazy implementovat, deklarativní kanály Sparku lakeflow podporují rozhraní SQL a Python. Vzhledem k tomu, že tato rozhraní poskytují ekvivalentní funkce pro většinu případů použití zpracování dat, můžou vývojáři kanálů zvolit rozhraní, se kterým jsou nejpohodlnější.

Vývoj v Pythonu

Vytvářejte kanály pomocí kódu Pythonu.

Téma	Description
Vývoj kódu kanálu pomocí Pythonu	Přehled vývoje datových toků v Pythonu
Referenční dokumentace jazyka Python pro deklarativní kanály Sparku Lakeflow	Referenční dokumentace Pythonu pro modul pipelines.
Správa závislostí Pythonu pro kanály	Pokyny ke správě knihoven Pythonu v pipelinách
Import modulů Pythonu ze složek Gitu nebo souborů pracovního prostoru	Pokyny k používání modulů Pythonu, které jste uložili v Azure Databricks

Vývoj SQL

Vytvářejte kanály pomocí kódu SQL.

Téma	Description
Vývoj kódu deklarativních kanálů Sparku Lakeflow pomocí SQL	Přehled vývoje datových toků v SQL
Referenční dokumentace jazyka SQL pipelineu	Referenční dokumentace pro syntaxi SQL pro deklarativní kanály Sparku Lakeflow
Použití kanálů v Databricks SQL	Pomocí Databricks SQL můžete pracovat s kanály.

Další témata týkající se vývoje

Následující témata popisují další způsoby vývoje pipin.

Téma	Description
Převod kanálu na projekt sady	Převeďte existující kanál na sadu, která umožňuje spravovat konfiguraci zpracování dat v souboru YAML řízeném zdrojem pro snadnější údržbu a automatizovaná nasazení do cílových prostředí.
Vytváření kanálů pomocí dlt-meta	Pomocí opensourcové dlt-meta knihovny můžete automatizovat vytváření kanálů pomocí architektury řízené metadaty.
Vyvíjejte kód potrubí ve vašem místním vývojovém prostředí	Přehled možností pro místní vývoj kanálů