Co jsou to kanály?

Pipeline je hlavní jednotkou vývoje a provádění Apache Spark™ Declarative Pipelines (SDP) v Lakeflow. Kanál je kolekce souborů zdrojového kódu a konfigurace. Zdrojové soubory definují datové sady (streamovací tabulky, materializovaná zobrazení a zobrazení) spolu s dotazy a datovými toky, které je vytvářejí. Konfigurace určuje, jak se kanál spouští a kde se ukládají data.

Kanál je kontejner pro toky, streamované tabulky, materializovaná zobrazení a jímky, které definujete. Během běhu kanálu analyzuje závislosti mezi těmito objekty a automaticky řídí pořadí jejich spouštění i paralelní zpracování. Podrobnosti o objektech, které kanál obsahuje, najdete v tématu Co jsou kanály Lakeflow?. Porovnání kanálů Lakeflow a deklarativních kanálů Apache Sparku™ najdete v tématu deklarativní kanály Apache Sparku.

Zdrojový kód kanálu

Zdrojový kód pipeline je napsán v Pythonu nebo SQL. Jeden kanál může kombinovat Python a zdrojové soubory SQL, ale každý soubor může obsahovat pouze jeden jazyk. Protože kanál analyzuje závislosti datových sad ve všech zdrojových souborech, můžete zdrojový kód uspořádat napříč soubory v libovolném pořadí.

Pokyny pro vývoj pro konkrétní jazyk najdete v tématu Vývoj kódu kanálu s využitím kódu Python a vývoje kanálů Lakeflow pomocí SQL.

Graf kanálu

Kanály automaticky odvozují závislosti mezi datovými sadami a uspořádávají je do řízeného acyklického grafu (DAG). Graf určuje pořadí vyhodnocení: upstreamové datové sady se počítají před podřízenými datovými sadami. Graf kanálu můžete zobrazit a pracovat s ním v Editoru kanálů Lakeflow.

Aktualizace kanálu

Aktualizace kanálu vypočítá aktuální stav každé datové sady podle:

  1. Spuštění clusteru se správnou konfigurací
  2. Analýza zdrojových souborů a vytvoření grafu závislostí
  3. Výpočet nebo přírůstková aktualizace jednotlivých datových sad v pořadí závislostí

Pipeline fungují ve dvou režimech:

  • Aktivované: Kanál se spustí jednou a zastaví, když jsou všechny datové sady aktuální.
  • Průběžné: Kanál běží neomezeně dlouho a zpracovává nová data při jejich doručení.

Aktualizace aktivované interaktivně z editoru optimalizují pro rychlou iteraci, opakované použití clusteru a zakázání automatických opakování. Viz Chování při spuštění aktualizace.

Typy kanálů

Seznam úloh a kanálů zahrnuje více než jen kanály vytvořené pomocí kanálů Lakeflow. Azure Databricks spouští několik různých typů kanálů a seznam Úlohy a kanály i stránka monitorování kanálů označují každý z nich typem, abyste je mohli snadno rozlišit. Následující tabulka přiřazuje každý typ pipeline k hodnotě pipeline_type zaznamenané v protokolu událostí:

Do pole Úlohy & kanály zadejte pipeline_type v protokolu událostí Description
ETL WORKSPACE Kanál Lakeflow. Viz deklarativní kanály Sparku.
Ingestion MANAGED_INGESTION Spravovaný kanál příjmu dat vytvořený pomocí lakeflow Connect Podívejte se na spravované konektory v Lakeflow Connect.
MV/ST DBSQL Samostatný kanál. Viz Samostatné kanály.
Synchronizace tabulek databáze DATABASE_TABLE_SYNC Kanál, který synchronizuje tabulku s databází Lakebase. Viz Obsluha dat lakehouse se synchronizovanými tabulkami (Lakebase Provisioned).

Samostatné kanály

Můžete vytvářet a spravovat streamované tabulky a materializovaná zobrazení mimo kanál Lakeflow jako samostatné kanály. Databricks SQL nebo Python můžete použít k vytváření a aktualizaci samostatných streamovaných tabulek a materializovaných zobrazení. Běží na stejné infrastruktuře Azure Databricks a mají stejnou sémantiku zpracování jako v pipeline Lakeflow. Když definujete samostatnou streamovací tabulku nebo materializované zobrazení, toky se implicitně definují jako součást streamované tabulky nebo materializované definice zobrazení.

Podrobnosti najdete v tématu Samostatné kanály.

Editor kanálů Lakeflow

Editor kanálů Lakeflow je integrované vývojové prostředí (IDE) pro vývoj kanálů. Poskytuje:

  • Editor kódu s více soubory pro Python a zdrojové soubory SQL
  • Prohlížeč assetů pipeline pro organizaci souborů a složek
  • Interaktivní graf kanálu zobrazující závislosti a stav datové sady
  • Náhledy dat pro streamované tabulky a materializovaná zobrazení
  • Přehledy spouštění a podokno problémů zobrazující výsledky z nejnovějšího spuštění
  • Selektivní spuštění pro aktualizaci jednotlivých souborů nebo tabulek bez spuštění celého kanálu

Editor se integruje s platformou Azure Databricks a podporuje správu verzí prostřednictvím složek Git. Podrobné pokyny najdete v tématu Vývoj a ladění kanálů ETL pomocí Editoru kanálů Lakeflow.

Dodatečné zdroje

  • Last updated on