Kanály buildu

Sestavte kanály Lakeflow načtením a transformací dat, použitím kontrol kvality dat a zápisem výsledků do cílových tabulek. Následující témata se týkají úloh souvisejících se sestavováním a spouštěním kanálů.

Informace o deklarativních konceptech kanálů (datových sadách, tocích a grafu kanálu) najdete v tématu Co jsou kanály Lakeflow? Podrobný návod najdete v tématu Kurz: Vytvoření kanálu ETL pomocí zachytávání dat změn.

Topic Description
Vývoj v editoru kanálů Lakeflow Vytváření, spouštění a ladění kanálů v editoru s grafem kanálu, náhledy dat a selektivním spuštěním
Použití kódu Genie pro vývoj kanálů Vytvářejte, upravujte a laděte kód pipeline z jediného pokynu v editoru v režimu Genie Code Agent.
Správa identit a oprávnění Řídí identitu, která spouští kanál a kdo může vytvářet, spouštět, aktualizovat a zobrazovat kanály a jejich výstup.
Načtení dat Načítejte data do své pipeline z cloudového objektového úložiště a streamovacích sběrnic zpráv.
Transformujte data K vytváření odvozených datových sad použijte transformace, spojení a agregace.
Úplná aktualizace streamovaných tabulek Znovu zpracuje všechna zdrojová data a znovu sestaví tabulku streamování.
Kvalita dat Ověřte záznamy s očekáváním a kontrolujte, co se stane, když se záznam nezdaří.
Zapsat datové sady Zapište výsledky kanálu do jímek, jako jsou Apache Kafka a Azure Event Hubs, a použijte toky k zápisu do cílů streamování.

Dodatečné zdroje

  • Last updated on