Přírůstkové načítání a zpracování dat pomocí toků kanálu Lakeflow

Data se zpracovávají v kanálech prostřednictvím toků. Každý tok se skládá z dotazu a obvykle cíle. Tok dat zpracovává datový dotaz buď jako dávku, nebo přírůstkově jako proud dat do cílového systému. Tok je součástí pipeline Lakeflow.

Toky se obvykle definují automaticky při vytváření dotazu v kanálu, který aktualizuje cíl, ale můžete také explicitně definovat další toky pro složitější zpracování, například připojení k jednomu cíli z více zdrojů.

Aktualizace

Pokaždé, když se aktualizuje jeho definující potrubí, se tok spustí. Tok vytvoří nebo aktualizuje tabulky s nejnovějšími dostupnými daty. V závislosti na typu toku a stavu změn dat může aktualizace provést přírůstkovou aktualizaci, která zpracovává pouze nové záznamy, nebo provést úplnou aktualizaci, která znovu zpracuje všechny záznamy ze zdroje dat.

Výchozí toky a přidané toky

Když v kanálu vytvoříte dotaz, který aktualizuje cíl, automaticky se vytvoří výchozí tok. U streamované tabulky je výchozím tokem přidávací tok, který přidává nové řádky s každou aktualizací a má stejný název jako cíl. Vytvoření toku a jeho cíle v jednom kroku je nejběžnější způsob, jak používat kanály, a můžete ho použít k ingestování nebo transformaci dat.

Toky můžete definovat také odděleně od cíle, což umožňuje více toků přidávat data do jednoho cíle. To je užitečné v případě, že potřebujete:

  • Přidejte zdroje streamování, které se připojují k existující streamovací tabulce bez nutnosti úplné aktualizace.
  • Doplňte streamovací tabulku s chybějícími historickými daty.
  • Kombinovat data z více zdrojů bez použití UNION klauzule.

Příklady vytváření výchozích a explicitních toků najdete v tématu Použití toků v kanálech Lakeflow.

Typy toků

Výchozí toky pro streamované tabulky a materializovaná zobrazení jsou toky přírůstků. Můžete také vytvořit toky pro čtení z change data capture datových zdrojů. Následující tabulka popisuje různé typy toků.

Typ toku Description
Připojit Přidávací toky jsou nejběžnějším typem toku, kde se nové záznamy ve zdroji zapisují do cíle s každou aktualizací. Odpovídají režimu připojení ve strukturovaném streamování. Můžete přidat ONCE příznak, který označuje dávkový dotaz, jehož data by se měla vložit do cíle pouze jednou, pokud se cíl plně neaktualizuje. Libovolný počet přidávacích toků může zapisovat do konkrétního cíle.
Výchozí toky (vytvořené s cílovou tabulkou streamování nebo materializovaným zobrazením) budou mít stejný název jako cíl. Jiné cíle nemají výchozí toky.
Automatické CDC (dříve známé jako použít změny) Automatický tok CDC přijímá dotaz obsahující záznam změn dat (CDC). Automatické toky CDC mohou cílit pouze na streamovací tabulky a zdroj musí být streamovacím zdrojem (i v případě ONCE toků). Několik automatických toků CDC může cílit na jednu streamovací tabulku. Streamovací tabulka, která slouží jako cíl pro automatizovaný tok CDC, může být cílem pouze jiných automatizovaných toků CDC.
Další informace o datech CDC najdete v tématu Automatizovaná rozhraní API CDC: Zjednodušení zachytávání změn dat pomocí kanálů.
Aktualizace (Public Preview) Update zapisuje globální agregace streamu bez vodoznaku do cíle, přičemž v každé dávce vypisuje pouze záznamy, které se změnily.
Toky aktualizací jsou k dispozici pouze v Python. Viz update_flow.

Dodatečné zdroje

Další informace o tocích a jejich použití najdete v následujících tématech:

  • Last updated on