Sdílet prostřednictvím

Přidání cíle lakehouse do eventstreamu

  • Článek

Tento článek ukazuje, jak přidat lakehouse jako cíl do eventstreamu ve streamech událostí Microsoft Fabric.

Poznámka:

Pokud chcete použít vylepšené funkce ve verzi Preview, vyberte nahoře rozšířené možnosti . V opačném případě vyberte Standardní možnosti. Informace o vylepšených možnostech ve verzi Preview najdete v tématu Úvod do datových proudů událostí Fabric.

Důležité

Existuje vynucení schématu pro zápis dat do cílové tabulky lakehouse. Všechny nové zápisy do tabulky musí být kompatibilní se schématem cílové tabulky v době zápisu a zajistit kvalitu dat.

Při zápisu výstupu do nové tabulky Delta se schéma tabulky vytvoří na základě prvního záznamu. Všechny záznamy výstupních dat se promítnou do schématu existující tabulky.

Pokud příchozí data mají sloupce, které nejsou ve stávajícím schématu tabulky, nezahrnou se do dat zapsaných do tabulky. Podobně platí, že pokud příchozí data chybí sloupce, které jsou ve stávajícím schématu tabulky, chybějící sloupce se zapisují do tabulky s hodnotami nastavenými na hodnotu null.

Požadavky

  • Přístup k pracovnímu prostoru Fabric Premium, kde se váš eventstream nachází s oprávněními Přispěvatel nebo vyšší.
  • Přístup k pracovnímu prostoru Premium, kde se nachází váš lakehouse s oprávněními Přispěvatel nebo vyšší.

Poznámka:

Maximální počet zdrojů a cílů pro jeden stream událostí je 11.

Přidání jezera do cíle

Pokud chcete přidat cíl lakehouse do výchozího nebo odvozeného streamu událostí, postupujte takto.

  1. V režimu úprav pro váš eventstream vyberte Přidat cíl na pásu karet a v rozevíracím seznamu vyberte Lakehouse .

    Snímek obrazovky s rozevíracím seznamem Přidat cíl se zvýrazněným lakehousem

  2. Připojení uzel lakehouse k uzlu streamu nebo operátoru.

  3. Na konfigurační obrazovce Lakehouse vyplňte následující informace:

    1. Zadejte název cíle.
    2. Vyberte pracovní prostor, který obsahuje váš jezerní dům.
    3. V zadaném pracovním prostoru vyberte existující lakehouse .
    4. Vyberte existující tabulku Delta nebo vytvořte novou tabulku pro příjem dat.
    5. Vyberte formát vstupních dat odesílaný do jezera. Podporované formáty dat jsou JSON, Avro a CSV (s hlavičkou).

    Snímek obrazovky s horní částí konfigurační obrazovky Lakehouse

  4. Vyberte Upřesnit.

  5. Pro cíl jezera jsou k dispozici dva režimy příjmu dat. V závislosti na vašem scénáři nakonfigurujte tyto režimy tak, aby optimalizovaly, jak streamy událostí Fabric zapisují do jezera.

    • Minimální počet řádků je minimální počet řádků, které ingestuje lakehouse v jednom souboru. Minimum je 1 řádek a maximum je 2 miliony řádků na soubor. Čím menší je minimální počet řádků, tím více souborů lakehouse vytvoří během příjmu dat.

    • Maximální doba trvání je maximální doba trvání, kterou jezero trvá na ingestování jednoho souboru. Minimum je 1 minuta a maximum je 2 hodiny. Čím delší je doba trvání, tím více řádků se v souboru ingestuje.

    Snímek obrazovky s částí Upřesnit na konfigurační obrazovce Lakehouse

  6. Zvolte Uložit.

  7. Pokud chcete implementovat nově přidaný cíl lakehouse, vyberte Publikovat.

    Snímek obrazovky s cílem streamu a jezera v režimu úprav a zvýrazněným tlačítkem Publikovat

Po dokončení těchto kroků je cíl jezera pro vizualizaci v živém zobrazení k dispozici. V podokně Podrobností můžete vybrat tabulku Optimalizace v zástupce poznámkového bloku a spustit úlohu Apache Sparku v poznámkovém bloku, která slučuje malé streamovací soubory v cílové tabulce lakehouse.

Snímek obrazovky s cílem lakehouse a tlačítkem optimalizace tabulky v živém zobrazení

Související obsah

Informace o přidání dalších cílů do eventstreamu najdete v následujících článcích:

Požadavky

Než začnete, musíte splnit následující požadavky:

  • Získejte přístup k pracovnímu prostoru Premium s oprávněními Přispěvatel nebo vyšší, kde se nachází váš eventstream.
  • Získejte přístup k pracovnímu prostoru Premium s oprávněními Přispěvatel nebo nad tím, kde se nachází váš lakehouse.

Poznámka:

Maximální počet zdrojů a cílů pro jeden stream událostí je 11.

Přidání jezera do cíle

Pokud máte v pracovním prostoru vytvořený lakehouse, přidejte ho do svého eventstreamu jako cíl pomocí následujícího postupu:

  1. Na pásu karet vyberte Nový cíl nebo "+" na plátně hlavního editoru a pak vyberte Lakehouse. Zobrazí se obrazovka konfigurace cíle Lakehouse .

  2. Zadejte název cíle eventstreamu a vyplňte informace o svém jezeře.

    Snímek obrazovky konfigurace cíle Lakehouse

    1. Lakehouse: V zadaném pracovním prostoru vyberte existující jezero.

    2. Tabulka Delta: Vyberte existující rozdílovou tabulku nebo vytvořte novou tabulku pro příjem dat.

      Poznámka:

      Při zápisu dat do tabulky lakehouse existuje vynucení schématu. To znamená, že všechny nové zápisy do tabulky musí být kompatibilní se schématem cílové tabulky v době zápisu a zajistit kvalitu dat.

      Všechny záznamy výstupních dat se promítnou do schématu existující tabulky. Při zápisu výstupu do nové tabulky Delta se schéma tabulky vytvoří na základě prvního záznamu. Pokud příchozí data mají v porovnání se stávajícím schématem tabulky další sloupec, zapíše se do tabulky bez zahrnutí sloupce navíc. Pokud naopak v příchozích datech chybí sloupec ve srovnání s existujícím schématem tabulky, zapíše se do tabulky s hodnotou sloupce nastavenou na hodnotu null.

    3. Formát vstupních dat: Vyberte formát pro data (vstupní data), která se odesílají do jezera.

      Poznámka:

      Podporované formáty vstupních dat událostí jsou JSON, Avro a CSV (s hlavičkou).

    4. Zpracování událostí: Pomocí editoru zpracování událostí můžete určit, jak se mají data zpracovávat před odesláním do jezera. Výběrem možnosti Otevřít procesor událostí otevřete editor zpracování událostí. Další informace o zpracování v reálném čase pomocí procesoru událostí najdete v tématu Zpracování dat událostí pomocí editoru procesoru událostí. Až budete s editorem hotovi, vyberte Hotovo a vraťte se na obrazovku konfigurace cíle Lakehouse .

      Snímek obrazovky s editorem procesoru událostí

  3. Pro cíl jezera jsou k dispozici dva režimy příjmu dat. Vyberte jeden z těchto režimů, abyste optimalizovali, jak funkce streamů událostí Fabric zapisuje do lakehouse na základě vašeho scénáře.

    1. Řádky na soubor – minimální počet řádků, které Lakehouse ingestuje v jednom souboru. Čím menší je minimální počet řádků, tím více souborů Lakehouse vytvoří během příjmu dat. Minimum je 1 řádek. Maximum je 2M řádků na soubor.

    2. Doba trvání – maximální doba trvání, kterou by lakehouse trvalo ingestování jednoho souboru. Čím delší je doba trvání, v souboru se ingestuje více řádků. Minimum je 1 minuta a maximum je 2 hodiny.

      Snímek obrazovky znázorňující režimy příjmu dat

  4. Výběrem možnosti Přidat přidáte cíl jezerahouse.

  5. Zástupce optimalizace tabulky dostupný uvnitř cíle jezera. Toto řešení vám usnadní spuštění úlohy Sparku v poznámkovém bloku, které slučuje tyto malé streamovací soubory v cílové tabulce Lakehouse.

    Snímek obrazovky s nastavením optimalizace tabulky

  6. Cíl jezerahouse se zobrazí na plátně s indikátorem rotujícího stavu. Změna stavu na Aktivní trvá několik minut.

    Snímek obrazovky znázorňující cíl lakehouse

Správa cíle

Upravit nebo odebrat: Cíl streamu událostí můžete upravit nebo odebrat buď prostřednictvím navigačního podokna, nebo plátna.

Když vyberete Upravit, otevře se podokno úprav na pravé straně hlavního editoru. Konfiguraci můžete upravit podle potřeby, včetně logiky transformace událostí prostřednictvím editoru procesoru událostí.

Snímek obrazovky znázorňující, kde vybrat možnosti úpravy a odstranění cílů na plátně

Související obsah

Informace o přidání dalších cílů do eventstreamu najdete v následujících článcích: