Sdílet prostřednictvím

Konfigurace kanálu bezserverových živých tabulek Delta

  • Článek

Tento článek popisuje konfigurace pro kanály delta živých tabulek bez serveru.

Databricks doporučuje vyvíjet nové kanály pomocí bezserverové architektury. Některé úlohy můžou vyžadovat konfiguraci klasického výpočetního prostředí nebo práci se starší verzí metastoru Hive. Viz Konfigurace výpočetních prostředků pro kanál Delta Live Tables a použití kanálů Delta Live Tables se starší verzí metastoru Hive.

Poznámka:

  • Bezserverové kanály vždy používají katalog Unity. Katalog Unity pro živé tabulky Delta je ve verzi Public Preview a má určitá omezení. Viz Použití katalogu Unity s kanály Delta Live Tables.

  • V objektu clusters v konfiguraci JSON pro bezserverový kanál nemůžete ručně přidat výpočetní nastavení. Při pokusu o to dojde k chybě.

  • Informace o způsobilosti a povolení pro bezserverové kanály DLT najdete v tématu Povolení bezserverových výpočetních prostředků.

  • Pokud potřebujete použít připojení Azure Private Link ke svým bezserverovým kanálům DLT, obraťte se na zástupce Databricks.

Požadavky

  • Aby mohl váš pracovní prostor používat bezserverové kanály, musí mít váš pracovní prostor povolený katalog Unity.

  • Váš pracovní prostor musí být v oblasti bez serveru.

Důležité

Ke konfiguraci bezserverových kanálů se nevyžaduje oprávnění k vytvoření clusteru. Ve výchozím nastavení můžou všichni uživatelé pracovního prostoru používat bezserverové kanály.

Bezserverové kanály odebírají většinu možností konfigurace, protože Azure Databricks spravuje veškerou infrastrukturu. Pokud chcete nakonfigurovat bezserverový kanál, postupujte takto:

  1. Na bočním panelu klikněte na Rozdílové živé tabulky .
  2. Klikněte na Vytvořit kanál.
  3. Zadejte jedinečný název kanálu.
  4. Zaškrtněte políčko vedle bezserverové architektury.
  5. Ikona výběru souboru Pomocí nástroje pro výběr souborů můžete nakonfigurovat poznámkové bloky a soubory pracovního prostoru jako zdrojový kód.
    • Musíte přidat aspoň jeden prostředek zdrojového kódu.
    • Pomocí tlačítka Přidat zdrojový kód přidejte další prostředky zdrojového kódu.
  6. Vyberte katalog, který chcete publikovat data.
  7. Vyberte schéma v katalogu. V tomto schématu se vytvoří všechny streamované tabulky a materializovaná zobrazení definovaná v kanálu.
  8. Klikněte na Vytvořit.

Tyto doporučené konfigurace vytvoří nový kanál nakonfigurovaný tak, aby běžel v režimu triggeru a v aktuálním kanálu. Tato konfigurace se doporučuje pro mnoho případů použití, včetně vývoje a testování, a je vhodná pro produkční úlohy, které by se měly spouštět podle plánu. Podrobnosti o plánování kanálů najdete v tématu Úloha kanálu Delta Live Tables pro úlohy.

Existující kanály nakonfigurované pomocí katalogu Unity můžete také převést tak, aby používaly bezserverovou verzi. Viz Převod existujícího kanálu tak, aby používal bezserverovou verzi.

Další aspekty konfigurace

Pro bezserverové kanály jsou k dispozici také následující možnosti konfigurace:

  • Při spouštění kanálů v produkčním prostředí můžete použít režim průběžného kanálu. Viz Triggered vs. continuous pipeline mode.
  • Přidání oznámení pro aktualizace e-mailu na základě podmínek úspěchu nebo selhání Viz Přidání e-mailových oznámení pro události kanálu.
  • Pomocí pole Konfigurace nastavte páry klíč-hodnota pro kanál. Tyto konfigurace slouží ke dvěma účelům:
  • Pomocí kanálu Preview otestujte kanál proti čekající změnám modulu runtime Delta Live Tables a zkušebním novým funkcím.

Zásady rozpočtu

Důležité

Tato funkce je ve verzi Public Preview.

Zásady rozpočtu umožňují vaší organizaci používat vlastní značky na bezserverové využití pro podrobné přisuzování fakturace. Po zaškrtnutí políčka Bezserverové se zobrazí nastavení zásady rozpočtu, kde můžete vybrat zásadu, kterou chcete použít pro kanál. Značky se dědí ze zásad rozpočtu a můžou je upravovat jenom správci pracovního prostoru.

Poznámka:

Po přiřazení zásad rozpočtu se vaše stávající kanály automaticky neoznačí vašimi zásadami. Pokud k nim chcete připojit zásadu, musíte stávající kanály aktualizovat ručně.

Další informace o zásadách rozpočtu najdete v tématu Atributy bezserverového využití se zásadami rozpočtu.

Funkce bezserverového kanálu

Kromě zjednodušení konfigurace mají bezserverové kanály následující funkce:

  • Přírůstková aktualizace pro materializovaná zobrazení: Aktualizace materializovaných zobrazení se aktualizují přírůstkově, kdykoli je to možné. Přírůstková aktualizace má stejné výsledky jako úplné přepočítání. Aktualizace používá úplnou aktualizaci, pokud se výsledky nedají vypočítat přírůstkově. Viz Přírůstková aktualizace pro materializovaná zobrazení.
  • Kanálování datových proudů: Ke zlepšení využití, propustnosti a latence streamovaných datových úloh, jako je příjem dat, se kanálují mikrobatchy. Jinými slovy, místo spouštění mikrobatchů postupně, jako je standardní strukturované streamování Sparku, bezserverové kanály DLT spouští mikrobatchy souběžně, což zlepšuje využití výpočetních prostředků. Kanálování datových proudů je ve výchozím nastavení povolené v bezserverových kanálech DLT.
  • Vertikální automatické škálování: Bezserverové kanály DLT se přidávají do horizontálního automatického škálování poskytovaného službou Databricks vylepšené automatické škálování tím, že automaticky přidělí nákladově efektivní typy instancí, které můžou spouštět kanál Delta Live Tables bez selhání kvůli chybám nedostatku paměti. Podívejte se , co je vertikální automatické škálování?

Co je vertikální automatické škálování?

Bezserverové kanály DLT automaticky přidělují nákladově efektivní dostupné typy instancí ke spouštění aktualizací kanálu Delta Live Tables bez selhání kvůli chybám nedostatku paměti. Vertikální automatické škálování se vertikálně navyšuje, když se ke spuštění aktualizace kanálu vyžadují větší typy instancí, a když zjistí, že aktualizaci je možné spustit s menšími typy instancí. Vertikální automatické škálování určuje, jestli se mají uzly ovladačů, pracovní uzly nebo ovladače i pracovní uzly vertikálně navýšit nebo snížit.

Vertikální automatické škálování se používá pro všechny bezserverové kanály DLT, včetně kanálů používaných materializovanými zobrazeními Databricks SQL a tabulkami streamování.

Vertikální automatické škálování funguje zjišťováním aktualizací kanálu, které selhaly kvůli chybám nedostatku paměti. Vertikální automatické škálování přiděluje větší typy instancí při zjištění těchto selhání na základě dat o nedostatku paměti shromážděných z neúspěšné aktualizace. V produkčním režimu se automaticky spustí nová aktualizace, která používá nové výpočetní prostředky. V režimu vývoje se nové výpočetní prostředky použijí při ručním spuštění nové aktualizace.

Pokud vertikální automatické škálování zjistí, že paměť přidělených instancí je konzistentně nedostatečně využitá, škáluje typy instancí tak, aby se používaly v další aktualizaci kanálu.

Převod existujícího kanálu na použití bezserverové architektury

Existující kanály nakonfigurované pomocí katalogu Unity můžete převést na bezserverové kanály. Proveďte následující kroky:

  1. Na bočním panelu klikněte na Rozdílové živé tabulky .
  2. V seznamu klikněte na název požadovaného kanálu.
  3. Klikněte na příkaz Nastavení.
  4. Zaškrtněte políčko vedle bezserverové architektury.
  5. Klikněte na Uložit a spusťte.

Důležité

Když povolíte bezserverové nastavení, odeberou se všechna výpočetní nastavení, která jste nakonfigurovali pro kanál. Pokud kanál přepnete zpět na bezserverové aktualizace, musíte překonfigurovat požadovaná nastavení výpočetních prostředků na konfiguraci kanálu.

Jak zjistím využití dbU v bezserverovém kanálu?

Využití dbU bezserverových kanálů DLT najdete dotazováním fakturovatelné tabulky využití, která je součástí systémových tabulek Azure Databricks. Podívejte se , co je spotřeba DBU bezserverového kanálu DLT?.