Konfigurace bezserverového kanálu

Tento článek popisuje konfigurace pro bezserverové kanály.

Databricks doporučuje vyvíjet nové kanály pomocí bezserverové architektury. Některé úlohy můžou vyžadovat konfiguraci klasického výpočetního prostředí nebo práci se starší verzí metastoru Hive. Viz Konfigurace klasických výpočetních prostředků pro kanály a použití deklarativních kanálů Sparku Lakeflow se starším metastorem Hive.

Poznámka:

• Bezserverové kanály vždy používají katalog Unity. Podívejte se na Použití katalogu Unity s kanály.
• Informace o omezeních bezserverového výpočetního prostředí najdete v tématu omezení bezserverového výpočetního prostředí.
• V clusters objektu v konfiguraci JSON pro bezserverový potrubí nemůžete ručně přidat výpočetní nastavení. Při pokusu o to dojde k chybě.

• Pokud potřebujete použít připojení Azure Private Link s deklarativními kanály Lakeflow Spark bez serveru, obraťte se na zástupce Databricks.

Požadavky

• Aby mohl váš pracovní prostor používat bezserverové pipeline, musí mít povolený katalog Unity.

• Váš pracovní prostor musí být v bezserverové oblasti.

Doporučená konfigurace pro bezserverové kanály

Důležité

Ke konfiguraci bezserverových kanálů se nevyžaduje oprávnění k vytvoření clusteru. Ve výchozím nastavení můžou všichni uživatelé pracovního prostoru používat bezserverové kanály.

Bezserverové kanály odebírají většinu možností konfigurace, protože Azure Databricks spravuje veškerou infrastrukturu. Při vytváření nového kanálu je výchozím nastavením bezserverové použití. Informace o konfiguraci bezserverového kanálu najdete v tématu Konfigurace kanálů.

Existující kanály nakonfigurované pomocí katalogu Unity můžete také převést tak, aby používaly bezserverovou verzi. Viz: Převod existujícího datového toku na bezserverovou architekturu.

Další aspekty konfigurace

Pro bezserverové kanály jsou k dispozici také následující možnosti konfigurace:

• Při provozu v produkčním prostředí můžete zvolit použití režimu pipeline Continuous. Viz Aktivovaný vs. průběžný režim potrubí.
• Přidejte Oznámení pro e-mailové aktualizace podle podmínek úspěchu nebo selhání. Viz Přidejte e-mailová oznámení o událostech pipeline.
• Pomocí pole Konfigurace nastavte páry klíč-hodnota pro pipelinu. Tyto konfigurace slouží ke dvěma účelům:
  • Nastavte libovolné parametry, na které můžete odkazovat ve zdrojovém kódu. Viz Použití parametrů v pipelinech.
  • Nakonfigurujte nastavení datového toku a konfigurace Spark. Viz referenční informace o vlastnostech kanálu.
• Pomocí kanálu Preview otestujte svou pipeline proti čekajícím změnám v runtime Lakeflow Spark Declarative Pipelines a vyzkoušejte nové funkce.

bezserverová rozpočtová politika

Důležité

Tato funkce je ve verzi Public Preview.

Bezserverové rozpočtové zásady umožňují vaší organizaci přiřadit vlastní značky k bezserverovému využití pro podrobné rozúčtování nákladů. Po zaškrtnutí políčka bezserverový se zobrazí nastavení Zásady rozpočtu, kde můžete vybrat zásadu, kterou chcete použít pro potrubí. Značky se dědí ze zásad bezserverového rozpočtu a můžou je upravovat jenom správci pracovního prostoru.

Poznámka:

Po přiřazení bezserverové rozpočtové zásady nejsou stávající kanály automaticky označeny vaší zásadou. Pokud k nim chcete připojit zásadu, musíte stávající potrubí aktualizovat ručně.

Další informace o bezserverových zásadách rozpočtu najdete v tématu Použití atributů pomocí zásad bezserverového rozpočtu.

Výběr režimu výkonu

Pro aktivované propojovací linky můžete vybrat výpočetní režim bez serveru pomocí nastavení Optimalizované pro výkon v plánovači pipeline. Pokud je toto nastavení zakázané, kanál používá standardní režim výkonu. Standardní režim výkonu je navržený tak, aby snížil náklady na úlohy, kde je přijatelná mírně vyšší latence spuštění. Bezserverové úlohy používající standardní režim výkonu se obvykle spouštějí do čtyř až šesti minut po aktivaci v závislosti na dostupnosti výpočetních prostředků a optimalizovaném plánování.

Pokud je povolená optimalizace výkonu, vaše pipeline je optimalizovaná pro výkon, což vede k rychlejšímu spouštění a vykonávání pro časově citlivé úlohy.

Oba režimy používají stejnou skladovou položku, ale standardní režim výkonu spotřebovává méně jednotek DBU, což odráží nižší využití výpočetních prostředků.

Poznámka:

Pokud chcete v průběžných kanálech používat standardní výkonový režim, obraťte se na Databricks tým pro správu účtů.

Funkce bezserverové datové linky

Kromě zjednodušení konfigurace mají bezserverové kanály následující funkce:

• Přírůstková aktualizace pro materializovaná zobrazení: Aktualizace materializovaných zobrazení se aktualizují přírůstkově, kdykoli je to možné. Incrementální obnovení má stejné výsledky jako úplné přepočítání. Aktualizace používá úplnou aktualizaci, pokud se výsledky nedají vypočítat přírůstkově. Viz Přírůstková aktualizace pro materializovaná zobrazení.

• Zřetězení streamu: Ke zlepšení využití, propustnosti a latence pro úlohy zpracování streamovaných dat, jako je příjem dat, jsou mikrodávky zřetězeny. Jinými slovy, místo spouštění mikrobatchů postupně, jako je standardní strukturované streamování Sparku, bezserverové deklarativní kanály Lakeflow Spark spouští mikrobatchy souběžně, což zlepšuje využití výpočetních prostředků. Kanálování datových proudů je ve výchozím nastavení povolené v bezserverových kanálech.
• Vertikální automatické škálování: Serverless deklarativní kanály Lakeflow Spark přidávají k horizontálnímu automatickému škálování poskytovanému službou Databricks vylepšený systém automatického škálování, který automaticky přiděluje nejvíce nákladově efektivní typy instancí, jež mohou provozovat váš kanál bez rizika selhání způsobeného chybami nedostatku paměti. Viz Co je vertikální automatické škálování?

Převod existujícího kanálu na použití bezserverové architektury

Existující kanály nakonfigurované pomocí katalogu Unity můžete převést na bezserverové kanály. Proveďte následující kroky:

1. Na bočním panelu pracovního prostoru Azure Databricks klikněte na Úlohy a kanály.
2. Klikněte na název kanálu.
3. Klikněte na Nastavení.
4. Na pravém bočním panelu v části Compute klikněte na .
5. Zaškrtněte políčko vedle Serverless.
6. Klikněte na Uložit.

Důležité

Když povolíte bezserverové nastavení, odeberou se všechna výpočetní nastavení, která jste nakonfigurovali pro kanál. Pokud kanál přepnete zpět na bezserverové aktualizace, musíte překonfigurovat požadovaná nastavení výpočetních prostředků na konfiguraci kanálu.

Jak zjistím využití dbU v bezserverovém kanálu?

Využití DBU bezserverových deklarativních kanálů Lakeflow Spark najdete dotazováním tabulky fakturovaného využití, která je součástí systémových tabulek Azure Databricks. Podívejte se na co je spotřeba DBU u bezserverového potrubí.