Konfigurace výpočetních prostředků pro úlohy

Nakonfigurujte bezserverové nebo klasické výpočetní prostředky pro úlohy v úloze Lakeflow a zvolte pro každý úkol správný typ.

Důležité

Omezení výpočetních prostředků bez serveru pro úlohy zahrnují následující:

• Průběžné plánování se podporuje pouze u ohraničených triggerů strukturovaného streamování, jako je Trigger.AvailableNow. Viz Průběžné spouštění úloh.
• Ve strukturovaném streamování není podporována výchozí ani časová intervalová aktivační událost.

Další omezení najdete v tématu Omezení bezserverového výpočetního prostředí.

Každá úloha může mít jeden nebo více úkolů. Pro každý úkol definujete výpočetní prostředky. Stejný výpočetní prostředek může použít několik úkolů definovaných pro stejnou úlohu.

Doporučené výpočetní prostředky pro jednotlivé úlohy

Následující tabulka uvádí doporučené a podporované typy výpočetních prostředků pro jednotlivé typy úloh.

Poznámka:

Bezserverové výpočetní prostředky pro úlohy mají omezení a nepodporují všechny úlohy. Viz Omezení výpočetních prostředků bez serveru.

Úloha	Doporučený výkon	Podporované výpočetní prostředky
Notebooks	Úlohy bez serveru	Bezserverové úlohy, klasické úlohy, klasické univerzální
Skript jazyka Python	Úlohy bez serveru	Bezserverové úlohy, klasické úlohy, klasické univerzální
Kolečko Pythonu	Úlohy bez serveru	Bezserverové úlohy, klasické úlohy, klasické univerzální
SQL	Bezserverový SQL Warehouse	Bezserverový SQL Warehouse, pro SQL Warehouse
Kanály Lakeflow	Bezserverový kanál	Bezserverový kanál, klasický kanál
dbt	Bezserverový SQL Warehouse	Bezserverový SQL Warehouse, pro SQL Warehouse
příkazy rozhraní příkazového řádku dbt	Úlohy bez serveru	Bezserverové úlohy, klasické úlohy, klasické univerzální
JAR	Klasické úlohy	Klasické úlohy, klasické víceúčelové
Odeslání Sparku	Klasické úlohy	Klasické úlohy

Ceny úloh Lakeflow jsou svázané s výpočetními prostředky používanými ke spouštění úloh. Další podrobnosti najdete na stránce Ceny Databricks.

Konfigurace výpočetních prostředků pro úlohy

Výpočty klasických úloh se konfigurují přímo z uživatelského rozhraní úloh Lakeflow a tyto konfigurace jsou součástí definice úlohy. Všechny ostatní dostupné typy výpočetních prostředků ukládají své konfigurace spolu s ostatními prostředky pracovního prostoru. Další podrobnosti najdete v následující tabulce:

Typ výpočetních prostředků	Detaily
Klasické úlohy se počítají	Výpočetní prostředky pro klasické úlohy konfigurujete pomocí stejného uživatelského rozhraní a nastavení, která jsou k dispozici pro výpočetní prostředí pro všechny účely. Viz referenční informace ke konfiguraci služby Compute.
Bezserverové výpočetní prostředky pro úlohy	Bezserverové výpočetní prostředky pro úlohy jsou výchozí pro všechny úlohy, které ho podporují. Databricks spravuje nastavení výpočetních prostředků pro bezserverové výpočetní prostředky. Podívejte se na Spouštění úloh Lakeflow pomocí bezserverových výpočetních prostředků pro pracovní postupy.
SQL sklady	Bezserverové a profesionální služby SQL Warehouse konfigurují správci pracovního prostoru nebo uživatelé s neomezenými oprávněními k vytváření clusteru. Konfigurujete úlohy, které se mají spouštět s existujícími sklady SQL. Viz Připojení ke službě SQL Warehouse.
Výpočty kanálů Lakeflow	Během konfigurace kanálu nakonfigurujete nastavení výpočetních prostředků pro kanály Lakeflow. Viz Konfigurace klasického výpočtu pro pipeliny. Azure Databricks spravuje výpočetní prostředky pro bezserverové kanály Lakeflow. Viz Konfigurace bezserverového kanálu.
Univerzální výpočet	Volitelně můžete nakonfigurovat úlohy pomocí klasického výpočetního prostředí pro všechny účely. Databricks tuto konfiguraci nedoporučuje pro produkční úlohy. Viz referenční informace ke konfiguraci výpočetních prostředků a omezené výjimky.

Sdílení výpočetních prostředků mezi úkoly

Nakonfigurujte úlohy tak, aby využívaly stejné výpočetní prostředky, a tím optimalizovaly využití zdrojů při práci s úlohami, které orchestrují více úloh. Sdílení výpočetních prostředků mezi úkoly může snížit latenci spojenou s časem spuštění.

Pomocí jednoho výpočetního prostředku úlohy můžete spouštět všechny úlohy, které jsou součástí úlohy, nebo více prostředků úloh optimalizovaných pro konkrétní úlohy. Všechny výpočetní úlohy nakonfigurované jako součást úlohy jsou k dispozici pro všechny ostatní úkoly v úloze.

Následující tabulka uvádí rozdíly mezi výpočetními úlohami nakonfigurovaným pro jeden úkol a výpočetními úlohami sdílenými mezi úkoly:

	Jeden úkol	Sdíleno napříč úkoly
Spustit	Když se úloha spustí.	Když se spustí první úloha nakonfigurovaná tak, aby používala výpočetní prostředek.
Ukončit	Po spuštění úlohy.	Po dokončení úlohy nakonfigurované pro použití výpočetního prostředku se spustí.
Nečinné výpočetní prostředky	Nevztahuje se.	Výpočetní prostředky zůstávají zapnuté a nečinné, zatímco běží úlohy, které je nevyužívají.

Sdílený cluster úloh je vymezen pouze pro jedno spuštění úlohy a nemůže být použit jinými úlohami ani opakovaným spuštěním té samé úlohy.

Knihovny nelze deklarovat v konfiguraci clusteru sdílených úloh. V nastavení úloh musíte přidat závislé knihovny.

Stav sdíleného ovladače napříč úkoly

Pokud několik úloh sdílí výpočetní prostředek úloh, úlohy se spouštějí na stejném driver JVM. Stav třídy a singletony se uchovávají napříč úkoly po dobu trvání spuštění úlohy. U většiny úloh je to transparentní, ale mějte na paměti následující důsledky:

• Objekty Scala singletons a doprovodné objekty se sdílejí napříč úkoly. Proměnlivý stav v doprovodném objektu Scala přetrvává mezi úlohami, které běží ve stejném sdíleném clusteru. Pokud paralelní úkoly čtou ze stejné nebo zapisují do stejné doprovodné proměnné, může hodnota jednoho úkolu přepsat hodnotu jiného. Pro pracovní příklad si přečtěte článek ve znalostní bázi Pracovní postupy s více úkoly a nesprávné hodnoty parametrů.
• Knihovny načtené jedním úkolem zůstávají dostupné pro následné úkoly po dobu trvání běhu úlohy.

Pokud váš kód vyžaduje izolaci na úrovni úlohy, použijte jeden z následujících přístupů:

• Nakonfigurujte každý úkol tak, aby používal oddělený výpočetní prostředek pro úkoly.
• Přidejte explicitní závislosti úkolů, aby se úlohy spouštěly postupně, nikoli paralelně.
• Refaktorujte kód, abyste se nemuseli spoléhat na singleton nebo sdílený proměnlivý stav. Například předejte parametry explicitně každé funkci místo jejich čtení z doprovodného objektu.

Kontrola, konfigurace a střídání výpočetních úloh

Oddíl Výpočty v podokně Podrobností úlohy obsahuje seznam všech výpočetních prostředků nakonfigurovaných pro úkoly v aktuální úloze.

Úkoly nakonfigurované tak, aby používaly výpočetní prostředek, se v grafu úkolů zvýrazní, když najedete myší na specifikaci výpočetních prostředků.

Pomocí tlačítka Prohodit můžete změnit výpočetní kapacitu pro všechny úkoly spojené s výpočetním prostředkem.

Klasické výpočetní prostředky úloh mají možnost Konfigurovat . Další výpočetní prostředky umožňují zobrazit a upravit podrobnosti konfigurace výpočetních prostředků.

Dodatečné zdroje

Další podrobnosti o konfiguraci Azure Databricks klasických úloh najdete v tématu Konfigurace klasických výpočetních prostředků pro úlohy Lakeflow.