Osvědčené postupy pro bazény

Tento článek vysvětluje, co jsou fondy a jak je můžete nejlépe nakonfigurovat. Informace o vytvoření fondu najdete v tématu Referenční informace o konfiguraci fondu.

Poznámka:

Pokud vaše pracovní zátěž podporuje bezserverové výpočty, Databricks doporučuje používat bezserverové výpočty místo fondů, abyste využili škálovatelné výpočetní kapacity, které jsou vždy dostupné. Viz Připojení k výpočetním prostředkům bez serveru.

Úvahy o bazénu

Při vytváření fondu zvažte následující skutečnosti:

• Vytvářejte pooly pomocí typů instancí a runtime Azure Databricks podle cílových úloh.
• Pokud je to možné, naplňte fondy spotovými instancemi, abyste snížili náklady. Jako uzly pracovní infrastruktury používejte pouze pooly typu spot. Řídicí uzel by měl používat instance na vyžádání.
• Naplňte fondy instancemi na vyžádání pro úlohy s krátkými dobami provádění a striktními požadavky na dobu provádění.
• Ke správě fakturace použijte značky fondu a značky clusteru.
• Předem naplňte fondy, abyste měli jistotu, že jsou instance dostupné, když je clustery potřebují.

Vytvořte skupiny na základě úloh

Čas potřebný k získání instance můžete minimalizovat vytvořením fondu pro každý typ instance a pro každý modul runtime Azure Databricks, které vaše organizace běžně používá. Pokud například většina clusterů přípravy dat používá typ A, clustery datových věd používají typ instance B a analytické clustery používají typ instance C, vytvořte fond s každým typem instance.

Použití fondů instancí typu spot

Pokud váš řídicí uzel a pracovní uzly mají různé požadavky, použijte pro každý z nich různá místa.

Azure Databricks nedoporučuje pro uzel ovladače používat spotové instance. Pokud pro pracovní uzel použijete spotový fond, vyberte jako typ ovladače fond na vyžádání.

Nakonfigurujte fondy tak, aby používaly instance na vyžádání pro úlohy s krátkými dobami provádění a striktními požadavky na dobu provádění. Použijte instance na vyžádání, abyste předešli ztrátě získaných instancí kvůli vyššímu nabízejícímu na spotovém trhu.

Nakonfigurujte fondy tak, aby používaly spotové instance pro clustery, které podporují interaktivní vývoj nebo úlohy, které upřednostňují úspory nákladů oproti spolehlivosti.

Označování fondů pro správu nákladů a fakturace

Označování skupin do správného nákladového centra umožňuje spravovat náklady a účtování nákladů za využití. K přidružení více nákladových center k fondu můžete použít více vlastních značek. Je však důležité pochopit, jak se značky šíří při vytváření clusteru z poolů. Značky z fondů se šíří do podkladových instancí poskytovatele cloudu, ale značky clusteru nikoli. Použijte všechny vlastní značky potřebné k řízení alokace nákladů na výpočetní prostředky cloudového poskytovatele ve fondu.

Značky fondu i značky clusteru se šíří do fakturace Azure Databricks. Ke správě přefakturace jednotek Azure Databricks můžete použít kombinaci značek clusteru a fondu.

Více informací naleznete v článku Použití tagů pro přiřazení a sledování využití.

Konfigurace fondů pro řízení nákladů

Pomocí následujících možností konfigurace můžete řídit náklady na fondy:

• Nastavte minimální nečinné instance na 0, abyste se vyhnuli placení za spuštěné instance, které nefungují. Kompromisem je možné zvýšení doby, kdy cluster potřebuje získat novou instanci.
• Nastavte maximální kapacitu na základě očekávaného využití. Tím se nastaví maximální strop pro počet využívaných a nečinných instancí ve fondu. Pokud úloha nebo cluster požaduje instanci z fondu ve své maximální kapacitě, požadavek selže a cluster nezíská žádné další instance. Proto Databricks doporučuje nastavit maximální kapacitu pouze v případě, že existuje striktní kvóta instance nebo omezení rozpočtu.
• Nastavte dobu automatického ukončení nečinné instance tak, aby poskytovala časovou rezervu mezi vypuštěním instance z clusteru a vyřazením z bazénu. Nastavte toto na období, které vám umožní minimalizovat náklady a zároveň zajistit dostupnost instancí pro naplánované úlohy. Například úloha A se plánuje spustit v 8:00 a dokončení trvá 40 minut. Úloha B je naplánovaná tak, aby běžela v 9:00 a dokončení trvá 30 minut. Nastavte hodnotu automatického ukončení nečinné instance na 20 minut, aby se zajistilo, že instance vrácené do fondu po dokončení úlohy A jsou k dispozici při spuštění úlohy B. Pokud nejsou deklarovány jiným clusterem, tyto instance se ukončí 20 minut po ukončení úlohy B.

Předem naplnit skupiny

Aby bylo možné plně využít fondy, můžete nově vytvořené fondy předem naplnit. V konfiguraci fondu nastavte instance Min Idle větší než nula. Případně, pokud se řídíte doporučením nastavit tuto hodnotu na nulu, použijte úvodní úlohu, aby bylo zajištěno, že nově vytvořené fondy mají dostupné instance, které jsou přístupné clusterům.

Při použití úvodní úlohy naplánujte úlohu s flexibilními požadavky na dobu provádění tak, aby běžela před úlohami s přísnějšími požadavky na výkon nebo před tím, než uživatelé začnou používat interaktivní clustery. Po dokončení úlohy se instance použité pro úlohu uvolní zpět do skupiny. Nastavte minimální nastavení nečinné instance na hodnotu 0 a nastavte dobu automatického ukončení nečinnosti instance dostatečně vysokou, aby se zajistilo, že nečinné instance zůstanou dostupné pro následné úlohy.

Použití počáteční úlohy umožňuje instancím fondu spustit se, naplnit fond a zůstat k dispozici pro následnou úlohu nebo interaktivní clustery.