Osvědčené postupy pro fondy

Tento článek vysvětluje, co jsou fondy a jak je můžete nejlépe nakonfigurovat. Informace o vytvoření fondu najdete v tématu Referenční informace o konfiguraci fondu.

Důležité informace o fondu

Při vytváření fondu zvažte následující skutečnosti:

• Vytvářejte fondy pomocí typů instancí a modulů runtime Azure Databricks na základě cílových úloh.
• Pokud je to možné, naplňte fondy spotovými instancemi, abyste snížili náklady.
• Naplňte fondy instancemi na vyžádání pro úlohy s krátkými dobami provádění a striktními požadavky na dobu provádění.
• Ke správě fakturace použijte značky fondu a značky clusteru.
• Předem naplňte fondy, abyste měli jistotu, že jsou instance dostupné, když je clustery potřebují.

Vytváření fondů na základě úloh

Pokud váš uzel ovladače a pracovní uzly mají jiné požadavky, vytvořte pro každý z nich jiný fond.

Dobu pořízení instance můžete minimalizovat vytvořením fondu pro každý typ instance a modulem runtime Azure Databricks, který vaše organizace běžně používá. Pokud například většina clusterů přípravy dat používá typ A, clustery datových věd používají typ instance B a analytické clustery používají typ instance C, vytvořte fond s každým typem instance.

Nakonfigurujte fondy tak, aby používaly instance na vyžádání pro úlohy s krátkými dobami provádění a striktními požadavky na dobu provádění. Instance na vyžádání slouží k tomu, aby se zabránilo ztrátě získaných instancí na vyšších cenách na spotovém trhu.

Nakonfigurujte fondy tak, aby používaly spotové instance pro clustery, které podporují interaktivní vývoj nebo úlohy, které upřednostňují úspory nákladů oproti spolehlivosti.

Označování fondů pro správu nákladů a fakturace

Označování fondů do správného nákladového centra umožňuje spravovat náklady a vracení poplatků za využití. K přidružení více nákladových center k fondu můžete použít více vlastních značek. Je ale důležité pochopit, jak se značky šíří při vytváření clusteru z fondů. Značky z fondů se šíří do základních instancí poskytovatele cloudu, ale značky clusteru ne. U fondu použijte všechny vlastní značky potřebné ke správě nákladů na vrácení peněz z výpočetních prostředků poskytovatele cloudu.

Značky fondu i značky clusteru se šíří do fakturace Azure Databricks. Ke správě vracení peněz z jednotek Azure Databricks můžete použít kombinaci značek clusteru a fondu.

Další informace najdete v tématu Monitorování využití pomocí značek.

Konfigurace fondů pro řízení nákladů

Pomocí následujících možností konfigurace můžete řídit náklady na fondy:

• Nastavte minimální nečinné instance na 0, abyste se vyhnuli placení za spuštěné instance, které nefungují. Kompromisem je možné zvýšení doby, kdy cluster potřebuje získat novou instanci.
• Nastavte dobu automatického ukončení nečinné instance tak, aby poskytovala vyrovnávací paměť mezi uvolněním instance z clusteru a vyřazením z fondu. Nastavte na období, které vám umožní minimalizovat náklady a zároveň zajistit dostupnost instancí pro naplánované úlohy. Například úloha A se plánuje spustit v 8:00 a dokončení trvá 40 minut. Úloha B je naplánovaná tak, aby běžela v 9:00 a dokončení trvá 30 minut. Nastavte hodnotu automatického ukončení nečinné instance na 20 minut, aby se zajistilo, že instance vrácené do fondu po dokončení úlohy A jsou k dispozici při spuštění úlohy B. Pokud nejsou deklarovány jiným clusterem, tyto instance se ukončí 20 minut po ukončení úlohy B.
• Nastavte maximální kapacitu na základě očekávaného využití. Tím se nastaví strop maximálního počtu použitých a nečinných instancí ve fondu. Pokud úloha nebo cluster požaduje instanci z fondu na maximální kapacitu, požadavek selže a cluster nezíská další instance. Proto Databricks doporučuje nastavit maximální kapacitu pouze v případě, že existuje striktní kvóta instance nebo omezení rozpočtu.

Předem vyplnit fondy

Pokud chcete plně využívat fondy, můžete předem naplnit nově vytvořené fondy. V konfiguraci fondu nastavte minimální nečinné instance větší než nula. Případně pokud sledujete doporučení nastavit tuto hodnotu na nulu, použijte úvodní úlohu, abyste zajistili, že nově vytvořené fondy mají dostupné instance pro clustery, ke kterým mají přístup.

Při použití úvodní úlohy naplánujte úlohu s flexibilními požadavky na dobu provádění tak, aby běžela před úlohami s přísnějšími požadavky na výkon nebo před tím, než uživatelé začnou používat interaktivní clustery. Po dokončení úlohy se instance použité pro úlohu uvolní zpět do fondu. Nastavte minimální nastavení nečinné instance na hodnotu 0 a nastavte dobu automatického ukončení nečinnosti instance dostatečně vysokou, aby se zajistilo, že nečinné instance zůstanou dostupné pro následné úlohy.

Použití počáteční úlohy umožňuje instancím fondu aktivovat, naplnit fond a zůstat k dispozici pro podřízenou úlohu nebo interaktivní clustery.