Stručný průvodce k vytváření výpočetní úlohy

Cílem tohoto článku je poskytnout jasné a odborné pokyny pro proces vytváření výpočetních prostředků. Pomocí správných typů výpočetních prostředků pro váš pracovní postup můžete zvýšit výkon a ušetřit náklady.

Osvědčený postup Dopad Dokumenty
Použití bezserverového výpočetního prostředí pro většinu úloh Azure Databricks automaticky spravuje změnu velikosti, škálování a infrastrukturu. Nevyžaduje se žádná konfigurace clusteru.
Pro klasické výpočetní prostředky: Pokud vaše požadované funkce nejsou podporované, použijte standardní režim přístupu. Výpočetní prostředky se standardním režimem přístupu můžou používat více uživatelů s izolací dat mezi uživateli.
Pro klasické výpočetní prostředky: Začněte použitím obecných typů instancí pro všechny účely, pokud s Azure Databricks začínáte. Výběr vhodného typu instance pro úlohu má za následek vyšší efektivitu.
Pro klasické výpočetní prostředky: Pokud je k dispozici dostatek dostupnosti, použijte typy instancí nejnovější generace. Nejnovější generace typů instancí poskytuje nejlepší výkon a nejnovější funkce.
Klasické výpočetní: Nastavte rovnováhu mezi instancemi na vyžádání a spotovými instancemi podle toho, jak rychle potřebujete, aby vaše úloha běžela. Spotové instance šetří náklady, ale mohou ovlivnit dobu celkového běhu operace, pokud jsou spotové instance znovu převzaty.
Pro klasický výpočet: zvolte velikost uzlů a počet pracovníků na základě typů operací, které vaše úloha provádí. Pokud například očekáváte velké množství přesunů, může být efektivnější používat jeden velký uzel místo několika menších uzlů.
Pro klasické výpočetní úlohy: Spusťte v clusteru vakuum s nastavením automatického škálování pro 1 až 4 pracovní uzly, kde má každý pracovní uzel 8 jader.
Vyberte ovladač s 8 až 32 jádry. Pokud dojde k chybám nedostatku paměti (OOM), zvětšete velikost ovladače.
K vakuovým výkazům dochází ve dvou fázích, z nichž druhá je náročná na ovladače. Pokud nepoužíváte správný cluster s správnou velikostí, může operace způsobit zpomalení a nemusí být úspěšné.
Klasické výpočetní prostředky: zvažte, zda by váš dávkový pracovní postup mohl mít prospěch z Photon. Photon poskytuje rychlejší dotazy a snižuje celkové náklady na úlohu.