Jak vytvořit vlastní fondy Sparku v Microsoft Fabric

V tomto dokumentu vysvětlujeme, jak vytvořit vlastní fondy Apache Sparku v Microsoft Fabric pro analytické úlohy. Fondy Apache Spark umožňují uživatelům vytvářet přizpůsobená výpočetní prostředí na základě jejich specifických požadavků a zajistit optimální výkon a využití prostředků.

Zadáte minimální a maximální počet uzlů pro automatické škálování. Na základě těchto hodnot systém dynamicky získává a vyřadí uzly, protože se mění požadavky na výpočetní prostředky úlohy, což vede k efektivnímu škálování a lepšímu výkonu. Dynamické přidělování exekutorů ve fondech Sparku také zmírňuje potřebu ruční konfigurace exekutorů. Místo toho systém upraví počet exekutorů v závislosti na potřebách výpočetních prostředků na úrovni dat a úloh. Tento proces vám umožní soustředit se na úlohy, aniž byste se museli starat o optimalizaci výkonu a správu prostředků.

Poznámka:

Pokud chcete vytvořit vlastní fond Sparku, potřebujete přístup správce k pracovnímu prostoru. Správce kapacity musí povolit možnost Vlastní fondy pracovních prostorů v části Výpočty Sparkuv nastavení správce kapacity. Další informace najdete v tématu Nastavení výpočetních prostředků Spark pro kapacity Fabric.

Vytvořte vlastní fondy Spark

Vytvoření nebo správa fondu Sparku přidruženého k vašemu pracovnímu prostoru:

1. Přejděte do svého pracovního prostoru a vyberte Nastavení pracovního prostoru.

2. Výběrem možnosti Přípravy dat nebo Vědy rozbalte nabídku a pak vyberte Nastavení Sparku.

   

3. Vyberte možnost Nový fond . Na obrazovce Vytvořit fond pojmenujte Spark pool. Zvolte také řadu uzlů a v závislosti na požadavcích na výpočetní prostředky pro vaše úlohy vyberte velikost uzlu z dostupných velikostí (Small, Medium, Large, X-Large a XX-Large).

   

4. Minimální konfiguraci uzlu pro vlastní fondy můžete nastavit na 1. Vzhledem k tomu, že Fabric Spark poskytuje možnost obnovení dostupnosti pro clustery s jedním uzlem, nemusíte se obávat selhání úloh, ztráty relace při selhání nebo přeplacení výpočetních zdrojů pro menší úlohy Sparku.

5. Automatické škálování pro vlastní fondy Sparku můžete povolit nebo zakázat. Pokud je povolené automatické škálování, fond dynamicky získá nové uzly až do maximálního limitu uzlu určeného uživatelem a potom je po provedení úlohy vyřadí. Tato funkce zajišťuje lepší výkon úpravou prostředků na základě požadavků úlohy. Můžete upravit velikost uzlů, které se vejdou do kapacitních jednotek zakoupených jako součást SKU kapacity Fabric.

   

6. Můžete také povolit přidělení dynamického exekutoru pro váš fond Spark, což automaticky určuje optimální počet exekutorů v rámci maximální hranice zadané uživatelem. Tato funkce upravuje počet exekutorů na základě objemu dat, což vede ke zlepšení výkonu a využití prostředků.

Tyto vlastní fondy mají výchozí dobu automatického pozastavení 2 minuty. Jakmile uplyne doba automatického pozastavení, platnost relace vyprší a clustery jsou uvolněny. Účtují se vám poplatky na základě počtu uzlů a doby trvání, po kterou se používají vlastní fondy Sparku.

Možnosti velikosti uzlu

Při konfiguraci vlastního fondu Sparku si můžete vybrat z následujících velikostí uzlů:

Velikost uzlu	Výpočetní jednotky (CU)	Paměť (GB)	Popis
Malý	4	32	Zjednodušené úlohy vývoje a testování
Středně	8	64	Většina obecných úloh a typických operací
Velké	16	128	Úlohy náročné na paměť nebo větší úlohy zpracování dat
X-Large	32	256	Nejnáročnější úlohy Sparku vyžadují významné prostředky.

Související obsah

• Další informace najdete ve veřejné dokumentaci k Apache Sparku.
• Začínáme s nastavením správy pracovního prostoru Sparku v Microsoft Fabric