Vytváření vlastních fondů Sparku v Microsoft Fabric

Vlastní fondy Sparku můžete použít k přizpůsobení výpočetních prostředků pro vaše úlohy ve Fabric. Můžete zvolit velikost uzlu, nakonfigurovat chování automatického škálování a povolit přidělení dynamického exekutoru.

Vlastní fondy pomáhají vyvážit výkon a náklady tím, že umožňují nastavit limity škálování, které odpovídají poptávce po úlohách.

Poznámka:

Vlastní fondy Sparku můžou dosáhnout zahájení relace přibližně za 5 sekund, když jsou nakonfigurované jako vlastní živý fond s prostředím, které pro publikování knihovny používá režim Full. Bez konfigurace živého fondu může spuštění vlastních fondů Spark trvat přibližně tři minuty.

Pokud už používáte úvodní fondy, vlastní fondy jsou doplňkovou možností, pokud potřebujete větší kontrolu nad nastavením velikosti a škálováním pro konkrétní úlohy. K rychlému spuštění a výchozímu nastavení použijte počáteční fondy a v případě, že potřebujete ladění výpočetních prostředků specifických pro úlohy, přejděte do vlastních fondů. Další informace o počátečních fondech najdete v tématu Konfigurace počátečních fondů ve Fabricu.

Požadavky

Pro vytvoření vlastního fondu Spark:

  • V pracovním prostoru potřebujete roli Správce.
  • Správce kapacity musí pro kapacitu povolit přizpůsobené pooly pracovních prostorů v nastavení Spark Compute.

Další informace naleznete v tématu Konfigurace a správa nastavení datového inženýrství a datové analytiky pro kapacity Fabric.

Vytvořte vlastní fondy Spark

Vytvoření nebo správa fondu Sparku přidruženého k vašemu pracovnímu prostoru:

  1. Přejděte do svého pracovního prostoru a vyberte Nastavení pracovního prostoru.

    Screenshot ukazující, kde vybrat Data Engineering v nastavení pracovního prostoru.

  2. Výběrem možnosti Přípravy dat nebo Vědy rozbalte nabídku a pak vyberte Nastavení Sparku.

    Snímek obrazovky zobrazující zobrazení podrobností nastavení Sparku

  3. Výběrem Nový pool z rozbalovacího seznamu Výchozí pool pro pracovní prostor vytvořte nový vlastní Spark pool. Můžete vytvořit více vlastních fondů a vybrat libovolný z nich jako výchozí fond pro váš pracovní prostor.

  4. Na stránce Vytvořit nový fond zadejte název fondu. Vyberte řadu uzlů (například optimalizováno pro paměť) a velikost uzlu na základě požadavků na úlohy. Další informace o velikostech uzlů naleznete v sekci Možnosti velikosti uzlů níže.

    Návod

    Velikost uzlu je určena jednotkami kapacity (CU), které představují výpočetní kapacitu přiřazenou jednotlivým uzlům.

    Snímek obrazovky s možnostmi vytvoření vlastního fondu

  5. V zobrazení pro úpravy nakonfigurujte automatické škálování a dynamicky přidělovat exekutory.

    Snímek obrazovky znázorňující možnosti vytvoření vlastního fondu pro automatické škálování a dynamické přidělování

    Pomocí posuvníků můžete každé nastavení na základě vašich potřeb úloh zvýšit nebo snížit.

    • Pokud je povolené automatické škálování , fond se škáluje mezi nakonfigurovaným minimálním a maximálním počtem hodnot uzlů na základě aktivity.

    • Pokud je povolené dynamické přidělování exekutorů , prostředky infrastruktury upraví přidělení exekutoru na základě poptávky po úlohách v rámci nakonfigurovaných hranic.

  6. Vyberte Vytvořit.

Návod

Po vytvoření vlastního fondu Sparku závisí časování nasazení knihovny na režimu publikování v připojeném prostředí. Rychlý režim se zveřejňuje přibližně za 5 sekund a nainstaluje knihovny při spuštění relace. Plný režim trvá 3 až 6 minut na publikování a nasazení knihoven jako součást spouštění relace (1 až 3 minuty). Pokud chcete dosáhnout nejrychlejšího zážitku, nakonfigurujte fond jako vlastní živý fond s plným režimem, abyste dosáhli přibližně 5sekundových startů relací.

Vlastní fondy mají výchozí dobu automatického pozastavení 2 minuty po nečinnosti. Po dosažení automatického pozastavení se ukončí platnost relace a cluster se deallocuje. Fakturace se vztahuje pouze na aktivní využití výpočetních prostředků. Vlastní Spark pooly ve Fabric momentálně podporují maximální limit uzlů 200, proto se ujistěte, že vaše minimální a maximální hodnoty automatického škálování zůstávají v tomto limitu.

Možnosti velikosti uzlu

Při nastavování vlastního fondu Sparku si můžete vybrat z následujících velikostí uzlů:

Velikost uzlu vCores Paměť (GB) Popis
Malý 4 32 Pro jednoduché úlohy vývoje a testování.
Středně 8 64 Pro obecné úlohy a typické operace.
Velké 16 128 Pro úlohy náročné na paměť nebo velké úlohy zpracování dat.
X-Large 32 256 Pro nejnáročnější úlohy Sparku, které potřebují významné prostředky.
XX-Large 64 512 U největších úloh Sparku, které vyžadují nejvyšší výpočetní výkon a paměť na uzel.

Související obsah

  • Last updated on