Vytváranie vlastných Spark poolov v Microsoft Fabric

Používajte vlastné Spark pooly na prispôsobenie výpočtovej záťaže vo Fabric. Môžete si zvoliť veľkosť uzla, nastaviť správanie automatického škálovania a povoliť dynamickú alokáciu vykonávateľa.

Vlastné pooly vám pomáhajú vyvážiť výkon a náklady tým, že vám umožňujú nastaviť škálovacie limity podľa požiadaviek na pracovnú záťaž.

Poznámka

Vlastné Spark pooly môžu dosiahnuť približne 5-sekundové začiatky relácií, ak sú nastavené ako vlastný živý pool v prostredí, ktoré používa Full mode na publikovanie knižníc. Bez konfigurácie živého bazéna začiatok vlastných Spark bazénov trvá asi tri minúty.

Ak už používate štartovacie pooly, vlastné pooly sú doplnkovou voľbou, keď potrebujete väčšiu kontrolu nad veľkosťou a škálovaním pre konkrétne workloady. Používajte štartovacie pooly na rýchly štart a predvolené nastavenia, a prejdite na vlastné pooly, keď potrebujete špecifické prispôsobenie výpočtovej záťaže. Ak sa chcete dozvedieť viac o štartovacích pooloch, pozrite si Konfigurovať štartovacie pooly v Fabric.

Požiadavky

Na vytvorenie vlastného Spark poolu:

  • V pracovnom priestore potrebujete rolu administrátora .
  • Administrátor kapacity musí povoliť prispôsobené pracovné priestory v nastaveniach Spark Compute pre danú kapacitu.

Pre viac informácií pozri Konfigurovať a spravovať nastavenia dátového inžinierstva a dátovej vedy pre kapacity Fabric.

Vytvorenie vlastných bazénov Spark

Ak chcete vytvoriť alebo spravovať fond spark priradený k vášmu pracovnému priestoru:

  1. Choďte do svojho pracovného priestoru a vyberte nastavenia pracovného priestoru.

    Snímka obrazovky ukazujúca, kde vybrať Data Engineering v menu nastavení pracovného priestoru.

  2. Výberom možnosti Data Engineering/Science rozbaľte ponuku a potom vyberte položku Nastavenia Spark.

    Snímka obrazovky zobrazujúca zobrazenie podrobností nastavenia spark.

  3. Vyberte Nový bazén z predvoleného bazéna pre rozbaľovacie menu pracovných priestorov a vytvoríte nový vlastný Spark pool. Môžete vytvoriť viacero vlastných poolov a vybrať ktorýkoľvek z nich ako predvolený pool pre váš pracovný priestor.

  4. Na stránke Vytvoriť nový pool zadajte názov poolu. Vyberte rodinu uzlov (napríklad optimalizovanú pamäť) a veľkosť uzla podľa požiadaviek na záťaž. Pre viac informácií o veľkostiach uzlov si pozrite sekciu Možnosti veľkosti uzla nižšie.

    Prepitné

    Veľkosť uzla je určená kapacitnými jednotkami (CU), ktoré predstavujú výpočtovú kapacitu priradenú každému uzlu.

    Snímka obrazovky zobrazujúca možnosti vytvorenia vlastného fondu.

  5. V pohľade úprav nakonfigurujte automatické škálovanie a dynamicky prideľujte vykonávateľov.

    Snímka obrazovky znázorňujúca možnosti vytvorenia vlastného fondu na automatické škálovanie a dynamické prideľovanie.

    Používajte posuvníky na zvýšenie alebo zníženie každého nastavenia podľa vašich potrieb pracovnej záťaže.

    • Ak je povolené automatické škálovanie , pool škáluje medzi nastavenými minimálnymi a maximálnymi hodnotami uzlov na základe aktivity.

    • Ak je povolená dynamická alokácia vykonávateľov , Fabric upravuje alokáciu vykonávateľov na základe požiadavky na pracovnú záťaž v rámci nastavených medziem.

  6. Vyberte položku Vytvoriť.

Prepitné

Po vytvorení vlastného Spark poolu závisí načasovanie nasadenia knižnice od publikačného režimu v pripojenom prostredí. Rýchly režim publikuje približne za 5 sekúnd a knižnice sa inštalujú hneď na začiatku relácie. Plný režim trvá 3 až 6 minút na publikovanie a nasadzuje knižnice ako súčasť spustenia relácie (1 až 3 minúty). Pre najrýchlejší zážitok nastavte pool ako vlastný živý pool s režimom Full na približne 5-sekundové začiatky relácií.

Vlastné pooly majú predvolenú dĺžku automatickej pauzy 2 minúty po neaktivite. Keď sa dosiahne autopauza, relácia vyprší a klaster sa lokalizuje. Fakturácia sa uplatňuje len počas aktívneho využívania výpočtovej kapacity. Vlastné Spark pooly v Fabric momentálne podporujú maximálny limit uzlov 200, preto sa uistite, že vaše minimálne a maximálne hodnoty automatického škálovania zostávajú v tomto limite.

Možnosti veľkosti uzla

Pri nastavovaní vlastného fondu Spark si môžete vybrať z nasledujúcich veľkostí uzlov:

Veľkosť uzla vCores Pamäť (GB) Popis
Malé 4 32 Pre ľahké vývojové a testovacie úlohy.
Stredné 8 64 Pre všeobecné pracovné zaťaženie a typické operácie.
Veľké 16 128 Pre úlohy náročné na pamäť alebo veľké úlohy spracovania údajov.
X-Large 32 256 Pre najnáročnejšie pracovné zaťaženia Sparku, ktoré vyžadujú značné zdroje.
XX-veľké 64 512 Pre najväčšie Spark workloady, ktoré vyžadujú najvyššiu výpočtovú kapacitu a pamäť na uzol.

Súvisiaci obsah

  • Last updated on