Dela via

Konfigurationsinställningar för Spark-beräkning i Fabric-miljöer

Microsoft Fabric Data Engineering- och Data Science-upplevelser fungerar på en fullständigt hanterad Spark-beräkningsplattform. Som standard delar alla Spark-jobb på en arbetsyta samma pool- och resursinställningar, men olika arbetsbelastningar har ofta olika krav. En enkel datatransformering behöver inte samma drivrutinsminne som ett storskaligt maskininlärningsjobb.

Med infrastrukturmiljöer kan du skräddarsy Spark-beräkningskonfigurationen per arbetsbelastning, så att varje notebook- eller Spark-jobbdefinition kan köras med rätt körningsversion, pool och storlek på drivrutin/exekutor utan att ändra standardinställningarna för hela arbetsytan.

Konfigurera beräkningsinställningar på arbetsytenivå

Arbetsyteadministratörer styr om miljöobjekt kan åsidosätta standardkonfigurationen för beräkning av arbetsytan. Att hålla anpassning på objektnivå inaktiverad säkerställer konsekvent resursanvändning i hela arbetsytan. Genom att aktivera den får medlemmar och deltagare flexibiliteten att justera beräkningen för enskilda arbetsbelastningar.

  1. I webbläsaren går du till din Fabric-arbetsyta i Fabric-portalen.

  2. Välj Inställningar för arbetsyta.

  3. Välj Datateknik/Vetenskap och välj sedan Spark-inställningar.

  4. Välj fliken Pool .

  5. Växla inställningen Anpassa beräkningskonfigurationer för objekt till På.

    Skärmbild som visar anpassningsalternativet för beräkning på objektnivå i arbetsyteinställningarna.

    När det här reglaget är aktiverat kan medlemmar och deltagare ändra datorkonfigurationer på sessionsnivå i en Fabric-miljö. När den är avstängd inaktiveras avsnittet Beräkning i miljöobjekt och alla Spark-jobb använder arbetsytans standardpool.

  6. Välj Spara.

Konfigurera beräkning i en miljö

När en administratör för arbetsytan aktiverar anpassning på objektnivå kan du konfigurera beräkningsinställningar i ett miljöobjekt. Detta inkluderar att välja en Spark runtime-miljö, välja en pool och justera drivrutins- och executor-resurser.

Välj en Spark-körmiljö

  1. Öppna miljöobjektet.

  2. På fliken Start väljer du listrutan Körning och väljer en körningsversion.

    Skärmbild som visar hur du väljer körningsversionen för miljön.

Varje Spark-körning har egna standardinställningar och förinstallerade paket.

Viktigt!

  • Körningsändringar börjar inte gälla förrän du sparar och publicerar miljön.
  • Om befintliga bibliotek eller beräkningsinställningar inte är kompatibla med den valda körningen misslyckas publiceringen. Ta bort eller uppdatera de inkompatibla inställningarna och publicera sedan igen.
  • Stegvisa publiceringsinstruktioner finns i Spara och publicera ändringar.

Välj en pool och justera beräkningsegenskaper

  1. Öppna miljön och gå till avsnittet Beräkning .

  2. Under Miljöpool väljer du startpoolen eller en anpassad pool som skapats av din arbetsyteadministratör.

    Skärmbild som visar var du väljer pooler i avsnittet miljöberäkning.

  3. Använd listrutorna på sidan Beräkning för att konfigurera Spark-egenskaper på sessionsnivå för den valda poolen. Tillgängliga värden beror på poolens nodstorlek.

    Skärmbild som visar listrutorna för beräkningsegenskap i avsnittet miljöberäkning.

    Egenskaperna är:

    • Spark-drivrutinsskärnor – Antal kärnor som allokerats till Spark-drivrutinen.
    • Spark-drivrutinsminne – mängd minne som allokerats till Spark-drivrutinen.
    • Spark-executorkärnor – Antal kärnor som allokerats till varje exekutor.
    • Spark-exekverarminne – Mängd minne som allokerats till varje exekverare.

Mer information om tillgängliga poolstorlekar och resursbegränsningar finns i Spark compute in Fabric.

Anmärkning

Spark-egenskaper anges via spark.conf.set kontrollparametrar på programnivå och är inte relaterade till de miljöberäkningsinställningar som beskrivs här.

Relaterat innehåll

  • Last updated on