Indstillinger for administration af Spark-arbejdsområder i Microsoft Fabric

  • Artikel

Gælder for: Data engineering og datavidenskab i Microsoft Fabric

Når du opretter et arbejdsområde i Microsoft Fabric, oprettes der automatisk en startpulje , der er knyttet til det pågældende arbejdsområde. Med den forenklede konfiguration i Microsoft Fabric er der ingen grund til at vælge node- eller maskinstørrelser, da disse indstillinger håndteres for dig i baggrunden. Denne konfiguration giver brugerne en hurtigere startoplevelse af Spark-sessionen (5-10 sekunder), så de kan komme i gang og køre dine Spark-job i mange almindelige scenarier uden at skulle bekymre sig om at konfigurere beregningen. I forbindelse med avancerede scenarier med specifikke beregningskrav kan brugerne oprette en brugerdefineret Spark-pulje og tilpasse nodernes størrelse på baggrund af deres ydeevnebehov.

Vigtigt

Microsoft Fabric fås som prøveversion.

Hvis du vil foretage ændringer af Spark-indstillingerne i et arbejdsområde, skal du have administratorrollen for det pågældende arbejdsområde. Du kan få mere at vide under Roller i arbejdsområder.

Sådan administrerer du Spark-indstillingerne for den gruppe, der er knyttet til dit arbejdsområde:

  1. Gå til indstillingerne for arbejdsområdet i dit arbejdsområde, og vælg indstillingen Datakonstruktion/Videnskab for at udvide menuen:

    Skærmbillede, der viser, hvor du kan vælge Data engineering i menuen Indstillinger for arbejdsområde.

  2. Du kan se indstillingen Spark Compute i menuen til venstre:

  3. Konfigurer de fire indstillingsindstillinger, du kan ændre på denne side: Standardpulje for arbejdsområde, Kørselsversion, Spor automatisk eksperimenter og modeller til maskinel indlæring og egenskaber for Spark.

Bemærk

Hvis du ændrer standardgruppen til en brugerdefineret Spark-gruppe, kan du i dette tilfælde se længere sessionsstart (~3 minutter).

Standardgruppe for arbejdsområde

Der er to muligheder:

  • Startpulje: Forudhydrerede liveklynger oprettes automatisk for at få en hurtigere oplevelse. Disse klynger er mellemstore. I øjeblikket leveres der en startpulje med 10 noder til evalueringsformål.

  • Brugerdefineret Spark-gruppe: Du kan tilpasse noderne, autoskalere og tildele eksekveringsfiler dynamisk på baggrund af dine krav til Spark-jobbet. Hvis du vil oprette en brugerdefineret Spark-gruppe, skal kapacitetsadministratoren aktivere indstillingen Tilpassede arbejdsområdegrupper i afsnittet Spark Compute under Indstillinger for kapacitet Administration. Du kan få mere at vide under Spark Compute-indstillinger for Fabric-kapaciteter.

Administratorer kan oprette brugerdefinerede Spark-grupper baseret på deres beregningsbehov ved at vælge indstillingen Ny pulje .

Skærmbillede, der viser indstillinger for oprettelse af brugerdefinerede grupper.

Microsoft Fabric Spark understøtter enkeltnodeklynger, som giver brugerne mulighed for at vælge en minimumnodekonfiguration på 1, i hvilket tilfælde driveren og eksekutoren kører i en enkelt node. Disse enkeltnodeklynger tilbyder reaktiverbar høj tilgængelighed i tilfælde af nodefejl og bedre jobpålidelighed for arbejdsbelastninger med mindre beregningskrav. Du kan også aktivere eller deaktivere indstillingen automatisk skalering for dine brugerdefinerede Spark-grupper. Når funktionen aktiveres med autoskalering, får gruppen nye noder inden for den maksimale nodegrænse, der er angivet af brugeren, og trækker dem tilbage efter jobudførelsen for at opnå bedre ydeevne.

Du kan også vælge muligheden for dynamisk at tildele eksekveringsfiler til automatisk at gruppere det optimale antal eksekverere inden for den maksimale grænse, der er angivet, baseret på datamængden for at opnå bedre ydeevne.

Skærmbillede, der viser indstillinger for oprettelse af brugerdefinerede grupper til automatisk skalering og dynamisk allokering.

Få mere at vide om Spark Compute for Fabric.

Kørselsversion

Du kan vælge, hvilken version af Spark du vil bruge til arbejdsområdet. Spark 3.2-versionen er tilgængelig i øjeblikket.

Skærmbillede, der viser, hvor du kan vælge kørselsversion.

Automatisk logning af modeller og eksperimenter i forbindelse med maskinel indlæring

Administratorer kan nu aktivere automatisklogging for deres modeller til maskinel indlæring og eksperimenter. Denne indstilling registrerer automatisk værdierne for inputparametre, outputmetrik og outputelementer for en model til maskinel indlæring, efterhånden som den oplæres.

Få mere at vide om automatisklogning

Egenskaber for Spark

Apache Spark har mange indstillinger, du kan angive for at optimere oplevelsen til dine scenarier. Du kan angive disse egenskaber via brugergrænsefladen ved at vælge indstillingen Tilføj . Vælg et element i rullemenuen, og angiv værdien.

Skærmbillede, der viser, hvor du kan vælge Tilføj.

Du kan slette elementer ved at vælge elementerne og derefter vælge knappen Slet . Eller vælg sletteikonet ud for hvert element, du vil slette.

Skærmbillede, der viser, hvor du kan vælge Slet.

Næste trin