Indstillinger for administration af Spark-arbejdsområder i Microsoft Fabric

Gælder for: Dataudvikler ing og datavidenskab i Microsoft Fabric

Når du opretter et arbejdsområde i Microsoft Fabric, oprettes der automatisk en startpulje , der er knyttet til det pågældende arbejdsområde. Med den forenklede konfiguration i Microsoft Fabric er der ingen grund til at vælge node- eller maskinstørrelser, da disse indstillinger håndteres for dig i baggrunden. Denne konfiguration giver brugerne en hurtigere startoplevelse (5-10 sekunder) for Spark-sessionen, så de kan komme i gang og køre dine Spark-job i mange almindelige scenarier uden at skulle bekymre sig om at konfigurere beregning. I forbindelse med avancerede scenarier med specifikke beregningskrav kan brugerne oprette en brugerdefineret Spark-pulje og tilpasse nodernes størrelse på baggrund af deres ydeevnebehov.

Hvis du vil foretage ændringer af Spark-indstillingerne i et arbejdsområde, skal du have administratorrollen for det pågældende arbejdsområde. Du kan få mere at vide under Roller i arbejdsområder.

Sådan administrerer du Spark-indstillingerne for den gruppe, der er knyttet til dit arbejdsområde:

1. Gå til indstillingerne for arbejdsområdet i arbejdsområdet, og vælg indstillingen Dataudvikler/Videnskab for at udvide menuen:

   

2. Du kan se indstillingen Spark Compute i menuen til venstre:

   

   Bemærk

   Hvis du ændrer standardpuljen fra Startpulje til en brugerdefineret Spark-gruppe, kan du se længere sessionstart (~3 minutter).

Pulje

Standardgruppe for arbejdsområdet

Du kan bruge den automatisk oprettede startpulje eller oprette brugerdefinerede puljer for arbejdsområdet.

• Starter Pool: Prehydrerede live-puljer automatisk oprettet til din hurtigere oplevelse. Disse klynger er mellemstore. Startpuljen er indstillet til en standardkonfiguration baseret på den varenummer for Fabric-kapacitet, der er købt. Administration kan tilpasse de maksimale noder og eksekveringsprogrammer baseret på deres Krav til Spark-arbejdsbelastningsskala. Du kan få mere at vide under Konfigurer startpuljer

• Brugerdefineret Spark-pulje: Du kan tilpasse størrelsen på noderne, autoskalere og tildele eksekveringsfiler dynamisk baseret på dine krav til Spark-job. Hvis du vil oprette en brugerdefineret Spark-pulje, skal kapacitetsadministratoren aktivere indstillingen Brugerdefinerede arbejdsområdepuljer i afsnittet Spark Compute under Indstillinger for kapacitet Administration.

Bemærk

Kontrolelementet på kapacitetsniveau for brugerdefinerede arbejdsområdegrupper er aktiveret som standard. Du kan få mere at vide under Spark Compute Indstillinger for Fabric-kapaciteter.

Administration s kan oprette brugerdefinerede Spark-puljer baseret på deres beregningskrav ved at vælge Ny indstilling for pulje.

Microsoft Fabric Spark understøtter enkeltnodeklynger, som giver brugerne mulighed for at vælge en minimumnodekonfiguration på 1, i hvilket tilfælde driveren og eksekveren kører i en enkelt node. Disse enkeltnodeklynger tilbyder genaktiverbar høj tilgængelighed i tilfælde af nodefejl og bedre jobpålidelighed for arbejdsbelastninger med mindre beregningskrav. Du kan også aktivere eller deaktivere indstillingen automatisk skalering for dine brugerdefinerede Spark-puljer. Når indstillingen er aktiveret med automatisk skalering, henter gruppen nye noder inden for den maksimale nodegrænse, der er angivet af brugeren, og trækker dem tilbage efter udførelsen af jobbet for at opnå bedre ydeevne.

Du kan også vælge muligheden for dynamisk at tildele eksekveringsfiler til automatisk at gruppere det optimale antal eksekveringsfiler inden for den maksimale grænse, der er angivet, baseret på datamængden for at opnå en bedre ydeevne.

Få mere at vide om Spark Compute for Fabric.

• Tilpas beregningskonfigurationen for elementer: Som administrator af arbejdsområdet kan du give brugerne mulighed for at justere beregningskonfigurationer (egenskaber på sessionsniveau, som omfatter Driver/Executor Core, Driver/Executor Memory) for individuelle elementer, f.eks. notesbøger, spark jobdefinitioner ved hjælp af miljø.

Hvis indstillingen er slået fra af arbejdsområdeadministratoren, bruges standardgruppen og dens beregningskonfigurationer for alle miljøer i arbejdsområdet.

Miljø

Miljø giver fleksible konfigurationer til kørsel af dine Spark-job (notesbøger, definitioner af spark-job). I et miljø kan du konfigurere beregningsegenskaber ved at vælge forskellige afhængigheder af kørsel og konfiguration af bibliotekspakker baseret på dine krav til arbejdsbelastninger.

Under fanen Miljø har du mulighed for at angive standardmiljøet. Du kan vælge, hvilken version af Spark du vil bruge til arbejdsområdet.

Som administrator af Fabric-arbejdsområdet kan du vælge et miljø som standardmiljø for arbejdsområdet.

Du kan også oprette en ny via rullelisten Miljø .

Hvis du deaktiverer indstillingen for at have et standardmiljø, kan du vælge Fabric-kørselsversionen fra de tilgængelige kørselsversioner, der er angivet på rullelisten.

Få mere at vide om Spark-kørsel

Høj samtidighed

Tilstanden Med høj samtidighed giver brugerne mulighed for at dele de samme Spark-sessioner i Fabric Spark til datatekniske og datavidenskabelige arbejdsbelastninger. Et element som en notesbog bruger en Spark-session til udførelse, og når det er aktiveret, kan brugerne dele en enkelt Spark-session på tværs af flere notesbøger.

Få mere at vide om Høj samtidighed i Fabric Spark

Automatisk logføring af Modeller til maskinel indlæring og eksperimenter

Administration s kan nu aktivere automatisklogging for deres modeller og eksperimenter til maskinel indlæring. Denne indstilling registrerer automatisk værdierne for inputparametre, outputmetrik og outputelementer for en model til maskinel indlæring, efterhånden som den oplæres. Få mere at vide om automatisk logning.

Relateret indhold

• Læs om Apache Spark Runtimes i Fabric – Oversigt, Versionering, Understøttelse af flere runtimes og opgradering af Delta Lake-protokollen
• Få mere at vide i den offentlige dokumentation til Apache Spark.
• Få svar på ofte stillede spørgsmål: Ofte stillede spørgsmål om administrationsindstillinger for Apache Spark-arbejdsområder.