Konfigurer brugerdefinerede live pools i Microsoft Fabric

Gælder for:✅ Fabric Data Engineering og Data Science

Specialdesignede live pools er præhydrerede Spark-klynger, der giver næsten øjeblikkelig sessionsstart for notebooks i Fabric. Denne artikel viser, hvordan man opretter, konfigurerer og administrerer brugerdefinerede live pools for optimal ydeevne.

Forudsætninger

Før du opsætter specialdesignede live pools, skal du sikre dig, at du har:

  • Adgang til et Fabric-arbejdsområde med en betalt Fabric SKU (Fabric prøvekapaciteter understøttes ikke).
  • Admin- eller medlemrolle i arbejdsområdet.
  • En aktiv Fabric-kapacitet tildelt dit arbejdsområde.
  • Et offentliggjort Fabric-miljø til brug til bibliotekskonfiguration.
  • En eksisterende specialdesignet Spark-pool. Kun arbejdsområdeadministratorer kan oprette brugerdefinerede Spark-pools.

Hvis du har medlem-rollen , skal en arbejdsområdeadministrator slå den eksisterende indstilling Tilpas compute-konfiguration for items workspace til.

Vigtigt!

Starterpools understøttes ikke til custom live pools. Hvis dit arbejdsområde bruger en startpool, skal du oprette en brugerdefineret Spark-pool, før du konfigurerer en brugerdefineret live pool.

Brug den eksisterende indstilling for compute-tilpasning

Brugerdefinerede live pools bruger den eksisterende indstilling Customize compute for items workspace. De har ikke en separat delegeringsindstilling. Før et workspace-medlem kan oprette eller opdatere en brugerdefineret live pool-konfiguration, skal en workspace-administrator aktivere den eksisterende indstilling:

  1. Gå til dit Fabric-arbejdsområde.

  2. Vælg Workspace-indstillinger fra arbejdsområdets hjemmebånd.

  3. Udvid Data Engineering/Science og vælg Spark-indstillinger.

  4. Vælg fanen Pool .

  5. Slå Tilpas compute-konfiguration for elementer til.

    Skærmbillede, der viser switchen til at tilpasse beregningskonfigurationen for elementer.

  6. Vælg Save.

Når denne indstilling er slået til, kan medlemmer bruge et Fabric-miljø til at vælge en eksisterende brugerdefineret Spark-pool, justere sessionsniveau-driverkerner, driverhukommelse, executor-kerner og executor-hukommelse samt oprette eller opdatere live pool-konfigurationen. Medlemmer kan derefter gemme og offentliggøre miljøet.

Denne indstilling tillader ikke medlemmer at oprette eller administrere brugerdefinerede Spark-pools i arbejdsområdeindstillinger. En workspace-administrator skal oprette den underliggende brugerdefinerede Spark-pool.

Når Customize compute configuration for items er slået fra, bruger miljøerne arbejdsområdets standardpool og dets computekonfiguration. Medlemmer kan ikke oprette eller opdatere en brugerdefineret live pool-konfiguration, før en workspace-administrator aktiverer indstillingen.

For mere information om denne arbejdsområdekontrol, se Data Engineering workspace administration settings.

Opret en brugerdefineret pool til live poolen (kun administrator)

Denne opgave kræver rollen som Admin-arbejdsområde . Hvis der allerede findes en brugerdefineret Spark-pool, kan workspace-medlemmer springe denne opgave over og konfigurere live pool-beregning på den eksisterende pool.

  1. Navigér til dit Fabric-arbejdsområde.
  2. Vælg Workspace-indstillinger fra arbejdsområdets hjemmebånd.
  3. Udvid Data Engineering/Science og vælg Spark-indstillinger.
  4. Vælg fanen Pool .
  5. Fra dropdownmenuen Standardpool for arbejdsområde vælger du Ny pool.
  6. Indtast et navn til poolen. Dette navn er en unik identifikator for puljen, såsom dev-team-pool eller prod-daily-analytics.
  7. Vælg en nodefamilie og nodestørrelse til din arbejdsbyrde.
  8. Vælg afkrydsningsboksen for Autoscale for at aktivere autoskalering for poolen.

Konfigurér en live pool

Workspace-administratorer og medlemmer kan oprette eller opdatere en live pool-konfiguration via miljøindstillingerne . For medlemmer skal en workspace-administrator først aktivere Tilpas compute-konfiguration for elementer. Medlemmer skal vælge en eksisterende brugerdefineret Spark-pool, oprettet af en workspace-administrator.

  1. I dit Fabric-arbejdsområde åbner du det miljø, du vil tilknytte, til en brugerdefineret live pool.

  2. I venstre panel vælger du Beregn.

  3. Vælg den pool, du oprettede i det forrige trin, fra dropdown-menuen.

  4. Under Live pool skal du vælge radioknappen for at aktivere live pool-beregning for dette miljø.

    Skærmbillede, der viser Live pool-radioknappen aktiveret i miljøets Compute-indstillinger.

  5. Under Live pool-skemaet skal du vælge radioknappen for at tænde den. Alle specialtilpassede live pools skal have en tidsplan. Klaser holdes kun hydrerede i det planlagte vindue.

  6. Angiv tidsplanindstillingerne:

    • Om skemaet er gentagende
    • Start- og slutdag og tid
    • Tidszone
    • Hvornår skal puljen deaktiveres og genaktiveres
    • Andre indstillinger efter behov

    Vigtigt!

    Fabric bruger standard Spark-provisionering til aktivitet uden for det planlagte vindue, som har langsommere opstartstider. Klynger holdes ikke varme uden for det planlagte vindue.

    For tips til planlægning, se Schedule best practices.

  7. Gem beregningsindstillingerne.

  8. Vælg knappen Udgiv i det øverste bånd.

Efter du har udgivet, er poolen aktiv, og Fabric begynder at fugte klynger før næste skemaperiode.

Bemærkning

Udgivelse kan tage flere minutter.

Enhver ændring af miljøet kræver, at miljøet genudgives og fugtige klynger opdateres.

Forstå tidsplanens vindue

Tidsplanen definerer det vindue, hvor Fabric holder klynger hydrerede og kan rehydrere klynger, som den deaktiverede. Den holder ikke live poolen varm uden for det konfigurerede vindue.

For eksempel, overvej en tilbagevendende tidsplan, der kører hver dag fra kl. 8:00 til 17:00:

  • Kl. 8:00 begynder det daglige skema, og Fabric starter eller fortsætter med væske.
  • Under tidsplanvinduet kan en inaktiv klynge deaktiveres efter den konfigurerede inaktive timeout. Fabric kan rehydrere en erstatning i henhold til det konfigurerede reaktiveringsinterval.
  • Kl. 17:00 slutter skemaperioden. Fabric fortsætter ikke med at rehydrere klynger mellem kl. 17:00 og 8:00 næste dag.
  • En notesbog, der indsendes uden for tidsplansvinduet, bruger standard Spark-provisionering og modtager ikke live pool warm-start fordelen.
  • Den samme daglige adfærd gentager sig indtil den konfigurerede tidsplans slutdato.

Den planlagte starttid garanterer ikke, at en klynge allerede er tilgængelig på præcis det tidspunkt. Hydrering tager tid, især efter en miljøopdatering eller når Fabric skal provisionere en ny klynge. Hvis en planlagt notesbog skal starte kl. 8:00, start live pool-planen 60-90 minutter tidligere. Før notebook-kørselen skal du bruge overvågningshubben til at bekræfte, at tilgængelige klynger er større end nul. En indkommende notesbog modtager kun en varm session, når en kompatibel hydreret klynge er tilgængelig.

Monitor pool-status

For at tjekke status på din tilpassede live pool:

  1. I Fabric-portalen åbner du overvågningshubben.

  2. Find det miljø, du har offentliggjort, og vælg ellipsen (...) for at åbne kontekstmenuen.

  3. Vælg Vis detaljer.

    Skærmbillede, der viser Live pool-status i overvågningshubben.

  4. I højre panel kan du udvide Live pool-status for at se poolens nuværende tilstand.

Live pool-status inkluderer detaljer som:

  • Poolstatus: For eksempel Aktiv, Hydrerende, Idle eller Stoppet
  • Tilgængelige klynger: Antal klynger klar til notesbogssessioner
  • Travle klynger: Antal klynger, der aktuelt kører sessioner
  • Næste tidsplan: Kommende aktivitetsvindue

Bedste praksis

For at få mest muligt ud af tilpassede live pools, overvej følgende bedste praksis for konfiguration og administration:

Optimer for omkostninger og ydeevne

  • Tilpas antallet med efterspørgslen: Sæt det maksimale antal klynger baseret på forventede samtidige sessioner. Overforsyning øger omkostningerne.
  • Overvåg udnyttelsen: Gennemgå regelmæssigt poolmetrikker og juster antallet af klynger om nødvendigt.
  • Skalér tidsplaner effektivt: Undgå overlappende tidsplaner på tværs af flere puljer, medmindre det er nødvendigt.
  • Udnyt inaktiv timeout: Sæt passende idle timeouts for at opretholde en balance mellem ressourcetilgængelighed og at undgå hyppige genstarter af klyngen.

Klyngestørrelse

Når du konfigurerer din pool, bør du overveje følgende indstillinger og anbefalinger:

  • Klyngestørrelse: Antallet af eksekverinstanser for notebook-sessioner (interval: 1-16).
  • Maks klyngeantal: Det maksimale antal klynger, der skal holdes hydreret. Sæt ud fra forventede samtidige sessioner.
  • Idle timeout: Hvor længe en ubrugt klynge forbliver allokeret, før Fabric afslutter den.
Arbejdsbelastningstype Anbefalet størrelse Beskrivelse
Eksplorativ analyse 2-4 kerner Let arbejdsbyrde, hurtig dataudforskning
Medieberegning 8-12 kerner Daglig rapportering, mellemstore datasæt
Tung beregning 14-16 kerner Store datasæt, komplekse transformationer

Administrer biblioteksafhængigheder

  • Brug miljøgruppering: Forinstaller almindelige biblioteker i miljøet i stedet for installation on-the-fly installation.
  • Miljøversionering: Opdatering af et tilknyttet miljø kræver genudgivelse og opdatering af hydrerede klynger.
  • Opfrisk hydrerede klynger: Efter miljøændringer, opdater poolen eller venter på næste planlagte cyklus med at implementere ændringer.

Tilpas dig arbejdsbelastningsmønstre

  • Overvåg udendørs adfærd: Juster tomgangs-timeouts baseret på faktiske brugsmønstre.
  • Del på tværs af sessioner: Overvej at dele det samme miljø på tværs af flere puljer, hvis du har ensartede arbejdsbelastningsmønstre for at forbedre ressourceudnyttelsen.

Planlæg bedste praksis

  • Afstem dig til arbejdsbelastningsmønstre: Planlæg aktive tidspunkter, hvor dit team kører interaktive eller planlagte notesbøger.
  • Buffertid: Start tidsplanen 60-90 minutter før den første forventede notesbogskørsel for at lade hydreringen blive færdig.
  • Verificér tilgængelighed: Før en forsinkelsesfølsom planlagt kørsel, bekræft at live poolen har mindst én tilgængelig klynge i overvågningshubben.
  • Overvej tidszoner: Hvis dit hold spænder over flere tidszoner, udvid tidsplanen til at dække de nødvendige tidsintervaller.

Fejlfinding

Fejlfinding af brugerdefinerede live pools indebærer at tjekke poolstatus, miljøtilstand og tidsplankonfiguration som beskrevet i følgende scenarier:

Pool er stadig ikke tilgængelig

Hvis puljen ikke aktiveres eller viser status "Ikke tilgængelig":

  • Tjek at Fabric-kapaciteten er aktiv og aktuelt tildelt arbejdsområdet
  • Kontroller at det tilknyttede miljø er i en "Klar"-tilstand.
  • Sørg for, at det tilknyttede miljø er offentliggjort og ikke har nogen fejl.

Hydrering tager længere tid end forventet

Hvis hydreringen er langsommere end forventet:

  • Tjek miljøafhængigheder og build-status.
  • Bekræfte, at miljøet er i en "Klar"-tilstand.
  • Overvåg poolens detaljer for mere information.

Sessioner eller notesbøger starter ikke

Hvis notesbogssessioner ikke starter, selv med en aktiv pulje:

  • Tjek at sessionen bruger det korrekte miljø.
  • Kontroller at poolen er i "Tilgængelig" status og fuldt hydreret.

Live pool-indstillinger er ikke tilgængelige

Hvis du ikke kan oprette eller opdatere live pool-konfigurationen:

  • Bekræfte, at du har rollen som administrator eller medlem af arbejdsområdet.
  • Hvis du har medlem-rollen , så bed en workspace-administrator om at aktivere Tilpas compute-konfiguration for elementer.
  • Verdsig, at en workspace-administrator har oprettet en brugerdefineret Spark-pool, som du kan vælge i miljøet.

Relateret indhold

  • Last updated on