Del via


Brugerdefinerede live pools i Microsoft Fabric

Gælder for:✅ Fabric Data Engineering og Data Science

Brugerdefinerede live pools er foropvarmede Spark-klynger, der giver næsten øjeblikkelig sessionsstart for notebook-baserede arbejdsbelastninger i Microsoft Fabric. I stedet for at vente på klyngeprovisionering ved hver kørsel, holder brugerdefinerede live pools klyngerne varme i et konfigureret skemavindue, hvilket muliggør 5-sekunders sessionsstarttider for dine interaktive og planlagte notebooks.

Hvorfor bruge brugerdefinerede live pools

Standard Spark-sessioner i Fabric kræver klyngeprovisionering hver gang en session starter. For teams, der kører hyppige notebooks – uanset om de er interaktive, planlagte eller pipeline-udløste – kan denne provisioneringstid sænke iterationscyklusser og øge den samlede joblatens.

Skræddersyede live pools adresserer dette ved at:

  • Hydrering af klynger på forhånd baseret på en brugerdefineret tidsplan, så beregningen er klar, når arbejdsbelastningerne ankommer.
  • Det giver præcis kontrol over antallet af klynger, der holdes varme, og miljøet brugt til bibliotekskonfiguration.
  • Leverer ensartet opstartsydelse (~5 sekunder) for alle understøttede notebook-sessionstyper i det planlagte vindue.

Skræddersyede live pools supplerer den eksisterende startpool og custom Spark pool-muligheder i Fabric:

Beregningsmulighed Opstartstid Tidsplanbaseret Brugerdefinerede biblioteker Understøttede arbejdsbelastninger
Startbassiner 5 til 10 sekunder (uden nogen biblioteker) Nej Nej Notesbøger, SJD
Brugerdefinerede gnistpools ~1 min Nej Via miljø Notesbøger, SJD
Specialtilpassede live pools ~5 sekunder til 10 sekunder (efter væskeindtaget er fuldført) Ja Via miljø Kun notesbøger (interaktive og planlagte)

Nøglekoncepter

Følgende koncepter forklarer, hvordan brugerdefinerede live pools fungerer, herunder hvordan klynger forberedes, hvornår de er tilgængelige, og hvordan kapacitet og bibliotekskonfiguration administreres.

Hydrering og opvarmning

Når du opretter og udgiver en brugerdefineret live pool, begynder Fabric at fugte klynger før det planlagte vindue. Hydrering betyder, at klyngerne er fuldt udbyggede, konfigureret med det tilknyttede miljø og holdes varme, indtil en sessionsanmodning ankommer.

~5-sekunders opstartstid er kun tilgængelig, når poolen er fuldt hydreret. Under den indledende opsætning eller umiddelbart efter en konfigurationsændring kan sessionerne opleve længere opstartstider, mens hydreringen er færdig. For fejlfinding, se Hydration tager længere tid end forventet.

Planer

Hver brugerdefineret live pool kræver en tidsplan, der definerer, hvornår poolen er aktiv. Klynger holdes kun varme i det planlagte vindue, og fakturering sker kun, mens klyngerne er allokeret. Når tidsplanen udløber, eller en klynge er inaktiv ud over den konfigurerede tærskel, frigør Fabric den, og faktureringen stopper.

Planlæg dine tidsplaner, så de dækker dine forventede arbejdsmængder, så varm compute er tilgængelig, når dit team har brug for det. For konfigurationstrin og bedste praksis, se Konfigurér en live pool.

Miljøtilknytning

Hver brugerdefineret live pool er tilknyttet et Fabric-miljø. Miljøet styrer, hvilke biblioteker der er forudinstalleret på hydrerede klynger. For at opdatere biblioteker skal du ændre og genudgive miljøet. Eksisterende hydrerede klynger bliver ikke opdateret med de nye biblioteker før næste planlagte hydrering eller manuel opdatering. For konfigurationstrin, se Konfigurér en live pool.

Biblioteksudgivelsesmetoder

Bibliotekspubliceringstilstanden i det tilknyttede miljø bestemmer, hvordan biblioteker leveres til hydraterede klynger:

  • Full mode: Biblioteker opløses og indbygges i det hydraterede klyngebillede under miljøpublicering. Når en session starter, er Full mode-snapshotet allerede til stede i klyngen, hvilket muliggør cirka 5 sekunders session start. Brug Full mode, når du har brug for et stabilt, reproducerbart bibliotek med den hurtigst mulige sessionsopstart.
  • Hurtig tilstand: Biblioteker er ikke forudinstallerede på hydrerede klynger. I stedet installeres de, når notesbogssessionen starter. Hydraterede klynger giver stadig hurtig computeallokering, men biblioteksinstallation ved sessionstart tilføjer tid. Brug Hurtig tilstand til hurtig iteration under udviklingen, når bibliotekets stabilitet er mindre kritisk.

Bemærkning

Notebook Resources-mappen og installationerne af inline-biblioteket (for eksempel %pip install i en kodecelle) er manuelle, pr. session-tilgange. De er uafhængige af miljøpubliceringstilstanden og påvirker ikke, hvilke biblioteker der er forudinstalleret på hydraterede klynger.

Klyngekapacitet

Hver pool har et maksimalt antal klynger, som du sætter under konfigurationen. Fabric skalerer ikke automatisk puljen ud over denne værdi. Når alle hydrerede klynger er i brug, falder yderligere jobs tilbage på on-demand provisioning, som tager omkring 3 til 5 minutter eller længere afhængigt af bibliotekspakkeafhængigheder. For størrelsesvejledning, se Cluster-størrelse.

Understøttede arbejdsbelastninger

Brugerdefinerede live pools understøtter følgende notebook-baserede Spark-sessionstyper:

  • Interaktive notesbøger kører fra Fabric-portalen
  • Planlagte notebook-kørsler konfigureret i notebook-planlæggeren
  • Notebook kører udløst af pipelines

Bemærkning

Spark Job Definitions (batchjobs) understøttes ikke i den nuværende version af custom live pools.

Kapacitet og licensering

Brugerdefinerede live pools kræver en betalt Microsoft Fabric-kapacitets-SKU. Fabric Trial-kapaciteter understøttes ikke i øjeblikket.

For information om tilgængelige kapacitets-SKU'er, se Microsoft Fabric-koncepter og licenser.

Adgangskontrol

Workspace-rollefordelinger styrer adgangen til brugerdefineret live pool-konfiguration og status:

Rolle Tilladelser
Seer eller medlem Skrivebeskyttet adgang til poolstatus og konfiguration
Administrator Fuld konfiguration, gem og publicering tilladelser

B2B-gæstebrugere skal tildeles en eksplicit arbejdsområderolle for at interagere med brugerdefinerede live pools.

Begrænsninger

Følgende begrænsninger gælder for brugerdefinerede live pools i den nuværende udgivelse:

  • Sessionerne starter om ~5 sekunder, først når poolen er fuldt hydreret. Under den indledende opsætning eller efter du har ændret konfigurationen, kan opstartstiden være længere.
  • Biblioteksændringer kræver, at det tilknyttede miljø genudsættes. Hydrerede klaser bliver ikke automatisk forfrisket.
  • Når det tilknyttede miljø bruger Quick mode for nogle biblioteker, er disse biblioteker ikke forudinstalleret på hydrerede klynger og skal installeres ved sessionsstart. For den hurtigste sessionsopstart med brugerdefinerede live pools, brug Full mode til dine biblioteksafhængigheder.
  • Kun notesbogsbaserede Spark-sessioner understøttes. Definitioner af Spark-job understøttes ikke.
  • Fabric trial-kapaciteter understøttes ikke.
  • Hver pool skal have en tidsplan. Puljer uden tidsplan kan ikke offentliggøres.
  • Brugerdefinerede live pools kan ikke administreres via miljø-offentlige API'er eller CI/CD-pipelines. Konfigurationen skal udføres via Fabric-portalen.