Vlastné živé pooly v Microsoft Fabric

Vzťahuje sa na:✅ Fabric Data Engineering a dátová veda

Vlastné živé pooly sú predohriaté Spark klastre, ktoré poskytujú takmer okamžité spustenie relácie pre notebookové záťaže v Fabric. Namiesto čakania na zriadenie klastrov pri každom spustení udržiavajú vlastné živé pooly klastre teplé počas nastaveného časového okna, čo umožňuje 5-sekundové začiatok relácie pre vaše interaktívne a plánované zápisníky.

Prečo používať vlastné živé pooly

Štandardné Spark relácie v Fabric vyžadujú cluster provisioning pri každom začiatku relácie. Pre tímy, ktoré prevádzkujú časté zápisníky – či už interaktívne, plánované alebo spúšťané pipeline – môže tento čas provisioningu spomaliť iteračné cykly a zvýšiť celkovú latenciu úlohy.

Vlastné živé pooly to riešia takto:

  • Hydratácia sa zhlukuje vopred podľa používateľom definovaného harmonogramu, takže výpočty sú pripravené, keď prídu pracovné záťaže.
  • To umožňovalo presnú kontrolu nad počtom zoskupení, ktoré boli udržiavané v teple, a prostredím používaným na konfiguráciu knižnice.
  • Zabezpečenie konzistentného štartovacieho výkonu (~5 sekúnd) pre všetky podporované typy relácií notebookov počas plánovaného okna.

Vlastné živé bazény dopĺňajú existujúci štartovací bazén a vlastné možnosti Spark bazénov v Fabric:

Výpočtová možnosť Čas spustenia Na základe rozvrhu Vlastné knižnice Podporované vyťaženia
Úvodné bazény 5 až 10 sekúnd (bez knižníc) No No zápisníky, SJD
Vlastné Spark bazény ~1 min No Prostredníctvom prostredia zápisníky, SJD
Vlastné živé bazény ~5 sekúnd až 10 sekúnd (po dokončení hydratácie) áno Prostredníctvom prostredia Iba zápisníky (interaktívne a plánované)

Kľúčové koncepty

Nasledujúce koncepty vysvetľujú, ako fungujú vlastné živé pooly, vrátane toho, ako sa clustery pripravujú, kedy sú dostupné a ako sa riadi kapacita a konfigurácia knižníc.

Hydratácia a rozcvička

Keď vytvoríte a zverejníte vlastný live pool, Fabric začne hydratovať klastre pred plánovaným časovým oknom. Hydratácia znamená, že klastry sú plne pripravené, nakonfigurované s pripojeným prostredím a udržiavané v teple, kým nepríde požiadavka na reláciu.

Čas spustenia ~5 sekúnd je dostupný až po úplnej hydratácii bazéna. Počas počiatočného nastavenia alebo bezprostredne po zmene konfigurácie môžu byť relácie dlhšie počas dokončenia hydratácie. Pre riešenie problémov pozri Hydratácia trvá dlhšie, než sa očakávalo.

Rozpisy

Každý vlastný live pool vyžaduje harmonogram, ktorý určuje, kedy je pool aktívny. Klastry sú udržiavané teplé len počas plánovaného okna a fakturácia prebieha len počas alokácie klastrov. Keď harmonogram vyprší alebo je klaster nečinný nad nastavený prah, Fabric ho dealokuje a fakturácia sa zastaví.

Naplánujte si rozvrhy tak, aby pokryli očakávané pracovné okná, aby bol teplý výpočtový priestor k dispozícii, keď ho váš tím potrebuje. Pre konfiguračné kroky a osvedčené postupy pozri Konfigurácia živého poolu.

Pripútanie k prostrediu

Každý vlastný živý pool je pripojený k Fabric prostrediu. Prostredie riadi, ktoré knižnice sú predinštalované na hydratovaných klastroch. Na aktualizáciu knižníc musíte prostredie upraviť a znovu publikovať. Existujúce hydratované zhluky sa neobnovujú s novými knižnicami až do ďalšej plánovanej hydratácie alebo manuálneho obnovenia. Pre konfiguračné kroky pozri Konfigurácia živého poolu.

Režimy publikovania v knižnici

Režim publikovania knižníc v pripojenom prostredí určuje, ako sú knižnice doručované hydratovaným klastram:

  • Plný režim: Knižnice sa rozlíšia a zapečú do hydratovaného klastrového obrazu počas publikovania prostredia. Keď sa relácia začne, snapshot režimu Full je už prítomný v klastri, čo umožňuje približne 5-sekundové spustenie relácie. Používajte režim Full, keď potrebujete stabilnú, reprodukovateľnú knižnicu s najrýchlejším možným spustením relácie.
  • Rýchly režim: Knižnice nie sú predinštalované na hydratovaných klastroch. Namiesto toho sa inštalujú, keď sa spustí relácia notebooku. Hydratované klastre stále poskytujú rýchle prideľovanie výpočtov, ale inštalácia knižnice pri začiatku relácie predlžuje čas. Používajte rýchly režim na rýchle iterácie počas vývoja, keď je stabilita knižnice menej kritická.

Poznámka

Inštalácie priečinka Resources notebooku a inline knižníc (napríklad %pip install v kódovej bunke) sú manuálne, na každej relácii. Sú nezávislé od režimu publikovania prostredia a neovplyvňujú, ktoré knižnice sú predinštalované na hydratovaných klastroch.

Kapacita klastrov

Každý pool má maximálny počet klasterov, ktorý nastavíte počas konfigurácie. Fabric automaticky neškáluje pool nad túto hodnotu. Keď sú všetky hydratované klastre v prevádzke, ďalšie úlohy sa vracajú k on-demand provisioningu, čo trvá približne 3 až 5 minút alebo viac v závislosti od knižničných balíkov. Pre odporúčania k veľkosti pozri Klastrové veľkosti.

Podporované vyťaženia

Vlastné živé pooly podporujú nasledujúce typy Spark relácií založené na notebookoch:

  • Interaktívne zápisníky bežia z portálu Fabric
  • Plánovaný zápisník sa spúšťa nakonfigurovaný v plánovači zápisníka
  • Notebookové behy spustené pipeline

Poznámka

Definície spark úloh (batch jobs) nie sú podporované v aktuálnej verzii vlastných live poolov.

Kapacita a licencovanie

Vlastné živé pooly vyžadujú platené Fabric capacity SKU. Kapacity Fabric Trial momentálne nie sú podporované.

Pre informácie o dostupných kapacitných SKU pozri Fabric koncepty a licencie.

Riadenie prístupu

Priradenia pracovných priestorov určujú prístup k vlastnej konfigurácii a stavu živého poolu:

Rola Povolenia
Divák alebo člen Prístup len na čítanie k stavu a konfigurácii poolu
Správca Povolenia na úplnú konfiguráciu, ukladanie a publikovanie

B2B hosťujúci používatelia musia mať priradené explicitné pracovné priestory na interakciu s vlastnými živými poolmi.

Obmedzenia

Na vlastné živé pooly v aktuálnej verzii platia nasledujúce obmedzenia:

  • Tréningy začínajú o ~5 sekúnd až po úplnej hydratácii bazéna. Počas počiatočného nastavenia alebo po zmene konfigurácie môžu byť časy spustenia dlhšie.
  • Zmeny knižnice vyžadujú opätovné zverejnenie pripojeného prostredia. Hydratované zhluky sa automaticky neobnovujú.
  • Keď pripojené prostredie používa rýchly režim pre niektoré knižnice, tieto knižnice nie sú predinštalované na hydratovaných klastroch a musia sa inštalovať pri začiatku relácie. Pre najrýchlejší štart relácie s vlastnými živými poolmi použite Full mode pre závislosti vašej knižnice.
  • Podporované sú iba Spark relácie založené na notebookoch. Definície pracovných miest v Spark nie sú podporované.
  • Kapacity skúšobných látok nie sú podporované.
  • Každý bazén musí mať svoj rozvrh. Pooly bez harmonogramu nemôžu byť zverejnené.
  • Vlastné živé pooly nie je možné spravovať cez verejné API prostredia alebo CI/CD pipeline. Konfigurácia musí prebehnúť cez portál Fabric.

Súvisiaci obsah

  • Last updated on