Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Platí pro:✅ Datové inženýrství a datové vědy ve Fabricu
Vlastní živé fondy jsou předem připravené clustery Spark, které poskytují téměř okamžité spuštění relací pro úlohy založené na poznámkových blocích v prostředí Microsoft Fabric. Místo čekání na zřizování clusteru při každém spuštění vlastní živé fondy udržují clustery teplé během nakonfigurovaného časového intervalu, což umožňuje 5sekundové časy spuštění relace pro vaše interaktivní a naplánované poznámkové bloky.
Proč používat vlastní živé pooly
Standardní relace Sparku v Fabric vyžadují zřizování clusteru při každém spuštění relace. Pro týmy, které spouštějí časté poznámkové bloky – ať už interaktivní, naplánované nebo spuštěné potrubím – může čas potřebný na zajištění prostředků zpomalit cykly iterace a zvýšit celkovou latenci úlohy.
Vlastní živé fondy řeší toto:
- Hydratace clusterů předem na základě uživatelem definovaného plánu, takže výpočetní prostředky jsou připravené při příchodu úloh.
- Umožňuje přesnou kontrolu nad počtem clusterů uchovávaných v teple a prostředí používaném pro konfiguraci knihovny.
- Zajištění konzistentního výkonu spouštění (přibližně 5 sekund) pro všechny podporované typy relací notebooků během naplánovaného časového okna.
Vlastní živé pooly doplňují stávající startovací pool a vlastní možnosti poolu Spark v rámci Fabric.
| Možnost výpočtu | Čas spuštění | Podle harmonogramu | Vlastní knihovny | Podporované úlohy |
|---|---|---|---|---|
| Startovací bazény | 5 až 10 sekund (bez knihoven) | Ne | Ne | Poznámkové bloky, SJD |
| Vlastní fondy Sparku | ~1 min. | Ne | Prostřednictvím prostředí | Poznámkové bloky, SJD |
| Vlastní live pooly | přibližně 5 až 10 sekund (po dokončení hydrace) | Ano | Prostřednictvím prostředí | Jenom poznámkové bloky (interaktivní a naplánované) |
Klíčové koncepty
Následující koncepty vysvětlují, jak fungují vlastní živé pooly, včetně toho, jak jsou clustery připraveny, kdy jsou dostupné a jak se spravuje kapacita a konfigurace knihoven.
Hydrace a teplo
Když vytvoříte a publikujete vlastní Live Pool, Fabric začne hydratovat clustery před naplánovaným oknem. Hydratace znamená, že clustery jsou plně zřízené, nakonfigurované s integrovaným prostředím a jsou udržovány v provozním stavu, dokud nepřijde žádost o relaci.
Přibližně 5sekundový čas spuštění je k dispozici až poté, co je bazén plně hydratovaný. Během počátečního nastavení nebo bezprostředně po změně konfigurace mohou relace zaznamenat delší dobu spuštění, dokud se proces hydrace nedokončí. Informace o řešení potíží najdete v tématu Hydration trvá déle, než se čekalo.
Rozvrhy
Každý vlastní živý fond vyžaduje plán, který definuje, kdy je fond aktivní. Clustery se uchovávají v teple jenom během naplánovaného okna a fakturace probíhá jenom v době, kdy se clustery přidělují. Když vyprší platnost plánu nebo je cluster nečinný nad rámec nakonfigurované prahové hodnoty, Fabric ho uvolní a fakturace se zastaví.
Naplánujte plány tak, aby pokrývala očekávaná okna úloh, aby byly k dispozici teplé výpočetní prostředky, když ho váš tým potřebuje. Postup konfigurace a osvědčené postupy najdete v tématu Konfigurace živého fondu.
Příloha prostředí
Každý vlastní živý fond je připojený k prostředí Fabric. Prostředí řídí, které knihovny jsou předinstalovány na hydratovaných clusterech. Pokud chcete aktualizovat knihovny, musíte prostředí upravit a znovu publikovat. Stávající hydratované shluky se neaktualizují novými knihovnami až do příští plánované hydrace nebo při ručním obnovení. Postup konfigurace najdete v tématu Konfigurace živého fondu.
Režimy publikování knihovny
Režim publikování knihovny v připojeném prostředí určuje způsob dodávání knihoven do hydratovaných shluků:
- Plný režim: Knihovny jsou vyřešeny a integrovány do hydratovaného obrazu klastru během publikování prostředí. Při spuštění relace je snímek v úplném režimu již v clusteru, což umožňuje zahájení relace přibližně do 5 sekund. Úplný režim použijte, pokud potřebujete stabilní reprodukovatelnou sadu knihoven s nejrychlejším možným spuštěním relace.
- Rychlý režim: Knihovny nejsou předinstalované na hydratovaných clusterech. Místo toho se nainstalují při spuštění relace poznámkového bloku. Hydratované clustery stále poskytují rychlé přidělení výpočetních prostředků, ale instalace softwarové knihovny při spuštění relace zdržuje proces. Rychlý režim používejte k rychlé iteraci během vývoje, když je stabilita knihovny méně důležitá.
Poznámka:
Složka Prostředky poznámkového bloku a instalace vložené knihovny (například %pip install v buňce kódu) jsou ruční přístupy pro jednotlivé relace. Jsou nezávislé na režimu publikování prostředí a nemají vliv na to, které knihovny jsou předinstalované na hydratovaných clusterech.
Kapacita clusteru
Každý fond má maximální počet clusterů, který jste nastavili během konfigurace. Provozní prostředí automaticky neškáluje fond nad rámec této hodnoty. Pokud se používají všechny hydratované klastry, další úlohy se vrátí k poskytování na vyžádání, což může v závislosti na závislostech knihovních balíčků trvat přibližně 3 až 5 minut nebo déle. Pokyny k určení velikosti najdete v tématu Určení velikosti clusteru.
Podporované úlohy
Vlastní živé fondy podporují následující typy relací Sparku založené na poznámkových blocích:
- Interaktivní poznámkové bloky se spouštějí z portálu Fabric
- Naplánovaná spuštění poznámkového bloku nakonfigurovaná v plánovači poznámkových bloků
- Spuštění poznámkového bloku aktivovaná kanály
Poznámka:
Definice úloh Sparku (dávkové úlohy) se v aktuální verzi vlastních živých fondů nepodporují.
Kapacita a licencování
Vlastní živé fondy vyžadují placenou Microsoft Fabric kapacitu SKU. Zkušební kapacity „Fabric“ nejsou v současné době podporovány.
Informace o dostupných skladových posílacích kapacity najdete v konceptech a licencích Microsoft Fabric.
Řízení přístupu
Přiřazení rolí pracovního prostoru řídí přístup k vlastní konfiguraci a stavu živého fondu:
| Úloha | Povolení |
|---|---|
| Divák nebo člen | Přístup jen pro čtení ke stavu a konfiguraci fondu |
| Administrátor | Úplná konfigurace, uložení a publikování oprávnění |
Uživatelům typu host B2B musí být přiřazena explicitní role v pracovním prostoru pro interakci s přizpůsobenými aktivními skupinami.
Omezení
Pro vlastní živé pooly v aktuální verzi platí následující omezení:
- Relace začínají za ~5 sekund až poté, co je bazén plně hydratovaný. Během počáteční instalace nebo po změně konfigurace může být doba spuštění delší.
- Změny knihovny vyžadují opětovné publikování připojeného prostředí. Hydratované shluky se automaticky neaktualizují.
- Pokud připojené prostředí používá rychlý režim pro některé knihovny, nejsou tyto knihovny předinstalované na hydratovaných clusterech a musí se nainstalovat na začátku relace. Pro nejrychlejší spuštění relace s vlastními živými pooly použijte úplný režim pro závislosti knihovny.
- Podporovány jsou pouze relace Sparku založené na poznámkových blocích. Definice úloh Sparku se nepodporují.
- Zkušební kapacity fabricu nejsou podporovány.
- Každý fond musí mít plán. Pooly bez plánu nelze publikovat.
- Vlastní živé fondy nejde spravovat prostřednictvím veřejných rozhraní API prostředí ani kanálů CI/CD. Konfiguraci je nutné provést prostřednictvím portálu Fabric.