Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Platí pro:✅ Datové inženýrství a datové vědy ve Fabricu
Vlastní live pooly jsou předem zahřáté Spark clustery, které poskytují téměř okamžité spuštění relace pro notebookové workloady ve Fabric. Místo čekání na zřizování clusteru při každém spuštění vlastní živé fondy udržují clustery teplé během nakonfigurovaného časového intervalu, což umožňuje 5sekundové časy spuštění relace pro vaše interaktivní a naplánované poznámkové bloky.
Proč používat vlastní živé pooly
Standardní relace Sparku v Fabric vyžadují zřizování clusteru při každém spuštění relace. Pro týmy, které spouštějí časté poznámkové bloky – ať už interaktivní, naplánované nebo spuštěné potrubím – může čas potřebný na zajištění prostředků zpomalit cykly iterace a zvýšit celkovou latenci úlohy.
Vlastní živé fondy řeší toto:
- Hydratace clusterů předem na základě uživatelem definovaného plánu, takže výpočetní prostředky jsou připravené při příchodu úloh.
- Umožňuje přesnou kontrolu nad počtem clusterů uchovávaných v teple a prostředí používaném pro konfiguraci knihovny.
- Zajištění konzistentního výkonu spouštění (přibližně 5 sekund) pro všechny podporované typy relací notebooků během naplánovaného časového okna.
Vlastní živé pooly doplňují stávající startovací pool a vlastní možnosti poolu Spark v rámci Fabric.
| Možnost výpočtu | Čas spuštění | Podle harmonogramu | Vlastní knihovny | Podporované úlohy |
|---|---|---|---|---|
| Startovací bazény | 5 až 10 sekund (bez knihoven) | Ne | Ne | zápisníky, SJD |
| Vlastní fondy Sparku | ~1 min. | Ne | Prostřednictvím prostředí | zápisníky, SJD |
| Vlastní live pooly | přibližně 5 až 10 sekund (po dokončení hydrace) | Ano | Prostřednictvím prostředí | Jenom poznámkové bloky (interaktivní a naplánované) |
Klíčové koncepty
Následující koncepty vysvětlují, jak fungují vlastní živé pooly, včetně toho, jak jsou clustery připraveny, kdy jsou dostupné a jak se spravuje kapacita a konfigurace knihoven.
Hydrace a teplo
Když vytvoříte a publikujete vlastní Live Pool, Fabric začne hydratovat clustery před naplánovaným oknem. Hydratace znamená, že clustery jsou plně zřízené, nakonfigurované s integrovaným prostředím a jsou udržovány v provozním stavu, dokud nepřijde žádost o relaci.
Přibližně 5sekundový čas spuštění je k dispozici až poté, co je bazén plně hydratovaný. Během počátečního nastavení nebo bezprostředně po změně konfigurace mohou relace zaznamenat delší dobu spuštění, dokud se proces hydrace nedokončí. Informace o řešení potíží najdete v tématu Hydration trvá déle, než se čekalo.
Rozvrhy
Každý vlastní živý fond vyžaduje plán, který definuje, kdy je fond aktivní. Clustery se uchovávají v teple jenom během naplánovaného okna a fakturace probíhá jenom v době, kdy se clustery přidělují. Když vyprší platnost plánu nebo je cluster nečinný nad rámec nakonfigurované prahové hodnoty, Fabric ho uvolní a fakturace se zastaví.
Naplánujte plány tak, aby pokrývala očekávaná okna úloh, aby byly k dispozici teplé výpočetní prostředky, když ho váš tým potřebuje. Postup konfigurace a osvědčené postupy najdete v tématu Konfigurace živého fondu.
Příloha prostředí
Každý vlastní živý fond je připojený k prostředí Fabric. Prostředí řídí, které knihovny jsou předinstalovány na hydratovaných clusterech. Pokud chcete aktualizovat knihovny, musíte prostředí upravit a znovu publikovat. Stávající hydratované shluky se neaktualizují novými knihovnami až do příští plánované hydrace nebo při ručním obnovení. Postup konfigurace najdete v tématu Konfigurace živého fondu.
Režimy publikování knihovny
Režim publikování knihovny v připojeném prostředí určuje způsob dodávání knihoven do hydratovaných shluků:
- Plný režim: Knihovny jsou vyřešeny a integrovány do hydratovaného obrazu klastru během publikování prostředí. Při spuštění relace je snímek v úplném režimu již v clusteru, což umožňuje zahájení relace přibližně do 5 sekund. Úplný režim použijte, pokud potřebujete stabilní reprodukovatelnou sadu knihoven s nejrychlejším možným spuštěním relace.
- Rychlý režim: Knihovny nejsou předinstalované na hydratovaných clusterech. Místo toho se nainstalují při spuštění relace poznámkového bloku. Hydratované clustery stále poskytují rychlé přidělení výpočetních prostředků, ale instalace softwarové knihovny při spuštění relace zdržuje proces. Rychlý režim používejte k rychlé iteraci během vývoje, když je stabilita knihovny méně důležitá.
Poznámka:
Složka Prostředky poznámkového bloku a instalace vložené knihovny (například %pip install v buňce kódu) jsou ruční přístupy pro jednotlivé relace. Jsou nezávislé na režimu publikování prostředí a nemají vliv na to, které knihovny jsou předinstalované na hydratovaných clusterech.
Kapacita clusteru
Každý fond má maximální počet clusterů, který jste nastavili během konfigurace. Provozní prostředí automaticky neškáluje fond nad rámec této hodnoty. Pokud se používají všechny hydratované klastry, další úlohy se vrátí k poskytování na vyžádání, což může v závislosti na závislostech knihovních balíčků trvat přibližně 3 až 5 minut nebo déle. Pokyny k určení velikosti najdete v tématu Určení velikosti clusteru.
Podporované úlohy
Vlastní živé fondy podporují následující typy relací Sparku založené na poznámkových blocích:
- Interaktivní poznámkové bloky se spouštějí z portálu Fabric
- Naplánovaná spuštění poznámkového bloku nakonfigurovaná v plánovači poznámkových bloků
- Spuštění poznámkového bloku aktivovaná kanály
Poznámka:
Definice spark jobů (batch jobs) nejsou v aktuální verzi vlastních živých poolů podporovány.
Kapacita a licencování
Vlastní živé pooly vyžadují placené Fabric capacity SKU. Zkušební kapacity „Fabric“ nejsou v současné době podporovány.
Informace o dostupných kapacitních SKU naleznete v článku Fabric koncepty a licence.
Řízení přístupu
Přiřazení rolí pracovního prostoru řídí přístup k vlastní konfiguraci a stavu živého fondu:
| Úloha | Povolení |
|---|---|
| Divák nebo přispěvatel | Přístup pouze pro čtení k vlastnímu stavu a konfiguraci živého poolu |
| Člen | Vytvářet, aktualizovat, ukládat a publikovat vlastní konfigurace live poolů pro existující vlastní Spark pooly, pokud správce pracovního prostoru povolí Přizpůsobit konfiguraci výpočetních prostředků pro položky |
| Administrátor | Vytvářejte a spravujte vlastní Spark pooly, povolujte přizpůsobení výpočetního systému na úrovni položek a vytvářejte, aktualizovat, ukládat a publikovat vlastní konfigurace živých poolů |
Vlastní živé pooly používají stávající nastavení pracovního prostoru Customize compute pro nastavení pracovního prostoru položek. Nemají samostatné nastavení delegace. Když správce pracovního prostoru zapne stávající nastavení, členové mohou spravovat výpočetní nastavení na úrovni prostředí a vlastní konfigurace živého poolu. Toto nastavení neumožňuje členům vytvářet vlastní Spark pooly ani měnit nastavení Spark na úrovni pracovního prostoru.
Pro konfigurační kroky viz Použít stávající nastavení přizpůsobení výpočetního systému.
Musíte B2B hostujícím uživatelům přiřadit explicitní roli v pracovním prostoru, aby mohli komunikovat s vlastními živými pooly. Přiřaďte roli člena nebo administrátora , pokud potřebují vytvořit nebo aktualizovat konfiguraci živého poolu.
Omezení
Pro vlastní živé pooly v aktuální verzi platí následující omezení:
- Relace začínají za ~5 sekund až poté, co je bazén plně hydratovaný. Během počáteční instalace nebo po změně konfigurace může být doba spuštění delší.
- Změny knihovny vyžadují opětovné publikování připojeného prostředí. Hydratované shluky se automaticky neaktualizují.
- Pokud připojené prostředí používá rychlý režim pro některé knihovny, nejsou tyto knihovny předinstalované na hydratovaných clusterech a musí se nainstalovat na začátku relace. Pro nejrychlejší spuštění relace s vlastními živými pooly použijte úplný režim pro závislosti knihovny.
- Podporovány jsou pouze relace Sparku založené na poznámkových blocích. Definice úloh Sparku se nepodporují.
- Zkušební kapacity fabricu nejsou podporovány.
- Každý fond musí mít plán. Pooly bez plánu nelze publikovat.
- Vlastní živé fondy nejde spravovat prostřednictvím veřejných rozhraní API prostředí ani kanálů CI/CD. Konfiguraci je nutné provést prostřednictvím portálu Fabric.