Správa serverless výpočetního výkonu

Tato stránka vysvětluje, jak spravovat přístup k serverless výpočetním schopnostem a jak implementovat serverless rychlostní limity. Administrátoři pracovního prostoru řídí serverless výpočetní procesy pomocí vestavěných serverless výpočetních objektů. Výpočetní objekt bez serveru je typ prostředku, který definuje hranici oprávnění pro úlohy bez serveru. Váš pracovní prostor automaticky získá dva výchozí výpočetní objekty:

• Výchozí interaktivní výpočty: Řídí přístup k poznámkovým blokům a Databricks Connect.
• Výchozí automatizované výpočetní prostředky: Řídí přístup k úlohám a deklarativním kanálům Sparku v Lakeflow.

Ve výchozím nastavení můžou všichni uživatelé pracovního prostoru používat oba objekty, takže stávající úlohy budou dál běžet bez jakýchkoli změn. Správce pracovního prostoru může odebrat uživatele nebo skupiny z objektu, aby omezil přístup. Uživatel, který ztratí přístup, uvidí možnost bezserverového výpočetního prostředí jako nedostupnou v produktových plochách.

Správa přístupu k výpočetním prostředkům bez serveru

Aby bylo možné řídit, kdo má přístup k bezserverovým výpočetním prostředkům, mohou správci pracovního prostoru upravit oprávnění u objektů Výchozí interaktivní výpočetní prostředí a Výchozí automatizované výpočetní prostředí. Správci pracovního prostoru mají ve výchozím nastavení oprávnění Can Manage (Může spravovat ), ale můžou udělit oprávnění libovolnému uživateli. Tyto výchozí výpočetní objekty nelze přejmenovat ani smazat.

Každý výpočetní objekt bez serveru podporuje dvě úrovně oprávnění:

Povolení	Umožňuje vám
Může použít	Spouštění úloh na tomto výpočetním prostředí
Může spravovat	Spouštění úloh na tomto výpočetním prostředí a úprava oprávnění výpočetních prostředků

Oprávnění pro serverless výpočetní objekty můžete také programově spravovat pomocí Permissions API. Serverless výpočetní objekty používají tento serverless-compute typ objektu a každý objekt je identifikován svým ID.

Omezení přístupu k bezserverové interaktivní aplikaci

Omezení toho, kdo může používat serverless pro poznámkové bloky a Databricks Connect:

1. Na bočním panelu pracovního prostoru klikněte na Compute .
2. Na kartě Bez serveru klikněte na Vedle výchozího interaktivního výpočetního prostředí klikněte na upravit oprávnění.
3. Odeberte skupinu Všichni uživatelé nebo skupinu, která zahrnuje všechny uživatele pracovního prostoru.
4. Přidejte pouze konkrétní uživatele, skupiny nebo instanční objekty, které chcete autorizovat.

Pokud uživateli odeberete oprávnění k interaktivnímu serverlessu, notebooky, které jsou už připojené k serverlessu, se při spuštění buňky nepřipojí a uživatel už neuvidí možnost Serverless jako dostupnou v nabídce výpočetních prostředků notebooku. Pokud se pokusí spustit Databricks Connect, žádost o připojení selže s chybou, která značí, že uživatel nemá přístup k bezserverové aplikaci.

Omezení přístupu k bezserverových úlohám a kanálům

Omezení toho, kdo může používat serverless v úlohách a pipelinách:

1. Na bočním panelu pracovního prostoru klikněte na Compute .
2. Na kartě Serverless klikněte na ikonu nabídky vedle položky Default Automated Compute a potom klikněte na možnost Edit permissions.
3. Odeberte skupinu Všichni uživatelé nebo skupinu, která zahrnuje všechny uživatele pracovního prostoru.
4. Přidejte pouze konkrétní uživatele, skupiny nebo instanční objekty, které chcete autorizovat.

Pokud uživateli odeberete automatizovaná serverless oprávnění, všechny stávající pracovní pozice nebo pipeline běžící na serverless serveru přestanou fungovat. Pokud se uživatel pokusí spustit úlohu na bezserverové aplikaci, zobrazí se mu chybová zpráva.

Než odvoláte přístup uživatele k výchozímu automatizovanému výpočetnímu prostředí, proveďte audit, které úlohy a kanály vlastní ovlivnění uživatelé. Následující dotaz identifikuje nedávné úlohy bez serveru pro konkrétního uživatele:

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

Ve sloupci usage_metadata zkontrolujte ovlivněné prostředky, jako jsou ID úloh a ID kanálu.

Auditování využití bez serveru

Fakturační záznamy pro serverless obsahují pole serverless_compute_id v usage_metadata. Použijte ho ke sledování, na kterém výpočetním objektu běžela úloha:

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

Podporované funkce řízení přístupu k bezserverovému výpočetnímu prostředí

Následující funkce jsou integrovány s bezvýpočetními kontrolami přístupu.

Interactive (výchozí interaktivní výpočetní prostředí)

• Notebooky a bezserverové GPU notebooky
• Databricks Connect

Automatizované (výchozí automatizované výpočetní prostředí)

• Úlohy a bezserverové úlohy GPU
• Deklarativní kanály Sparku v Lakeflow

Nepodporované funkce řízení přístupu k počítačům bez serveru

Následující funkce nejsou integrovány s bezvýpočetními kontrolami výpočetního přístupu:

• Databricks SQL (DBSQL)
• Dávkové odvození (ai_query())
• Poskytnutí Modelu
• Koncové body rozhraní API základního modelu se zřízenou propustností
• Lakebase
• Aplikace Databricks
• Hodnocení agenta a syntetická data
• Indexování vektorových vyhledávání
• Prediktivní optimalizace
• Monitorování Lakehouse
• Jemnozrnné řízení přístupu na dedikované výpočetní zařízení. Přístup k dedikovanému výpočtu určuje, zda uživatel může používat jemné řízení přístupu.

Pokud tady nejsou uvedené žádné funkce, obraťte se na tým účtu Azure Databricks a požádejte ho o jeho stav.

Omezení bezserverového řízení přístupu

Important

V případě výpadku služby mohou kontroly přístupu selhat v režimu fail-open a uživatelé, kterým by jinak byl přístup odepřen, mohou být schopni spouštět bezserverové úlohy. Tato funkce je určena k tomu, aby pomáhala spravovat přístup k bezserverovým výpočetním prostředkům. Nepoužívejte tuto funkci k zajištění absolutního stropu na konečné fakturované částky. Azure Databricks nenese odpovědnost za náklady vzniklé v důsledku úloh, které běží během takové události.

• Výchozí výpočetní objekty nemůžete přejmenovat ani odstranit.
• Úloha nebo kanál, který je už nakonfigurovaný tak, aby běžel v bezserverovém prostředí, selže u každého uživatele, který ztratí oprávnění Can Use pro Výchozí automatizované výpočetní prostředky. Před odebráním přístupu uživatele zkontrolujte aktivní úlohy.
• Výpočetní prostředky na pozadí (úlohy iniciované systémem) jsou vyloučené z řízení přístupu výpočetních prostředků bez serveru.

Nastavte omezení rychlosti pro bezserverové výpočetní prostředí

Important

Limity sazeb jsou v Private Preview. Pokud se chcete připojit k této ukázkové verzi, obraťte se na tým účtu Azure Databricks. Po připojení do preview mohou administrátoři pracovního prostoru povolit tento režim ze stránky Previews pomocí nastavení Serverless Compute Rate Limit .

Limit sazby omezuje, kolik může automatizovaná úloha utratit, tím, že omezuje, do jaké míry se může automaticky škálovat. Správci pracovního prostoru mohou vytvářet vlastní automatizované výpočetní objekty a každému přiřadit limit rychlosti. Když úloha běží na výpočetním objektu s limitem rychlosti, bezserverové automatické škálování neškáluje executory Sparku nad velikost nastavenou pro daný objekt.

Omezení rychlosti se vztahují pouze na automatizované pracovní zátěže (úlohy a Spark Declarative Pipelines v prostředí Lakeflow). Interaktivní pracovní zátěže (notebooky a Databricks Connect) nejsou omezené rychlostí.

Limit sazeb je vyjádřen jako velikost. Každá velikost odpovídá přibližnému hornímu limitu počtu DBU, které může pracovní zátěž za hodinu spotřebovat. Limit rychlosti omezuje pouze automatické škálování executorů Spark. Neomezuje jiné komponenty pracovní zátěže, jako jsou ovladače, REPL VM, GPU nebo obnovy materializovaných zobrazení a streamovacích tabulek.

Limit omezení se vztahuje na každou pracovní zátěž. Každá úloha a každý kanál zpracování, který používá výpočetní objekt, má samostatný limit. Dvě úlohy, které používají stejný výpočetní objekt, každá obdrží plný limit. V rámci jedné úlohy je limit sdílen napříč všemi úkoly dané práce.

Požadavky na limity sazeb

• Pro vytváření a správu serverless výpočetních objektů musíte být správce pracovního prostoru nebo uživatel s neomezeným vytvářením clusterů.
• Limity rychlosti bez serveru vyžadují Azure Databricks Runtime 17.3.1 nebo vyšší. Úlohy automaticky používají nejnovější runtime. Pro Spark Declarative Pipelines na Lakeflow se přihlaste k běhu preview kanálu.

Vytvořte serverless výpočetní systém s omezením rychlosti

1. Na bočním panelu pracovního prostoru klikněte na Compute .
2. V záložce Serverless klikněte na Create serverless compute.
3. Zadejte název.
4. Pro velikost zvolte limit sazby, který se uplatní, od Malé po 2X-Velkou. Nechte to nastavené na výchozí nastavení, abyste používali výchozí limit vašeho pracovního prostoru.
5. Klikněte na Vytvořit.

Nový výpočetní objekt se objevuje na záložce Serverless s typem Automated. Aby na něm uživatelé mohli spouštět pracovní zátěže, udělte jim oprávnění Can Use nebo Can Manage, jak je popsáno v části Správa přístupu k bezserverovým výpočetním prostředkům. Nemůžete upravovat velikost výchozího výpočetního objektu.

Velikosti limitů sazeb

Každá velikost odpovídá přibližnému hodinovému stropu DBU:

Velikost	Přibližný limit
Malý	~60 DBU za hodinu
střední	~120 DBU za hodinu
Velké	~240 DBU za hodinu
X-Large	~480 DBU za hodinu
2X-Large	~960 DBU za hodinu

Tyto limity jsou směrové prahy. Skutečné využití se kolem nich může lišit kvůli inherentní variabilitě serverless infrastruktury.

Volba výchozího nastavení aplikuje výchozí limit vašeho pracovního prostoru: střední pro prémiové pracovní prostory nebo velké pro podnikové pracovní prostory. Tyto odpovídají stávajícím výchozím maximálním limitům automatického škálování pro automatizované bezserverové pracovní zátěže.

Spusť pracovní zátěž na výpočetním limitu s omezenou rychlostí

Uživatel s funkcí Can Use na výpočetním objektu jej může vybrat při konfiguraci úlohy nebo pipeline. Pracovní zátěž pak běží pod limitem rychlosti výpočetního zařízení. Pokud pracovní zátěž nespecifikuje výpočetní objekt, vrátí se zpět do výchozího automatizovaného výpočtu vašeho pracovního prostoru. Pokud uživatel nemá přístup k tomuto výchozímu nastavení, pracovní zátěž se nespustí.

• Jobs: Vyberte bezserverový výpočetní objekt na úrovni úlohy, buď v nastavení Compute v uživatelském rozhraní, nebo zadáním ID výpočetního objektu v rozhraní Jobs API. Pro zkopírování ID otevřete výpočetní objekt na záložce Serverless a klikněte na Copy compute ID.
• Deklarativní kanály Sparku v Lakeflow: V editoru Lakeflow vyberte jako bezserverové výpočetní prostředí pro kanál automatizovaný výpočetní objekt.

Když limit rychlosti omezí pracovní zátěž, můžete si jeho dopad zobrazit v historii dotazů zátěže nebo u pipeline v rozhraní Lakeflow.

Omezení sazeb

• Limity rychlosti omezují automatické škálování executorů Spark. Ostatní nákladové komponenty, jako jsou ovladače, REPL VM, GPU a aktualizace materializovaných zobrazení nebo streamovacích tabulek, nejsou omezeny.
• Limit DBU za hodinu pro každou velikost je odhad. Skutečné využití může cíl překročit kvůli mírným výkyvům v aplikovaném limitu a inherentní variabilitě serverless infrastruktury.
• Pracovní zátěž na velikosti 2X-Large může podávat výkon pod očekáváním, protože velikost fyzického clusteru je omezena na 256 executorů. Pokud jsou na stejném runtime clusteru naplánovány dvě nebo více 2X-Large zátěží, může každá dosáhnout nižšího výkonu, než se očekávalo.
• Kvůli detailům implementace fakturace může stejná zátěž způsobovat různé využití DBU při různých rychlostních limitech.
• Nemůžeš nastavit limit rychlosti na výchozím výpočetním objektu.