Kiszolgáló nélküli számítási erőforrások kezelése

Ez az oldal elmagyarázza, hogyan lehet kezelni a szerver nélküli számításhoz való hozzáférést, és hogyan lehet szerver nélküli sebességkorlátokat alkalmazni. A munkaterület adminei beépített szerver nélküli számítási objektumokat használva irányítják a szerver nélküli számítási feladatokat. A kiszolgáló nélküli számítási objektumok olyan erőforrástípusok, amelyek meghatározzák a kiszolgáló nélküli számítási feladatok engedélyhatárát. A munkaterület automatikusan két alapértelmezett számítási objektumot kap:

• Alapértelmezett interaktív számítás: A jegyzetfüzetekhez és a Databricks Connecthez való hozzáférést szabályozza.
• Alapértelmezett automatizált számítás: A feladatokhoz és a Spark Deklaratív folyamatokhoz való hozzáférést szabályozza a Lakeflow-on.

Alapértelmezés szerint minden munkaterület-felhasználó használhatja mindkét objektumot, így a meglévő számítási feladatok továbbra is módosítások nélkül futnak. A munkaterület rendszergazdája eltávolíthat felhasználókat vagy csoportokat bármelyik objektumból a hozzáférés korlátozása érdekében. Ha a felhasználó elveszíti a hozzáférést, a kiszolgáló nélküli számítási lehetőséget elérhetetlennek fogja látni a termékfelületeken.

Kiszolgáló nélküli számításhoz való hozzáférés kezelése

Annak szabályozásához, hogy ki férhet hozzá a kiszolgáló nélküli számításhoz, a munkaterület rendszergazdái szerkeszthetik az alapértelmezett interaktív számítási és alapértelmezett automatikus számítási objektumok engedélyeit. A munkaterület rendszergazdái alapértelmezés szerint rendelkeznek a Can Manage engedéllyel, de bármely felhasználónak megadhatja az engedélyt. Ezek az alapértelmezett számítási objektumok nem nevezhetők át vagy törölhetők.

Minden kiszolgáló nélküli számítási objektum két jogosultsági szintet támogat:

Permission	Lehetővé teszi, hogy
Használható	Számítási feladatok futtatása ezen a számításon
Kezelheti	Számítási feladatok futtatása ezen a számításon, és a számítási engedélyek szerkesztése

Szerver nélküli számítási objektumok jogosultságait programozott módon is kezelheted az Engedélyek API-jával. Szerver nélküli számítási objektumok az serverless-compute objektumtípust használják, és minden objektumot azonosító azonosítója alapján azonosít.

Kiszolgáló nélküli interaktív hozzáférés korlátozása

Annak korlátozása, hogy ki használhat kiszolgáló nélküli jegyzetfüzeteket és Databricks Connectet:

1. Kattintson a Számítási gombra a munkaterület oldalsávjában.
2. A Kiszolgáló nélküli lapon kattintson a Az Alapértelmezett interaktív számítás mellett kattintson az Engedélyek szerkesztése parancsra.
3. Távolítsa el a Minden felhasználó csoportot vagy azt a csoportot, amely az összes munkaterület-felhasználót tartalmazza.
4. Csak azokat a felhasználókat, csoportokat vagy szolgáltatásneveket adja hozzá, amelyeket engedélyezni szeretne.

Ha visszavonja egy felhasználó interaktív kiszolgáló nélküli engedélyeit, a kiszolgáló nélkülihöz csatolt jegyzetfüzetek nem fognak csatlakozni, amikor a felhasználó egy cellát futtat, és a felhasználó többé nem látja a kiszolgáló nélküli beállítást a jegyzetfüzet számítási választójában elérhetőként. Ha megkísérlik futtatni a Databricks Connectet, a kapcsolatkérés meghiúsul egy hibával, amely azt jelzi, hogy a felhasználó nem rendelkezik kiszolgáló nélküli hozzáféréssel.

Kiszolgáló nélküli feladatokhoz és folyamatokhoz való hozzáférés korlátozása

Annak korlátozása, hogy ki használhat kiszolgáló nélkülit a feladatokban és folyamatokban:

1. Kattintson a Számítási gombra a munkaterület oldalsávjában.
2. A Kiszolgáló nélküli lapon kattintson a Az Alapértelmezett automatikus számítás mellett kattintson az Engedélyek szerkesztése parancsra.
3. Távolítsa el a Minden felhasználó csoportot vagy azt a csoportot, amely az összes munkaterület-felhasználót tartalmazza.
4. Csak azokat a felhasználókat, csoportokat vagy szolgáltatásneveket adja hozzá, amelyeket engedélyezni szeretne.

Ha visszavonod egy felhasználó automatikus szerver nélküli jogosultságát, az összes meglévő feladat vagy szerver nélküli vezeték nem fog futni. A felhasználó hibaüzenetet fog látni, ha kiszolgáló nélküli kiszolgálón próbál futtatni egy feladatot.

Mielőtt visszavonja egy felhasználó hozzáférését a Default Automated Compute-hoz, ellenőrizze, hogy mely feladatok és folyamatok vannak az érintett felhasználók tulajdonában. Az alábbi lekérdezés egy adott felhasználó legutóbbi kiszolgáló nélküli számítási feladatait azonosítja:

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

Az oszlopban usage_metadata megtekintheti az érintett erőforrásokat, például a feladatazonosítókat és a folyamatazonosítókat.

Kiszolgáló nélküli használat naplózása

A szerver nélküli számlázási rekordok tartalmaznak egy serverless_compute_id mezőt a usage_metadata elemben. Segítségével nyomon követheti, hogy melyik számítási objektumon futott a számítási feladat:

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

Támogatott szerver nélküli számítási hozzáférés-vezérlési funkciók

Az alábbi funkciók integrálva vannak szerver nélküli számítási hozzáférési vezérlőkbe.

Interaktív (alapértelmezett interaktív számítás)

• Notebookok és kiszolgálómentes GPU-notebookok
• Databricks Connect

Automatizált (alapértelmezett automatizált számítás)

• Feladatok és kiszolgáló nélküli GPU-feladatok
• Spark deklaratív adatfolyamok a Lakeflowon

Támogatatlan szerver nélküli számítási hozzáférés-vezérlési funkciók

Az alábbi funkciók nem integráltak szerver nélküli számítási hozzáférés-vezérlésbe:

• Databricks SQL (DBSQL)
• Kötegelt következtetés (ai_query())
• Modell kiszolgálás
• Alapmodell API kiépített átviteli kapacitású végpontok
• Lakebase
• Databricks alkalmazások
• Ügynökértékelés és szintetikus adatok
• Vektorkeresési indexelés
• Prediktív optimalizálás
• Lakehouse Megfigyelés
• Finom hozzáférés-vezérlés dedikált számításon. A dedikált számításhoz való hozzáférés határozza meg, hogy a felhasználó használhat-e finom hozzáférés-vezérlést.

Az itt fel nem sorolt funkciókért forduljon Azure Databricks fiókcsapatához, és érdeklődjön az állapotáról.

Szerver nélküli hozzáférés-vezérlési korlátozások

Important

Szolgáltatási megszakítás esetén a hozzáférési ellenőrzések nem nyithatók meg, és azok a felhasználók, akik egyébként megtagadták volna a hozzáférést, szerver nélküli munkaterhelést indíthatnának. Ez a funkció a szerver nélküli számításhoz való hozzáférés szabályozására szolgál. Ne használd ezt a funkciót arra, hogy biztosítsd a végső számlázott összegek abszolút kiadási korlátját. Az Azure Databricks nem felelős az ilyen esemény során futó munkaterhelések költségeiért.

• Az alapértelmezett számítási objektumok nem nevezhetők át és nem törölhetők.
• A kiszolgáló nélküli futtatásra már konfigurált feladat vagy folyamat meghiúsul minden olyan felhasználó számára, aki elveszíti a Can Use hozzáférést a Default Automated Compute-hoz. A felhasználók hozzáférésének eltávolítása előtt tekintse át az aktív számítási feladatokat.
• A háttérszámítás (rendszer által kezdeményezett feladatok) mentesülnek a kiszolgáló nélküli számítási hozzáférés-vezérlés alól.

Sebességkorlátok beállítása szerver nélküli számítástechnikán

Important

A díjkorlátok a Private Preview (Private Preview) kategóriában vannak. Az előzetes verzióhoz való csatlakozáshoz forduljon az Azure Databricks-fiók csapatához. Az előnézethez való csatlakozás után a munkaterület adminisztrátorai engedélyezhetik az Előnézetek oldaláról a Szerver nélküli Compute Rate Limit beállítással.

A korlát az automatikus skálázás mértékének korlátozásával behatárolja, hogy egy automatizált munkaterhelés mennyit költhet. A munkaterület adminisztrátorai egyedi automatizált számítási objektumokat hozhatnak létre, és mindegyiküknek sebességkorlátot rendelhetnek. Amikor egy munkaterhelés egy számítási objektumon fut, amelynek sebességkorlátja van, a szerver nélküli automata skálázó nem skálázza a munkaterhelés Spark végrehajtóit az objektumon beállított méreten túl.

A sebességkorlátozások csak az automatizált munkaterhelésekre vonatkoznak (feladatok és Spark deklaratív folyamatok a Lakeflow platformon). Az interaktív munkaterhelések (jegyzetfüzetek és Databricks Connect) nem korlátozottak a sebességhez.

A sebességhatárt méretként fejezzük ki. Minden méret egy hozzávetőleges felső határnak felel meg a tekintetben, hogy egy számítási feladat óránként hány DBU-t használhat fel. A sebességkorlát csak a Spark végrehajtó automatikus skálázását korlátozza. Nem korlátozza a munkaterhelés egyéb összetevőit, például a drivert, a REPL VM-eket, a GPU-kat, illetve a materializált nézetek és a streamelő táblák frissítéseit.

A sebességkorlát minden munkaterhelésre vonatkozik. Minden feladat és minden pipeline, amely egy számítási objektumot használ, függetlenül van korlátozva. Két olyan feladat, amely ugyanazt a számítási erőforrást használja, mindegyik megkapja a teljes felső korlátot. Egyetlen feladaton belül a korlát az összes feladat között megoszlik.

Sebességkorlát követelmények

• Szerver nélküli számítási objektumok létrehozásához és kezeléséhez munkaterület-adminisztrátornak vagy korlátlan klaszter-létrehozású felhasználónak kell lennie.
• A kiszolgáló nélküli sebességkorlátokhoz Azure Databricks Runtime 17.3.1-es vagy újabb verzió szükséges. A feladatok automatikusan használják a legfrissebb futásidőt. A Lakeflow Spark Declarative Pipelines szolgáltatásához válaszd az előzetes csatorna futtatókörnyezetét.

Hozz létre szerver nélküli számítási rendszert sebességkorláttal

1. Kattintson a Számítási gombra a munkaterület oldalsávjában.
2. A szerver nélküli fülön kattintson a Szerver nélküli számítás létrehozása.
3. Adjon meg egy nevet.
4. Méret esetén válaszd ki a tarifakorlátot, a Kicsitől2X-Nagyig. Hagyd alapértelmezett beállításra , hogy a munkaterületed alapértelmezett korlátját használd.
5. Kattintson a Létrehozás gombra.

Az új számítási objektum megjelenik a Szerver nélküli fülön egy Automata típussal. Ahhoz, hogy a felhasználók munkaterheléseket futtathassanak rajta, adjon nekik Can Use vagy Can Manage jogosultságot a Manage access to serverless compute című részben leírtak szerint. Nem lehet szerkeszteni egy alapértelmezett számítási objektum méretét.

Sebességhatár méretek

Minden mérethez egy hozzávetőleges óránkénti DBU-felső korlát tartozik:

Méret	Hozzávetőleges korlát
Kicsi	~60 DBU óránként
Medium	~120 DBU óránként
Nagyméretű	~240 DBU óránként
X-Nagy	~480 DBU óránként
2XL	~960 DBU óránként

Ezek irányfüggő határértékek. A tényleges használat körülöttük ingadozhat a szerver nélküli infrastruktúra veleszületett változatossága miatt.

Az Alapértelmezett választás alkalmazza a munkaterület alapértelmezett korlátját: Közepes a prémium szintű munkaterületekhez, vagy Nagy a vállalati szintű munkaterületekhez. Ezek megegyezik a szerver nélküli automata munkaterhelések alapértelmezett maximális automatikus skálázási korlátaival.

Futtasson munkaterhelést korlátozott számítási kapacitáson

Az a felhasználó, aki egy számítási objektumon Can Use jogosultsággal rendelkezik, kiválaszthatja azt egy feladat vagy folyamat konfigurálásakor. A munkaterhelés ezután a számítási sebesség korlátja alatt fut. Ha egy munkaterhelés nem határoz meg számítási objektumot, visszaesik a munkaterület alapértelmezett automatizált számítására. Ha a felhasználónak nincs hozzáférése ehhez az alapértelmezéshez, a munkaterhelés nem fut be.

• Feladatok: Válaszd ki a szerver nélküli számítási objektumot a munka szintjén, akár a munka Számítási beállításaiban a UI-ban, akár a Jobs API-ban a számítási azonosító azonosító alapján. Az ID másolásához nyisd meg a számítási objektumot a Szerver nélküli fülön, és kattints a Copy compute ID gombra.
• A Spark deklaratív folyamatai a Lakeflowban: A Lakeflow-szerkesztőben válaszd ki az automatikus számítási erőforrást egy folyamathoz tartozó kiszolgáló nélküli számítási erőforrásként.

Amikor egy sebességkorlátozás korlátozza a munkaterhelést, a terhelést a terhelés lekérdezési előzményében vagy a pipeline-oknál a Lakeflow felhasználói felületén megtekintheted.

Sebességkorlátok

• A sebességkorlátok csak a Spark végrehajtó automatikus skálázását korlátozzák. Más költségkomponensek, mint például a driver, REPL VM-ek, GPU-k, valamint a materializált nézet vagy streaming tábla frissítései, nincsenek korlátozva.
• Az egyes méretekhez tartozó óránkénti DBU-felső határ egy becslés. A tényleges használat meghaladhatja a célt, mivel mérsékelt ingadozások vannak az alkalmazott korlátban, és a szerver nélküli infrastruktúra veleszületett változatossága van.
• Egy 2X-Large méretű munkaterhelés elvárt érték alatt teljesíthet, mert a fizikai klaszter mérete 256 végrehajtóra van korlátozva. Ha két vagy több 2X-Large munkaterhelést ugyanazon a runtime fürtön ütemeznek, mindegyik a vártnál gyengébb teljesítményt nyújthat.
• A számlázási megvalósítás részletei miatt ugyanaz a munkaterhelés eltérő DBU-használatot okozhat különböző sebességkorlátok mellett.
• Nem állíthatsz sebességkorlátot egy alapértelmezett számítási objektumra.