Megosztás a következőn keresztül:

Használat figyelése rendszertáblákkal

  • Cikk

Ez a cikk ismerteti az Azure Databricks rendszertábláinak fogalmát, és kiemeli azokat az erőforrásokat, amelyek segítségével a lehető legtöbbet hozhatja ki a rendszertáblák adataiból.

Mik azok a rendszertáblák?

A rendszertáblák a katalógusban található fiók működési adatainak Azure Databricks által üzemeltetett elemzési system tárai. A rendszertáblák felhasználhatók a fiók előzményeinek megfigyelhetőségére.

Feljegyzés

A dokumentációt az system.information_schemaInformációs séma című témakörben találja.

Követelmények

  • A rendszertáblák eléréséhez a munkaterületnek engedélyezve kell lennie a Unity Catalogban. További információ: Rendszertábla-sémák engedélyezése.

  • A rendszertáblák nem érhetők el a következő régiókban:

    • Azure China-régiók
    • Azure Government-régiók
    • Nyugat-India
    • Nyugat-Svájc

Mely rendszertáblák érhetők el?

Az Azure Databricks jelenleg a következő rendszertáblákat üzemelteti:

Tábla Leírás Hely Támogatja a streamelést Ingyenes megőrzési időszak Globális vagy regionális adatokat tartalmaz
Naplók (nyilvános előzetes verzió) A régió munkaterületeiről származó összes naplózási esemény rekordjait tartalmazza. Az elérhető naplózási események listáját a diagnosztikai napló referenciájában találja. system.access.audit Igen 365 nap Regionális munkaterületszintű eseményekhez. Globális fiókszintű eseményekhez.
Table lineage (Nyilvános előzetes verzió) Tartalmaz egy rekordot minden olvasási vagy írási eseményhez egy Unity Catalog-táblában vagy elérési úton. system.access.table_lineage Igen 365 nap Regionális
Oszlopsor ( nyilvános előzetes verzió) Tartalmaz egy rekordot minden olvasási vagy írási eseményhez egy Unity-katalógus oszlopban (de nem tartalmaz olyan eseményeket, amelyek nem rendelkeznek forrással). system.access.column_lineage Igen 365 nap Regionális
Számlázható használat A fiók összes számlázható használati rekordját tartalmazza. Minden használati rekord egy erőforrás számlázható felhasználásának óránkénti összesítése. system.billing.usage Igen 365 nap Globális
Árképzés A termékváltozat díjszabásának előzménynaplója. A rendszer minden alkalommal hozzáad egy rekordot, amikor módosul egy termékváltozat ára. system.billing.list_prices Nem Korlátlan Globális
Fürtök (nyilvános előzetes verzió) Egy lassan változó dimenziótábla, amely minden fürt számítási konfigurációinak teljes előzményeit tartalmazza. system.compute.clusters Igen n/a Regionális
Csomópont idővonala (nyilvános előzetes verzió) Rögzíti a teljes célú és a feladatok számítási erőforrásainak kihasználtsági metrikáit. system.compute.node_timeline Igen 30 nap Regionális
Csomóponttípusok (nyilvános előzetes verzió) A jelenleg elérhető csomóponttípusokat az alapvető hardverinformációkkal rögzíti. system.compute.node_types Nem N.A. Regionális
SQL Warehouse-események (nyilvános előzetes verzió) Rögzíti az SQL-raktárakhoz kapcsolódó eseményeket. Például indítás, leállítás, futtatás, fel- és leskálázás. system.compute.warehouse_events Igen 365 nap Regionális
Feladatok (nyilvános előzetes verzió) Nyomon követi a fiókban létrehozott összes feladatot. system.lakeflow.jobs Igen 365 nap Regionális
Feladatfeladatok (nyilvános előzetes verzió) Nyomon követi a fiókban futó összes feladatfeladatot. system.lakeflow.job_tasks Igen 365 nap Regionális
Feladatfuttatási ütemterv (nyilvános előzetes verzió) Nyomon követi a feladatfuttatások kezdési és befejezési idejét. system.lakeflow.

job_run_timeline		 Igen 365 nap Regionális
Feladatütemezési ütemterv (nyilvános előzetes verzió) Nyomon követi a feladattevékenységek futtatásához használt kezdési és befejezési időpontokat és számítási erőforrásokat. system.lakeflow.

job_task_run_timeline		 Igen 365 nap Regionális
Marketplace tölcséres események (nyilvános előzetes verzió) A listaelemek fogyasztói megjelenítési és tölcséradatait tartalmazza. system.marketplace.listing_

funnel_events		 Igen 365 nap Regionális
Marketplace-listahozzáférés (nyilvános előzetes verzió) A kitöltött kérelemadatok fogyasztói adatait tartalmazza, vagy adateseményeket jelenít meg a listáin. system.marketplace.listing_

access_events		 Igen 365 nap Regionális
Prediktív optimalizálás (nyilvános előzetes verzió) Nyomon követi a prediktív optimalizálási funkció műveleti előzményeit. system.storage.predictive_

optimization_operations_history		 Nem 180 nap Regionális
Databricks Assistant-események (nyilvános előzetes verzió) Nyomon követi a Databricks Assistantnek küldött felhasználói üzeneteket. system.access.assistant_events Nem 365 nap Regionális
Lekérdezési előzmények (nyilvános előzetes verzió) Rögzíti az SQL-raktárakban futtatott összes lekérdezés rekordjait. system.query.history Igen 90 nap Regionális
Tisztaszoba-események (nyilvános előzetes verzió) Rögzíti a tiszta szobákkal kapcsolatos eseményeket. system.access.clean_room_events Igen 365 nap Regionális
Végponthasználatot kiszolgáló modell (nyilvános előzetes verzió) Rögzíti a végpontot és válaszait kiszolgáló modell minden egyes kérésének tokenszámát. system.serving.endpoint_usage Igen 90 nap Regionális
Végpontadatokat kiszolgáló modell (nyilvános előzetes verzió) Lassú, változó dimenziótábla, amely az egyes kiszolgált külső modellek metaadatait tárolja egy modellvégponton. system.serving.served_entities Igen 365 nap Regionális

A számlázható használati és tarifatáblák szabadon használhatók. A nyilvános előzetes verzióban lévő táblák szintén ingyenesen használhatók az előzetes verzióban, de a jövőben díjat vonhatnak maga után.

Feljegyzés

A fent felsoroltakon kívül más rendszertáblák is megjelenhetnek a fiókjában. Ezek a táblák jelenleg privát előzetes verzióban vannak, és alapértelmezés szerint üresek. Ha a táblák bármelyikét szeretné használni, forduljon a Databricks-fiók csapatához.

Rendszertábla sémáinak engedélyezése

Mivel a rendszertáblákat a Unity Catalog szabályozza, a rendszertáblák engedélyezéséhez és eléréséhez legalább egy Unity Catalog-kompatibilis munkaterülettel kell rendelkeznie a fiókjában. A rendszertáblák a fiók összes munkaterületéről tartalmaznak adatokat, de csak unitykatalógus-kompatibilis munkaterületről érhetők el.

A rendszertáblák sémaszinten engedélyezve vannak. Ha engedélyezi a rendszerséma használatát, a sémán belüli összes táblát engedélyezi. Új sémák kiadásakor a fiókadminisztrátornak manuálisan kell engedélyeznie a sémát.

A rendszertáblákat egy fiókadminisztrátornak kell engedélyeznie. A SystemSchemas API-val engedélyezheti a rendszertáblákat.

Feljegyzés

A billing séma alapértelmezés szerint engedélyezve van. Más sémákat manuálisan kell engedélyezni.

Elérhető rendszersémák listázása

A következő curl paranccsal listázza ki az elérhető rendszersémákat:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Az alábbi példa a parancs kimenetére GET mutat:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: A rendszerséma elérhető, de még nincs engedélyezve.

state: EnableCompleted: Engedélyezte a rendszerséma használatát, és látható a Katalóguskezelőben.

Rendszerséma engedélyezése

A következő curl paranccsal engedélyezhet egy rendszersémát:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Ha a rendszerséma sikeresen engedélyezve van, a rendszer eredménykódot 200 ad vissza.

Ha megpróbál újra engedélyezni egy rendszerséma használatát, a rendszer a következőt adja vissza: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Rendszerséma letiltása

A rendszerséma letiltásához használja a következő curl parancsot:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Hozzáférés biztosítása a rendszertáblákhoz

A rendszertáblákhoz való hozzáférést a Unity Katalógus szabályozza. Alapértelmezés szerint egyetlen felhasználó sem fér hozzá ezekhez a rendszersémákhoz. A hozzáférés biztosításához a metaadattár-rendszergazdának és a fiókadminisztrátornak is meg kell adnia és SELECT engedélyeket kell adnia USE a rendszersémákhoz. Lásd: Jogosultságok kezelése a Unity Katalógusban.

A rendszertáblák írásvédettek, és nem módosíthatók.

Feljegyzés

Ha a fiókját 2023. november 9. után hozták létre, előfordulhat, hogy alapértelmezés szerint nem rendelkezik metaadattár-rendszergazdával. További információ: Unity Catalog beállítása és kezelése.

A rendszertáblák tartalmazzák a fiók összes munkaterületének adatait?

A rendszertáblák az ugyanazon a felhőrégióban üzembe helyezett fiók összes munkaterületének működési adatait tartalmazzák. A számlázási rendszertáblák fiókszintű adatokat tartalmaznak.

Annak ellenére, hogy a rendszertáblák csak unitykatalógus-munkaterületen keresztül érhetők el, a táblák a fiók nem Unity-katalógus munkaterületeinek működési adatait is tartalmazzák.

Hol vannak tárolva a rendszertáblák adatai?

A fiók rendszertáblájának adatait egy, a metaadattárával azonos régióban található Azure Databricks által üzemeltetett tárfiók tárolja. Az adatok biztonságosan meg lesznek osztva Önnel a Delta Sharing használatával.

Minden tábla ingyenes adatmegőrzési időszakkal rendelkezik. A megőrzési időszak meghosszabbításával kapcsolatos információkért forduljon az Azure Databricks-fiók csapatához.

Hol találhatók rendszertáblák a Catalog Explorerben?

A fiók rendszertáblái egy katalógusban systemtalálhatók, amelyet minden Unity Catalog-metaadattár tartalmaz. A katalógusban system olyan sémák láthatók, mint access billing a rendszertáblák.

A streamelési rendszer tábláinak szempontjai

Az Azure Databricks a Delta Sharing használatával osztja meg a rendszertáblák adatait az ügyfelekkel. A Delta Sharing használatával történő streamelés során vegye figyelembe a következő szempontokat:

  • Ha rendszertáblákkal való streamelést használ, állítsa a beállítást a skipChangeCommits következőre true: . Ez biztosítja, hogy a streamelési feladat ne legyen megszakítva a rendszertáblákban lévő törlésekkel. Lásd: Frissítések és törlések figyelmen kívül hagyása.
  • Trigger.AvailableNow a Delta Sharing streamelése nem támogatott. A rendszer átalakítja a következővé Trigger.Once: .

Ha egy eseményindítót használ a streamelési feladatban, és úgy találja, hogy az nem éri el a legújabb rendszertábla-verziót, a Databricks azt javasolja, hogy növelje a feladat ütemezett gyakoriságát.

Növekményes változások olvasása a streamelési rendszer tábláiból

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Ismert problémák

  • A valós idejű monitorozás jelenleg nem támogatott. Az adatok a nap folyamán frissülnek. Ha nem látja egy nemrég történt esemény naplózását, térjen vissza később.

  • Előfordulhat, hogy a rendszertáblák engedélyezéséhez hálózati hozzáférést kell adnia a rendszertáblák blobtároló-végpontjához. Az egyes régiók rendszertábláinak tárolási végpontjainak listáját a Storage-végpont IP-címeinek megtekintésével tekintheti meg.

  • A rendszer sémái system.operational_data system.lineage elavultak, és üres táblákat tartalmaznak.

  • A __internal_logging rendszertábla sémája a hasznos adatok naplózásának támogatására szolgál következtetési táblák használatával. Ez a séma látható a fiókadminisztrátor számára, de nem engedélyezhető, és nem használható ügyfél-munkafolyamatokhoz.