Rendszertáblák referenciája

Important

Azure Databricks nagyon elriasztja attól, hogy ezeket az adatokat a platformon kívül helyezze át, mert bizalmas adatokat tehet közzé, és veszélyeztetheti az üzembe helyezést. A rendszertábla-információk jellegéből adódóan a rendszer arra emlékezteti, hogy ön a felelős az exportált rendszertáblák adatainak biztonságának fenntartásáért és a visszaélések megelőzéséért.

A rendszertáblák a fiók működési adatainak Azure Databricks üzemeltetett elemzési tárát biztosítják. Segítségével figyelheti a költségeket, naplózhatja a biztonsági eseményeket, nyomon követheti a számítási és feladatteljesítményt, és megfigyelheti az adatokat és az AI-számítási feladatokat.

Mik azok a rendszertáblák?

A rendszertáblák a fiók működési adatainak Azure Databricks által üzemeltetett elemzési tárai, amelyek a system katalógusban találhatók. A rendszertáblák felhasználhatók a fiók előzményeinek megfigyelhetőségére.

Feljegyzés

Az információs sématáblák (system.information_schema) másként működnek, mint más rendszertáblák. Lásd: Információs séma.

Követelmények

• A rendszertáblák eléréséhez a munkaterületnek engedélyezve kell lennie a Unity Catalogban. További információ: Rendszertáblák engedélyezése.

• Tekintse meg a funkciórégió támogatását a rendszertáblák régióinak rendelkezésre állásával kapcsolatban.

Mely rendszertáblák érhetők el?

Jelenleg Azure Databricks a következő rendszertáblákat üzemelteti:

Asztal	Leírás	Támogatja a streamelést	Ingyenes megőrzési időszak	Globális vagy regionális adatokat tartalmaz
Riasztás konfiguráció (Nyilvános előnézet)	Egy lassan változó dimenziótáblázat, amely minden riasztás időbeli konfigurációját rögzíti. Táblázat elérési útja: system.alert.alerts	Nem	365 nap	Regionális
Riasztásértékelési előzmények (Nyilvános előnézet)	Minden riasztásértékeléshez egy sort rögzít, beleértve az értékelt állapotot és az értesítés kézbesítési állapotát. Táblázat elérési útja: system.alert.alert_evaluation_history	Nem	365 nap	Regionális
Naplók (nyilvános előzetes verzió)	A régió munkaterületeiről származó összes naplózási esemény rekordjait tartalmazza. Az elérhető naplózási események listáját diagnosztikai naplókra vonatkozó referenciacímű témakörben találja. Táblázat elérési útja: system.access.audit	Igen	365 nap	Regionális a munkaterület szintű eseményekhez. Globális fiókszintű események esetén.
Számlázható használat	A fiók összes számlázható használati rekordját tartalmazza. Táblázat elérési útja: system.billing.usage	Igen	365 nap	Globális
Tisztaszoba események (nyilvános előzetes)	Rögzíti a tiszta szobákkal kapcsolatos eseményeket. Táblázat elérési útja: system.access.clean_room_events	Igen	365 nap	Regionális
Klaszterek	Egy lassan változó dimenziótábla, amely bármely fürt számítási beállításainak teljes előzményeit tartalmazza.	Igen	365 nap	Regionális
Oszlop származás	Tartalmaz egy rekordot minden olvasási vagy írási eseményhez egy Unity-katalógus oszlopban (de nem tartalmaz olyan eseményeket, amelyek nem rendelkeznek forrással). Táblázat elérési útja: system.access.column_lineage	Igen	365 nap	Regionális
Adatbesorolási eredmények (nyilvános előzetes verzió)	A metaadattárban az engedélyezett katalógusokban tárolja a bizalmas adatosztályok oszlopszintű észlelését. Táblázat elérési útja: system.data_classification.results	Nem	13 hónap	Regionális
Adatminőség-figyelési eredmények (nyilvános előzetes verzió)	Tárolja az adatminőség-monitorozási ellenőrzések (frissesség, teljesség) és incidensinformációk eredményeit, beleértve az alsóbb rétegbeli hatásokat is a metaadattár engedélyezett táblái között. Táblázat elérési útja: system.data_quality_monitoring.table_results	Nem	Határozatlan	Regionális
Szabályozott címkék (bétaverzió)	A fiók összes szabályozott címkedefiníciójának verziószámozott rekordjait tartalmazza, beleértve az ügyfél által létrehozott és a rendszer által létrehozott címkéket is. Táblázat elérési útja: system.tags.governed_tags	Nem	365 nap	Globális
Genie Code-események (nyilvános előzetes verzió)	Nyomon követi a Genie Code-nak küldött felhasználói üzeneteket. Táblázat elérési útja: system.access.assistant_events	Nem	365 nap	Regionális
Unity Gateway használata (Nyilvános előnézet)	Rögzíti a Unity Gateway modell szolgáltatásaihoz tartozó kérések és válasz részleteit, beleértve a token használatát, késleltetést, teljesítménymutatókat és útvonali információkat. Táblázat elérési útja: system.ai_gateway.usage	Igen	365 nap	Regionális
Unity Gateway külső modellekre fordított költése (Beta)	A külső modellekhez a modellszolgáltatói szolgáltatásokon keresztül átirányított kérelmek becsült USD-kiadásait rögzíti. Táblázat elérési útja: system.ai_gateway.external_model_spend	Nem	365 nap	Regionális
OpenSharing adatmaterializálási események	Rögzíti a nézetből, materializált nézetből és streamelt táblamegosztásból létrehozott adat-materializálási eseményeket. Táblázat elérési útja: system.sharing.materialization_history	Igen	365 nap	Regionális a munkaterület szintű eseményekhez.
Példányesemények (nyilvános előzetes verzió)	A klasszikus számítási példányok állapotváltásait rögzíti. Táblázat elérési útja: system.compute.instance_events	Igen	365 nap	Regionális
Példánykészletek (nyilvános előzetes verzió)	Lassan változó dimenziótábla, amely a példánykészlet-konfigurációk teljes előzményeit tartalmazza az idő függvényében. Táblázat elérési útja: system.compute.instance_pools	Igen	365 nap	Regionális
Feladatfuttatási ütemterv	Nyomon követi a feladatfuttatások kezdési és befejezési idejét. Táblázat elérési útja: system.lakeflow.job_run_timeline	Igen	365 nap	Regionális
Feladatütemezési ütemterv	Nyomon követi a feladattevékenységek futtatásához használt kezdési és befejezési időpontokat és számítási erőforrásokat. Táblázat elérési útja: system.lakeflow.job_task_run_timeline	Igen	365 nap	Regionális
Feladatfeladatok	Nyomon követi a fiókban futó összes feladatfeladatot. Táblázat elérési útja: system.lakeflow.job_tasks	Igen	365 nap	Regionális
Munkahelyek	Nyomon követi a fiókban létrehozott összes feladatot. Táblázat elérési útja: system.lakeflow.jobs	Igen	365 nap	Regionális
Marketplace folyamat események (nyilvános előzetes verzió)	A bejegyzések fogyasztói benyomásait és tölcséradatait tartalmazza. Táblázat elérési útja: system.marketplace.listing_funnel_events	Igen	365 nap	Regionális
Marketplace-listahozzáférés (nyilvános előzetes verzió)	Tartalmazza a vásárlói információkat a teljesített adatkérési vagy a adatok lekérésének eseményei esetén a listáin. Táblázat elérési útja: system.marketplace.listing_access_events	Igen	365 nap	Regionális
MLflow-nyomkövetési kísérlet metaadatai (nyilvános előzetes verzió)	Minden sor egy, a Databricks által felügyelt MLflow rendszerben létrehozott kísérletet jelöl. Táblázat elérési útja: system.mlflow.experiments_latest	Igen	180 nap	Regionális
MLflow-nyomkövetési futtatási metaadatok (nyilvános előzetes verzió)	Minden sor a Databricks által felügyelt MLflow rendszerben létrehozott futtatásnak felel meg. Táblázat elérési útja: system.mlflow.runs_latest	Igen	180 nap	Regionális
MLflow-nyomkövetési futtatási metrikák (nyilvános előzetes verzió)	Az adott modell betanításához, kiértékeléséhez vagy ügynökfejlesztéséhez kapcsolódó MLflow-hoz naplózott időmérőket tartalmazza. Táblázat elérési útja: system.mlflow.run_metrics_history	Igen	180 nap	Regionális
Végpontadatokat kiszolgáló modell (nyilvános előzetes verzió)	Lassan változó dimenziótábla, amely az egyes kiszolgált alapmodellek metaadatait tárolja egy modellvégponton. Táblázat elérési útja: system.serving.served_entities	Igen	365 nap	Regionális
Végponthasználatot kiszolgáló modell (nyilvános előzetes verzió)	Rögzíti a végpontot és válaszait kiszolgáló modell minden egyes kérésének tokenszámát. A tábla végponthasználatának rögzítéséhez engedélyeznie kell a használat nyomon követését a kiszolgáló végponton. Táblázat elérési útja: system.serving.endpoint_usage	Igen	90 nap	Regionális
Hálózati hozzáférési események (bejövő) (nyilvános előzetes verzió)	Egy olyan táblázat, amely az eseményeket rögzíti minden alkalommal, amikor egy munkaterület bejövő hozzáférését egy bejövő szabályzat blokkolja. Táblázat elérési útja: system.access.inbound_network	Igen	30 nap	Regionális
Hálózati hozzáférési események (kimenő) (nyilvános előzetes verzió)	Egy olyan tábla, amely minden alkalommal rögzít egy eseményt, amikor a kimenő internet-hozzáférés megtagadva van a fiókjából. Táblázat elérési útja: system.access.outbound_network	Igen	365 nap	Regionális
Csomópont ütemterve	Rögzíti a teljes célú és a feladatok számítási erőforrásainak kihasználtsági metrikáit. Táblázat elérési útja: system.compute.node_timeline	Igen	90 nap	Regionális
Csomóponttípusok	A jelenleg elérhető csomóponttípusokat az alapvető hardverinformációkkal rögzíti. Táblázat elérési útja: system.compute.node_types	Nem	Határozatlan	Regionális
Pipeline események (béta)	Rögzítse a Lakeflow csővezetékek eseménynaplóbejegyzéseit a régiódban: életciklus-átmeneteket, áramlási előrehaladást, adatminőségi mutatókat és hibákat. Táblázat elérési útja: system.lakeflow_pipeline_events_preview.pipeline_events	Igen	365 nap	Regionális
Folyamatfrissítési ütemterv (nyilvános előzetes verzió)	Nyomon követi a folyamatfrissítésekhez használt kezdési és befejezési időpontokat és számítási erőforrásokat. Táblázat elérési útja: system.lakeflow.pipeline_update_timeline	Igen	365 nap	Regionális
Folyamatok (nyilvános előzetes verzió)	Nyomon követi a fiókban létrehozott összes folyamatcsatornát. Táblázat elérési útja: system.lakeflow.pipelines	Igen	365 nap	Regionális
Automatikus frissítések (nyilvános előzetes verzió)	Nyomon követi a Unity Catalog által felügyelt táblák automatikus frissítései által végrehajtott funkció-engedélyezési műveletek előzményeit. Táblázat elérési útja: system.storage.table_auto_upgrade_operations_history	Nem	180 nap	Regionális
Prediktív optimalizálás (nyilvános előzetes verzió)	Nyomon követi a prediktív optimalizálási funkció műveleti előzményeit. Táblázat elérési útja: system.storage.predictive_optimization_operations_history	Nem	180 nap	Regionális
Árazás	A termékváltozat díjszabásának előzménynaplója. A rendszer minden alkalommal hozzáad egy rekordot, amikor módosul egy termékváltozat ára. Táblázat elérési útja: system.billing.list_prices	Nem	Határozatlan	Globális
Lekérdezési előzmények (nyilvános előzetes verzió)	Rögzíti az SQL-tárolókon és a kiszolgáló nélküli számításon futó összes lekérdezés rekordjait jegyzetfüzetekhez és feladatokhoz. Táblázat elérési útja: system.query.history	Nem	365 nap	Regionális
Replication	Nyomon követi Azure Databricks felügyelt vészhelyreállítás (DR) replikációs állapotát. Táblázat elérési útja: system.replication.states	Igen	365 nap	Globális
SQL Warehouse-események	Rögzíti az SQL-raktárakhoz kapcsolódó eseményeket. Például az indítás, leállítás, futtatás, valamint a fel- és leskálázás. Táblázat elérési útja: system.compute.warehouse_events	Igen	365 nap	Regionális
SQL-raktárak	Minden SQL Warehouse konfigurációs előzményeit tartalmazza. Táblázat elérési útja: system.compute.warehouses	Igen	365 nap	Regionális
Táblázatos vonalasság	Tartalmaz egy rekordot minden olvasási vagy írási eseményhez egy Unity Catalog-táblában vagy elérési úton. Táblázat elérési útja: system.access.table_lineage	Igen	365 nap	Regionális
Munkaterületek (nyilvános előzetes verzió)	A workspaces_latest tábla a fiók összes munkaterületének metaadatainak lassan változó dimenziótáblája. Táblázat elérési útja: system.access.workspaces_latest	Nem	Határozatlan	Globális
Zerobus Ingest (Streams) (béta)	Egy tábla, amely a Zerobus Ingest-használat során felmerülő streames eseményekhez kapcsolódó összes adatot tárolja. Táblázat elérési útja: system.lakeflow.zerobus_stream	Igen	365 nap	Regionális
Zerobus Ingest (Betöltési) (bétaverzió)	Egy tábla, amely a Zerobus Ingest használatával betöltött rekordokhoz kapcsolódó összes adatot tárolja. Táblázat elérési útja: system.lakeflow.zerobus_ingest	Igen	365 nap	Regionális

A rendszertáblák szabadon használhatók. Csak a lekérdezéshez használt számításért kell fizetnie.

Feljegyzés

A fent felsoroltakon kívül más rendszertáblák is megjelenhetnek a fiókjában. Ezek a táblák jelenleg privát előzetes verzióban vannak, és alapértelmezés szerint üresek. Ha a táblák bármelyikét szeretné használni, forduljon a Databricks-fiók csapatához.

rendszertáblák kapcsolatai

Az alábbi entitáskapcsolati diagram bemutatja, hogyan viszonyulnak egymáshoz a jelenleg elérhető rendszertáblák. Ez a diagram az egyes táblák elsődleges és idegen kulcsait emeli ki.

Rendszertáblák engedélyezése

Mivel a rendszertáblákat a Unity Catalog szabályozza, a fiók rendszertábláinak engedélyezéséhez rendelkeznie kell legalább egy Unity Catalog-kompatibilis munkaterülettel a fiókjában. A rendszertáblák a fiók összes munkaterületéről tartalmaznak adatokat, de csak unitykatalógus-kompatibilis munkaterületről érhetők el.

A rendszertáblák eléréséhez a metaadattárnak a Unity Catalog Privilege Model 1.0-s verzióján kell lennie. Tekintse meg a jogosultságöröklés frissítését.

Hozzáférés biztosítása a rendszertáblákhoz

A rendszertáblákhoz való hozzáférést a Unity Katalógus szabályozza. A fiókadminisztrátori és a metaadattár-rendszergazdai szerepkörrel rendelkező felhasználók alapértelmezés szerint hozzáférnek a rendszertáblákhoz. Ahhoz, hogy a többi felhasználó lekérdezhesse a rendszertáblákat, a rendszergazdának a következő engedélyeket kell adnia a felhasználóknak: USE CATALOG a rendszerkatalógusban, USE SCHEMA a rendszersémákon és SELECT a rendszersémákon. Lásd: Jogosultságok kezelése a Unity Catalog.

A rendszertáblák írásvédettek, és nem módosíthatók.

Feljegyzés

Ha a fiókját 2023. november 9. után hozták létre, előfordulhat, hogy alapértelmezés szerint nem rendelkezik metaadattár-rendszergazdával. További információ: A Unity Catalog használatának első lépései.

A rendszertáblák tartalmazzák a fiók összes munkaterületének adatait?

A rendszertáblák az ugyanazon a felhőrégióban üzembe helyezett fiók összes munkaterületének működési adatait tartalmazzák. Egyes táblák globális adatokat tartalmaznak. További részletekért tekintse meg az elérhető táblák listáját.

Bár a rendszertáblák csak unitykatalógus-munkaterületen keresztül érhetők el, a fiókban nem Unity Catalog-munkaterületekről származó működési adatokat is tartalmaznak.

Hol vannak tárolva a rendszertáblák adatai?

A fiók rendszertáblájának adatait egy Azure Databricks által üzemeltetett tárfiók tárolja, amely ugyanabban a régióban található, mint a metaadattár. Az adatok biztonságosan meg lesznek osztva Önnel az OpenSharing használatával.

Minden tábla ingyenes adatmegőrzési időszakkal rendelkezik. További részletekért tekintse meg az Ingyenes megőrzési időszak oszlopot Mely rendszertáblák érhetők el?

Hol találhatók rendszertáblák a Catalog Explorerben?

A fiók rendszertáblái egy systemnevű katalógusban találhatók, amely minden Unity Catalog-metaadattárban megtalálható. A system katalógusban olyan sémák találhatók, mint például access és billing, amelyek rendszertáblákat tartalmaznak.

A streamelési rendszer tábláinak szempontjai

Azure Databricks OpenSharing használatával osztja meg a rendszertáblák adatait az ügyfelekkel. Az OpenSharing használatával történő streamelés során vegye figyelembe az alábbi szempontokat:

• A rendszertáblákból történő streameléshez a Databricks Runtime 16.4 vagy annál magasabb verziókat kell használni. A változási adatok hírfolyamának (CDF) a readChangeFeed opcióval történő folyamatos olvasásához a Databricks Runtime 17.3-as vagy újabb verzióját kell használnia.
• Ha rendszertáblákkal streamel, állítsa a skipChangeCommits opciót true-re. Ez biztosítja, hogy a streamelési feladatot ne zavarják a rendszertáblákban lévő törlések. Lásd: A Delta Lake-táblák forrásának módosításainak kezelése.
• Trigger.AvailableNow a Databricks Runtime 18.0-s vagy újabb verziója támogatja. A lekérdezés az indításkor rögzíti a rendszertábla aktuális verzióját, feldolgozza az összes rendelkezésre álló adatot egy vagy több mikro kötegben, majd leáll. A Databricks Runtime 17.3-as és korábbi verzióiban a(z) Trigger.AvailableNow a(z) Trigger.Once értékre lesz konvertálva, amely futtatásonként egyetlen mikroköteget dolgoz fel.
• A rendszertáblák az alapértelmezett 7 napos adatmegőrzési VACUUM időt használják (lásd: Adatmegőrzés konfigurálása időutazásos lekérdezésekhez), ami azt jelenti, hogy a streamelési lekérdezés megszakadhat, ha 7 napnál hosszabb idő elteltével elmarad. Kövesse nyomon az adatfolyamokat, hogy biztosan felzárkózzanak a legújabb rendszertábla-verzióhoz.

Ha a streamelési feladat nem éri el a legújabb rendszertábla-verziót, használja Trigger.AvailableNow (a Databricks Runtime 18.0-s vagy újabb verziójában támogatott), hogy minden futtatás feldolgozza a teljes rendelkezésre álló teendőlistát, vagy növelje a feladat ütemezett gyakoriságát.

Növekményes változások olvasása a streamelési rendszer tábláiból

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Ismert problémák

• A meglévő rendszertáblákhoz bármikor hozzáadhat új oszlopokat. Ha új oszlopokat vezet be, a rögzített sémára támaszkodó lekérdezések megszakadhatnak. A meglévő oszlopok nem változnak vagy nem lesznek eltávolítva. Ha rendszertáblaadatokat ír egy másik céltáblába, fontolja meg a sémafejlődés engedélyezését.
• A strukturált oszlopokhoz bármikor hozzáadhat új mezőket. Ha rendszertáblaadatokat ír egy másik céltáblába, fontolja meg a sémafejlődés engedélyezését.
• A valós idejű monitorozás nem támogatott. Az adatok a nap folyamán frissülnek. Ha nem látja a legutóbbi esemény naplóját, később térjen vissza.
• A __internal_logging rendszertábla sémája támogatja a hasznos adatok naplózását AI-átjáróval engedélyezett inferencia táblák használatával külső modellekhez és kiosztott átviteli sebességű számítási feladatokhoz. Ez a séma látható a fiókadminisztrátor számára, de nem engedélyezhető, és nem használható ügyfél-munkafolyamatokhoz.
• A teljesítményproblémák elkerülése érdekében a nem megfelelően szelektív rendszertábla-lekérdezések a következő hibát adnak vissza: System Table query returned too much data. Please repeat query with more selective predicates.

• A rendszertáblák engedélyezéséhez előfordulhat, hogy hálózati hozzáférést kell biztosítania a rendszertáblák Blob tároló végpontjához. Az egyes régiók rendszertábláinak tárolási végpontjainak listáját a Storage-végpont IP-címeinek megtekintésével tekintheti meg.
• A rendszerséma system.operational_data és system.lineage elavult, és üres táblákat tartalmaz.