Monitorování aktivity účtu pomocí systémových tabulek

Tento článek vysvětluje koncept systémových tabulek v Azure Databricks a zvýrazňuje prostředky, které můžete použít k využití dat systémových tabulek na maximum.

Co jsou systémové tabulky?

Systémové tabulky jsou datovým úložištěm provozních dat vašeho účtu, hostovaným službou Azure Databricks, které se nachází v system katalogu. Systémové tabulky se dají použít pro historickou pozorovatelnost v rámci vašeho účtu.

Poznámka:

Tabulky schématu informací (system.information_schema) fungují odlišně od ostatních systémových tabulek. Viz Schéma informací.

Požadavky

• Pokud chcete získat přístup k systémovým tabulkám, musí být váš pracovní prostor povolený pro katalog Unity. Další informace naleznete v tématu Povolení systémových tabulek.

• Systémové tabulky nejsou dostupné v následujících oblastech:
  • Oblasti Azure Číny
  • Oblasti Azure pro vládu
  • Indie – západ
  • Švýcarsko – západ

Které systémové tabulky jsou k dispozici?

Azure Databricks v současné době hostuje následující systémové tabulky:

Stůl	Popis	Podporuje streamování.	Období bezplatného uchovávání	Zahrnuje globální nebo regionální data.
Auditní protokoly (Veřejná ukázka)	Zahrnuje záznamy pro všechny události auditu z pracovních prostorů ve vaší oblasti. Seznam dostupných událostí auditu najdete v tématu Referenční informace k diagnostickým protokolům. Cesta k tabulce: system.access.audit	Ano	365 dní	Regionální pro události na úrovni pracovního prostoru. Globální pro události na úrovni účtu.
Fakturovatelné využití	Zahrnuje záznamy pro veškeré fakturovatelné využití v rámci vašeho účtu. Cesta k tabulce: system.billing.usage	Ano	365 dní	Globální
Události čistých prostor (Veřejná ukázka)	Zaznamenává události související s čistými místnostmi. Cesta k tabulce: system.access.clean_room_events	Ano	365 dní	Regionální
Shluky	Pomalu se měnící tabulka dimenzí, která obsahuje úplnou historii konfigurací výpočetních prostředků v průběhu času pro jakýkoli cluster.	Ano	365 dní	Regionální
Původ sloupců	Obsahuje záznam pro každou událost čtení nebo zápisu ve sloupci katalogu Unity (ale neobsahuje události, které nemají zdroj). Cesta k tabulce: system.access.column_lineage	Ano	365 dní	Regionální
Výsledky klasifikace dat (beta verze)	Ukládá detekce na úrovni sloupců citlivých datových tříd napříč aktivovanými katalogy v úložišti metadat. Cesta k tabulce: system.data_classification.results	Ne	365 dní	Regionální
Výsledky monitorování kvality dat (beta verze)	Ukládá výsledky kontrol monitorování kvality dat (aktuálnost, úplnost) a informace o incidentech, včetně následného dopadu a analýzy původní příčiny, napříč povolenými tabulkami v metastoru. Cesta k tabulce: system.data_quality_monitoring.table_results	Ne	Neurčitý	Regionální
Události asistenta Databricks (Public Preview)	Sleduje zprávy uživatelů odeslané asistentovi Databricks. Cesta k tabulce: system.access.assistant_events	Ne	365 dní	Regionální
Události materializace dat pomocí Delta Sharing	Zaznamenává události materializace dat vytvořené ze zobrazení, materializovaného zobrazení a sdílení streamovaných tabulek. Cesta k tabulce: system.sharing.materialization_history	Ano	365 dní	Regionální pro události na úrovni pracovního prostoru.
Časová osa běhu úlohy (Veřejná ukázka)	Sleduje časy spuštění a ukončení úlohy. Cesta k tabulce: system.lakeflow.job_run_timeline	Ano	365 dní	Regionální
Časová osa pracovního úkolu (Public Preview)	Sleduje počáteční a koncové časy a výpočetní prostředky používané pro spuštění úloh. Cesta k tabulce: system.lakeflow.job_task_run_timeline	Ano	365 dní	Regionální
Pracovní úkoly (Veřejná ukázka)	Sleduje všechny úlohy, které se provádějí v účtu. Cesta k tabulce: system.lakeflow.job_tasks	Ano	365 dní	Regionální
Úlohy (Public Preview)	Sleduje všechny úlohy vytvořené v účtu. Cesta k tabulce: system.lakeflow.jobs	Ano	365 dní	Regionální
Události prodejního trychtýře na Marketplace (Public Preview)	Zahrnuje dojmy spotřebitelů a data o prodejním trychtýři pro vaše nabídky. Cesta k tabulce: system.marketplace.listing_funnel_events	Ano	365 dní	Regionální
Přístup k výpisu z Marketplace (Public Preview)	Zahrnuje informace o spotřebiteli týkající se dokončených žádostí o data nebo událostí získání dat či na vašich výpisech. Cesta k tabulce: system.marketplace.listing_access_events	Ano	365 dní	Regionální
Metadata experimentu sledování MLflow (Public Preview)	Každý řádek představuje experiment vytvořený v systému MLflow spravovaném službou Databricks. Cesta k tabulce: system.mlflow.experiments_latest	Ano	180 dní	Regionální
Metadata spuštění sledování MLflow (Public Preview)	Každý řádek představuje spuštění vytvořené v systému MLflow spravovaném službou Databricks. Cesta k tabulce: system.mlflow.runs_latest	Ano	180 dní	Regionální
Metriky spuštění sledování MLflow (Public Preview)	Uchovává metriky timeseries protokolované do MLflow přidružené k danému trénování, vyhodnocení nebo vývoji agentů modelu. Cesta k tabulce: system.mlflow.run_metrics_history	Ano	180 dní	Regionální
Model sloužící data koncového bodu (Public Preview)	Pomalu se měnící tabulka dimenzí, která ukládá metadata pro každý obsluhovaný základní model v koncovém bodu obsluhy modelu. Cesta k tabulce: system.serving.served_entities	Ano	365 dní	Regionální
Použití koncových bodů pro obsluhu modelů (Veřejná ukázka)	Zaznamenává počty tokenů pro každý požadavek na koncový bod obsluhující model a jeho odpovědi. Pokud chcete zaznamenat využití koncového bodu v této tabulce, musíte povolit sledování využití na obsluhovacím koncovém bodu. Cesta k tabulce: system.serving.endpoint_usage	Ano	90 dní	Regionální
Události síťového přístupu (příchozí) (Veřejný náhled)	Tabulka, která zaznamenává událost při každém příchozím přístupu k pracovnímu prostoru, je zásadami příchozího přenosu dat odepřena. Cesta k tabulce: system.access.inbound_network	Ano	30 dní	Regionální
Události síťového přístupu (odchozí) (Public Preview)	Tabulka, která zaznamenává událost při každém odepření odchozího internetového přístupu z vašeho účtu. Cesta k tabulce: system.access.outbound_network	Ano	365 dní	Regionální
Časová osa uzlu	Zachycuje metriky využití výpočetních prostředků pro všechny účely a úlohy. Cesta k tabulce: system.compute.node_timeline	Ano	90 dní	Regionální
Typy uzlů	Zaznamenává aktuálně dostupné typy uzlů pomocí základních informací o hardwaru. Cesta k tabulce: system.compute.node_types	Ne	Neurčitý	Regionální
Harmonogram aktualizací pipeline (Public Preview)	Sleduje počáteční a koncové časy a výpočetní zdroje používané pro aktualizace pipeline. Cesta k tabulce: system.lakeflow.pipeline_update_timeline	Ano	365 dní	Regionální
Pipelines (Veřejná ukázka)	Sleduje všechny kanály vytvořené v účtu. Cesta k tabulce: system.lakeflow.pipelines	Ano	365 dní	Regionální
Prediktivní optimalizace (Public Preview)	Sleduje historii operací funkce prediktivní optimalizace. Cesta k tabulce: system.storage.predictive_optimization_operations_history	Ne	180 dní	Regionální
Ceny	Historický protokol cen skladové položky. Záznam se přidá pokaždé, když dojde ke změně ceny skladové položky. Cesta k tabulce: system.billing.list_prices	Ne	Neurčitý	Globální
Historie dotazů (Public Preview)	Zaznamenává dotazy spuštěné na SQL skladech a bezserverových výpočetních prostředcích pro poznámkové bloky a úlohy. Cesta k tabulce: system.query.history	Ne	365 dní	Regionální
Události SQL Warehouse (Veřejná ukázka)	Zaznamenává události související se sklady SQL. Například spuštění, zastavení, běh, navyšování nebo snižování kapacity. Cesta k tabulce: system.compute.warehouse_events	Ano	365 dní	Regionální
SQL Warehouses (Public Preview)	Obsahuje úplnou historii konfigurací v průběhu času pro libovolný SQL Warehouse. Cesta k tabulce: system.compute.warehouses	Ano	365 dní	Regionální
Rodokmen tabulky	Obsahuje záznam pro každou událost související s čtením nebo zápisem do tabulky nebo cesty v katalogu Unity. Cesta k tabulce: system.access.table_lineage	Ano	365 dní	Regionální
Pracovní prostory (Public Preview)	Tabulka workspaces_latest je tabulka pomalu se měnících dimenzí metadat o všech pracovních prostorech na účtu. Cesta k tabulce: system.access.workspaces_latest	Ne	Neurčitý	Globální
Zerobus Ingest (Streams) (beta verze)	Tabulka, která ukládá všechna data související s událostmi streamu způsobenými používáním Zerobus Ingest. Cesta k tabulce: system.lakeflow.zerobus_stream	Ano	365 dní	Regionální
Ingestování nubusů (příjem dat) ( beta verze)	Tabulka, která ukládá všechna data související se záznamy zpracovávanými pomocí nástroje Zerobus Ingest. Cesta k tabulce: system.lakeflow.zerobus_ingest	Ano	365 dní	Regionální

Fakturovatelné tabulky využití a cen se dají používat zdarma. Tabulky ve verzi Public Preview lze používat zdarma, ale v budoucnu může být zpoplatněna.

Poznámka:

Kromě výše uvedených systémových tabulek se ve vašem účtu můžou zobrazit i jiné systémové tabulky. Tyto tabulky jsou aktuálně v privátní verzi Preview a ve výchozím nastavení jsou prázdné. Pokud chcete použít některou z těchto tabulek, obraťte se prosím na svůj tým účtů Databricks.

Vztahy systémových tabulek

Následující diagram vztahů mezi entitami popisuje, jak spolu aktuálně dostupné systémové tabulky souvisejí. Tento diagram zvýrazní primární a cizí klíče každé tabulky.

Povolení systémových tabulek

Vzhledem k tomu, že systémové tabulky se řídí katalogem Unity, musíte mít ve svém účtu alespoň jeden pracovní prostor s podporou katalogu Unity, abyste povolili systémové tabulky vašeho účtu. Systémové tabulky obsahují data ze všech pracovních prostorů ve vašem účtu, ale dají se k nim přistupovat jenom z pracovního prostoru s podporou katalogu Unity.

Aby bylo možné získat přístup k systémovým tabulkám, musí být metastore na modelu oprávnění katalogu Unity verze 1.0. Viz Upgrade k dědičnosti oprávnění.

Udělení přístupu k systémovým tabulkám

Přístup k systémovým tabulkám se řídí katalogem Unity. Správci účtů mají ve výchozím nastavení přístup k systémovým tabulkám. Aby mohl uživatel dotazovat systémové tabulky, musí mu správce udělit USE oprávnění a udělit SELECT oprávnění na systémových schématech. Viz Správa oprávnění v katalogu Unity.

Systémové tabulky jsou jen pro čtení a nelze je upravovat.

Poznámka:

Pokud byl váš účet vytvořen po 9. listopadu 2023, možná ve výchozím nastavení nemáte správce metastoru. Další informace najdete v tématu Začínáme s katalogem Unity.

Obsahují systémové tabulky data pro všechny pracovní prostory ve vašem účtu?

Systémové tabulky obsahují provozní data pro všechny pracovní prostory ve vašem účtu nasazených ve stejné cloudové oblasti. Některé tabulky zahrnují globální data. Podrobnosti najdete v seznamu dostupných tabulek.

I když k systémovým tabulkám lze přistupovat pouze prostřednictvím pracovního prostoru Katalogu Unity, zahrnují do vašeho účtu provozní data z pracovních prostorů jiného katalogu než Unity.

Kde jsou uložená data systémových tabulek?

Data systémových tabulek vašeho účtu se ukládají do účtu úložiště hostovaného v Azure Databricks ve stejné oblasti jako metastore. Data jsou s vámi bezpečně sdílena přes Delta Sharing.

Každá tabulka má volnou dobu uchovávání dat. Podrobnosti najdete ve sloupci Volný interval uchovávání informací v části Které systémové tabulky jsou k dispozici?.

Kde jsou systémové tabulky umístěné v Průzkumníku katalogu?

Systémové tabulky ve vašem účtu se nacházejí v katalogu s názvem system, který je součástí každého metastoru katalogu Unity. V katalogu system uvidíte schémata, jako jsou access a billing, která obsahují systémové tabulky.

Úvahy o tabulkách systémů streamování

Azure Databricks používá funkci Delta Sharing ke sdílení dat systémových tabulek se zákazníky. Při streamování s použitím Delta Sharing mějte na paměti následující úvahy:

• Pokud používáte streamování se systémovými tabulkami, nastavte možnost skipChangeCommits na true. Tím je zajištěno, že úloha streamování nebude narušena odstraněním v systémových tabulkách. Viz Ignorovat aktualizace a odstranění.
• Trigger.AvailableNow není podporováno ve streamingu Delta Sharing. Převede se na Trigger.Once.
• Systémové tabulky používají výchozí 7denní uchovávání VACUUM (viz Konfigurace uchovávání dat pro dotazy na časové cesty), což znamená, že streamovací dotaz se může přerušit, pokud má zpoždění o více než 7 dnů. Sledujte streamy, abyste měli jistotu, že dohoní nejnovější verzi systémové tabulky.

Pokud ve své streamovací úloze použijete spouštěč a zjistíte, že nedohání nejnovější verzi systémové tabulky, společnost Databricks doporučuje zvýšit plánovanou frekvenci úlohy.

Čtení přírůstkových změn ze streamingových systémových tabulek

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Známé problémy

• Nové sloupce lze kdykoli přidat do existujících systémových tabulek. Dotazy, které spoléhají na pevné schéma, se mohou stát nefunkčními, pokud jsou zavedeny nové sloupce. Existující sloupce se nezmění ani neodeberou. Pokud zapisujete systémová data tabulek do jiné cílové tabulky, zvažte povolení vývoje schématu.
• Žádná podpora monitorování v reálném čase. Data se aktualizují v průběhu dne. Pokud se protokol nedávné události nezobrazuje, vraťte se zpět později.
• __internal_logging Schéma systémové tabulky podporuje protokolování datové části pomocí inferenčních tabulek s podporou AI Gateway pro externí modely a zřízené zátěžové úkoly. Toto schéma je viditelné správcům účtů, ale nelze ho povolit a nemělo by se používat pro pracovní postupy zákazníků.

• Chcete-li povolit systémové tabulky, možná bude nutné udělit síťový přístup ke koncovému bodu úložiště blob systémových tabulek. Pokud chcete zobrazit seznam koncového bodu úložiště systémových tabulek každé oblasti, přečtěte si téma IP adresy koncového bodu úložiště.
• Systémová schémata system.operational_data a system.lineage jsou zastaralá a budou obsahovat prázdné tabulky.