Referentie systeemtabellen

Important

Azure Databricks u ten zeerste ontmoedigt om deze gegevens buiten het platform te verplaatsen, omdat deze gevoelige gegevens kunnen blootstellen en uw implementatie risico lopen. Vanwege de aard van systeemtabelgegevens wordt u eraan herinnerd dat u verantwoordelijk bent voor het handhaven van de beveiliging en misbruik van geëxporteerde systeemtabelgegevens.

Systeemtabellen bieden een Azure Databricks gehoste analytische opslag van de operationele gegevens van uw account. Gebruik ze om kosten te bewaken, beveiligingsgebeurtenissen te controleren, de prestaties van berekeningen en taken bij te houden en gegevens en AI-workloads te observeren.

Wat zijn systeemtabellen?

Systeemtabellen zijn een Azure Databricks gehoste analytische opslag van de operationele gegevens van uw account die zijn gevonden in de system-catalogus. Systeemtabellen kunnen worden gebruikt voor historische waarneembaarheid in uw account.

Notitie

De informatieschematabellen (system.information_schema) werken anders dan andere systeemtabellen. Zie Informatieschema.

Vereisten

• Voor toegang tot systeemtabellen moet uw werkruimte zijn ingeschakeld voor Unity Catalog. Zie Systeemtabellen inschakelen voor meer informatie.

• Zie De ondersteuning voor functieregio's voor beschikbaarheid van systeemtabellen.

Welke systeemtabellen zijn beschikbaar?

Op dit moment host Azure Databricks de volgende systeemtabellen:

Tabel	Beschrijving	Ondersteunt streaming	Gratis bewaarperiode	Bevat globale of regionale gegevens
Waarschuwingsconfiguratie (Openbare preview)	Een langzaam veranderende dimensietabel die de configuratie van elke waarschuwing in de tijd vastlegt. Tabelpad: system.alert.alerts	Nee	365 dagen	Regionaal
Geschiedenis van waarschuwingsevaluaties (Openbare preview)	Registreert één rij voor elke waarschuwingsevaluatie, inclusief de geëvalueerde status en de status van de meldingslevering. Tabelpad: system.alert.alert_evaluation_history	Nee	365 dagen	Regionaal
Auditlogs (openbare voorvertoning)	Bevat records voor alle controlegebeurtenissen uit werkruimten in uw regio. Zie Diagnostisch logboek naslag voor een lijst met beschikbare auditgebeurtenissen. Tabelpad: system.access.audit	Ja	365 dagen	Regionaal voor gebeurtenissen op werkruimteniveau. Globaal voor gebeurtenissen op accountniveau.
Factureerbaar gebruik	Bevat records voor alle factureerbare gebruik in uw account. Tabelpad: system.billing.usage	Ja	365 dagen	Globaal
Clean room events (Openbare preview)	Legt gebeurtenissen vast die betrekking hebben op schone ruimten. Tabelpad: system.access.clean_room_events	Ja	365 dagen	Regionaal
Clusters	Een langzaam veranderende dimensietabel die de volledige geschiedenis van rekenconfiguraties in de loop van de tijd voor elk cluster bevat.	Ja	365 dagen	Regionaal
Kolomherkomst	Bevat een record voor elke lees- of schrijfbeurtenis in een Unity Catalog-kolom (maar bevat geen gebeurtenissen die geen bron hebben). Tabelpad: system.access.column_lineage	Ja	365 dagen	Regionaal
Resultaten van gegevensclassificatie (openbare preview)	Slaat detecties op kolomniveau op van gevoelige gegevensklassen in ingeschakelde catalogi in uw metastore. Tabelpad: system.data_classification.results	Nee	13 maanden	Regionaal
Resultaten van bewaking van gegevenskwaliteit (openbare preview)	Hiermee worden resultaten opgeslagen van controles van gegevenskwaliteit (versheid, volledigheid) en incidentinformatie, inclusief downstream-impact, in ingeschakelde tabellen in uw metastore. Tabelpad: system.data_quality_monitoring.table_results	Nee	Onbepaald	Regionaal
Beheerde tags (bèta)	Bevat versierecords voor alle beheerde tagdefinities in uw account, inclusief door de klant gemaakte en door het systeem gegenereerde tags. Tabelpad: system.tags.governed_tags	Nee	365 dagen	Globaal
Genie Code-gebeurtenissen (openbare preview)	Houdt gebruikersberichten bij die naar de Genie Code worden verzonden. Tabelpad: system.access.assistant_events	Nee	365 dagen	Regionaal
Gebruik van Unity Gateway (Publieke Preview)	Legt verzoek- en responsdetails vast voor Unity Gateway-modelservices, waaronder tokengebruik, latentie, prestatiestatistieken en routeringsinformatie. Tabelpad: system.ai_gateway.usage	Ja	365 dagen	Regionaal
Kosten voor externe modellen van Unity Gateway (Bèta)	Registreert geschatte USD-uitgaven voor aanvragen die worden doorgestuurd naar externe modellen via modelproviderservices. Tabelpad: system.ai_gateway.external_model_spend	Nee	365 dagen	Regionaal
OpenSharing-gebeurtenissen voor gegevensmaterialisatie	Registreert gegevensmaterialisatiegebeurtenissen die zijn gemaakt op basis van zicht, materiële weergave en streamingtabellen delen. Tabelpad: system.sharing.materialization_history	Ja	365 dagen	Regionaal voor gebeurtenissen op werkruimteniveau.
Instantie-gebeurtenissen (openbare preview)	Hiermee worden statusovergangen van klassieke rekeninstanties vastgelegd. Tabelpad: system.compute.instance_events	Ja	365 dagen	Regionaal
Instancepools (Openbare preview)	Een langzaam veranderende dimensietabel die de volledige geschiedenis van configuraties van exemplaargroepen in de loop van de tijd bevat. Tabelpad: system.compute.instance_pools	Ja	365 dagen	Regionaal
Tijdlijn voor taakuitvoering	Houdt de begin- en eindtijden van taakuitvoeringen bij. Tabelpad: system.lakeflow.job_run_timeline	Ja	365 dagen	Regionaal
Taaktaaktijdlijn	Houdt de begin- en eindtijden bij en de computerbronnen die worden gebruikt voor taakuitvoeringen voor opdrachten. Tabelpad: system.lakeflow.job_task_run_timeline	Ja	365 dagen	Regionaal
Taaktaken	Houdt alle taaktaken bij die worden uitgevoerd in het account. Tabelpad: system.lakeflow.job_tasks	Ja	365 dagen	Regionaal
Banen	Houdt alle taken bij die in het account zijn gemaakt. Tabelpad: system.lakeflow.jobs	Ja	365 dagen	Regionaal
Marketplace-funnelgebeurtenissen (publieke preview)	Bevat consumentenindrukken en funnelgegevens voor uw advertenties. Tabelpad: system.marketplace.listing_funnel_events	Ja	365 dagen	Regionaal
Toegang tot Marktplaatsvermeldingen (openbare preview)	Bevat consumenteninfo voor voltooide aanvraaggegevens of gegevensophaling gebeurtenissen op uw vermeldingen. Tabelpad: system.marketplace.listing_access_events	Ja	365 dagen	Regionaal
Metagegevens van MLflow-traceringsexperimenten (openbare preview)	Elke rij vertegenwoordigt een experiment dat is gemaakt in het door Databricks beheerde MLflow-systeem. Tabelpad: system.mlflow.experiments_latest	Ja	180 dagen	Regionaal
MLflow-tracking run metadata (Openbare Preview)	Elke rij vertegenwoordigt een uitvoering die is gemaakt in het door Databricks beheerde MLflow-systeem. Tabelpad: system.mlflow.runs_latest	Ja	180 dagen	Regionaal
Metrische gegevens voor het bijhouden van MLflow-uitvoeringen (openbare preview)	Bevat de metrische tijdreeksgegevens die zijn geregistreerd bij MLflow die zijn gekoppeld aan een bepaalde modeltraining, evaluatie of agentontwikkeling. Tabelpad: system.mlflow.run_metrics_history	Ja	180 dagen	Regionaal
Model voor eindpuntgegevens (openbare preview)	Een langzaam veranderende dimensietabel waarin metagegevens worden opgeslagen voor elk geleverd basismodel in een model dat het eindpunt bedient. Tabelpad: system.serving.served_entities	Ja	365 dagen	Regionaal
Model voor eindpuntgebruik (openbare preview)	Hiermee worden tokens vastgelegd voor elke aanvraag naar een modelserver-eindpunt en de bijbehorende antwoorden. Als u het gebruik van het eindpunt in deze tabel wilt vastleggen, moet u het bijhouden van gebruik inschakelen voor het eindpunt van uw service-. Tabelpad: system.serving.endpoint_usage	Ja	90 dagen	Regionaal
Gebeurtenissen voor netwerktoegang (binnenkomend) ( openbare preview)	Een tabel die een gebeurtenis registreert voor elke keer dat binnenkomende toegang tot een werkruimte wordt geweigerd door een toegangsbeleid voor inkomend verkeer. Tabelpad: system.access.inbound_network	Ja	30 dagen	Regionaal
Netwerktoegangsgebeurtenissen (Uitgaand) (Openbare preview)	Een tabel die een gebeurtenis registreert wanneer uitgaande internettoegang wordt geweigerd vanuit uw account. Tabelpad: system.access.outbound_network	Ja	365 dagen	Regionaal
Tijdlijn van knooppunt	Hiermee worden de metrische gegevens over het gebruik van uw rekenresources voor alle doeleinden en taken vastgelegd. Tabelpad: system.compute.node_timeline	Ja	90 dagen	Regionaal
Knooppunttypen	Legt de momenteel beschikbare knooppunttypen vast met de basishardwaregegevens. Tabelpad: system.compute.node_types	Nee	Onbepaald	Regionaal
Pijplijngebeurtenissen (Bèta)	Registreert gebeurtenislogboekvermeldingen voor Lakeflow-pijpleidingen in jouw regio: levenscyclusovergangen, stroomvoortgang, datakwaliteitsmetrics en fouten. Tabelpad: system.lakeflow_pipeline_events_preview.pipeline_events	Ja	365 dagen	Regionaal
Tijdlijn voor pijplijnupdates (openbare preview)	Houdt de begin- en eindtijden en de rekenbronnen bij die worden gebruikt voor het bijwerken van pijplijnen. Tabelpad: system.lakeflow.pipeline_update_timeline	Ja	365 dagen	Regionaal
Pijplijnen (Publieke Preview)	Houdt alle pijplijnen bij die in het account zijn gemaakt. Tabelpad: system.lakeflow.pipelines	Ja	365 dagen	Regionaal
Automatische upgrades (openbare preview)	Houdt de geschiedenis bij van functie-activeringsbewerkingen die worden uitgevoerd door automatische upgrades in beheerde tabellen van Unity Catalog. Tabelpad: system.storage.table_auto_upgrade_operations_history	Nee	180 dagen	Regionaal
Voorspellende optimalisatie (openbare preview)	Houdt de bewerkingsgeschiedenis van de functie voorspellende optimalisatie bij. Tabelpad: system.storage.predictive_optimization_operations_history	Nee	180 dagen	Regionaal
Prijzen	Een historisch logboek met SKU-prijzen. Er wordt elke keer een record toegevoegd wanneer er een wijziging is in de prijs van een SKU. Tabelpad: system.billing.list_prices	Nee	Onbepaald	Globaal
Querygeschiedenis	Legt records vast voor alle query's die worden uitgevoerd op SQL-warehouses en serverloze computing voor notebooks en taken. Tabelpad: system.query.history	Nee	365 dagen	Regionaal
Replication	Houdt de replicatiestatus bij voor Azure Databricks herstel na noodgevallen (DR). Tabelpad: system.replication.states	Ja	365 dagen	Globaal
SQL Warehouse-gebeurtenissen	Legt gebeurtenissen vast die betrekking hebben op SQL-warehouses. Bijvoorbeeld: starten, stoppen, uitvoeren, omhoog en omlaag schalen. Tabelpad: system.compute.warehouse_events	Ja	365 dagen	Regionaal
SQL-magazijnen	Bevat de volledige geschiedenis van configuraties in de loop van de tijd voor elk SQL-warehouse. Tabelpad: system.compute.warehouses	Ja	365 dagen	Regionaal
Tabelherkomst	Bevat een record voor elke lees- of schrijfbeurtenis in een Unity Catalog-tabel of -pad. Tabelpad: system.access.table_lineage	Ja	365 dagen	Regionaal
Werkruimten (openbare preview)	De workspaces_latest tabel is een langzaam veranderende dimensietabel met metagegevens voor alle werkruimten in het account. Tabelpad: system.access.workspaces_latest	Nee	Onbepaald	Globaal
Zerobus-opname (Streams) (Bèta)	Een tabel waarin alle gegevens worden opgeslagen die betrekking hebben op streamgebeurtenissen die zijn ontstaan door Zerobus Ingestiegebruik. Tabelpad: system.lakeflow.zerobus_stream	Ja	365 dagen	Regionaal
Zerobus-ingestie (Ingestie) (Beta)	Een tabel waarin alle gegevens met betrekking tot records worden opgeslagen die zijn opgenomen met Zerobus Ingest. Tabelpad: system.lakeflow.zerobus_ingest	Ja	365 dagen	Regionaal

Systeemtabellen zijn gratis te gebruiken. Er worden alleen kosten in rekening gebracht voor de berekening die wordt gebruikt om er query's op uit te voeren.

Notitie

Mogelijk ziet u andere systeemtabellen in uw account, naast de hierboven genoemde tabellen. Deze tabellen bevinden zich momenteel in privévoorbeeld en zijn standaard leeg. Als u geïnteresseerd bent in het gebruik van een van deze tabellen, neemt u contact op met uw Databricks-accountteam.

Relaties tussen systeemtabellen

In het volgende diagram met entiteitsrelaties wordt beschreven hoe de momenteel beschikbare systeemtabellen zich met elkaar verhouden. In dit diagram worden de primaire en vreemde sleutels van elke tabel gemarkeerd.

Systeemtabellen inschakelen

Omdat systeemtabellen worden beheerd door Unity Catalog, moet u ten minste één werkruimte met Unity Catalog in uw account hebben om de systeemtabellen van uw account in te schakelen. Systeemtabellen bevatten gegevens uit alle werkruimten in uw account, maar ze kunnen alleen worden geopend vanuit een werkruimte met Unity Catalog-functionaliteit.

De metastore moet zich in Unity Catalog Privilege Model versie 1.0 bevinden om toegang te krijgen tot systeemtabellen. Zie Upgrade naar overname van bevoegdheden.

Toegang verlenen tot systeemtabellen

Toegang tot systeemtabellen wordt beheerd door Unity Catalog. Gebruikers met de beheerdersrollen account en metastore hebben standaard toegang tot systeemtabellen. Om andere gebruikers toe te staan om query's uit te voeren op systeemtabellen, moet de beheerder gebruikers de volgende machtigingen verlenen: USE CATALOG in de systeemcatalogus, USE SCHEMA in de systeemschema's en SELECT in de systeemschema's. Zie Bevoegdheden beheren in Unity Catalog.

Systeemtabellen zijn alleen voor lezen en kunnen niet worden gewijzigd.

Notitie

Als uw account is gemaakt na 9 november 2023, hebt u mogelijk geen metastore-beheerder standaard. Zie Aan de slag met Unity Catalog voor meer informatie.

Bevatten systeemtabellen gegevens voor alle werkruimten in uw account?

Systeemtabellen bevatten operationele gegevens voor alle werkruimten in uw account die zijn geïmplementeerd in dezelfde cloudregio. Sommige tabellen bevatten globale gegevens. Zie de lijst met beschikbare tabellen voor meer informatie.

Hoewel systeemtabellen alleen kunnen worden geopend via een Unity Catalog-werkruimte, bevatten ze operationele gegevens uit niet-Unity Catalog-werkruimten in uw account.

Waar worden systeemtabelgegevens opgeslagen?

De systeemtabelgegevens van uw account worden opgeslagen in een Azure Databricks gehost opslagaccount in dezelfde regio als uw metastore. De gegevens worden veilig met u gedeeld met behulp van OpenSharing.

Configureer systeemtabelgegevensbehoud

Important

Configureerbare retentie voor systeemtabellen bevindt zich in bèta. Accountbeheerders kunnen de toegang tot deze functie beheren via de pagina Previews op accountniveau door zich aan te melden voor de preview System Tables Configurable Retention. Het kan tot 24 uur duren voordat de preview op je account is ingeschakeld.

Configureerbare retentie stelt een accountbeheerder in staat een enkele retentieperiode in te stellen die geldt voor alle ondersteunde systeemtabellen in hun account.

Wanneer deze bètafunctie in een account wordt ingeschakeld, wordt de gratis bewaarperiode automatisch 395 dagen voor alle ondersteunde systeemtabellen, ter vervanging van de tabelspecifieke perioden. Accountbeheerders kunnen vervolgens een aangepaste retentieperiode instellen van 30 tot 3.650 dagen.

De geconfigureerde retentieperiode is gratis tijdens de bèta. Gegevens die langer dan 395 dagen worden bewaard, zullen opslagkosten met zich meebrengen wanneer configureerbare bewaring algemeen beschikbaar wordt.

Ondersteunde tabellen

De geconfigureerde retentieperiode voor je account geldt voor alle systeemtabellen behalve die in de system.data_classification en system.data_quality_monitoring schema's.

Configureer de bewaartermijn in de accountconsole

Je moet accountbeheerder zijn om systeemtabelbehoud te configureren. Om de retentieperiode te configureren:

1. Klik in de zijbalk van de accountconsole op Instellingen.
2. Klik op het tabblad Accountinstellingen .
3. In de instelling voor systeemtabellen gegevensbehoud (dagen) voer je de bewaarperiode in dagen in.
4. Klik op Opslaan.

Configureer retentie met de Account Settings API

Je kunt systeemtabelretentie beheren met de Azure Databricks Account Settings API. Je hebt je Azure Databricks-account-ID en een account admin personal access token of OAuth-token nodig. De naam van de setting is st_retention.

Om de huidige retentieperiode op te halen, stuur een GET verzoek naar /api/2.1/accounts/{account_id}/settings/st_retention:

curl --request GET \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer $token" \
  "<account-console-url>/api/2.1/accounts/<account-id>/settings/st_retention"

De reactie bevat de waarde die voor het account is ingesteld. Als een accountbeheerder geen waarde heeft geconfigureerd, bevat de reactie de standaardwaarde van 395 dagen.

Om de retentieperiode te wijzigen, stuur een PATCH verzoek naar /api/2.1/accounts/{account_id}/settings/st_retention. Het volgende voorbeeld stelt de retentieperiode in op 400 dagen:

curl --request PATCH \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer $token" \
  --data '{
    "integer_val": {
      "value": 400
    },
    "name": "st_retention"
  }' \
  "<account-console-url>/api/2.1/accounts/<account-id>/settings/st_retention"

Retentiegedrag

• Als je de retentieperiode verlengt, geldt de wijziging direct voor de tabellen.
• Als je de retentietijd verkort, wacht Azure Databricks zeven dagen voordat de wijziging wordt toegepast. Tijdens deze respijtperiode kan een accountbeheerder een onbedoelde wijziging corrigeren voordat historische gegevens permanent worden verwijderd.
• Wanneer een record de geconfigureerde bewaarperiode overschrijdt, verwijdert Azure Databricks het record doorgaans binnen een week.

Limitations

• Configureerbare retentie geldt niet voor de system.data_classification, en system.data_quality_monitoring schema's. Deze systeemtabellen bewaren gegevens volgens hun tabelspecifieke retentiebeleid.
• Het verlengen van de retentieperiode vult geen historische gegevens aan.
• In het geval van een ramp of totaal dataverlies garandeert Azure Databricks geen herstel van alle systeemtabelgegevens gedurende de geconfigureerde bewaarperiode.

Waar bevinden zich systeemtabellen in Catalog Explorer?

De systeemtabellen in uw account bevinden zich in een catalogus met de naam system, die is opgenomen in elke Unity Catalog-metastore. In de system catalogus ziet u schema's zoals access en billing die de systeemtabellen bevatten.

Overwegingen voor streamingsysteemtabellen

Azure Databricks gebruikt OpenSharing om systeemtabelgegevens te delen met klanten. Houd rekening met de volgende overwegingen bij het streamen met OpenSharing:

• Om te streamen vanuit systeemtabellen moet je Databricks Runtime 16.4 en hoger gebruiken. Om de change data feed (CDF) te streamen met de readChangeFeed optie, moet je Databricks Runtime 17.3 en hoger gebruiken.
• Als u streaming gebruikt met systeemtabellen, stelt u de optie skipChangeCommits in op true. Dit zorgt ervoor dat de streamingtaak niet wordt onderbroken door verwijderingen in de systeemtabellen. Zie Wijzigingen in Delta Lake-brontabellen verwerken.
• Trigger.AvailableNow wordt ondersteund in Databricks Runtime 18.0 en hoger. De query legt de huidige versie van de systeemtabel vast wanneer deze wordt gestart, verwerkt alle beschikbare gegevens in een of meer microbatches en stopt vervolgens. Op Databricks Runtime 17.3 en lager wordt Trigger.AvailableNow geconverteerd naar Trigger.Once, waarmee één micro-batch per uitvoering wordt verwerkt.
• Systeemtabellen maken gebruik van de standaardretentie VACUUM van 7 dagen (zie Gegevensretentie configureren voor tijdreisquery's), wat betekent dat uw streamingquery kan breken als deze langer dan 7 dagen achterloopt. Bewaak uw streams om ervoor te zorgen dat ze bijblijven met de nieuwste versie van de systeemtabel.

Als uw streamingtaak de recentste versie van de systeemtabel niet kan bijhouden, gebruikt u Trigger.AvailableNow (ondersteund op Databricks Runtime 18.0 en hoger) zodat bij elke uitvoering de volledige beschikbare achterstand wordt verwerkt, of kunt u de geplande frequentie van de taak verhogen.

Incrementele wijzigingen lezen uit streamingsysteemtabellen

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Bekende problemen

• Nieuwe kolommen kunnen op elk gewenst moment worden toegevoegd aan bestaande systeemtabellen. Query's die afhankelijk zijn van een vast schema, kunnen worden verbroken als er nieuwe kolommen worden geïntroduceerd. Bestaande kolommen worden niet gewijzigd of verwijderd. Als u systeemtabelgegevens naar een andere doeltabel schrijft, kunt u overwegen om schemaontwikkeling mogelijk te maken.
• Nieuwe velden kunnen op elk gewenst moment worden toegevoegd aan struct-getypte kolommen. Als u systeemtabelgegevens naar een andere doeltabel schrijft, kunt u overwegen om schemaontwikkeling mogelijk te maken.
• Geen ondersteuning voor realtime bewaking. Gegevens worden de hele dag bijgewerkt. Als u geen logboek ziet voor een recente gebeurtenis, controleert u het later opnieuw.
• Het __internal_logging systeemtabelschema ondersteunt het vastleggen van payloads met behulp van inferenzietabellen met AI Gateway-ondersteuning voor externe modellen en geconfigureerde doorvoerwerkbelastingen. Dit schema is zichtbaar voor accountbeheerders, maar kan niet worden ingeschakeld en mag niet worden gebruikt voor klantwerkstromen.
• Om prestatieproblemen te voorkomen, retourneren systeemtabelquery's die niet voldoende selectief zijn de volgende fout: System Table query returned too much data. Please repeat query with more selective predicates.

• Als u systeemtabellen wilt inschakelen, moet u mogelijk netwerktoegang verlenen tot het Blob Storage-eindpunt van de systeemtabellen. Als u een lijst met het opslageindpunt van de systeemtabellen van elke regio wilt weergeven, raadpleegt u IP-adressen van opslageindpunten.
• De systeemschema's system.operational_data en system.lineage zijn afgeschaft en bevatten lege tabellen.