Referenční informace k tabulce systému fakturovatelného využití

Tento článek obsahuje přehled fakturovatelné tabulky systému využití, včetně schématu a ukázkových dotazů. V systémových tabulkách jsou fakturovatelná data o využití vašeho účtu centralizovaná a směrovaná do všech oblastí, takže můžete zobrazit globální využití vašeho účtu z jakékoli oblasti, ve které se váš pracovní prostor nachází.

Informace o použití této tabulky k monitorování nákladů a ukázkových dotazů najdete v tématu Monitorování nákladů pomocí systémových tabulek.

Cesta k tabulce: Tato systémová tabulka se nachází na system.billing.usageadrese .

Schéma tabulky fakturovatelného využití

Tabulka fakturovatelného systému využití používá následující schéma:

Název sloupce Datový typ Description Example
record_id řetězec Jedinečné ID pro tento záznam o využití 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id řetězec ID účtu, pro který byl tento report vygenerován 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id řetězec ID pracovního prostoru, ke které bylo toto využití přidruženo 1234567890123456
sku_name řetězec Název skladové položky STANDARD_ALL_PURPOSE_COMPUTE
cloud řetězec Cloud přidružený k tomuto využití Možné hodnoty jsou AWS, AZUREa GCP. AWS, AZURE nebo GCP
usage_start_time časové razítko Počáteční čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s +00:00 představující časové pásmo UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time časové razítko Koncový čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s +00:00 představující časové pásmo UTC. 2023-01-09 11:00:00.000+00:00
usage_date date Datum záznamu o využití, toto pole lze použít k rychlejší agregaci podle data. 2023-01-01
custom_tags mapa Vlastní značky přidružené k záznamu využití { “env”: “production” }
usage_unit řetězec Jednotka, ve které se toto využití měří DBU
usage_quantity desítkové číslo Počet jednotek spotřebovaných pro tento záznam 259.2958
usage_metadata struktura Systémová metadata o využití, včetně ID výpočetních prostředků a úloh (pokud je k dispozici). Viz metadata použití. Zobrazit metadata o využití
identity_metadata struktura Systémová metadata o identitách, které jsou součástí použití. Viz Metadata identity. Viz metadata o identitě
record_type řetězec Bez ohledu na to, zda je záznam původní, odvolání nebo přehodnocení. Hodnota je ORIGINAL, pokud není záznam spojen s opravou. Viz Typ záznamu. ORIGINAL
ingestion_date date Datum, kdy se záznam ingestoval do tabulky usage 2024-01-01
billing_origin_product řetězec Produkt, který začal používání. Některé produkty se můžou účtovat jako různé skladové položky. Možné hodnoty najdete v tématu Produkt. JOBS
product_features struktura Podrobnosti o použitých funkcích produktu Viz funkce produktu . Zobrazit funkce produktu
usage_type řetězec Typ využití přiřazený k produktu nebo úloze pro účely fakturace. Možné hodnoty jsou COMPUTE_TIME, , STORAGE_SPACE, NETWORK_BYTE, NETWORK_HOURAPI_OPERATIONTOKENGPU_TIMEnebo .ANSWER STORAGE_SPACE

Referenční informace o metadatech použití

Hodnoty v usage_metadata jsou všechny řetězce, které vám řeknou o objektech a prostředcích pracovního prostoru zahrnutých v záznamu o využití.

V libovolném záznamu o využití se vyplní jenom podmnožina těchto hodnot v závislosti na použitém výpočetním typu a funkcích. Třetí sloupec v tabulce ukazuje, které typy použití naplňují jednotlivé hodnoty.

Value Description Vyplněno pro (jinak null)
cluster_id ID clusteru přidruženého k záznamu využití Využití výpočetních prostředků bez serveru, včetně poznámkových bloků, úloh, deklarativních kanálů Sparku lakeflow a služeb starší verze modelu
job_id ID úlohy přidružené k záznamu využití Bezserverové úlohy a úlohy běží na výpočetních prostředcích úloh (nenaplní se pro úlohy spouštěné na výpočetních prostředcích pro všechny účely)
warehouse_id ID SQL Warehouse přidruženého k záznamu využití Úlohy spuštěné ve službě SQL Warehouse
instance_pool_id ID fondu instancí přidruženého k záznamu využití Využití výpočetních prostředků bez serveru z fondů, včetně poznámkových bloků, úloh, deklarativních kanálů Sparku Lakeflow a obsluhy starších modelů
node_type Typ výpočetní instance. Toto pole nerozlišuje mezi ovladači a pracovními uzly. Viz Typ uzlu. Využití bezserverového výpočetního prostředí, včetně poznámkových bloků, úloh, deklarativních kanálů Sparku Lakeflow a všech skladů SQL
job_run_id ID spuštění úlohy, které je přidruženo k záznamu využití Bezserverové úlohy a úlohy běží na výpočetních prostředcích úloh (nenaplní se pro úlohy spouštěné na výpočetních prostředcích pro všechny účely)
notebook_id ID notebooku spojeného s využitím Bezserverové poznámkové bloky
dlt_pipeline_id ID kanálu přidruženého k záznamu využití Deklarativní kanály a funkce Sparku Lakeflow, které používají deklarativní kanály Lakeflow Sparku, jako jsou materializovaná zobrazení, online tabulky, indexování AI Search a Lakeflow Connect
endpoint_name Název modelu obsluhující koncový bod nebo koncový bod vyhledávání AI přidružený k záznamu využití Obsluha modelů a vyhledávání AI
endpoint_id ID modelu obsluhující koncový bod nebo koncový bod vyhledávání AI přidružený k záznamu využití Obsluha modelů a vyhledávání AI
dlt_update_id ID aktualizace kanálu přidružené k záznamu využití Deklarativní kanály a funkce Sparku Lakeflow, které používají deklarativní kanály Lakeflow Sparku, jako jsou materializovaná zobrazení, online tabulky, indexování AI Search a Lakeflow Connect
dlt_maintenance_id ID úloh údržby kanálu přidružených k záznamu využití Deklarativní kanály a funkce Sparku Lakeflow, které používají deklarativní kanály Lakeflow Sparku, jako jsou materializovaná zobrazení, online tabulky, indexování AI Search a Lakeflow Connect
metastore_id Tato hodnota není vyplněna v Azure Databricks Vždy null
run_name Jedinečný název určený pro uživatele procesu ladění základního modelu přidruženého k záznamu využití Vyladění základního modelu
job_name Uživatelsky zadaný název úlohy přidružené k záznamu využití Úlohy běží na bezserverových výpočetních prostředcích
notebook_path Cesta k úložišti pracovního prostoru poznámkového bloku spojeného s užitím Notebooky běží na bezserverových výpočetních prostředcích
central_clean_room_id ID centrální čisté místnosti přidružené k záznamu o využití Čisté pokoje
source_region Oblast pracovního prostoru související s využitím Vrátí hodnotu pouze pro využití bezserverové sítě. Bezserverová síť
destination_region Oblast zdroje, ke kterému se přistupuje. Vrátí hodnotu pouze pro využití bezserverové sítě. Bezserverová síť
app_id ID aplikace přidružené k záznamu využití Aplikace Databricks
app_name Uživatelské jméno aplikace přidružené k záznamu využití Aplikace Databricks
private_endpoint_name Název použitelného privátního koncového bodu nasazeného s bezserverovými výpočetními prostředky Bezserverová síť
budget_policy_id Deprecated. Místo toho použijte usage_policy_id. ID zásady použití bez serveru připojené k úloze Využití bezserverového výpočetního prostředí, včetně poznámkových bloků, úloh, deklarativních kanálů Sparku lakeflow a modelů obsluhujících koncové body
storage_api_type Typ operace prováděné na výchozím úložišti. Možné hodnoty jsou TIER_1 (PUT, COPY, POST, LIST) a TIER_2 (jiné operace) Výchozí úložiště
ai_runtime_workload_id ID bezserverové úlohy GPU přidružené k záznamu využití Pracovní zátěže AI Runtime
uc_table_catalog Název katalogu Unity přidružený k záznamu využití Materializovaná zobrazení
uc_table_schema Název schématu katalogu Unity přidružený k záznamu využití Materializovaná zobrazení
uc_table_name Název tabulky Katalogu Unity přidružený k záznamu využití Materializovaná zobrazení
database_instance_id ID instance databáze přidružené k záznamu využití Instance databáze Lakebase
sharing_materialization_id ID materializace sdílení přidruženého k záznamu využití Zobrazení sdílení, materializovaných zobrazení a streamovaných tabulek pomocí OpenSharingu
usage_policy_id ID zásady použití bez serveru přidružené k záznamu využití Zásady použití bez serveru
agent_bricks_id ID úlohy Agent Bricks přidružené k záznamu využití Úlohy agenta správceznalostí
base_environment_id ID základního prostředí spojeného s využitím Použití z vytváření nebo aktualizace bezserverového prostředí pracovního prostoru Vyplněno, když billing_origin_product je BASE_ENVIRONMENTS.
schema_id ID schématu přidruženého k záznamu využití Detekce anomálií
table_id ID tabulky přidružené k záznamu využití Profilace dat
catalog_id ID katalogu Unity přidruženého k výchozímu využití úložiště Výchozí úložiště

Typ uzlu

Když ovladač klasického výpočetního prostředku a pracovní procesy používají stejný typ instance, jejich využití se zkombinuje do jednoho záznamu. Když ovladač výpočetních prostředků a pracovní uzly používají různé typy instancí, jejich použití se zobrazí jako samostatné záznamy: jeden pro typ instance ovladače a druhý pro pracovní proces.

Pokud chcete přiřadit použití ke konkrétní roli uzlu, můžete křížově odkazovat usage_metadata.cluster_id v tabulce využití s daty z tabulek výpočetního systému. Tabulka system.compute.clusters zaznamenává jednotlivé clustery driver_node_type a worker_node_typea system.compute.node_timeline tabulka obsahuje driver logický sloupec, který identifikuje roli jednotlivých uzlů.

Referenční informace k metadatům identity

Sloupec identity_metadata poskytuje další informace o identitách, které jsou součástí použití.

  • Pole run_as protokoluje, kdo spustil úlohu. Tyto hodnoty se vyplní pouze pro určité typy úloh uvedené v následující tabulce.
  • Pole owned_by platí jenom pro využití datového skladu SQL a protokoluje uživatele nebo instanční objekt, který vlastní datový sklad SQL odpovědný za toto využití.

run_as identity

Identita zaznamenaná v identity_metadata.run_as závisí na produktu přidruženém k použití. Informace o chování identity_metadata.run_as najdete v následující tabulce:

Typ úlohy Identita run_as
Výpočetní úlohy Uživatel nebo služební hlavní objekt definovaný v run_as nastavení. Ve výchozím nastavení se úlohy spouštějí s identitou vlastníka úlohy, ale správci mohou tuto identitu změnit na jiného uživatele nebo služební účet.
Bezserverové výpočetní prostředky pro úlohy Uživatel nebo služební hlavní objekt definovaný v run_as nastavení. Ve výchozím nastavení se úlohy spouštějí s identitou vlastníka úlohy, ale správci mohou tuto identitu změnit na jiného uživatele nebo služební účet.
Bezserverové výpočetní pro notebooky Uživatel, který spustil příkazy poznámkového bloku (konkrétně uživatel, který vytvořil relaci poznámkového bloku). U sdílených poznámkových bloků to zahrnuje použití jinými uživateli, kteří sdílejí stejnou relaci poznámkového bloku.
Deklarativní kanály Sparku Lakeflow Uživatel nebo instanční objekt, jehož oprávnění se používají ke spuštění potrubí. To se dá změnit převodem vlastnictví kanálu.
Vyladění základního modelu Uživatel nebo servisní účet, který inicioval vyladění tréninkového spuštění.
Prediktivní optimalizace Instanční objekt vlastněný službou Databricks, který spouští prediktivní optimalizační operace.
Monitorování kvality dat Uživatel, který profil vytvořil

Reference k typu záznamu

Tabulka billing.usage podporuje opravy. K opravám dochází, když je jakékoli pole záznamu o využití nesprávné a musí být opraveno.

Když dojde k opravě, Azure Databricks do tabulky přidá dva nové záznamy. Záznam odvolání neguje původní nesprávný záznam a potom záznam opětovného obnovení obsahuje opravené informace. Záznamy oprav se identifikují pomocí record_type pole:

  • RETRACTION: Slouží k negovat původní nesprávné použití. Všechna pole jsou shodná se záznamem ORIGINAL s výjimkou usage_quantityzáporné hodnoty, která zruší původní množství využití. Pokud bylo například množství využití původního záznamu 259.4356, pak by záznam odvolání měl množství využití -259.4356.
  • RESTATEMENT: Záznam, který obsahuje správná pole a množství využití.

Například následující dotaz vrátí správné hodinové množství využití související s , job_idi když byly provedeny opravy. Agregací množství využití se původní záznam neguje a vrátí se pouze hodnoty upraveného záznamu.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Note

Pro opravy, u kterých by původní záznam o využití neměl být zapsán, může oprava přidat pouze záznam odvolání a žádný záznam o opětovném obnovení.

referenční číslo produktu původu fakturace

Některé produkty Databricks se účtují ve stejné sdílené skladové položce. Například monitorování kvality dat, prediktivní optimalizace a bezserverové pracovní postupy se účtují pod stejnou skladovou položkou bezserverové úlohy.

Sloupce billing_origin_product a product_features, které vám pomůžou odlišit využití, poskytují lepší přehled o konkrétním produktu a funkcích přidružených k využití.

Ve sloupci billing_origin_product se zobrazuje produkt Databricks přidružený k záznamu o využití. Mezi tyto hodnoty patří:

Value Description
JOBS Náklady spojené s pracovními zátěžemi Lakeflow
DLT Náklady spojené s úlohami deklarativních kanálů Sparku Lakeflow
SQL Náklady spojené s Databricks SQL, včetně úloh spuštěných na SQL skladištích a materializovaných zobrazení
ALL_PURPOSE Náklady spojené s klasickým výpočetním prostředím pro všechny účely
MODEL_SERVING Náklady spojené s obsluhou modelů
INTERACTIVE Náklady spojené s bezserverovými interaktivními úlohami
DEFAULT_STORAGE Náklady spojené s výchozím úložištěm
VECTOR_SEARCH Náklady spojené se službou AI Search
LAKEHOUSE_MONITORING Náklady spojené s monitorováním kvality dat
PREDICTIVE_OPTIMIZATION Náklady spojené s prediktivní optimalizací
ONLINE_TABLES Náklady spojené s online tabulkami (původní)
FOUNDATION_MODEL_TRAINING Náklady spojené s vyladěním základního modelu
AGENT_EVALUATION Náklady spojené s vyhodnocením agenta
FINE_GRAINED_ACCESS_CONTROL Bezserverové využití z podrobného řízení přístupu na dedikovaném výpočetním výkonu
EXTERNAL_COMPATIBILITY Bezserverové využití z ABAC napříč moduly
BASE_ENVIRONMENTS Použití spojené s sestavením nebo aktualizací bezserverového prostředí pracovního prostoru
DATA_CLASSIFICATION Náklady spojené s operacemi klasifikace dat
DATA_QUALITY_MONITORING Náklady spojené s monitorováním kvality dat, včetně detekce anomálií a profilace dat
DATA_SHARING Náklady spojené s OpenSharingem
AI_GATEWAY Náklady spojené s využitím AI Gateway
AI_RUNTIME Náklady spojené s úlohami GPU bez serveru
NETWORKING Náklady spojené s připojením bezserverové výpočetní služby k vašim prostředkům prostřednictvím soukromých koncových bodů Pro použití NETWORKING je workspace_idnull, usage_unit je hour, a networking.connectivity_type je PRIVATE_IP.
APPS Náklady spojené se sestavováním a spouštěním aplikací Databricks
DATABASE Náklady spojené s instancemi zřízené databáze Lakebase
LAKEBASE Náklady spojené s Lakebase Postgres
AI_FUNCTIONS Náklady spojené s využitím AI Functions Tento produkt zaznamenává využití AI_PARSE_DOCUMENTAI_EXTRACTAI_CLASSIFY.
AGENT_BRICKS Náklady spojené s úlohami asistenta znalostíagenta správce
CLEAN_ROOM Náklady spojené s úlohami Clean Rooms
LAKEFLOW_CONNECT Náklady spojené se spravovanými konektory Lakeflow Connect

Referenční informace k funkcím produktu

Sloupec product_features je objekt obsahující informace o použitých konkrétních funkcích produktu a obsahuje následující páry klíč/hodnota:

Obor Description
jobs_tier Mezi hodnoty patří LIGHT, CLASSICnebo null
sql_tier Mezi hodnoty patří CLASSIC, PROnebo null
dlt_tier Mezi hodnoty patří CORE, PRO, ADVANCEDnebo null
is_serverless Hodnoty zahrnují true nebo falsenebo null (hodnota je true nebo false když si můžete vybrat mezi bezserverovým a klasickým výpočetním prostředím, jinak je nullto )
is_photon Hodnoty zahrnují true nebo falsenebo nebo null
serving_type Mezi hodnoty patří MODEL, , GPU_MODELFOUNDATION_MODEL, FEATUREnebonull
offering_type Hodnoty zahrnují BATCH_INFERENCE nebo null
performance_target Označuje režim výkonu bezserverové úlohy nebo datového toku. Mezi hodnoty patří PERFORMANCE_OPTIMIZED, STANDARDnebo null. Bezserverové úlohy mají null hodnotu.
ai_runtime.compute_type Určuje typ výpočetního výkonu pro úlohy GPU bez serveru nebo null
model_serving.offering_type Označuje typ nabídky pro obsluhu modelu nebo null
ai_gateway.feature_type Označuje typ funkce pro úlohy AI Gateway nebo null
serverless_gpu.workload_type Označuje typ úlohy pro AI Runtime (bezserverové GPU) nebo null
ai_functions.ai_function Označuje typ funkce AI nebo null
networking.connectivity_type Hodnoty zahrnují PUBLIC_IP a PRIVATE_IP
agent_bricks.problem_type Označuje typ problému pro úlohy Knowledge Assistant. Hodnoty zahrnují AGENT_BRICKS_KNOWLEDGE_ASSISTANT nebo null.
agent_bricks.workload_type Označuje typ úlohy pro Pomocníka pro znalostní bázi . Hodnoty zahrnují AGENT_BRICKS_REAL_TIME_INFERENCE nebo null
  • Last updated on