청구 가능한 사용량 시스템 테이블 참조

아티클
05/04/2024

Important

이 기능은 공개 미리 보기 상태입니다.

이 문서에서는 스키마 및 예제 쿼리를 포함하여 청구 가능한 사용 시스템 테이블에 대한 개요를 제공합니다. 시스템 테이블을 사용하면 계정의 청구 가능 사용량 데이터가 중앙 집중화되고 모든 지역으로 라우팅되므로 작업 영역이 있는 지역에서 계정의 전역 사용량을 볼 수 있습니다.

청구 가능한 사용 테이블 스키마

청구 가능한 사용량 시스템 테이블은 다음 스키마에 system.billing.usage 있으며 사용합니다.

열 이름	데이터 형식	설명	예시
`record_id`	string	이 레코드의 고유 ID	`11e22ba4-87b9-4cc2-9770-d10b894b7118`
`account_id`	string	이 보고서가 생성된 계정의 ID입니다.	`23e22ba4-87b9-4cc2-9770-d10b894b7118`
`workspace_id`	string	이 사용이 연결된 작업 영역의 ID	`1234567890123456`
`sku_name`	string	SKU의 이름	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	클라우드 이 사용법은 관련이 있습니다. 가능한 값은 `AWS`, `AZURE` 및 `GCP` 입니다.	`AWS`, `AZURE` 또는 `GCP`
`usage_start_time`	timestamp	이 사용 레코드와 관련된 시작 시간	`2023-01-09 10:00:00.000`
`usage_end_time`	timestamp	이 사용 레코드와 관련된 종료 시간	`2023-01-09 11:00:00.000`
`usage_date`	date	사용 레코드의 날짜입니다. 이 필드는 날짜별 더 빠른 집계에 사용할 수 있습니다.	`2023-01-01`
`custom_tags`	map	사용자가 이 사용에 적용한 태그	`{ “env”: “production” }`
`usage_unit`	string	이 사용량을 단위로 측정합니다. 가능한 값에는 DPU가 포함됩니다.	`DBU`
`usage_quantity`	decimal	이 레코드에 사용된 단위 수입니다.	`259.2958`
`usage_metadata`	struct	컴퓨팅 리소스 및 작업에 대한 ID를 포함하여 사용량에 대한 시스템 제공 메타데이터(해당하는 경우). 사용량 메타데이터 분석을 참조하세요.	`{cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}`
`identity_metadata`	struct	사용과 관련된 ID에 대한 시스템 제공 메타데이터입니다. ID 메타데이터 분석을 참조하세요.	`{run_as: example@email.com}`
`record_type`	string	레코드가 수정인지 여부입니다. 가능한 값은 `ORIGINAL`, `RETRACTION` 및 `RESTATEMENT` 입니다.	`ORIGINAL`
`ingestion_date`	date	레코드가 테이블에 수집된 날짜입니다 `usage` .	`2024-01-01`
`billing_origin_product`	string	사용에서 시작된 제품입니다. 일부 제품은 다른 SKU로 청구할 수 있습니다. 가능한 값은 사용량과 연결된 제품에 대한 정보 보기를 참조하세요.	`JOBS`
`product_features`	struct	사용되는 특정 제품 기능에 대한 세부 정보입니다.	가능한 값은 제품 기능을 참조 하세요.
`usage_type`	string	청구 목적으로 제품 또는 워크로드에 기인하는 사용 유형입니다. 가능한 값은 `COMPUTE_TIME`, `COMPUTE_SLOT`, `STORAGE_SPACE`, `NETWORK_BYTES`, `API_CALLS`, `TOKEN` 또는 `GPU_TIME`입니다.	`STORAGE_SPACE`

사용량 메타데이터 분석

이 값은 usage_metadata 사용량 레코드와 관련된 리소스에 대해 알려줍니다.

값	데이터 형식	설명
`cluster_id`	`string`	사용 레코드와 연결된 클러스터의 ID
`instance_pool_id`	`string`	사용 레코드와 연결된 인스턴스 풀의 ID
`node_type`	`string`	컴퓨팅 리소스의 인스턴스 유형
`job_id`	`string`	사용 레코드와 연결된 작업의 ID
`job_run_id`	`string`	사용 레코드와 연결된 작업 실행의 ID
`notebook_id`	`string`	사용 레코드와 연결된 Notebook의 ID
`dlt_pipeline_id`	`string`	사용 레코드와 연결된 Delta Live Tables 파이프라인의 ID

참고 항목

드물긴 하지만 Azure job_run_id Databricks가 메타데이터 캡처 job_run_id 를 시작하기 전에 컴퓨팅이 실행되기 시작한 장기 실행 작업의 경우 채워지지 않습니다. 작업의 컴퓨팅을 다시 시작하여 기록을 시작합니다 job_run_id.

job_id 또는 notebook_id 사용하여 UI에서 작업 또는 Notebook 찾기

이 지침에서는 ID에 따라 UI에서 특정 작업 또는 Notebook을 끌어오는 방법을 설명합니다.

다음을 기반으로 job_idUI에서 작업을 찾으려면

job_id 사용 레코드에서 복사합니다. 이 예제에서는 ID가 .입니다 700809544510906.
작업과 동일한 Azure Databricks 작업 영역에서 워크플로 UI로 이동합니다.
필터가 소유한 유일한 작업이 검사 않았는지 확인합니다.
ID(700809544510906)를 필터 작업 검색 창에 붙여넣습니다.

UI를 기반으로 UI에서 Notebook을 notebook_id찾으려면 다음 지침을 사용합니다.

notebook_id 사용 레코드에서 복사합니다. 이 예제에서는 ID가 .입니다 700809544510906.
Notebook과 동일한 Azure Databricks 작업 영역에서 작업 영역 UI로 이동합니다.
표시되는 전자 필기장을 클릭합니다.
Notebook을 연 후 브라우저 주소 표시줄에서 URL을 검사합니다. https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID> 형식입니다.
브라우저 주소 표시줄에서 전자 필기장 ID를 첫 번째 단계에서 복사한 ID로 바꾼 다음 전자 필기장 ID 다음에 있는 모든 항목을 삭제합니다. https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906 형식입니다.
전자 필기장을 끌어온 후 공유 단추를 클릭하여 전자 필기장 소유자를 볼 수 있습니다.

ID 메타데이터 분석

이 열은 identity_metadata 서버리스 청구 레코드를 담당하는 사용자를 식별하는 데 도움이 될 수 있습니다. 열에는 ID에 run_as 대한 사용 특성을 지정하는 값이 포함됩니다. 기록된 identity_metadata.run_as ID는 사용량과 연결된 제품에 따라 달라집니다.

동작은 다음 표를 참조하세요 identity_metadata.run_as .

워크로드 유형	의 ID `run_as`
워크플로에 대한 서버리스 컴퓨팅	실행에 설정으로 정의된 사용자 또는 서비스 주체입니다. 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다.
Notebook에 대한 서버리스 컴퓨팅	Notebook 명령을 실행한 사용자(특히 Notebook 세션을 만든 사용자)입니다. 공유 전자 필기장의 경우 동일한 전자 필기장 세션을 공유하는 다른 사용자의 사용량이 포함됩니다.

사용량과 관련된 제품에 대한 정보 보기

일부 Databricks 제품은 동일한 공유 SKU로 청구됩니다. 사용 현황을 구분하기 위해 열과 열은 사용 billing_origin_product 량과 product_features 관련된 특정 제품 및 기능에 대한 더 많은 인사이트를 제공합니다.

이 열에는 billing_origin_product 사용량 레코드와 연결된 Databricks 제품이 표시됩니다. 값은 다음과 같습니다.

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
MANAGED_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES

열은 product_features 사용되는 특정 제품 기능에 대한 정보를 포함하는 개체이며 다음 키/값 쌍을 포함합니다.

jobs_tier: 값에 포함 LIGHT, CLASSIC또는 null
sql_tier: 값에 포함 CLASSIC, PRO또는 null
dlt_tier: 값에 포함 CORE, PRO, ADVANCED또는 null
is_serverless: 값 포함 true 또는 false, 또는 null
is_photon: 값 포함 true 또는 false, 또는 null
serving_type: 값에는 포함MODEL, GPU_MODEL, FOUNDATION_MODEL또는 FEATUREnull

서버리스 컴퓨팅 사용량

서버리스 사용량을 분석하는 전략은 서버리스 컴퓨팅 비용 모니터링을 참조 하세요.

샘플 쿼리

다음 샘플 쿼리를 사용하여 청구 가능한 사용량에 대한 일반적인 질문에 대답할 수 있습니다.

DBU 소비의 일일 추세는 무엇인가요?
이번 달 내내 사용된 각 SKU의 DPU는 몇 개입니까?
6월 1일에 작업 영역에서 사용한 각 SKU의 양
DTU를 가장 많이 사용한 작업은 무엇입니까?
특정 태그가 있는 리소스의 사용량은 얼마인가요?
사용량이 증가하는 SKU 표시
다목적 컴퓨팅(Photon)의 사용 추세는 무엇인가요?
구체화된 뷰 또는 스트리밍 테이블의 DBU 사용량은 무엇인가요?

DBU 소비의 일일 추세는 무엇인가요?

SELECT usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
  FROM system.billing.usage
WHERE sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY usage_date
ORDER BY usage_date ASC

이번 달 내내 사용된 각 SKU의 DPU는 몇 개입니까?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs`
    FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY sku_name, usage_date

6월 1일에 작업 영역에서 사용한 각 SKU의 양

실제 작업 영역 ID로 바꾸어 workspace_id 야 합니다.

SELECT sku_name, sum(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE workspace_id = 1234567890123456
AND usage_date = "2023-06-01"
GROUP BY sku_name

참고 항목

이 쿼리는 선택한 날짜에 작업 영역에서 사용되는 고유한 SKU ID당 하나의 행을 반환합니다.

DTU를 가장 많이 사용한 작업은 무엇입니까?

SELECT usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `DBUs`
FROM system.billing.usage
WHERE usage_metadata.job_id IS NOT NULL
GROUP BY `Job ID`
ORDER BY `DBUs` DESC

특정 태그가 있는 리소스의 사용량은 얼마인가요?

다양한 방법으로 비용을 절감할 수 있습니다. 이 예제에서는 사용자 지정 태그로 비용을 구분하는 방법을 보여줍니다. 쿼리에서 사용자 지정 태그의 키와 값을 바꿔야 합니다.

SELECT sku_name, usage_unit, SUM(usage_quantity) as `DBUs consumed`
FROM system.billing.usage
WHERE custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

사용량이 증가하는 SKU 표시

SELECT after.sku_name, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT sku_name, sum(usage_quantity) as before_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY sku_name) as before
JOIN
(SELECT sku_name, sum(usage_quantity) as after_dbus
    FROM system.billing.usage
WHERE usage_date BETWEEN "2023-05-01" and "2023-05-30"
GROUP BY sku_name) as after
where before.sku_name = after.sku_name
SORT by growth_rate DESC

다목적 컴퓨팅(Photon)의 사용 추세는 무엇인가요?

SELECT sku_name, usage_date, sum(usage_quantity) as `DBUs consumed`
    FROM system.billing.usage
WHERE year(usage_date) = year(CURRENT_DATE)
AND sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND usage_date > "2023-04-15"
GROUP BY sku_name, usage_date

구체화된 뷰 또는 스트리밍 테이블의 DBU 사용량은 무엇인가요?

구체화된 특정 뷰 또는 스트리밍 테이블에 대한 DBU 사용량 및 SKU를 확인하려면 연결된 파이프라인 ID(dlt_pipeline_id)가 필요합니다. 카탈로그 탐색기에서 관련 구체화된 뷰 또는 스트리밍 테이블을 볼 때 세부 정보 탭에서 파이프라인 ID를 찾습니다.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "113739b7-3f45-4a88-b6d9-e97051e773b9"
  AND usage_start_time > "2023-05-30"
GROUP BY
  ALL

다음을 통해 공유