선언적 자동화 번들(이전의 Databricks 자산 번들)을 사용하면 번들 구성의 resources 매핑에서 번들이 사용하는 Azure Databricks 리소스에 대한 정보를 지정할 수 있습니다.
리소스 참조를 참조하세요.
이 페이지에서는 번들에 대해 지원되는 모든 리소스 종류에 대한 구성 참조를 제공하고 지원되는 각 유형에 대한 세부 정보 및 예제를 제공합니다. 추가 예제는 번들 구성 예제참조하세요.
YAML 구성의 유효성을 검사하는 데 사용되는 번들에 대한 JSON 스키마는 Databricks CLI GitHub 리포지토리 있습니다.
Tip
기존 리소스에 대한 YAML을 생성하려면 databricks bundle generate 명령을 사용합니다.
databricks 번들 생성을 참조하세요.
지원되는 리소스
다음 표에서는 번들에 대해 지원되는 리소스 종류(해당하는 경우 YAML 및 Python)를 나열합니다. 일부 리소스는 번들에 정의하고 번들을 배포하여 만들 수 있으며, 일부 리소스는 번들에 포함할 기존 자산을 참조해야만 만들 수 있습니다.
리소스 구성은 Databricks REST API 개체에 해당하는 Databricks 개체를 정의합니다. YAML로 표현되는 REST API 개체의 지원되는 만들기 요청 필드는 리소스의 지원되는 키입니다. 각 리소스의 해당 개체에 대한 설명서에 대한 링크는 아래 표에 있습니다.
Tip
databricks bundle validate 명령은 번들 구성 파일에서 알 수 없는 리소스 속성이 발견되면 경고를 반환합니다.
경고
Type: Map
경고 리소스는 SQL 경고(v2)를 정의합니다.
Databricks CLI 버전 0.279.0에 추가됨
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | Type | Description |
|---|---|---|
custom_description |
String | Optional. 경고에 대한 사용자 지정 설명입니다. 콧수염 템플릿을 지원합니다. Databricks CLI 버전 0.279.0에 추가됨 |
custom_summary |
String | Optional. 경고에 대한 사용자 지정 요약입니다. 콧수염 템플릿을 지원합니다. Databricks CLI 버전 0.279.0에 추가됨 |
display_name |
String | 필수 사항입니다. 경고의 표시 이름입니다(예: .) Example alert.Databricks CLI 버전 0.279.0에 추가됨 |
evaluation |
Map | 필수 사항입니다. 경고에 대한 평가 구성입니다.
alert.evaluation을 참조하세요. Databricks CLI 버전 0.279.0에 추가됨 |
file_path |
String | 경고 자산의 로컬 파일 경로입니다. Databricks CLI 버전 0.282.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.279.0에 추가됨 |
parent_path |
String | Optional. 경고가 포함된 폴더의 작업 영역 경로입니다. 만들기에만 설정할 수 있으며 업데이트할 수 없습니다. 예: /Users/someone@example.com.Databricks CLI 버전 0.279.0에 추가됨 |
permissions |
Sequence | 경고 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.279.0에 추가됨 |
query_text |
String | 필수 사항입니다. 실행할 쿼리의 텍스트입니다(예: SELECT 1.).Databricks CLI 버전 0.279.0에 추가됨 |
run_as |
Map | Optional. 경고를 실행하는 데 사용할 ID를 지정합니다. 이 필드를 사용하면 경고를 특정 사용자 또는 서비스 주체로 실행하도록 구성할 수 있습니다.
run_as 참조하세요.
Databricks CLI 버전 0.279.0에 추가됨 |
schedule |
Map | 필수 사항입니다. 경고에 대한 일정 구성입니다.
alert.schedule을 참조하세요. Databricks CLI 버전 0.279.0에 추가됨 |
warehouse_id |
String | 필수 사항입니다. 경고에 연결된 SQL 웨어하우스의 ID입니다(예: a7066a8ef796be84.).Databricks CLI 버전 0.279.0에 추가됨 |
경고 평가
Type: Map
경고에 대한 평가 구성입니다.
| Key | Type | Description |
|---|---|---|
comparison_operator |
String | 경고 평가에서 비교에 사용되는 연산자입니다. |
empty_result_state |
String | 결과가 비어 있는 경우의 경고 상태입니다.
UNKNOWN 필드를 설정하지 마십시오, 왜냐하면 UNKNOWN 상태는 더 이상 사용되지 않을 계획입니다. |
notification |
Map | 경고가 트리거될 때 알릴 사용자 또는 기타 대상입니다. alert.evaluation.notification을 참조하세요. |
source |
Map | 경고를 평가하는 데 사용할 결과의 원본 열입니다. alert.evaluation.source를 참조하세요. |
threshold |
Map | 경고 평가에 사용할 임계값입니다. 열 또는 값일 수 있습니다. alert.evaluation.threshold를 참조하세요. |
경고.평가.알림
Type: Map
경고가 트리거될 때 알릴 사용자 또는 기타 대상입니다.
| Key | Type | Description |
|---|---|---|
notify_on_ok |
Boolean | Optional. 경고가 정상으로 돌아올 때 경고 구독자에게 알릴지 여부입니다. |
retrigger_seconds |
Integer | Optional. 다른 알림을 보내기 전에 경고가 트리거된 후 대기하는 시간(초)입니다. 설정 0 하거나 생략하면 경고는 첫 번째 트리거 후에 추가 알림을 보내지 않습니다. 이 값을 설정하면 1 경고가 조건이 충족되는 모든 평가에서 알림을 보낼 수 있으므로 알림 목적으로 항상 다시 시도하게 됩니다. |
subscriptions |
Sequence | Optional. 순서가 지정되지 않은 알림 구독 목록입니다. alert.evaluation.notification.subscriptions를 참조하세요. |
알림 평가 알림 구독
Type: Sequence
순서가 지정되지 않은 알림 구독 목록입니다.
목록의 각 항목은 AlertSubscription입니다.
| Key | Type | Description |
|---|---|---|
destination_id |
String | 알림 대상의 ID입니다. |
user_email |
String | 알릴 사용자의 이메일 주소입니다. |
알림.평가.출처
Type: Map
경고를 평가하는 데 사용할 결과의 원본 열입니다.
| Key | Type | Description |
|---|---|---|
aggregation |
String | 원본 열에 적용할 집계 메서드입니다. 유효한 값은 SUM,, COUNTCOUNT_DISTINCT, AVGMEDIAN, MIN, MAXSTDDEV |
display |
String | 원본 열의 표시 이름입니다. |
name |
String | 쿼리 결과의 원본 열 이름입니다. |
알림.평가.임계값
Type: Map
경고 평가에 사용할 임계값은 열 또는 값일 수 있습니다.
| Key | Type | Description |
|---|---|---|
column |
Map | 임계값으로 사용할 열 참조 기준입니다. alert.evaluation.source를 참조하세요. |
value |
Map | 임계값으로 사용할 리터럴 값입니다. alert.evaluation.threshold.value를 참조하세요. |
알림.평가.임계값.값
Type: Map
임계값으로 사용할 리터럴 값입니다. 다음 값 형식 중 하나를 지정합니다.
| Key | Type | Description |
|---|---|---|
bool_value |
Boolean | Optional. 임계값에 대한 부울 값, 예를 들어 true와 같은 값입니다. |
double_value |
Double | Optional. 임계값의 숫자 값입니다(예: .) 1.25. |
string_value |
String | Optional. 임계값에 대한 문자열 값(예: .) test |
경고.일정
Type: Map
경고에 대한 일정 구성입니다.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Optional. 이 일정이 일시 중지되었는지 여부입니다. 유효한 값: UNPAUSED, . PAUSED 기본값: UNPAUSED. |
quartz_cron_schedule |
String | 필수 사항입니다. 이 파이프라인의 일정을 지정하는 Quartz 구문을 사용하는 cron 식입니다. 쿼츠 형식은 쿼츠 스케줄러 형식으로 설명됩니다. |
timezone_id |
String | 필수 사항입니다. Java 표준 시간대 ID입니다. 일정은 이 표준 시간대를 사용하여 해결됩니다. 일정을 결정하기 위해 이 항목과 quartz_cron_schedule 결합됩니다. 자세한 내용은 SET TIME ZONE를 참조하세요. |
Examples
다음 예제 구성은 간단한 평가로 경고를 정의합니다.
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
다음 예제 구성은 집계를 사용하여 평가하고 알림을 보내는 권한이 있는 경고를 정의합니다.
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
앱
Type: Map
앱 리소스는 Databricks 앱을 정의합니다. Databricks 앱에 대한 자세한 내용은 Databricks 앱을 참조하세요.
앱을 추가하려면 필요한 앱을 포함하여 앱을 정의할 설정을 지정합니다 source_code_path.
Tip
다음 명령을 사용하여 Streamlit Databricks 앱을 통해 번들을 초기화할 수 있습니다.
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
Databricks CLI 버전 0.239.0에 추가됨
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 앱의 예산 정책 ID입니다. Databricks CLI 버전 0.243.0에 추가됨 |
compute_size |
String | 앱의 컴퓨팅 크기입니다. 유효한 값은 MEDIUM작업 LARGEXLARGE 영역 구성 또는 작업 영역 구성에 따라 달라집니다.Databricks CLI 버전 0.273.0에 추가됨 |
config |
Map | 앱 구성 명령 및 환경 변수.
app.config참조하세요. Databricks CLI 버전 0.283.0에 추가됨 |
description |
String | 앱에 대한 설명입니다. Databricks CLI 버전 0.239.0에 추가됨 |
git_repository |
Map | 앱 배포를 위한 Git 리포지토리 구성입니다. 지정된 경우 배포는 git 참조(분기, 태그 또는 커밋)만 제공하여 이 리포지토리의 코드를 참조할 수 있습니다.
app.git_repository 참조하세요. Databricks CLI 버전 0.283.0에 추가됨 |
git_source |
Map | 앱 배포에 대한 Git 원본 구성입니다. 앱을 배포할 때 사용할 Git 참조(분기, 태그 또는 커밋)를 지정합니다. git에서 직접 코드를 배포하는 데 함께 git_repository 사용됩니다. 내에서 source_code_path 는 git_source 리포지토리 내의 앱 코드에 대한 상대 경로를 지정합니다.
app.git_source 참조하세요.Databricks CLI 버전 0.290.0에 추가됨 |
lifecycle |
Map | 리소스가 배포되거나 제거될 때의 동작입니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 앱의 이름입니다. 이름에는 소문자 영숫자 및 하이픈만 포함되어야 합니다. 작업 영역 내에서 고유해야 합니다. Databricks CLI 버전 0.239.0에 추가됨 |
permissions |
Sequence | 앱의 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.239.0에 추가됨 |
resources |
Sequence | 앱의 컴퓨트 리소스.
app.resources를 참조하세요. Databricks CLI 버전 0.239.0에 추가됨 |
source_code_path |
String |
./app Databricks 앱 소스 코드의 로컬 경로입니다.Databricks CLI 버전 0.239.0에 추가됨 |
telemetry_export_destinations |
Sequence | 앱의 원격 분석 내보내기 대상입니다.
app.telemetry_export_destinations 참조하세요. Databricks CLI 버전 0.294.0에 추가됨 |
usage_policy_id |
String | 이 앱에 사용할 서버리스 사용 정책의 ID입니다. Databricks CLI 버전 0.283.0에 추가됨 |
user_api_scopes |
Sequence | 사용자 API 범위입니다. Databricks CLI 버전 0.246.0에 추가됨 |
app.config
앱 구성 명령 및 환경 변수.
Databricks 앱 실행 구성을 app.yaml 참조하세요.
| Key | Type | Description |
|---|---|---|
command |
Sequence | 예를 들어 앱을 실행하는 명령 ["streamlit", "run", "app.py"] |
env |
Sequence | 앱 런타임 환경에서 설정할 앱 환경 변수를 지정하는 쌍 목록 name 입니다 value . 그러면 app.yaml 파일에 지정된 환경 변수가 재정의됩니다. 기본 앱 환경 변수에 대한 자세한 내용은 Databricks Apps 환경을 참조하세요.환경 변수는 앱이 시작될 때까지 설정되지 않습니다. |
app.git_repository
Type: Map
리포지토리의 위치를 지정하는 Git 리포지토리 구성입니다.
| Key | Type | Description |
|---|---|---|
auto_deploy |
Boolean | (베타) true일 때, 푸시 이벤트가 발생하면 앱이 해당 앱에 git_source설정된 브랜치로 자동으로 배포됩니다.Databricks CLI 버전 1.14.0에 추가됨 |
caller_credential_id |
Integer | (베타) 발신자가 소유한 개인 액세스 토큰 Git 자격 증명의 ID로, 이 저장소에 대한 앱 서비스 주체에 접근 권한을 부여하는 데 사용됩니다. Databricks CLI 버전 1.14.0에 추가됨 |
provider |
String | 필수 사항입니다. Git 공급자입니다. 대/소문자를 구분하지 않습니다. 지원되는 값: gitHub,gitHubEnterprise, bitbucketCloud, bitbucketServerazureDevOpsServices, gitLab, gitLabEnterpriseEditionawsCodeCommit.Databricks CLI 버전 0.283.0에 추가됨 |
url |
String | 필수 사항입니다. Git 리포지토리의 URL입니다. Databricks CLI 버전 0.283.0에 추가됨 |
app.git_source
Type: Map
앱 배포에 대한 Git 원본 구성입니다.
| Key | Type | Description |
|---|---|---|
branch |
String | 체크 아웃할 Git 분기입니다. |
commit |
String | 체크 아웃할 Git 커밋 SHA입니다. |
source_code_path |
String | Git 리포지토리 내의 앱 소스 코드에 대한 상대 경로입니다. 지정하지 않으면 리포지토리의 루트가 사용됩니다. |
tag |
String | 체크 아웃할 Git 태그입니다. |
앱 리소스
Type: Sequence
앱에 대한 컴퓨팅 리소스 목록입니다.
목록의 각 항목은 AppResource입니다.
| Key | Type | Description |
|---|---|---|
app |
Map | 앱 이름 및 권한 |
description |
String | 앱 리소스에 대한 설명입니다. |
database |
Map | 사용할 Lakebase 프로비전 데이터베이스를 식별하는 설정입니다. app.resources.database를 참조하세요. |
experiment |
Map | 사용할 MLflow 실험을 식별하는 설정입니다. app.resources.experiment을 참조하세요. |
genie_space |
Map | 사용할 Genie 에이전트를 식별하는 설정입니다. app.resources.genie_space 참조하세요. |
job |
Map | 사용할 작업 리소스를 식별하는 설정입니다. app.resources.job을 참조하세요. |
name |
String | 앱 리소스의 이름입니다. |
postgres |
Map | 사용할 Lakebase 자동 크기 조정 데이터베이스를 식별하는 설정입니다. app.resources.postgres를 참조하세요. |
secret |
Map | 사용할 Azure Databricks 비밀 리소스를 식별하는 설정입니다. app.resources.secret을 참조하세요. |
serving_endpoint |
Map | 사용할 엔드포인트 리소스를 제공하는 모델을 식별하는 설정입니다. app.resources.serving_endpoint 참조하세요. |
sql_warehouse |
Map | 사용할 SQL 웨어하우스 리소스를 식별하는 설정입니다. app.resources.sql_warehouse를 참조하세요. |
uc_securable |
Map | 사용할 Unity 카탈로그 보안 개체를 식별하는 설정입니다. app.resources.uc_securable 참조하세요. |
애플리케이션.자원.데이터베이스
Type: Map
사용할 Lakebase 데이터베이스를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
database_name |
String | 데이터베이스의 이름입니다. |
instance_name |
String | 데이터베이스 인스턴스의 이름입니다. |
permission |
String | 데이터베이스에 대한 사용 권한 수준입니다. 유효한 값은 CAN_CONNECT_AND_CREATE입니다. |
앱.resources.experiment
Type: Map
사용할 MLflow 실험을 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
experiment_id |
String | MLflow 실험의 ID입니다. |
permission |
String | 실험에 대한 사용 권한 수준입니다. 유효한 값에는 CAN_READ, . CAN_EDITCAN_MANAGE |
app.resources.genie_space
Type: Map
사용할 Genie 에이전트를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
name |
String | 지니 에이전트의 이름입니다. |
permission |
String | 공간에 대한 사용 권한 수준입니다. 유효한 값에는 , CAN_VIEW, CAN_EDITCAN_MANAGE등이 있습니다CAN_RUN. |
space_id |
String | 예를 들어 550e8400-e29b-41d4-a716-999955440000지니 에이전트의 ID입니다. |
앱.리소스.잡
Type: Map
사용할 작업 리소스를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
id |
String | 작업 ID입니다. |
permission |
String | 작업에 대한 사용 권한 수준입니다. 유효한 값에는 , CAN_VIEW, CAN_MANAGE_RUNCAN_MANAGE등이 있습니다IS_OWNER. |
앱.resources.postgres
Type: Map
사용할 Lakebase 자동 크기 조정 데이터베이스를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
branch |
String | 분기의 이름입니다(예: .) projects/proj-abc123/branches/branch-xyz789. |
database |
String | 데이터베이스 인스턴스의 이름입니다(예: .) projects/proj-abc123/branches/branch-xyz789/databases/db-456. |
permission |
String | 데이터베이스에 대한 사용 권한 수준입니다. 유효한 값은 CAN_CONNECT_AND_CREATE입니다. |
앱.리소스.시크릿
Type: Map
사용할 Azure Databricks 비밀 리소스를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
key |
String | 권한을 부여할 비밀의 키입니다. |
permission |
String | 비밀에 대한 권한 수준입니다. 유효한 값에는 READ, . WRITEMANAGE |
scope |
String | 비밀 범위의 이름입니다. |
앱.리소스.서비스_엔드포인트
Type: Map
사용할 엔드포인트 리소스를 제공하는 모델을 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
name |
String | 제공 엔드포인트의 이름입니다. |
permission |
String | 서비스 엔드포인트에 대한 권한 수준입니다. 유효한 값에는 CAN_QUERY, . CAN_MANAGECAN_VIEW |
앱.리소스.sql_창고
Type: Map
사용할 SQL 웨어하우스를 식별하는 설정입니다.
| Key | Type | Description |
|---|---|---|
id |
String | SQL 웨어하우스의 ID입니다. |
permission |
String | SQL 웨어하우스에 대한 권한 수준입니다. 유효한 값에는 CAN_USE, . CAN_MANAGEIS_OWNER |
app.resources.uc_securable (사용 가능한 보안 설정 리소스)
Type: Map
사용할 Unity 카탈로그 보안 개체를 식별하는 설정입니다. 앱은 볼륨, 테이블, 함수 및 연결을 보안 리소스로 지원합니다.
| Key | Type | Description |
|---|---|---|
permission |
String | Unity 카탈로그 보안 개체에 대한 사용 권한 수준입니다. 유효한 값은 securable_type다음에 따라 달라집니다.
|
securable_full_name |
String | Unity 카탈로그 보안 개체의 전체 이름(형식 catalog.schema.name)입니다. 연결의 경우 연결 이름을 사용합니다. |
securable_type |
String | Unity 카탈로그 보안 개체의 형식입니다. 유효한 값은 VOLUME, TABLE, FUNCTION및 CONNECTION. |
Note
볼륨, 테이블 및 함수의 경우 앱의 서비스 주체는 부모 카탈로그 및 USE CATALOG 스키마에 대한 권한도 필요로 합니다USE SCHEMA. Azure Databricks 보안 개체를 앱 리소스로 추가할 때 이러한 권한을 자동으로 부여합니다.
app.telemetry_export_destinations
Type: Sequence
앱의 원격 분석 내보내기 대상 목록입니다.
Databricks CLI 버전 0.294.0에 추가됨
목록의 각 항목은 AppTelemetryExportDestination입니다.
| Key | Type | Description |
|---|---|---|
unity_catalog |
Map | OTEL 원격 분석 내보내기용 Unity 카탈로그 대상입니다. Databricks CLI 버전 0.294.0에 추가됨 |
Examples
앱을 정의하는 번들을 만드는 방법에 대한 자습서는 선언적 자동화 번들을 사용하여 Databricks 앱 관리를 참조하세요.
다음 예제에서는 기본 앱을 정의합니다.
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
다음 예제에서는 번들에서 만든 작업을 관리하는 앱을 my_app 만듭니다. 전체 예제는 bundle-examples GitHub 리포지토리 참조하세요.
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
해당 app.yaml 앱을 실행하기 위한 구성을 정의합니다.
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
다음 예제에서는 번들에서 만든 MLflow 실험에 액세스할 수 있는 앱을 만듭니다.
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
또는 다음 예제에서는 번들 구성에 정의된 사용자 지정 구성을 사용하여 앱을 정의합니다.
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
다음 예제에서는 Lakebase 자동 크기 조정 리소스를 사용하여 앱을 정의합니다.
resources:
apps:
my_app:
name: my-app
source_code_path: .
resources:
- name: lakebase-db
postgres:
branch: projects/my-app/branches/production
database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
permission: CAN_CONNECT_AND_CREATE
catalogs
Type: Map
카탈로그 리소스를 사용하면 번들에 카탈로그(Unity 카탈로그)를 정의할 수 있습니다.
Note
선언적 자동화 번들을 사용하여 카탈로그를 정의하는 것은 직접 배포 엔진을 사용하는 경우에만 지원됩니다.
Databricks CLI 버전 0.287.0에 추가됨
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | 카탈로그에 대한 사용자가 제공한 자유 형식 텍스트 설명입니다. Databricks CLI 버전 0.287.0에 추가됨 |
connection_name |
String | 외부 데이터 원본에 대한 연결의 이름입니다. Databricks CLI 버전 0.287.0에 추가됨 |
custom_max_retention_hours |
Integer | 카탈로그의 맞춤 최대 보존 기간은 시간 단위입니다. Databricks CLI 버전 1.5.0에 추가됨 |
grants |
Sequence | 카탈로그와 연결된 권한 부여입니다. 부여를 참조 하세요. Databricks CLI 버전 0.287.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
managed_encryption_settings |
Map | 관리되는 카탈로그 데이터에 대한 CMK 암호화를 제어합니다.
catalog.managed_encryption_settings 참조하세요. Databricks CLI 버전 0.298.0에 추가됨 |
name |
String | 필수 사항입니다. 카탈로그의 이름. Databricks CLI 버전 0.287.0에 추가됨 |
options |
Object | 보안 개체에 연결된 키-값 속성의 맵입니다. Databricks CLI 버전 0.287.0에 추가됨 |
properties |
Object | 보안 개체에 연결된 키-값 속성의 맵입니다. Databricks CLI 버전 0.287.0에 추가됨 |
provider_name |
String | OpenSharing 공급자의 이름입니다. OpenSharing 카탈로그는 원격 공유 서버의 OpenSharing 공유를 기반으로 하는 카탈로그입니다.
OpenSharing이란?을 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
share_name |
String | 공유 공급자 아래의 공유 이름입니다. Databricks CLI 버전 0.287.0에 추가됨 |
storage_root |
String | 카탈로그 내의 관리되는 테이블에 대한 스토리지 루트 URL입니다. Databricks CLI 버전 0.287.0에 추가됨 |
Example
# databricks.yml
bundle:
name: catalogs-example
engine: direct # catalogs require the direct deployment engine
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Declarative Automation Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
catalog.managed_encryption_settings
Type: Map
관리되는 카탈로그 데이터에 대한 암호화 설정입니다. CMK(고객 관리형 키)를 구성하는 데 사용됩니다.
Databricks CLI 버전 0.298.0에 추가됨
| Key | Type | Description |
|---|---|---|
azure_encryption_settings |
Map | 선택적 Azure 설정 - Azure CMK를 사용하는 경우에만 필요합니다. Databricks CLI 버전 0.298.0에 추가됨 |
azure_key_vault_key_id |
String | Azure AKV URL이고, 그렇지 않으면 null입니다. Databricks CLI 버전 0.298.0에 추가됨 |
customer_managed_key_id |
String | AWS 및 GCP의 CMK UUID이고, 그렇지 않으면 null입니다. Databricks CLI 버전 0.298.0에 추가됨 |
클러스터
Type: Map
클러스터 리소스는 클러스터를 정의합니다.
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | Type | Description |
|---|---|---|
apply_policy_default_values |
Boolean | true로 설정하면 정책의 고정 및 기본값이 생략된 필드에 사용됩니다. false로 설정하면 정책의 고정 값만 적용됩니다. |
autoscale |
Map | 부하에 따라 클러스터를 자동으로 확장 및 축소하는 데 필요한 매개 변수입니다. 자동 크기 조정을 참조하세요. |
autotermination_minutes |
Integer | 지정된 시간(분) 동안 비활성 상태인 경우 클러스터를 자동으로 종료합니다. 설정하지 않으면 이 클러스터가 자동으로 종료되지 않습니다. 지정된 경우 임계값은 10분에서 10000분 사이여야 합니다. 사용자는 자동 종료를 명시적으로 사용하지 않도록 설정하기 위해 이 값을 0으로 설정할 수도 있습니다. |
aws_attributes |
Map | Amazon Web Services에서 실행되는 클러스터와 관련된 특성입니다. 클러스터를 만들 때 지정하지 않으면 기본값 집합이 사용됩니다. aws_attributes 참조하세요. |
azure_attributes |
Map | Microsoft Azure 실행되는 클러스터와 관련된 특성입니다. 클러스터를 만들 때 지정하지 않으면 기본값 집합이 사용됩니다. azure_attributes 참조하세요. |
cluster_log_conf |
Map | Spark 로그를 장기 스토리지 대상으로 배달하기 위한 구성입니다. cluster_log_conf 참조하세요. |
cluster_name |
String | 사용자가 요청한 클러스터 이름입니다. 고유할 필요는 없습니다. 만들 때 지정하지 않으면 클러스터 이름은 빈 문자열이 됩니다. |
custom_tags |
Map | 클러스터 리소스를 위한 추가 태그. Databricks는 default_tags 외에도 모든 클러스터 리소스(예: AWS 인스턴스 및 EBS 볼륨)에 이러한 태그를 지정합니다. |
data_security_mode |
String | 클러스터에서 데이터에 액세스할 때 사용할 데이터 거버넌스 모델입니다. 유효한 값은 DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_STANDARD, DATA_SECURITY_MODE_DEDICATED및 NONE포함합니다.
USER_ISOLATION 및 SINGLE_USER 각각에 대한 DATA_SECURITY_MODE_STANDARD 레거시 별칭입니다 DATA_SECURITY_MODE_DEDICATED. 이 모드는 LEGACY_* Databricks Runtime 15.0부터 더 이상 사용되지 않습니다. |
dependency_mode |
String | (베타) 클러스터의 의존성 구성을 제어합니다. 유효한 값은 DEPENDENCY_MODE_ENVIRONMENTS, DEPENDENCY_MODE_CLUSTER_LIBRARIES 및 DEPENDENCY_MODE_AUTO입니다.Databricks CLI 버전 1.10.0에 추가됨 |
docker_image |
Map | 사용자 지정 Docker 이미지입니다. docker_image 참조하세요. |
driver_instance_pool_id |
String | 클러스터 드라이버에 대한 인스턴스 풀의 선택적 ID가 속합니다. 드라이버 풀이 할당되지 않은 경우 풀 클러스터는 ID(instance*pool_id)가 있는 인스턴스 풀을 사용합니다. |
driver_node_type_flexibility |
Map | 드라이버 노드에 대한 유연한 노드 유형 구성입니다.
cluster.driver_node_type_flexibility 참조하세요. Databricks CLI 버전 0.285.0에 추가됨 |
driver_node_type_id |
String | Spark 드라이버의 노드 형식입니다. 이 필드는 선택적입니다. 설정하지 않으면 드라이버 노드 형식이 값으로 node_type_id설정됩니다. 이 필드는 node_type_id설정된 경우 virtual_cluster_size 설정하면 안 됩니다. 둘 다 driver_node_type_id, node_type_id및 virtual_cluster_size 지정된 driver_node_type_idnode_type_id 경우 우선 순위를 지정합니다. |
enable_elastic_disk |
Boolean | 로컬 스토리지 자동 크기 조정: 사용하도록 설정하면 Spark 작업자가 디스크 공간이 부족할 때 이 클러스터는 추가 디스크 공간을 동적으로 확보합니다. 이 기능을 사용하려면 특정 AWS 권한이 올바르게 작동해야 합니다. 자세한 내용은 사용자 가이드를 참조하세요. |
enable_local_disk_encryption |
Boolean | 클러스터 VM의 로컬 디스크에서 LUKS를 사용하도록 설정할지 여부입니다. |
gcp_attributes |
Map | Google Cloud Platform에서 실행되는 클러스터와 관련된 특성입니다. 클러스터를 만들 때 지정하지 않으면 기본값 집합이 사용됩니다. gcp_attributes 참조하세요. |
init_scripts |
Sequence | init 스크립트를 저장하기 위한 구성입니다. 어떤 수의 목적지도 지정할 수 있습니다. 스크립트는 제공된 순서대로 순차적으로 실행됩니다. init_scripts 참조하세요. |
instance_pool_id |
String | 클러스터가 속한 인스턴스 풀의 선택적 ID입니다. |
is_single_node |
Boolean | 이 필드는 다음과 같은 경우에만 kind = CLASSIC_PREVIEW사용할 수 있습니다. true로 설정하면 Databricks는 자동으로 관련된 custom_tags단일 노드 및 spark_confnum_workers.Databricks CLI 버전 0.237.0에 추가됨 |
kind |
String | 이 컴퓨팅 사양에서 설명하는 컴퓨팅 종류입니다. Databricks CLI 버전 0.237.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
node_type_id |
String | 이 필드는 단일 값을 통해 이 클러스터의 각 Spark 노드에서 사용할 수 있는 리소스를 인코딩합니다. 예를 들어, Spark 노드는 메모리 또는 컴퓨팅 집약적 워크로드에 대해 프로비저닝되고 최적화될 수 있습니다. 사용 가능한 노드 형식 목록은 목록 노드 형식 API를 사용하여 검색할 수 있습니다. |
num_workers |
Integer | 이 클러스터에 있어야 하는 작업자 노드의 수입니다. 클러스터에는 총 num_workers 1개 이상의 Spark 노드에 대해 하나의 Spark 드라이버 및 num_workers 실행기가 있습니다. |
permissions |
Sequence | 클러스터 권한입니다. 사용 권한을 참조 하세요. |
policy_id |
String | 해당하는 경우 클러스터를 만드는 데 사용되는 클러스터 정책의 ID입니다. |
remote_disk_throughput |
Integer | 초당 바이트 단위의 원격 디스크 처리량입니다. Databricks CLI 버전 0.257.0에 추가됨 |
runtime_engine |
String | 클러스터의 런타임 엔진을 STANDARD 또는 PHOTON 중에서 결정합니다. |
single_user_name |
String | data*security_mode 경우 단일 사용자 이름입니다 SINGLE_USER. |
spark_conf |
Map | 선택적 사용자 지정 Spark 구성 키-값 쌍 집합을 포함하는 개체입니다. 사용자는 추가 JVM 옵션 문자열을 각각 통해 spark.driver.extraJavaOptionsspark.executor.extraJavaOptions 드라이버 및 실행기에 전달할 수도 있습니다. |
spark_env_vars |
Map | 선택적 사용자 지정 환경 변수 키-값 쌍 집합을 포함하는 개체입니다. |
spark_version |
String | 클러스터의 Spark 버전(예: 3.3.x-scala2.11 사용 가능한 Spark 버전 목록 API를 사용하여 사용 가능한 Spark 버전 목록을 검색할 수 있습니다. |
ssh_public_keys |
Sequence | 이 클러스터의 각 Spark 노드에 추가될 SSH 공개 키 콘텐츠입니다. 해당 프라이빗 키를 사용하여 포트ubuntu에서 사용자 이름으로 2200 로그인할 수 있습니다. 최대 10 개의 키를 지정할 수 있습니다. |
total_initial_remote_disk_size |
Integer | 총 초기 원격 디스크 크기(바이트)입니다. Databricks CLI 버전 0.257.0에 추가됨 |
use_ml_runtime |
Boolean | 이 필드는 다음과 같은 경우에만 kind = CLASSIC_PREVIEW사용할 수 있습니다.
effective_spark_version는 spark_version (Databricks 런타임 릴리스), 이 필드 use_ml_runtime, 및 node_type_id가 GPU 노드인지 여부에 따라 결정됩니다.Databricks CLI 버전 0.237.0에 추가됨 |
worker_node_type_flexibility |
Map | 작업자 노드에 대한 유연한 노드 유형 구성입니다.
cluster.worker_node_type_flexibility 참조하세요. Databricks CLI 버전 0.285.0에 추가됨 |
workload_type |
Map | 클러스터 워크로드 유형에 대해 표시되는 클러스터 특성입니다. workload_type 참조하세요. |
클러스터.오토스케일링
Type: Map
부하에 따라 클러스터를 자동으로 확장 및 축소하기 위한 매개 변수입니다.
| Key | Type | Description |
|---|---|---|
min_workers |
Integer | 사용량이 부족할 때 클러스터를 축소할 수 있는 최소 작업자 수입니다. 또한 클러스터를 만든 후 갖게 될 초기 작업자 수이기도 합니다. |
max_workers |
Integer | 오버로드 시 클러스터가 확장될 수 있는 최대 작업자 수입니다.
max_workers 는 엄밀히 말하면 .보다 min_workers커야 합니다. |
클러스터.AWS 속성
Type: Map
Amazon Web Services에서 실행되는 클러스터와 관련된 특성입니다.
| Key | Type | Description |
|---|---|---|
zone_id |
String | 클러스터가 있는 가용성 영역/데이터 센터의 식별자입니다. 이 문자열은 다음과 같은 us-west-2a형식입니다. |
availability |
String | 이후의 모든 노드에 first_on_demand 외의 가용성 유형이 사용됩니다. 유효한 값은 SPOT, ON_DEMAND. SPOT_WITH_FALLBACK 0이면 first_on_demand 이 가용성 유형이 클러스터 전체에 사용됩니다. |
spot_bid_price_percent |
Integer | AWS 스폿 인스턴스의 최대 가격(해당 인스턴스 유형의 주문형 가격 백분율)입니다. |
instance_profile_arn |
String | 이 클러스터의 노드는 이 인스턴스 프로필을 사용하는 AWS 인스턴스에만 배치됩니다. |
first_on_demand |
Integer | 클러스터의 첫 번째 first_on_demand 노드는 주문형 인스턴스에 배치됩니다. 클러스터 드라이버 노드가 주문형 인스턴스에 배치되도록 하려면 이 값이 보다 0커야 합니다. |
ebs_volume_type |
String | 이 클러스터와 함께 시작될 EBS 볼륨의 유형입니다. 유효한 값은 GENERAL_PURPOSE_SSD 또는 THROUGHPUT_OPTIMIZED_HDD. |
ebs_volume_count |
Integer | 각 인스턴스에 대해 시작된 볼륨 수입니다. |
ebs_volume_size |
Integer | 각 인스턴스에 대해 시작된 각 EBS 볼륨의 크기(GiB)입니다. |
ebs_volume_iops |
Integer | EBS gp3 볼륨당 IOPS 수입니다. |
ebs_volume_throughput |
Integer | 초당 MiB인 EBS gp3 볼륨당 처리량입니다. |
클러스터.애저_속성
Type: Map
Microsoft Azure 실행되는 클러스터와 관련된 특성입니다.
| Key | Type | Description |
|---|---|---|
first_on_demand |
Integer | 클러스터의 첫 번째 first_on_demand 노드는 주문형 인스턴스에 배치됩니다. |
availability |
String | 이후의 모든 노드에 first_on_demand 외의 가용성 유형이 사용됩니다. 유효한 값은 SPOT_AZURE, ON_DEMAND_AZURE. SPOT_WITH_FALLBACK_AZURE 0이면 first_on_demand 이 가용성 유형이 클러스터 전체에 사용됩니다. |
spot_bid_max_price |
Number | Azure 스폿 인스턴스의 최대 가격입니다. 최저 가격을 지정하는 데 사용합니다 -1 . |
capacity_reservation_group |
String | VM 실행에 사용하는 Azure 용량 예약 그룹 리소스 ID는 형식이 다음과 /subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName}같습니다. 지정이 시되면 제공된 용량 예약을 사용하여 VM이 실행됩니다.용량 예약은 작업 공간이 주입된 VNet(Databricks에서 관리하지 않는 고객 정의 VNet)을 사용할 때만 지정할 수 있습니다. 엔터프라이즈 애플리케이션은 databricks-login-prod 다음 네 가지 권한을 부여받아야 합니다: Microsoft.Compute/capacityReservationGroups/read, Microsoft.Compute/capacityReservationGroups/deploy/action, Microsoft.Compute/capacityReservationGroups/capacityReservations/readMicrosoft.Compute/capacityReservationGroups/capacityReservations/deploy/action, .Databricks CLI 버전 1.5.0에 추가됨 |
log_analytics_info |
Map | Azure Log Analytics 에이전트에 대한 구성입니다. log_analytics_info 참조하세요. |
cluster.azure_attributes.log_분석_정보
Type: Map
Azure Log Analytics 에이전트에 대한 구성입니다.
| Key | Type | Description |
|---|---|---|
log_analytics_workspace_id |
String | Azure Log Analytics 작업 영역의 ID입니다. |
log_analytics_primary_key |
String | Azure Log Analytics 작업 영역의 기본 키입니다. |
클러스터.gcp_속성
Type: Map
Google Cloud Platform에서 실행되는 클러스터와 관련된 특성입니다.
| Key | Type | Description |
|---|---|---|
use_preemptible_executors |
Boolean | 선점 실행기를 사용할지 여부입니다. 선점 가능한 실행기는 GCE에서 언제든지 회수할 수 있는 선점 가능한 GCE 인스턴스입니다. |
google_service_account |
String | Databricks 클러스터 VM 인스턴스에서 사용할 Google 서비스 계정입니다. |
local_ssd_count |
Integer | 클러스터의 각 노드에 연결할 로컬 SSD의 수입니다. 기본값은 0입니다. |
zone_id |
String | 클러스터가 있는 가용성 영역/데이터 센터의 식별자입니다. |
availability |
String | Spark 실행기가 선점형 VM, 주문형 VM, 또는 선점형 VM에서 실행되도록 스케줄링되어 있는지, 전자가 불가능할 경우 주문형 VM으로 대체할 수 있는지 결정합니다. 유효한 값은 PREEMPTIBLE_GCP, ON_DEMAND_GCP. PREEMPTIBLE_WITH_FALLBACK_GCP |
boot_disk_size |
Integer | 부팅 디스크의 크기(GB)입니다. 값의 범위는 일반적으로 100에서 1000까지입니다. |
cluster.cluster_log_conf
Spark 로그를 장기 스토리지 대상으로 배달하기 위한 구성입니다.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | 클러스터 로그 배달을 위한 DBFS 위치입니다. dbfs를 참조하세요. |
s3 |
Map | 클러스터 로그 배달을 위한 S3 위치입니다. s3을 참조하세요. |
volumes |
Map | 클러스터 로그 배달을 위한 볼륨 위치입니다. 볼륨을 참조하세요. |
cluster.cluster_log_conf.dbfs
Type: Map
클러스터 로그 배달을 위한 DBFS 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | 클러스터 로그 배달을 위한 DBFS 경로입니다(예: dbfs:/cluster-logs). |
cluster.cluster_log_conf.s3
Type: Map
클러스터 로그 배달을 위한 S3 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | 클러스터 로그 배달을 위한 S3 URI(예: s3://my-bucket/cluster-logs)입니다. |
region |
String | S3 버킷의 AWS 지역입니다. |
endpoint |
String | S3 엔드포인트 URL(선택 사항)입니다. |
enable_encryption |
Boolean | 클러스터 로그에 암호화를 사용하도록 설정할지 여부입니다. |
encryption_type |
String | 암호화 유형입니다. 유효한 값에는 SSE_S3, SSE_KMS이(가) 포함됩니다. |
kms_key |
String | 암호화를 위한 KMS 키 ARN입니다(SSE_KMS을/를 사용할 때). |
canned_acl |
String | 클러스터 로그에 적용할 기본 설정된 ACL입니다. |
cluster.cluster_log_conf권
Type: Map
클러스터 로그 배달을 위한 볼륨 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | 클러스터 로그 배달(예: /Volumes/catalog/schema/volume/cluster_log)에 대한 볼륨 경로입니다. |
cluster.docker_image
Type: Map
사용자 지정 Docker 이미지 구성입니다.
| Key | Type | Description |
|---|---|---|
url |
String | Docker 이미지의 URL입니다. |
basic_auth |
Map | Docker 리포지토리에 대한 기본 인증입니다. basic_auth 참조하세요. |
클러스터.docker_image.기본 인증
Type: Map
Docker 리포지토리에 대한 기본 인증입니다.
| Key | Type | Description |
|---|---|---|
username |
String | Docker 레지스트리 인증의 사용자 이름입니다. |
password |
String | Docker 레지스트리 인증에 대한 암호입니다. |
cluster.init_scripts
Type: Map
init 스크립트를 저장하기 위한 구성입니다. 하나 이상의 위치 유형을 지정해야 합니다.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | init 스크립트의 DBFS 위치입니다. dbfs를 참조하세요. |
workspace |
Map | init 스크립트의 작업 영역 위치입니다. 작업 영역을 참조하십시오. |
s3 |
Map | init 스크립트의 S3 위치입니다. s3을 참조하세요. |
abfss |
Map | init 스크립트의 ABFSS 위치입니다. abfss를 참조하세요. |
gcs |
Map | init 스크립트의 GCS 위치입니다. gcs를 참조하세요. |
volumes |
Map | init 스크립트의 Unity 카탈로그 볼륨 위치입니다. 볼륨을 참조하세요. |
cluster.init_scripts.dbfs
Type: Map
init 스크립트의 DBFS 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 DBFS 경로입니다. |
클러스터.초기화_스크립트.작업공간
Type: Map
init 스크립트의 작업 영역 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 작업 영역 경로입니다. |
cluster.init_scripts.s3
Type: Map
init 스크립트의 S3 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 S3 URI입니다. |
region |
String | S3 버킷의 AWS 지역입니다. |
endpoint |
String | S3 엔드포인트 URL(선택 사항)입니다. |
cluster.init_scripts.abfss
Type: Map
init 스크립트의 ABFSS 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 ABFSS 경로입니다. |
클러스터.시작_스크립트.gcs
Type: Map
init 스크립트의 GCS 위치입니다.
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 GCS 경로입니다. |
클러스터.init_scripts.volumes (초기화 스크립트 볼륨)
Type: Map
init 스크립트의 볼륨 위치
| Key | Type | Description |
|---|---|---|
destination |
String | init 스크립트의 Unity 카탈로그 볼륨 경로입니다. |
cluster.driver_node_type_flexibility
Type: Map
드라이버 노드에 대한 유연한 노드 유형 구성입니다.
Databricks CLI 버전 0.285.0에 추가됨
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | 주 노드 형식을 사용할 수 없는 경우 대체(fallback)로 사용할 노드 형식 ID 목록입니다. Databricks CLI 버전 0.285.0에 추가됨 |
cluster.worker_node_type_flexibility
Type: Map
작업자 노드에 대한 유연한 노드 유형 구성입니다.
Databricks CLI 버전 0.285.0에 추가됨
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | 주 노드 형식을 사용할 수 없는 경우 대체(fallback)로 사용할 노드 형식 ID 목록입니다. Databricks CLI 버전 0.285.0에 추가됨 |
cluster.작업_유형
Type: Map
클러스터 워크로드 유형을 보여 주는 클러스터 특성입니다.
| Key | Type | Description |
|---|---|---|
clients |
Map | 클러스터를 사용할 수 있는 클라이언트 유형을 정의합니다. 클라이언트를 참조하세요. |
cluster.workload_type.클라이언트
Type: Map
이 컴퓨팅 워크로드에 대한 클라이언트 유형입니다.
| Key | Type | Description |
|---|---|---|
jobs |
Boolean | 클러스터에서 작업을 실행할 수 있는지 여부입니다. |
notebooks |
Boolean | 클러스터에서 Notebook을 실행할 수 있는지 여부입니다. |
Examples
다음 예제에서는 Databricks Runtime 15.4 LTS 및 클러스터 정책을 사용하여 현재 사용자에 대한 전용(단일 사용자) 클러스터를 만듭니다.
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
이 예제에서는 간단한 클러스터 my_cluster를 만들고, 이를 my_job에서 Notebook을 실행하기 위한 클러스터로 설정합니다.
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
cluster_policy
Type: Map
클러스터 정책 자원은 일련의 규칙에 기반해 클러스터를 구성할 수 있는 능력을 제한하는 클러스터 정책을 정의합니다.
Note
선언적 자동화 번들을 사용해 클러스터 정책을 정의하는 것은 직접 배포 엔진을 사용하는 경우에만 지원됩니다.
Databricks CLI 버전 1.14.0에 추가됨
cluster_policies:
<cluster_policy-name>:
<cluster_policy-field-name>: <cluster_policy-field-value>
| Key | Type | Description |
|---|---|---|
definition |
String |
Databricks 클러스터 정책 정의 언어로 표현된 정책 정의 문서. Databricks CLI 버전 1.14.0에 추가됨 |
description |
String | 클러스터 정책에 대한 사람이 읽을 수 있는 추가 설명입니다. Databricks CLI 버전 1.14.0에 추가됨 |
libraries |
Sequence | 이 정책을 사용하는 다음 클러스터 재시작 시 설치할 라이브러리 목록입니다. 도서관 최대 수는 500개입니다.
cluster_policy.libraries를 참조하세요. Databricks CLI 버전 1.14.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.14.0에 추가됨 |
max_clusters_per_user |
Integer | 이 정책을 사용하여 활성화할 수 있는 사용자당 최대 클러스터 수입니다. 만약 없으면 최대 한도가 없습니다. Databricks CLI 버전 1.14.0에 추가됨 |
name |
String | 사용자가 요청한 클러스터 정책 이름입니다. 이건 독특해야 해. 길이는 1자에서 100자 사이여야 합니다. Databricks CLI 버전 1.14.0에 추가됨 |
permissions |
Sequence | 클러스터 정책 권한. 클러스터 정책은 권한 수준만 CAN_USE 지원합니다. 사용 권한을 참조 하세요.Databricks CLI 버전 1.14.0에 추가됨 |
policy_family_definition_overrides |
String |
Databricks 정책 정의 언어로 표현된 정책 정의 JSON 문서. JSON 문서는 문자열로 전달되어야 하며, 요청 내에 삽입될 수 없습니다. 이를 이용해 정책 계열에서 물려받은 정책 정의를 맞춤화할 수 있습니다. 여기서 명시된 정책 규칙은 상속된 정책 정의에 통합됩니다. Databricks CLI 버전 1.14.0에 추가됨 |
policy_family_id |
String | 정책 패밀리의 ID입니다. 클러스터 정책의 정책 정의는 정책 계열의 정책 정의를 계승합니다. 와 함께 definition사용할 수 없습니다. 대신 정책 정의를 사용자 지정하는 데 사용 policy_family_definition_overrides 하세요.Databricks CLI 버전 1.14.0에 추가됨 |
cluster_policy.라이브러리
Type: Sequence
이 정책을 사용하는 다음 클러스터 재시작 시 설치할 라이브러리 목록입니다. 도서관 최대 수는 500개입니다.
목록의 각 항목은 다음과 같습니다.Library
| Key | Type | Description |
|---|---|---|
cran |
Map | 라이브러리의 일부로 설치될 CRAN 라이브러리의 명세. Databricks CLI 버전 0.229.0에 추가됨 |
jar |
String | 설치할 JAR 라이브러리의 URI입니다. 지원되는 URI에는 Workspace 경로, Unity 카탈로그 볼륨 경로, S3 URI가 포함됩니다. 예: { "jar": "/Workspace/path/to/library.jar" }, { "jar" : "/Volumes/path/to/library.jar" } 또는 { "jar": "s3://my-bucket/library.jar" }. S3를 사용한다면, 클러스터가 라이브러리에서 읽기 권한을 가지고 있는지 확인하세요. S3 URI에 접근하려면 IAM 역할로 클러스터를 실행해야 할 수도 있습니다.Databricks CLI 버전 0.229.0에 추가됨 |
maven |
Map | 설치된 Maven 라이브러리의 명세. 예: { "coordinates": "org.jsoup:jsoup:1.7.2" }.Databricks CLI 버전 0.229.0에 추가됨 |
pypi |
Map | 설치할 PyPI 라이브러리의 명세. 예: { "package": "simplejson" }.Databricks CLI 버전 0.229.0에 추가됨 |
requirements |
String | 설치할 requirements.txt 파일의 URI입니다. 작업 영역 경로 및 Unity 카탈로그 볼륨 경로만 지원됩니다. 예: { "requirements": "/Workspace/path/to/requirements.txt" } 또는 { "requirements" : "/Volumes/path/to/requirements.txt" }.Databricks CLI 버전 0.229.0에 추가됨 |
whl |
String | 설치할 휠 라이브러리의 URI입니다. 지원되는 URI에는 Workspace 경로, Unity 카탈로그 볼륨 경로, S3 URI가 포함됩니다. 예: { "whl": "/Workspace/path/to/library.whl" }, { "whl" : "/Volumes/path/to/library.whl" } 또는 { "whl": "s3://my-bucket/library.whl" }. S3를 사용한다면, 클러스터가 라이브러리에서 읽기 권한을 가지고 있는지 확인하세요. S3 URI에 접근하려면 IAM 역할로 클러스터를 실행해야 할 수도 있습니다.Databricks CLI 버전 0.229.0에 추가됨 |
Example
다음 예시는 클러스터 정책을 정의하고 그룹에 이를 사용할 권한을 부여합니다:
# databricks.yml
bundle:
name: cluster-policies-example
engine: direct # Cluster policies require the direct deployment engine
resources:
cluster_policies:
my_policy:
name: my-cluster-policy
description: Standard policy for team clusters
max_clusters_per_user: 5
definition: |
{
"spark_version": {
"type": "fixed",
"value": "15.4.x-scala2.12"
},
"autotermination_minutes": {
"type": "range",
"maxValue": 120
}
}
permissions:
- level: CAN_USE
group_name: data-engineers
대시보드
Type: Map
대시보드 리소스를 사용하면 AI/BI 대시보드를 번들로 관리할 수 있습니다. AI/BI 대시보드에 대한 자세한 내용은 대시보드참조하세요.
로컬 환경에서 대시보드가 포함된 번들을 배포한 다음 UI를 사용하여 해당 대시보드를 수정한 경우 UI를 통해 수정한 내용은 명시적으로 업데이트 bundle generate하지 않는 한 로컬 번들의 대시보드 JSON 파일에 적용되지 않습니다.
--watch 옵션을 사용하여 대시보드에 대한 변경 내용을 지속적으로 폴링하고 검색할 수 있습니다.
databricks 번들 생성을 참조하세요.
또한 원격 작업 영역에 있는 것과 다른 대시보드 JSON 파일이 포함된 로컬 환경에서 번들을 배포하려고 하면 오류가 발생합니다. 원격 작업 영역의 대시보드를 로컬 대시보드로 강제로 배포하고 덮어쓰려면 --force 옵션을 사용합니다.
databricks 번들 배포를 참조하세요.
Databricks CLI 버전 0.232.0에 추가됨
Note
대시보드 Git 지원과 함께 선언적 자동화 번들을 사용하는 경우 대시보드가 파일로 동기화되지 않도록 동기화 매핑을 추가하여 중복된 대시보드가 생성되지 않도록 합니다.
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | Type | Description |
|---|---|---|
dataset_catalog |
String | 쿼리에 달리 지정되지 않은 경우 대시보드의 모든 데이터 세트에 사용되는 기본 카탈로그 값입니다. 이 필드를 설정하는 구성의 예는 대시보드 카탈로그 및 스키마 매개 변수화를 참조하세요. Databricks CLI 버전 0.283.0에 추가됨 |
dataset_schema |
String | 쿼리에 달리 지정되지 않은 경우 대시보드의 모든 데이터 세트에 사용되는 기본 스키마 값입니다. 이 필드를 설정하는 구성의 예는 대시보드 카탈로그 및 스키마 매개 변수화를 참조하세요. Databricks CLI 버전 0.283.0에 추가됨 |
display_name |
String | 대시보드의 표시 이름입니다. Databricks CLI 버전 0.232.0에 추가됨 |
embed_credentials |
Boolean | 번들 배포 ID 자격 증명을 사용하여 모든 대시보드 뷰어에 대한 쿼리를 실행할지 여부입니다. 설정된 false경우 뷰어의 자격 증명이 사용됩니다. 기본값은 false입니다.Databricks CLI 버전 0.232.0에 추가됨 |
etag |
String | 대시보드의 "etag"입니다. 대시보드가 마지막으로 읽은 이후 수정되지 않았는지 확인하기 위해 업데이트에 선택적으로 제공할 수 있습니다. Databricks CLI 버전 0.234.0에 추가됨 |
file_path |
String | 파일 이름을 포함하여 대시보드 자산의 로컬 경로입니다. 내보낸 대시보드에는 항상 파일 확장 .lvdash.json명이 있습니다.Databricks CLI 버전 0.232.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다. 수명 주기를 참조하세요. |
parent_path |
String | 대시보드를 포함하는 폴더의 작업 영역 경로입니다. 선행 슬래시 및 후행 슬래시가 포함되어 있지 않습니다. Databricks CLI 버전 0.232.0에 추가됨 |
path |
String | 자산 이름을 포함하여 대시보드 자산의 작업 영역 경로입니다. Databricks CLI 버전 0.234.0에 추가됨 |
permissions |
Sequence | 대시보드 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.232.0에 추가됨 |
serialized_dashboard |
Any | serialize된 문자열 형식의 대시보드 내용입니다. Databricks CLI 버전 0.232.0에 추가됨 |
warehouse_id |
String | 대시보드를 실행하는 데 사용되는 웨어하우스 ID입니다. Databricks CLI 버전 0.232.0에 추가됨 |
Example
예시는 NYC Taxi Trip Analysis 대시보드를 Databricks 작업 영역으로 포함하고 배포합니다.
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
데이터베이스 카탈로그
Type: Map
데이터베이스 카탈로그 리소스를 사용하면 번들의 데이터베이스 인스턴스 에 해당하는 데이터베이스 카탈로그를 정의할 수 있습니다. 데이터베이스 카탈로그는 Unity 카탈로그 카탈로그로 등록된 Lakebase 데이터베이스입니다.
데이터베이스 카탈로그에 대한 정보는 데이터베이스 등록을 참조하세요.
Databricks CLI 버전 0.265.0에 추가됨
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | Type | Description |
|---|---|---|
create_database_if_not_exists |
Boolean | 데이터베이스가 없는 경우 데이터베이스를 만들지 여부를 지정합니다. Databricks CLI 버전 0.265.0에 추가됨 |
database_instance_name |
String | 데이터베이스를 수용하는 인스턴스의 이름입니다. Databricks CLI 버전 0.265.0에 추가됨 |
database_name |
String | 카탈로그와 연관된 데이터베이스 이름(인스턴스 내에서)입니다. Databricks CLI 버전 0.265.0에 추가됨 |
lifecycle |
Map | 리소스가 배포되거나 제거될 때의 동작을 포함하여 리소스에 대한 수명 주기 설정을 포함합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.265.0에 추가됨 |
name |
String | Unity 카탈로그의 카탈로그 이름입니다. Databricks CLI 버전 0.265.0에 추가됨 |
Example
다음 예제에서는 해당 데이터베이스 카탈로그를 사용하여 데이터베이스 인스턴스 를 정의합니다.
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
데이터베이스_인스턴스
Type: Map
데이터베이스 인스턴스 리소스를 사용하면 번들에 데이터베이스 인스턴스를 정의할 수 있습니다. Lakebase 데이터베이스 인스턴스는 스토리지 및 컴퓨팅 리소스를 관리하고 사용자가 연결하는 엔드포인트를 제공합니다.
Note
이제 리소스에서 database_instances 만든 새 데이터베이스 인스턴스가 Lakebase 자동 크기 조정 프로젝트로 만들어집니다. 자세한 내용은 기본적으로 자동 크기 조정 을 참조하세요. 새 Lakebase 작업의 경우 리소스를 postgres_projects 대신 사용하는 것이 좋습니다.
중요합니다
데이터베이스 인스턴스를 사용하여 번들을 배포하면 인스턴스가 즉시 실행되고 가격 책정이 적용됩니다. Lakebase 가격 책정을 참조하세요.
데이터베이스 인스턴스에 대한 자세한 내용은 Lakebase Provisioned를 참조하세요.
Databricks CLI 버전 0.265.0에 추가됨
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | Type | Description |
|---|---|---|
capacity |
String | 인스턴스의 sku입니다. 유효한 값은 CU_1, CU_2, CU_4, CU_8.Databricks CLI 버전 0.265.0에 추가됨 |
custom_tags |
Sequence | 인스턴스와 연결된 사용자 지정 태그를 지정하는 키-값 쌍의 목록입니다. Databricks CLI 버전 0.273.0에 추가됨 |
enable_pg_native_login |
Boolean | 인스턴스에 PG 네이티브 암호 로그인이 활성화되어 있는지 여부입니다. 기본값은 true입니다.Databricks CLI 버전 0.267.0에 추가됨 |
enable_readable_secondaries |
Boolean | 보조 복제본이 읽기 전용 트래픽을 제공하도록 설정할지 여부입니다. 기본값은 false입니다.Databricks CLI 버전 0.265.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 인스턴스의 이름입니다. 인스턴스의 고유 식별자입니다. Databricks CLI 버전 0.265.0에 추가됨 |
node_count |
Integer | 1개의 주 노드와 0개 이상의 보조 복제본으로 구성된 인스턴스의 노드 수입니다. 기본값은 1개의 주 복제본과 0개의 보조 복제본으로 설정됩니다. Databricks CLI 버전 0.265.0에 추가됨 |
parent_instance_ref |
Map | 부모 인스턴스의 참조입니다. 인스턴스가 자식 인스턴스인 경우에만 사용할 수 있습니다.
부모 인스턴스를 참조하세요. Databricks CLI 버전 0.265.0에 추가됨 |
permissions |
Sequence | 데이터베이스 인스턴스의 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.265.0에 추가됨 |
retention_window_in_days |
Integer | 인스턴스의 보존 기간입니다. 기록 데이터가 보존되는 기간(일)입니다. 기본값은 7일입니다. 유효한 값은 2~35일입니다. Databricks CLI 버전 0.265.0에 추가됨 |
stopped |
Boolean | 인스턴스가 중지되었는지 여부입니다. Databricks CLI 버전 0.265.0에 추가됨 |
usage_policy_id |
String | 인스턴스와 연결할 원하는 서버리스 사용 정책입니다. Databricks CLI 버전 0.273.0에 추가됨 |
데이터베이스_인스턴스의 기본_인스턴스_참조
Type: Map
부모 인스턴스의 참조입니다. 인스턴스가 자식 인스턴스인 경우에만 사용할 수 있습니다.
| Key | Type | Description |
|---|---|---|
branch_time |
String | ref 데이터베이스 인스턴스의 분기 시간입니다. 부모 ref 인스턴스의 경우 인스턴스가 만들어진 부모 인스턴스의 지정 시간입니다. 자식 참조 인스턴스의 경우, 이는 자식 인스턴스가 생성된 참조 인스턴스의 시점입니다. |
lsn |
String | 참조 데이터베이스 인스턴스의 사용자 지정 WAL LSN입니다. |
name |
String | ref 데이터베이스 인스턴스의 이름입니다. |
Example
다음 예제에서는 해당 데이터베이스 카탈로그를 사용하여 데이터베이스 인스턴스를 정의합니다.
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
데이터베이스 인스턴스 및 해당 데이터베이스 카탈로그를 정의하는 방법을 보여 주는 예제 번들은 bundle-examples GitHub 리포지토리 참조하세요.
실험
Type: Map
실험 리소스를 사용하면 패키지에 MLflow 실험을 정의할 수 있습니다. MLflow 실험과 관련된 정보를 얻으려면 MLflow 실험을 사용하여 학습 실행을 구성하는 방법을 참조하세요.
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | Type | Description |
|---|---|---|
artifact_location |
String | 실험의 아티팩트가 저장되는 위치입니다. 위치에는 URI 구성표(예: dbfs: 또는 s3:.)가 포함되어야 합니다. Unity 카탈로그 볼륨에 아티팩트를 저장하려면(권장되는 경우 MLflow 2.15.0 이상이 필요함) 양식 dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>의 경로를 사용합니다.
작업 영역에서 실험 만들기를 참조하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 실험을 식별하는 식별 이름입니다. 실험 이름은 Databricks 작업 영역의 절대 경로여야 합니다. 예를 들면 다음과 같습니다 /Workspace/Users/someone@example.com/my_experiment. |
permissions |
Sequence | 실험에 대한 권한입니다. 사용 권한을 참조 하세요. |
tags |
Sequence | 추가 메타데이터 키-값 쌍들.
태그를 참조하세요. 실험에 대한 설명을 설정하려면 태그를 mlflow.note.content 사용합니다. 서버리스 예산 정책을 연결하려면 태그를 mlflow.workload_creation_policy_id 사용합니다.
서버리스 사용 정책을 사용하여 특성 사용량을 참조하세요. |
Example
다음 예제에서는 모든 사용자가 볼 수 있는 실험을 정의합니다.
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
tags:
- key: mlflow.note.content
value: MLflow experiment used to track runs
external_location(Unity 카탈로그)
Type: Map
외부 위치 리소스를 사용하면 번들에서 외부 위치 (Unity 카탈로그)를 정의할 수 있습니다.
Note
선언적 자동화 번들을 사용하여 외부 위치를 정의하는 것은 직접 배포 엔진을 사용하는 경우에만 지원됩니다.
Databricks CLI 버전 0.289.0에 추가됨
external_locations:
<external-location-name>:
<external-location-field-name>: <external-location-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | 사용자가 제공한 외부 위치에 대한 자유 형식 텍스트 설명입니다. Databricks CLI 버전 0.289.0에 추가됨 |
credential_name |
String | 필수 사항입니다. 이 위치에 사용되는 스토리지 자격 증명의 이름입니다. Databricks CLI 버전 0.289.0에 추가됨 |
enable_file_events |
Boolean | 이 외부 위치에서 파일 이벤트를 사용하도록 설정할지 여부입니다. 기본값은 true입니다. 실제 적용된 값은 서버 쪽 기본값으로 인해 다를 수 있습니다. 유효 상태를 확인 effective_enable_file_events 합니다.Databricks CLI 버전 0.289.0에 추가됨 |
encryption_details |
Map | 클라우드 스토리지에 연결하는 클라이언트에 적용되는 암호화 옵션입니다.
external_location.encryption_details를 참조하세요. Databricks CLI 버전 0.289.0에 추가됨 |
fallback |
Boolean | 이 외부 위치에 대해 대체 모드를 사용할 수 있는지 여부를 나타냅니다. 대체 모드를 사용하도록 설정하면 Unity 카탈로그 자격 증명이 충분하지 않으면 위치에 대한 액세스가 클러스터 자격 증명으로 대체됩니다. Databricks CLI 버전 0.289.0에 추가됨 |
file_event_queue |
Map | 이 외부 위치에 대한 파일 이벤트 큐 설정입니다. 그렇지 않은 enable_file_events경우 false 이 키를 정의해야 하며 문서화된 속성 중 하나만 있어야 합니다.
external_location.file_event_queue를 참조하세요.Databricks CLI 버전 0.289.0에 추가됨 |
grants |
Sequence | 외부 위치와 연결된 권한 부여입니다. 부여를 참조 하세요. Databricks CLI 버전 0.289.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.289.0에 추가됨 |
name |
String | 필수 사항입니다. 외부 위치의 이름입니다. Databricks CLI 버전 0.289.0에 추가됨 |
read_only |
Boolean | 외부 위치가 읽기 전용인지 여부를 나타냅니다. Databricks CLI 버전 0.289.0에 추가됨 |
skip_validation |
Boolean | 외부 위치와 연결된 스토리지 자격 증명의 유효성 검사를 건너뜁니다. Databricks CLI 버전 0.289.0에 추가됨 |
url |
String | 필수 사항입니다. 외부 위치의 경로 URL입니다. Databricks CLI 버전 0.289.0에 추가됨 |
external_location.encryption_details
Type: Map
클라우드 스토리지에 연결하는 클라이언트에 적용되는 암호화 옵션입니다.
| Key | Type | Description |
|---|---|---|
sse_encryption_details |
Map | Amazon S3와 통신하는 클라이언트에 대한 서버 쪽 암호화 속성입니다. |
external_location.file_event_queue
Type: Map
이 외부 위치에 대한 파일 이벤트 큐 설정입니다.
| Key | Type | Description |
|---|---|---|
managed_aqs |
Map | 관리되는 Azure Queue Storage 설정입니다. |
managed_pubsub |
Map | 관리형 Google Cloud Pub/Sub 설정. |
managed_sqs |
Map | 관리되는 Amazon SQS 설정. |
provided_aqs |
Map | 사용자가 제공한 Azure Queue Storage 설정입니다. |
provided_pubsub |
Map | 사용자가 제공한 Google Cloud Pub/Sub 설정입니다. |
provided_sqs |
Map | 사용자가 제공한 Amazon SQS 설정입니다. |
Example
# databricks.yml
bundle:
name: external-locations-example
engine: direct # External locations require the direct deployment engine
resources:
external_locations:
my_external_location:
name: my_external_location
url: 's3://my-bucket/my-path'
credential_name: my_storage_credential
comment: 'External location created by Databricks Asset Bundles'
grants:
- principal: someone@example.com
privileges:
- CREATE_EXTERNAL_TABLE
- READ_FILES
genie_space
Type: Map
Genie 에이전트 리소스를 사용하면 번들에서 Genie 에이전트를 정의할 수 있습니다. Genie 에이전트에 대한 자세한 내용은 Genie 에이전트를 참조하세요.
Note
직접 배포 엔진을 사용하는 경우에만 선언적 자동화 번들을 사용하여 Genie 에이전트를 정의할 수 있습니다.
Databricks CLI 버전 1.3.0에 추가됨
genie_spaces:
<genie_space-name>:
<genie_space-field-name>: <genie_space-field-value>
| Key | Type | Description |
|---|---|---|
description |
String | Genie 에이전트 설명입니다. Databricks CLI 버전 1.3.0에 추가됨 |
file_path |
String | 항목 대신 사용할 로컬 파일(예 sales_analytics.geniespace.json: )에 대한 serialized_space 경로입니다. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.3.0에 추가됨 |
parent_path |
String | Genie 에이전트가 등록될 부모 폴더 경로입니다. Databricks CLI 버전 1.3.0에 추가됨 |
permissions |
Sequence | Genie 에이전트 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 1.3.0에 추가됨 |
serialized_space |
String | 필수 사항입니다. 직렬화된 문자열 형식의 Genie 에이전트 내용입니다. 이 필드는 공간의 레이아웃 및 구성 요소를 나타내는 JSON 문자열의 구조를 제공합니다. 지정된 경우 file_path .serialized_spaceDatabricks CLI 버전 1.3.0에 추가됨 |
title |
String | Genie 에이전트에 대한 선택적 타이틀 재정의입니다. Databricks CLI 버전 1.3.0에 추가됨 |
warehouse_id |
String | 필수 사항입니다. 새 공간과 연결할 SQL 웨어하우스의 ID입니다. Databricks CLI 버전 1.3.0에 추가됨 |
Examples
다음 예제에서는 Genie 에이전트 리소스를 정의합니다.
# databricks.yml
bundle:
name: nyc-taxi-genie
engine: direct # genie_spaces require the direct deployment engine
resources:
genie_spaces:
nyc_taxi_genie:
title: 'NYC Taxi Trip Analysis'
description: 'Ask questions about NYC taxi trip data in natural language'
warehouse_id: <warehouse-id>
file_path: ./nyc_taxi_genie.geniespace.json
permissions:
- level: CAN_RUN
group_name: users
해당 nyc_taxi_genie.geniespace.json 파일은 데이터 원본, 지침 및 샘플 질문을 포함하여 공간의 직렬화된 정의를 포함합니다. 대신 키의 YAML에서 serialized_space 지정할 수도 있습니다.
// nyc_taxi_genie.geniespace.json
{
"version": 2,
"config": {
"sample_questions": [
{
"id": "11111111111111111111111111111111",
"question": ["What is the average fare per trip?"]
}
]
},
"data_sources": {
"tables": [
{
"identifier": "samples.nyctaxi.trips",
"column_configs": [
{ "column_name": "fare_amount" },
{ "column_name": "pickup_zip" },
{ "column_name": "tpep_pickup_datetime" },
{ "column_name": "trip_distance" }
]
}
]
},
"instructions": {
"text_instructions": [
{
"id": "22222222222222222222222222222222",
"content": ["Fare amounts are in USD. When asked about revenue, use SUM(fare_amount)."]
}
]
}
}
instance_pool
Type: Map
instance_pool 리소스는 번들 내에서 인스턴스 풀을 정의할 수 있게 해줍니다. 인스턴스 풀은 유휴 상태의 즉시 사용 가능한 클라우드 인스턴스 집합을 유지하여 풀에 연결된 클러스터가 더 빠르게 시작되고 확장되도록 합니다. 인스턴스 풀에 대한 정보는 ' 풀에 연결하기'를 참조하세요.
Note
Declarative Automation Bundles를 사용해 인스턴스 풀을 정의하는 것은 직접 배포 엔진을 사용할 때만 지원됩니다.
Databricks CLI 버전 1.9.0에 추가됨
instance_pools:
<instance_pool-name>:
<instance_pool-field-name>: <instance_pool-field-value>
| Key | Type | Description |
|---|---|---|
aws_attributes |
Map | Amazon Web Services에서 실행되는 인스턴스 풀과 관련된 속성들입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
instance_pool.aws_attributes를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
azure_attributes |
Map | Azure 실행되는 인스턴스 풀과 관련된 특성입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
instance_pool.azure_attributes를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
custom_tags |
Map | 풀 자원에 대한 추가 태그. Databricks는 모든 풀 자원(예: AWS 인스턴스 및 EBS 볼륨)에 이러한 태그 default_tags를 붙입니다. Databricks는 최대 45개의 커스텀 태그를 허용합니다.Databricks CLI 버전 1.9.0에 추가됨 |
disk_spec |
Map | 모든 스파크 컨테이너에 부착할 디스크의 명세.
instance_pool.disk_spec을 참고하세요. Databricks CLI 버전 1.9.0에 추가됨 |
enable_elastic_disk |
Boolean | 로컬 저장소 자동 확장: 활성화되면 이 풀 내 인스턴스는 Spark 워커가 디스크 공간이 부족할 때 동적으로 추가 디스크 공간을 획득합니다. AWS에서는 이 기능이 올바르게 작동하려면 특정 AWS 권한이 필요합니다. Databricks CLI 버전 1.9.0에 추가됨 |
gcp_attributes |
Map | 구글 클라우드 플랫폼에서 실행되는 인스턴스 풀과 관련된 속성들입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
instance_pool.gcp_attributes를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
idle_instance_autotermination_minutes |
Integer | 이 기간 동안 비활성 상태인 추가 인스턴스를 몇 분 min_idle_instances 단위로 충족하면 자동으로 풀 캐시 내 인스턴스를 종료합니다. 설정되지 않으면 추가 풀 인스턴스는 기본 타임아웃 후 자동으로 종료됩니다. 명시된 경우, 임계값은 와 0 분 사이 10000 여야 합니다. 이 값을 로 0 설정하여 최소 캐시 크기가 유지될 경우 유휴 인스턴스를 캐시에서 즉시 제거합니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool_name |
String | 필수 사항입니다. 풀 이름입니다. 풀 이름은 고유해야 하며, 길이는 1자에서 100자 사이여야 합니다. Databricks CLI 버전 1.9.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
max_capacity |
Integer | 클러스터와 유휴 인스턴스 모두를 포함해 풀에 보유해야 할 최대 미해결 인스턴스 수. 추가 인스턴스 프로비저닝이 필요한 클러스터는 업사이즈 요청 시 실패합니다. Databricks CLI 버전 1.9.0에 추가됨 |
min_idle_instances |
Integer | 인스턴스 풀에 보관해야 할 최소 유휴 인스턴스 수. Databricks CLI 버전 1.9.0에 추가됨 |
node_type_flexibility |
Map | 풀에 대한 유연한 노드 유형 구성.
instance_pool.node_type_flexibility를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
node_type_id |
String | 필수 사항입니다. 이 필드는 단일 값을 통해 이 풀을 사용하는 클러스터 내 각 스파크 노드에 사용 가능한 자원을 인코딩합니다. 예를 들어, Spark 노드는 메모리 또는 컴퓨팅 집약적 워크로드에 대해 프로비저닝되고 최적화될 수 있습니다. 사용 가능한 노드 형식 목록은 목록 노드 형식 API를 사용하여 검색할 수 있습니다. Databricks CLI 버전 1.9.0에 추가됨 |
permissions |
Sequence | 인스턴스 풀 권한. 허용된 수준은 CAN_MANAGE 와 CAN_ATTACH_TO입니다. 사용 권한을 참조 하세요.Databricks CLI 버전 1.9.0에 추가됨 |
preloaded_docker_images |
Sequence | 풀 인스턴스에 미리 로드할 수 있는 커스텀 Docker 이미지들입니다.
instance_pool.preloaded_docker_images를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
preloaded_spark_versions |
Sequence | 풀에 대한 최대 하나의 사전 로드된 Spark 이미지 버전을 포함하는 목록입니다. 풀 백 클러스터는 미리 로드된 Spark 버전으로 시작하면 더 빠르게 시작했습니다. 사용 가능한 Spark 버전 목록 API를 사용하여 사용 가능한 Spark 버전 목록을 검색할 수 있습니다. Databricks CLI 버전 1.9.0에 추가됨 |
remote_disk_throughput |
Integer | 원격 디스크의 구성 가능한 처리량(MB/s)입니다. 현재는 GCP HYPERDISK_BALANCED 유형에만 지원됩니다.Databricks CLI 버전 1.9.0에 추가됨 |
total_initial_remote_disk_size |
Integer | 원격 디스크의 총 초기 볼륨 크기(GB 단위)입니다. 현재는 GCP HYPERDISK_BALANCED 유형에만 지원됩니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool.aws_attributes
Type: Map
Amazon Web Services에서 실행되는 인스턴스 풀과 관련된 속성들입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
availability |
String | 스팟 노드에 사용되는 가용성 유형입니다. 유효한 값은 SPOT 및 ON_DEMAND입니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_profile_arn |
String | (베타) 인스턴스 풀에 속한 모든 AWS 인스턴스는 이 인스턴스 프로필을 가지고 있습니다. 만약 생략할 경우, 인스턴스는 처음에 워크스페이스의 기본 인스턴스 프로필로 실행됩니다. 정의가 명시되어 있다면, 풀을 사용하는 클러스터는 인스턴스 프로필을 상속받으며 클러스터 생성 또는 업데이트 시 자체 인스턴스 프로필을 지정해서는 안 됩니다. 풀에 인스턴스 프로필이 지정되어 있지 않으면, 풀을 사용하는 클러스터는 어떤 인스턴스 프로필이든 지정할 수 있습니다. 인스턴스 프로필은 계정 관리자가 이전에 Databricks 환경에 추가했어야 합니다. 이 기능은 특정 고객 요금제에만 적용될 수 있습니다. Databricks CLI 버전 1.9.0에 추가됨 |
spot_bid_price_percent |
Integer | AWS 스팟 인스턴스의 입찰 가격을 해당 인스턴스 유형의 온디맨드 가격에서 백분율로 계산합니다. 예를 들어, 이 필드가 로 50 설정되어 있고 풀에 새로운 r3.xlarge 스팟 인스턴스가 필요하다면, 입찰가는 온디맨 r3.xlarge 드 인스턴스의 절반 가격이 됩니다. 지정하지 않으면 기본값 100입니다. 이 체는 보다 이상 10000이 되어야 한다.Databricks CLI 버전 1.9.0에 추가됨 |
zone_id |
String | 예를 us-west-2a들어, 풀이 위치한 가용성 존/데이터센터의 식별자입니다. 제공된 가용성 존은 Databricks 배포와 동일한 영역에 있어야 합니다. 이 필드는 선택 사항이며, 지정하지 않으면 기본 존이 사용됩니다. 사용 가능한 존 목록과 기본 값은 List 존 API를 사용하여 확인할 수 있습니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool.azure_attributes
Type: Map
Azure 실행되는 인스턴스 풀과 관련된 특성입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
availability |
String | 스팟 노드에 사용되는 가용성 유형입니다. 유효한 값은 SPOT_AZURE 및 ON_DEMAND_AZURE입니다.Databricks CLI 버전 1.9.0에 추가됨 |
capacity_reservation_group |
String | 이 풀에서 VM을 실행할 때 사용하는 Azure 용량 예약 그룹 리소스 ID입니다. 지정이 시되면 제공된 용량 예약을 사용하여 VM이 실행됩니다. 이 필드를 생략하면 풀 내 기존 구성 용량 예약 그룹이 모두 삭제됩니다. 용량 예약은 작업 공간이 주입된 VNet(Databricks에서 관리하지 않는 고객 정의 VNet)을 사용할 때만 지정할 수 있습니다. 엔터프라이즈 애플리케이션은 databricks-login-prod 다음 네 가지 권한을 부여받아야 합니다:
/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/capacityReservationGroups/{capacityReservationGroupName} 형식을 사용합니다.Databricks CLI 버전 1.9.0에 추가됨 |
spot_bid_max_price |
Number | Azure 스팟 인스턴스의 최고 가격은 미국 달러(USD)로 제시됩니다. 예를 들어, 이 가치 2 는 시간당 최대 2.00달러를 설정합니다. 최대 가격을 가격에 따라 VM이 퇴거되지 않도록 설정 -1 하세요. VM의 가격은 현재 현상 가격이거나 표준 VM 가격이며, 용량과 할당량이 있으면 더 저렴한 가격입니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool.disk_spec
Type: Map
모든 스파크 컨테이너에 부착할 디스크의 명세.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
disk_count |
Integer | 각 인스턴스별로 실행된 디스크 수. 이 기능은 지원되는 노드 유형에만 적용되며, 해당 노드 유형이 지원하는 디스크 한도까지 선택할 수 있습니다. OS 디스크가 없는 노드 유형은 최소 한 대의 디스크를 지정해야 하며, 그렇지 않으면 클러스터 생성이 실패합니다. 디스크가 연결된 경우, Databricks는 Spark가 디스크만 스크래치 저장용으로 사용하도록 설정하는데, 이는 크기가 이질적인 스크래치 장치가 비효율적인 디스크 활용을 초래할 수 있기 때문입니다. 디스크가 연결되지 않은 경우, Databricks는 Spark가 인스턴스 저장소 디스크를 사용하도록 설정합니다. 디스크가 지정되어 있으면 스파크 구성 spark.local.dir 이 무시됩니다.디스크는 AW Azure S /ebs0/ebs1의 경우 , /remote_volume0등으로 마운트/remote_volume1됩니다.Databricks CLI 버전 1.9.0에 추가됨 |
disk_iops |
Integer | 각 연결된 디스크마다 프로비저닝할 IOPS 수. Databricks CLI 버전 1.9.0에 추가됨 |
disk_size |
Integer | 각 디스크의 크기는 GiB 단위로 각 인스턴스별로 실행되었습니다. 값은 특정 인스턴스 유형에 맞는 지원 범위 내에 있어야 합니다. AWS의 경우 범용 SSD는 100–4096 GiB이고, 처리량 최적화 HDD는 500–4096 GiB입니다. Azure의 경우 프리미엄 LRS(SSD)는 1–1023 GiB, 표준 LRS(HDD)는 1–1023 GiB입니다. Databricks CLI 버전 1.9.0에 추가됨 |
disk_throughput |
Integer | 각 부착된 디스크에 대해 프로비저닝할 디스크 처리량(MB/s)입니다. Databricks CLI 버전 1.9.0에 추가됨 |
disk_type |
Map | 풀 인스턴스와 함께 실행할 디스크 종류. (유효한 값은 와 )를 azure_disk_volume_type 또는 (유효한 값 PREMIUM_LRS 은 와 STANDARD_LRS)로 설정하세요 ebs_volume_type .GENERAL_PURPOSE_SSDTHROUGHPUT_OPTIMIZED_HDDDatabricks CLI 버전 1.9.0에 추가됨 |
instance_pool.gcp_attributes
Type: Map
구글 클라우드 플랫폼에서 실행되는 인스턴스 풀과 관련된 속성들입니다. 풀 생성 시 지정되지 않은 경우, 기본 값 집합이 사용됩니다.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
gcp_availability |
String | 인스턴스 풀에 선점형 VM, 주문형 VM, 또는 전자가 없을 경우 주문형 VM으로 대체할 수 있는 선점형 VM이 포함되는지 결정합니다. 유효한 값은 PREEMPTIBLE_GCP, ON_DEMAND_GCP 및 PREEMPTIBLE_WITH_FALLBACK_GCP입니다.Databricks CLI 버전 1.9.0에 추가됨 |
local_ssd_count |
Integer | 제공된다면, 인스턴스 풀의 각 노드에는 이 수의 로컬 SSD가 연결되어 있습니다. 각 로컬 SSD는 375GB 크기입니다. 각 인스턴스 유형별 지원되는 로컬 SSD 수에 대해서는 GCP 문서를 참조하세요. Databricks CLI 버전 1.9.0에 추가됨 |
zone_id |
String | 예를 us-west1-a들어, 풀이 위치한 가용성 존/데이터센터의 식별자입니다. 제공된 가용성 존은 Databricks 작업 공간과 동일한 영역에 있어야 합니다. 이 필드는 선택 사항이며, 지정하지 않으면 기본 존이 사용됩니다. 이 필드를 고가용성용으로 HA 설정하면, Databricks 배포 지역의 가용성 존 또는 해당 머신 유형과 지역의 사용 가능한 존 중 하나로 노드를 분산시킵니다. 비어 있으면 Databricks가 가용성 존을 선택합니다.Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool.node_type_flexibility
Type: Map
풀에 대한 유연한 노드 유형 구성.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | 주 노드 형식을 사용할 수 없는 경우 대체(fallback)로 사용할 노드 형식 ID 목록입니다. Databricks CLI 버전 1.9.0에 추가됨 |
instance_pool.preloaded_docker_images
Type: Sequence
풀 인스턴스에 미리 로드할 수 있는 커스텀 Docker 이미지들입니다.
Databricks CLI 버전 1.9.0에 추가됨
| Key | Type | Description |
|---|---|---|
basic_auth |
Map | Docker 저장소의 기본 인증. 설정 username 및 password.Databricks CLI 버전 1.9.0에 추가됨 |
url |
String | 도커 이미지의 URL. Databricks CLI 버전 1.9.0에 추가됨 |
Example
다음 예시는 인스턴스 풀과 이를 사용하는 클러스터를 정의합니다:
resources:
instance_pools:
my_pool:
instance_pool_name: my-pool
node_type_id: i3.xlarge
min_idle_instances: 2
max_capacity: 10
idle_instance_autotermination_minutes: 15
preloaded_spark_versions:
- '15.4.x-scala2.12'
clusters:
my_cluster:
cluster_name: my-cluster
instance_pool_id: ${resources.instance_pools.my_pool.id}
spark_version: '15.4.x-scala2.12'
num_workers: 2
작업
Type: Map
작업은 선언적 자동화 번들에 대한 Python 지원됩니다. databricks.bundles.jobs 참조하세요.
번들에서 작업과 해당 작업에 연결된 태스크를 정의할 수 있도록 작업 리소스를 사용하십시오.
작업에 대한 자세한 내용은 Lakeflow 작업을 참조하세요. 선언적 자동화 번들 템플릿을 사용하여 작업을 만드는 자습서는 선언적 자동화 번들을 사용하여 작업 개발을 참조하세요.
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 이 작업에 사용할 사용자 지정 예산 정책의 ID입니다. 지정하지 않으면 작업을 만들거나 수정할 때 기본 예산 정책이 적용될 수 있습니다. 이 워크로드에서 사용하는 예산 정책을 참조 effective_budget_policy_id 하세요.Databricks CLI 버전 0.231.0에 추가됨 |
continuous |
Map | 이 작업에 대한 선택적 연속 속성입니다. 연속 속성은 항상 하나의 실행이 실행되도록 합니다.
schedule와 continuous 중 하나만 사용할 수 있습니다. 연속을 참조하십시오. |
deployment |
Map | 외부 원본에서 관리하는 작업에 대한 배포 정보입니다. 배포를 참조하세요. |
description |
String | 작업에 대한 선택적 설명입니다. 최대 길이는 UTF-8 인코딩에서 27700자입니다. |
email_notifications |
Map | 이 작업의 실행이 시작되거나 완료될 때와 이 작업이 삭제될 때 알림을 수신하는 선택적 전자 메일 주소 집합입니다. email_notifications 참조하세요. |
environments |
Sequence | 이 작업의 서버리스 작업에서 참조할 수 있는 작업 실행 환경 사양 목록입니다. 서버리스 작업에는 환경이 있어야 합니다. 서버리스 Notebook 작업의 경우 Notebook 환경 패널에서 환경에 액세스할 수 있습니다. 다른 서버리스 작업의 경우 작업 설정에서 environment_key 사용하여 작업 환경을 지정해야 합니다. 환경을 참조하세요. |
format |
String | Deprecated. 작업의 형식입니다. |
git_source |
Map | 태스크에서 사용하는 소스 코드를 포함하는 원격 Git 리포지토리에 대한 선택적 사양입니다.
job.git_source 참조하세요. 중요하다: 로컬 상대 경로가 git_source Git 리포지토리의 동일한 콘텐츠를 가리키지 않을 수 있으며 번들은 배포된 작업이 배포된 로컬 복사본과 동일한 콘텐츠를 포함할 것으로 예상하므로 번들에 대해 설정된 source 필드와 작업 GIT 필드는 권장되지 않습니다.대신 리포지토리를 로컬로 복제하고 이 리포지토리 내에서 번들 프로젝트를 설정하여 작업의 원본이 작업 영역이 되도록 합니다. |
health |
Map | 이 작업에 대해 정의할 수 있는 선택적 건강 규칙 집합입니다. 건강을 참조하세요. |
job_clusters |
Sequence | 이 작업의 태스크에서 공유하고 다시 사용할 수 있는 작업 클러스터 사양 목록입니다. job_clusters 참조하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
max_concurrent_runs |
Integer | 선택적으로 허용되는 작업의 최대 동시 실행 수입니다. 동일한 작업의 여러 실행을 동시에 실행할 수 있도록 하려면 이 값을 설정합니다. |
name |
String | 작업에 대한 선택적 이름입니다. 최대 길이는 UTF-8 인코딩에서 4096바이트입니다. |
notification_settings |
Map | 이 작업에 대해 각각 email_notifications 과 webhook_notifications 에 알림을 보낼 때 사용되는 선택적 알림 설정입니다.
notification_settings 참조하세요. |
parameters |
Sequence | 작업 수준 매개 변수 정의입니다. job.parameters를 참조하세요. |
performance_target |
String | 서버리스에서 실행의 성능 또는 비용 효율성을 정의합니다. Databricks CLI 버전 0.241.0에 추가됨 |
permissions |
Sequence | 작업 권한 사용 권한을 참조 하세요. |
queue |
Map | 작업의 큐 설정입니다. 큐를 참조 하세요. |
run_as |
Map | 작업이 실행되는 사용자 또는 서비스 주체입니다. 이 필드는 작업에 대한 명시적 구성을 run_as 나타냅니다. 지정하지 않으면 작업이 작업을 만든 사용자로 실행됩니다.
user_name 또는 service_principal_name 중 하나를 지정해야 합니다. 그렇지 않으면 오류가 throw됩니다.
run_as 참조하세요. |
schedule |
Map | 이 작업에 대한 선택적 정기 일정입니다. 기본 동작은 작업 UI에서 "지금 실행"을 클릭하거나 API 요청을 전송하여 트리거될 때만 작업이 실행된다는 것입니다 runNow.
일정을 참조하세요. |
tags |
Map | 작업과 연결된 태그의 맵입니다. 이러한 태그는 작업 클러스터에 대한 클러스터 태그로 클러스터에 전달되며 클러스터 태그와 동일한 제한 사항이 적용됩니다. 최대 25개의 태그를 작업에 추가할 수 있습니다. |
tasks |
Sequence | 이 작업에서 실행할 작업 사양 목록입니다.
선언적 자동화 번들의 작업에 작업 추가를 참조하세요. Databricks CLI 버전 0.237.0에 추가됨 |
timeout_seconds |
Integer | 이 작업의 각 실행에 적용되는 선택적 시간 제한입니다. 값은 0 시간 제한이 없음을 의미합니다. |
trigger |
Map | 특정 조건이 충족될 때 실행을 트리거하는 구성입니다. 트리거를 참조하십시오. |
triggers |
Sequence | (베타) 이 작업에 연결된 트리거 목록. 실행 시작은 어떤 활성 트리거가 진리로 평가될 때 시작됩니다. 레거시 schedule, , triggercontinuous 필드와 같은 요청 내에서 설정할 수 없습니다. "다중 트리거" 기능 미리보기 뒤에 갇혀 있습니다.
job.triggers를 참고하세요.Databricks CLI 버전 1.13.0에 추가됨 |
usage_policy_id |
String | 이 작업에 사용할 서버리스 사용 정책의 ID입니다. Databricks CLI 버전 0.273.0에 추가됨 |
webhook_notifications |
Map | 이 작업의 실행이 시작되거나 완료될 때 알릴 시스템 알림 ID의 컬렉션입니다. webhook_notifications 참조하세요. |
작업.지속적인
Type: Map
연속 작업 실행을 위한 구성입니다.
| Key | Type | Description |
|---|---|---|
pause_status |
String | 연속 작업이 일시 중지되었는지 여부입니다. 유효한 값: PAUSED, . UNPAUSED |
task_retry_mode |
String | 연속 작업이 작업 수준 재시도를 적용하는 방법을 나타냅니다. 유효한 값은 NEVER 및 ON_FAILURE입니다. 기본값은 NEVER입니다. |
작업.배포
Type: Map
외부 원본에서 관리하는 작업에 대한 배포 정보입니다.
| Key | Type | Description |
|---|---|---|
kind |
String | 배포의 종류 예: BUNDLE. |
metadata_file_path |
String | 배포에 대한 메타데이터 파일의 경로입니다. |
job.email_notifications (작업 이메일 알림)
Type: Map
작업 실행에 대한 이메일 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | 실행이 시작될 때 알릴 전자 메일 주소 목록입니다. |
on_success |
Sequence | 실행이 성공하면 알릴 전자 메일 주소 목록입니다. |
on_failure |
Sequence | 실행이 실패할 때 알릴 전자 메일 주소 목록입니다. |
on_duration_warning_threshold_exceeded |
Sequence | 실행 기간이 경고 임계값을 초과할 때 알릴 전자 메일 주소 목록입니다. |
no_alert_for_skipped_runs |
Boolean | 건너뛴 실행에 대한 경고 전송을 건너뛸지 여부입니다. |
on_streaming_backlog_exceeded |
Sequence | 모든 스트림에 대해 스트리밍 백로그 임계값을 초과할 때 알릴 전자 메일 주소 목록입니다. 스트리밍 백로그 임계값은 다음 메트릭을 사용하여 필드에서 설정할 health 수 있습니다. STREAMING_BACKLOG_BYTESSTREAMING_BACKLOG_RECORDSSTREAMING_BACKLOG_SECONDSSTREAMING_BACKLOG_FILES 경고는 이러한 메트릭의 10분 평균을 기반으로 합니다. 문제가 지속되면 30분마다 알림이 다시 전송됩니다. |
job.environments (작업 환경)
Type: Sequence
작업의 서버리스 작업에서 참조할 수 있는 작업 실행 환경 사양 목록입니다.
목록의 각 항목은 다음과 같습니다.JobEnvironment
| Key | Type | Description |
|---|---|---|
environment_key |
String | 환경의 키입니다. 작업 내에서 고유해야 합니다. |
spec |
Map | 서버리스 환경을 나타내는 엔터티입니다. job.environments.spec을 참조하세요. |
job.environments.spec
Type: Map
서버리스 환경을 나타내는 엔터티입니다.
| Key | Type | Description |
|---|---|---|
client |
String | Deprecated. 클라이언트 버전입니다. |
dependencies |
Sequence | 이 환경의 pip 버전에서 지원하는 pip 종속성 목록입니다. |
environment_version |
String | 필수 사항입니다. 환경에서 사용하는 환경 버전입니다. 각 버전에는 특정 Python 버전과 일련의 Python 패키지가 함께 제공됩니다. 버전은 정수로 구성된 문자열입니다. |
job.git 원본
Type: Map
작업 소스 코드에 대한 Git 리포지토리 구성입니다.
| Key | Type | Description |
|---|---|---|
git_branch |
String | 이 작업에서 체크아웃하여 사용할 브랜치 이름입니다. 이 필드는 git_tag 또는 git_commit와 함께 지정할 수 없습니다. |
git_commit |
String | 이 작업에서 체크 아웃하고 사용하도록 커밋합니다. 이 필드는 git_branch 또는 git_tag와 함께 지정할 수 없습니다. |
git_provider |
String | Git 리포지토리를 호스트하는 데 사용되는 서비스의 고유 식별자입니다. 값은 대/소문자를 구분하지 않습니다. 유효한 값은 gitHub,, bitbucketCloudgitLab, azureDevOpsServicesgitHubEnterprise, bitbucketServer. gitLabEnterpriseEdition |
git_snapshot |
Map | 작업이 실행되었을 때 원격 리포지토리의 읽기 전용 상태입니다. 이 필드는 작업 실행에만 포함됩니다. git_snapshot 참조하세요. |
git_tag |
String | 이 작업에서 체크 아웃하고 사용할 태그의 이름입니다. 이 필드는 git_branch 또는 git_commit와 함께 지정할 수 없습니다. |
git_url |
String | 이 작업에서 복제할 리포지토리의 URL입니다. |
sparse_checkout |
Map | Git 리포지토리에 대한 스파스 체크 아웃 구성입니다.
job.git_source.sparse_checkout을 참조하세요. Databricks CLI 버전 0.290.0에 추가됨 |
job.git_source.sparse_checkout
Type: Map
Git 리포지토리에 대한 스파스 체크 아웃 구성입니다.
Databricks CLI 버전 0.290.0에 추가됨
| Key | Type | Description |
|---|---|---|
patterns |
Sequence | 스파스 체크 아웃에 포함할 패턴 목록입니다. Databricks CLI 버전 0.290.0에 추가됨 |
작업.깃_소스.깃_스냅샷
Type: Map
읽기 전용 커밋 정보 스냅샷입니다.
| Key | Type | Description |
|---|---|---|
used_commit |
String | 실행을 실행하는 데 사용된 커밋입니다.
git_branch가 지정된 경우, 이는 실행 시 분기의 HEAD를 가리킵니다. git_tag가 지정된 경우, 이는 태그가 가리키는 커밋을 가리킵니다. |
작업.건강
Type: Map
작업에 대한 상태 감시 구성을 설정합니다.
| Key | Type | Description |
|---|---|---|
rules |
Sequence | 작업 건강 규칙 목록입니다. 각 규칙에는 metric와 op (연산자) 및 value가 포함됩니다.
job.health.rules를 참조하세요. |
작업 건강 규칙
Type: Sequence
작업 건강 규칙 목록입니다.
목록의 각 항목은 다음과 같습니다.JobHealthRule
| Key | Type | Description |
|---|---|---|
metric |
String | 특정 상태 규칙에 대해 평가되는 상태 메트릭을 지정합니다.
|
op |
String | 상태 메트릭 값을 지정된 임계값과 비교하는 데 사용되는 연산자를 지정합니다. |
value |
Integer | 상태 규칙을 충족하기 위해 상태 메트릭이 준수해야 하는 임계값을 지정합니다. |
작업.작업_클러스터
Type: Sequence
이 작업의 태스크에서 공유하고 다시 사용할 수 있는 작업 클러스터 사양 목록입니다. 라이브러리는 공유 작업 클러스터에서 선언할 수 없습니다. 작업 설정에서 종속 라이브러리를 선언해야 합니다.
목록의 각 항목은 다음과 같습니다.JobCluster
작업.알림_설정
Type: Map
작업에 대한 모든 알림에 적용되는 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
no_alert_for_skipped_runs |
Boolean | 건너뛴 실행에 대한 경고 전송을 건너뛸지 여부입니다. |
no_alert_for_canceled_runs |
Boolean | 취소된 실행에 대한 경고 전송을 건너뛸지 여부입니다. |
job.parameters(직업.매개변수)
Type: Sequence
작업 매개 변수 정의 목록입니다.
목록의 각 항목은 다음과 같습니다.JobParameter
| Key | Type | Description |
|---|---|---|
default |
String | 필수 사항입니다. 매개 변수의 기본값(예: "users")입니다. |
name |
String | 필수 사항입니다. 정의된 매개 변수의 이름(예: "table")입니다. 유효한 값에는 영숫자 문자, _및 -.. |
job.queue
Type: Map
작업에 대한 큐 설정입니다.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | 작업에 대한 큐를 사용하도록 설정할지 여부입니다. |
작업.일정
Type: Map
주기적인 작업 실행에 대한 구성을 예약합니다.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | 작업이 실행되는 시기를 지정하는 Quartz 구문을 사용하는 Cron 식입니다. 예를 들어 0 0 9 * * ? 매일 오전 9:00 UTC에 작업을 실행합니다. |
timezone_id |
String | 일정의 표준 시간대입니다. 예를 들어 America/Los_Angeles 또는 UTC. |
pause_status |
String | 일정이 일시 중지되었는지 여부입니다. 유효한 값: PAUSED, . UNPAUSED |
작업.트리거
Type: Map
이벤트 기반 작업 실행에 대한 구성을 트리거합니다.
| Key | Type | Description |
|---|---|---|
file_arrival |
Map | 파일 도착에 따라 트리거합니다. file_arrival 참조하세요. |
table |
Map | 테이블을 기반으로 트리거합니다. 표를 참조하세요. |
table_update |
Map | 테이블 업데이트를 기반으로 트리거합니다. table_update 참조하세요. |
periodic |
Map | 주기적 트리거입니다. 주기적 참조 |
pause_status |
String | 트리거가 일시정지되었든 아니든. 유효한 값: PAUSED, . UNPAUSED |
작업.트리거.파일_도착
Type: Map
파일 도착에 따라 구성을 트리거합니다.
| Key | Type | Description |
|---|---|---|
url |
String | 새 파일을 모니터링할 파일 경로입니다. |
min_time_between_triggers_seconds |
Integer | 트리거 이벤트 사이의 최소 시간(초)입니다. |
wait_after_last_change_seconds |
Integer | 트리거하기 전에 마지막 파일이 변경된 후 시간(초)을 기다립니다. |
작업.트리거.테이블
Type: Map
테이블을 기반으로 구성을 트리거합니다.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | 모니터링할 테이블 이름 목록입니다. |
condition |
String | 작업을 트리거하기 위해 충족해야 하는 SQL 조건입니다. |
job.trigger.테이블_업데이트
Type: Map
테이블 업데이트를 기반으로 구성을 트리거합니다.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | 업데이트를 모니터링할 테이블 이름 목록입니다. |
condition |
String | 작업을 트리거하기 위해 충족해야 하는 SQL 조건입니다. |
wait_after_last_change_seconds |
Integer | 트리거하기 전에 마지막 테이블 업데이트 후 시간(초)을 기다립니다. |
작업.트리거.주기적
Type: Map
주기적 트리거 구성
| Key | Type | Description |
|---|---|---|
interval |
Integer | 주기적 트리거의 간격 값입니다. |
unit |
String | 간격의 시간 단위입니다. 유효한 값: HOURS, DAYS. WEEKS |
직업.트리거
Type: Sequence
이 작업에 관련된 트리거 목록입니다. 실행 시작은 어떤 활성 트리거가 진리로 평가될 때 시작됩니다. 각 항목마다 정확히 하나의 트리거 유형이 설정되어야 합니다. 레거시 schedule, , triggercontinuous 필드와 같은 요청 내에서 설정할 수 없습니다.
Databricks CLI 버전 1.13.0에 추가됨
목록의 각 항목은 트리거입니다:
| Key | Type | Description |
|---|---|---|
continuous |
Map | (베타) 연속 트리거 구성. Databricks CLI 버전 1.13.0에 추가됨 |
file_arrival |
Map | (베타) 파일 도착 트리거 구성. Databricks CLI 버전 1.13.0에 추가됨 |
pause_status |
String | (베타) 이 트리거가 일시정지되었는지. 기본값은 설정이 해제된 상태입니다 UNPAUSED . 유효한 값은 UNPAUSED 및 PAUSED입니다.Databricks CLI 버전 1.13.0에 추가됨 |
periodic |
Map | (베타) 주기적 트리거 구성. Databricks CLI 버전 1.13.0에 추가됨 |
schedule |
Map | (베타) 크론 스케줄 트리거 설정. Databricks CLI 버전 1.13.0에 추가됨 |
table_update |
Map | (베타) 테이블 업데이트 트리거 구성. Databricks CLI 버전 1.13.0에 추가됨 |
job.webhook_notifications (작업 웹훅 알림)
Type: Map
작업 실행에 대한 웹후크 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | 실행이 시작될 때 알릴 웹후크 알림 ID 목록입니다. |
on_success |
Sequence | 실행이 성공하면 알릴 웹후크 알림 ID 목록입니다. |
on_failure |
Sequence | 실행이 실패할 때 알릴 웹후크 알림 ID 목록입니다. |
on_duration_warning_threshold_exceeded |
Sequence | 실행 기간이 경고 임계값을 초과할 때 알릴 웹후크 알림 ID 목록입니다. |
on_streaming_backlog_exceeded |
Sequence | 모든 스트림에 대해 스트리밍 백로그 임계값을 초과할 때 호출할 시스템 알림 ID 목록입니다. 스트리밍 백로그 임계값은 다음 메트릭을 사용하여 필드에서 설정할 health 수 있습니다. STREAMING_BACKLOG_BYTESSTREAMING_BACKLOG_RECORDSSTREAMING_BACKLOG_SECONDSSTREAMING_BACKLOG_FILES 경고는 이러한 메트릭의 10분 평균을 기반으로 합니다. 문제가 지속되면 30분마다 알림이 다시 전송됩니다. 최대 3개의 대상을 지정할 수 있습니다. |
Examples
다음 예제에서는 리소스 키 hello-job을 사용하여 하나의 노트북 작업을 포함한 작업을 정의합니다.
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
다음 예제에서는 SQL Notebook을 사용하여 작업을 정의합니다.
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
추가 작업 구성 예제는 작업 구성을 참조하세요.
작업 태스크 정의 및 작업 설정 재정의에 대한 자세한 내용은 다음을 참조하세요.
job_run
Type: Map
job_run 리소스는 번들 배포의 일부로 기존 작업의 실행을 트리거합니다. 작업을 정의하는 작업과 달리, 작업 실행은 ID로 기존 작업을 참조합니다.
Note
선언적 자동화 번들을 사용해 작업 실행을 정의하는 것은 직접 배포 엔진을 사용할 때만 지원됩니다.
Databricks CLI 버전 1.7.0에 추가됨
job_runs:
<job_run-name>:
<job_run-field-name>: <job_run-field-value>
| Key | Type | Description |
|---|---|---|
job_id |
Integer | 필수 사항입니다. 실행할 작업의 ID입니다. Databricks CLI 버전 1.7.0에 추가됨 |
job_parameters |
Map | 실행 시 사용되는 작업 수준 매개변수, 예를 들어 param: overriding_val.Databricks CLI 버전 1.7.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.7.0에 추가됨 |
only |
Sequence | 작업 내에서 실행할 작업 키 목록입니다. 이 필드가 제공되지 않으면 작업 내 모든 작업이 실행됩니다. 작업 키를 + 접두사로 하여 업스트림 작업을 실행하거나, 접미 + 사로 하여 다운스트림 작업을 실행하도록 할 수 있습니다. 예를 들어, +my_task 상류의 러닝 my_task 과 모든 것, my_task+ 그리고 my_task 그 아래 +my_task+ 쪽의 모든 것, 그리고 둘 다 실행하는 식으로요. 작업 키가 없는 + 경우, 그 작업만 실행합니다.Databricks CLI 버전 1.7.0에 추가됨 |
performance_target |
String | 서버리스 작업의 성능 모드입니다. 성능 목표는 실행 시 컴퓨팅 성능 수준이나 비용 효율성을 결정하며, 작업 수준에서 정의된 성능 목표를 덮어씁니다. 유효한 값은 , 서버 없는 워크로드의 비용 효율적인 실행을 가능하게 하는 값, 그리고 STANDARD빠른 확장성과 최적화된 클러스터 성능을 통해 빠른 시작 및 실행 시간을 우선시하는 값입니다PERFORMANCE_OPTIMIZED.Databricks CLI 버전 1.7.0에 추가됨 |
pipeline_params |
Map | 실행 중인 파이프라인 작업의 새로고침 설정입니다.
job_run.pipeline_params를 참조하세요. Databricks CLI 버전 1.7.0에 추가됨 |
queue |
Map | 런의 큐 설정. 실행 대기열을 활성화하려면 로 enabled 설정 true 하세요.Databricks CLI 버전 1.7.0에 추가됨 |
job_run.pipeline_params
Type: Map
실행 중인 파이프라인 작업의 새로고침 설정입니다.
Databricks CLI 버전 1.7.0에 추가됨
| Key | Type | Description |
|---|---|---|
full_refresh |
Boolean | Spark 선언형 파이프라인을 완전히 갱정할지 여부. Databricks CLI 버전 1.7.0에 추가됨 |
full_refresh_selection |
Sequence | (베타) 완전 새로고침으로 업데이트할 테이블 목록입니다. Databricks CLI 버전 1.7.0에 추가됨 |
refresh_flow_selection |
Sequence | (베타) 선택적으로 새로고침할 수 있는 플로우 이름이 있습니다. 이들은 다른 선택적 새로고침 옵션과 refresh_selectionfull_refresh_selection합집합되어 최종 갱신할 흐름 집합을 결정합니다.Databricks CLI 버전 1.7.0에 추가됨 |
refresh_selection |
Sequence | (베타) 완전한 새로고침 없이 업데이트할 테이블 목록입니다. Databricks CLI 버전 1.7.0에 추가됨 |
reset_checkpoint_selection |
Sequence | (베타) 체크포인트를 리셋할 수 있는 스트림 플로우 목록이 데이터를 지우지 않고도 포함됩니다. Databricks CLI 버전 1.7.0에 추가됨 |
Example
다음 예시는 기존 작업의 실행을 트리거하여 하나의 작업 매개변수를 덮어쓰고 실행을 단일 작업과 그 상류 작업으로 제한합니다:
resources:
job_runs:
my_job_run:
job_id: 123456789
job_parameters:
catalog: main
only:
- +my_task
모델(레거시)
Type: Map
모델 리소스를 사용하면 번들에 레거시 모델을 정의할 수 있습니다. Databricks는 대신 Unity 카탈로그에 등록된 모델을 사용하는 것이 좋습니다.
모델_서빙_엔드포인트
Type: Map
model_serving_endpoint 리소스를 사용하면 엔드포인트제공하는
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
ai_gateway |
Map | 서비스 엔드포인트에 대한 AI 게이트웨이 구성입니다. 참고: 외부 모델 및 프로비전된 처리량 엔드포인트만 현재 지원됩니다.
ai_gateway 참조하세요. Databricks CLI 버전 0.230.0에 추가됨 |
budget_policy_id |
String | 이 엔드포인트에 사용할 예산 정책의 ID입니다. Databricks CLI 버전 0.244.0에 추가됨 |
config |
Map | 서비스 엔드포인트의 핵심 구성입니다. 구성을 참조하세요. |
description |
String | 서비스 엔드포인트에 대한 설명입니다. Databricks CLI 버전 0.260.0에 추가됨 |
email_notifications |
Map | 서비스 엔드포인트에 대한 이메일 알림 구성입니다.
email_notifications 참조하세요. Databricks CLI 버전 0.264.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 제공 엔드포인트의 이름입니다. 이 필드는 필수이며 Databricks 작업 영역에서 고유해야 합니다. 엔드포인트 이름은 영숫자 문자, 대시 및 밑줄로 구성됩니다. |
permissions |
Sequence | 엔드포인트의 권한을 제공하는 모델입니다. 사용 권한을 참조 하세요. |
rate_limits |
Sequence | Deprecated. 서비스 엔드포인트에 적용할 속도 제한입니다. AI 게이트웨이를 사용하여 속도 제한을 관리합니다. |
route_optimized |
Boolean | 서비스 엔드포인트에 대한 경로 최적화를 사용하도록 설정합니다. |
tags |
Sequence | 서비스 엔드포인트에 연결되고 청구 로그에 자동으로 전파될 태그입니다. |
telemetry_config |
Map | 엔드포인트 텔레메트리(로그, 트레이스, 메트릭)를 Unity Catalog 테이블에 지속하기 위한 구성입니다.
telemetry_config 보세요. Databricks CLI 버전 1.6.0에 추가됨 |
model_serving_endpoint.telemetry_config
Type: Map
엔드포인트 텔레메트리(로그, 트레이스, 메트릭)를 Unity Catalog 테이블에 지속하기 위한 구성입니다.
Databricks CLI 버전 1.6.0에 추가됨
| Key | Type | Description |
|---|---|---|
enabled_telemetry_features |
Sequence | 이 엔드포인트를 활성화하는 텔레메트리 신호. 비어 있거나 생략되면 모든 신호가 활성화됩니다; 그렇지 않으면 나열된 신호만 활성화됩니다. Databricks CLI 버전 1.14.0에 추가됨 |
inference_table_config |
Map | 추론 테이블 페이로드 로깅, 샘플링을 포함한 구성. Databricks CLI 버전 1.6.0에 추가됨 |
table_names |
Map | 엔드포인트 텔레메트리(로그, 추적, 메트릭)를 내보내는 Unity 카탈로그 테이블입니다. 주어진 테이블에서 엔드포인트의 새로운 텔레메트리 프로필을 생성하려면 이 기능을 제공합니다. Databricks CLI 버전 1.10.0에 추가됨 |
telemetry_profile_id |
String | 이 엔드포인트에 적용할 수 있는 기존 텔레메트리 프로필의 ID입니다. 이미 생성된 텔레메트리 프로필을 재사용할 수 있도록 이 기능을 제공하면, table_names.Databricks CLI 버전 1.10.0에 추가됨 |
model_serving_endpoint.이메일_알림
Type: Map
서비스 엔드포인트에 대한 이메일 알림 구성입니다.
| Key | Type | Description |
|---|---|---|
on_update_failure |
Sequence | 엔드포인트가 구성 또는 상태를 업데이트하지 못할 때 알림을 받을 전자 메일 주소 목록입니다. |
on_update_success |
Sequence | 엔드포인트가 구성 또는 상태를 성공적으로 업데이트할 때 알림을 받을 전자 메일 주소 목록입니다. |
모델_서빙_엔드포인트.ai_게이트웨이
Type: Map
서비스 엔드포인트에 대한 AI 게이트웨이 구성입니다.
| Key | Type | Description |
|---|---|---|
fallback_config |
Map | 제공된 엔터티에 대한 요청이 특정 오류 코드와 함께 실패하면 가용성을 높이기 위해 다른 제공된 엔터티로 자동 대체되는 트래픽 대체 구성입니다. fallback_config 참조하세요. |
guardrails |
Map | 가드레일 구성. 가드레일을 참조하세요. |
inference_table_config |
Map | Unity 카탈로그 테이블에 대한 유추 로깅을 위한 구성입니다. inference_table_config 참조하세요. |
rate_limits |
Sequence | 속도 제한 구성. |
usage_tracking_config |
Map | 사용량 추적을 위한 구성입니다. usage_tracking_config 참조하세요. |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
특정 오류 코드와 함께 요청이 실패할 경우 다른 제공된 엔터티로 자동 대체되는 트래픽 대체 구성입니다.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | 이 엔드포인트에 대한 대체를 사용할 수 있는지 여부입니다. |
모델_서빙_엔드포인트.ai_게이트웨이.가드레일
Type: Map
AI 게이트웨이 가드레일 구성입니다.
| Key | Type | Description |
|---|---|---|
input |
Map | 와 같은 safetypii필드가 있는 입력 가드레일 구성 |
output |
Map | 와 같은 safetypii필드가 있는 출력 가드레일 구성 |
invalid_keywords |
Sequence | 차단할 키워드 목록입니다. |
모델_서비스_엔드포인트.ai_게이트웨이.추론_테이블_구성
Type: Map
Unity 카탈로그 테이블에 대한 유추 로깅을 위한 구성입니다.
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Unity 카탈로그의 카탈로그 이름입니다. |
schema_name |
String | Unity 카탈로그의 스키마 이름입니다. |
table_name_prefix |
String | 유추 테이블 이름의 접두사입니다. |
enabled |
Boolean | 유추 테이블 로깅을 사용할 수 있는지 여부입니다. |
모델_서빙_엔드포인트.인공지능_게이트웨이.사용_추적_구성
Type: Map
사용을 추적하기 위한 AI 게이트웨이 구성입니다.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | 사용량 추적을 사용할 수 있는지 여부입니다. |
model_serving_endpoint.config
Type: Map
서비스 엔드포인트의 핵심 구성입니다.
| Key | Type | Description |
|---|---|---|
served_entities |
Sequence | 서비스할 엔드포인트의 제공된 엔터티 목록입니다. 제공된 각 엔터티에는 entity_name, entity_version, workload_size, scale_to_zero_enabled, workload_type, environment_vars와 같은 필드가 포함됩니다. |
served_models |
Sequence | (사용되지 않음: 대신 사용 served_entities ) 서비스할 엔드포인트에 대해 제공된 모델 목록입니다. |
traffic_config |
Map | 서비스 엔드포인트에 대한 호출을 라우팅하는 방법을 정의하는 트래픽 구성입니다. traffic_config 참조하세요. |
모델_서비스_엔드포인트.config.트래픽_구성
Type: Map
서비스 엔드포인트에 대한 호출을 라우팅하는 방법을 정의하는 트래픽 구성입니다.
| Key | Type | Description |
|---|---|---|
routes |
Sequence | 트래픽 분포에 대한 경로 목록입니다. 각 경로에는 served_model_name 및 traffic_percentage가 포함되어 있습니다. |
Example
다음 예제에서는 엔드포인트를 제공하는 Unity 카탈로그 모델을 정의합니다.
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
파이프라인
Type: Map
파이프라인은 선언적 자동화 번들에 대한 Python 지원됩니다. databricks.bundles.pipelines를 참조하세요.
파이프라인 리소스를 사용하면 파이프라인을 만들 수 있습니다. 파이프라인에 대한 자세한 내용은 Spark 선언적 파이프라인을 참조하세요. 선언적 자동화 번들 템플릿을 사용하여 파이프라인을 만드는 자습서는 선언적 자동화 번들을 사용하여 파이프라인 개발을 참조하세요.
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | Type | Description |
|---|---|---|
allow_duplicate_names |
Boolean | false이면 이름이 다른 파이프라인의 이름과 충돌하는 경우 배포가 실패합니다. Databricks CLI 버전 0.261.0에 추가됨 |
budget_policy_id |
String | 이 파이프라인의 예산 정책입니다. Databricks CLI 버전 0.230.0에 추가됨 |
cascade_on_destroy |
Boolean | 파이프라인을 파괴하면 데이터셋(물질화된 뷰, 스트리밍 테이블, 뷰)도 삭제되는지 여부가 중요합니다. 설정이 해제되면 서버 기본값이 적용됩니다. 파괴 시 데이터셋을 유지하도록 설정 false 하세요. 직접 배포 엔진으로 지원됩니다.Databricks CLI 버전 1.12.0에 추가됨 |
catalog |
String | 이 파이프라인에서 데이터를 게시하기 위한 Unity 카탈로그의 일환인 카탈로그입니다. 지정된 경우, 이 파이프라인의 테이블은 target 내부의 target 스키마에 게시됩니다(예를 들어, catalog.catalog.target). 지정하지 않으면 target Unity 카탈로그에 데이터가 게시되지 않습니다. |
channel |
String | 사용할 Lakeflow 파이프라인의 버전을 지정하는 Lakeflow 파이프라인 릴리스 채널입니다. |
clusters |
Sequence | 이 파이프라인 배포에 대한 클러스터 설정입니다. 클러스터를 참조하세요. |
configuration |
Map | 이 파이프라인 실행에 대한 구성입니다. |
continuous |
Boolean | 파이프라인이 지속적인지 또는 트리거되는지 여부입니다. 이것은 trigger을 대체합니다. |
deployment |
Map | 이 파이프라인의 배포 유형입니다. 배포를 참조하세요. |
development |
Boolean | 파이프라인이 개발 모드에 있는지 확인하는 것입니다. 기본값은 false입니다. |
dry_run |
Boolean | 파이프라인이 건식 실행 파이프라인인지 여부입니다. |
edition |
String | 파이프라인 제품 버전입니다. |
environment |
Map | 서버리스 컴퓨팅에 종속성을 설치하는 데 사용되는 이 파이프라인의 환경 사양입니다.
환경을 참조하세요. 이 키는 Databricks CLI 버전 0.258 이상에서만 지원됩니다. Databricks CLI 버전 0.257.0에 추가됨 |
event_log |
Map | 이 파이프라인에 대한 이벤트 로그 구성입니다.
event_log 참조하세요. Databricks CLI 버전 0.246.0에 추가됨 |
filters |
Map | 배포된 그래프에 포함할 파이프라인 패키지를 결정하는 필터입니다. 필터를 참조하세요. |
gateway_definition |
Map | 게이트웨이 파이프라인에 대한 구성입니다. 이러한 설정은 설정과 함께 ingestion_definition 사용할 수 없습니다. |
id |
String | 이 파이프라인의 고유 식별자입니다. |
ingestion_definition |
Map | 관리되는 수집 파이프라인에 대한 구성입니다. 이러한 설정은 libraries, schema, target 또는 catalog 설정과 함께 사용할 수 없습니다.
ingestion_definition 참조하세요. |
libraries |
Sequence | 이 배포에 필요한 라이브러리 또는 코드 목록입니다. pipeline.libraries를 참조하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 이 파이프라인의 친숙한 이름입니다. |
notifications |
Sequence | 이 파이프라인에 대한 알림 설정입니다. 알림을 참조하세요. |
parameters |
Map | 파이프라인 실행에 사용할 기본 매개변수로, 각 키는 매개변수 이름이고 값은 매개변수 값입니다. 최대 총 크기는 JSON 형식으로 10,000자입니다. |
permissions |
Sequence | 파이프라인의 권한 사용 권한을 참조 하세요. |
photon |
Boolean | 이 파이프라인에 Photon을 사용할 수 있는지 여부입니다. 이 키는 .로 설정된 serverless경우 true 무시됩니다. |
restart_window |
Map | 이 파이프라인에 대한 다시 시작 창을 정의합니다. 파이프라인은 뒤처지지 않고 이 창 내에서 다시 시작할 수 있습니다. |
root_path |
String | 이 파이프라인의 루트 경로입니다. Databricks 사용자 인터페이스에서 파이프라인을 편집할 때 루트 디렉터리로 사용되며 파이프라인 실행 중에 Python 원본을 실행할 때 sys.path에 추가됩니다. Databricks CLI 버전 0.253.0에 추가됨 |
run_as |
Map | 파이프라인이 실행되는 ID입니다. 지정하지 않으면 파이프라인이 파이프라인을 만든 사용자로 실행됩니다. 만 user_name 또는 service_principal_name 지정할 수 있습니다. 둘 다 지정하면 오류가 발생됩니다.
run_as 참조하세요.Databricks CLI 버전 0.241.0에 추가됨 |
schema |
String | 테이블을 읽거나 게시하는 기본 스키마(데이터베이스)입니다. Databricks CLI 버전 0.230.0에 추가됨 |
serverless |
Boolean | 이 파이프라인에 대해 서버리스 컴퓨팅을 사용할 수 있는지 여부입니다. |
storage |
String | 검사점 및 테이블을 저장하기 위한 DBFS 루트 디렉터리입니다. |
tags |
Map | 파이프라인과 연결된 태그의 맵입니다. 클러스터에 클러스터 태그로 전달되므로 동일한 제한 사항이 적용됩니다. 파이프라인에 최대 25개의 태그를 추가할 수 있습니다. Databricks CLI 버전 0.256.0에 추가됨 |
target |
String | 이 파이프라인의 테이블을 추가할 대상 스키마(데이터베이스)입니다. 정확히 하나 schema 또는 target 지정해야 합니다. Unity 카탈로그 catalog에 게시하려면, catalog도 지정하십시오. 이 레거시 필드는 schema 필드가 파이프라인 생성에 더 적합하여 사용이 중지되었습니다. |
usage_policy_id |
String | 이 파이프라인에 사용할 서버리스 사용 정책의 ID입니다. Databricks CLI 버전 0.273.0에 추가됨 |
파이프라인.배포
Type: Map
파이프라인에 대한 배포 유형 구성입니다.
| Key | Type | Description |
|---|---|---|
kind |
String | 배포의 종류 예: BUNDLE. |
metadata_file_path |
String | 배포에 대한 메타데이터 파일의 경로입니다. |
파이프라인 환경
Type: Map
서버리스 컴퓨팅에 종속성을 설치하기 위한 환경 사양입니다.
| Key | Type | Description |
|---|---|---|
dependencies |
Sequence | 이 환경의 pip 버전에서 지원하는 pip 종속성 목록입니다. 각 종속성은 pip 요구 사항 파일 줄입니다. |
environment_version |
String | (베타) 예를 4들어, 고객 Python 코드를 실행하는 데 사용된 서버리스 Python 환경의 환경 버전, 예를 들어 . 각 환경 버전은 특정 Python 버전과 정의된 버전이 포함된 선별된 사전 설치 라이브러리 세트를 포함하여 안정적이고 재현 가능한 실행 환경을 제공합니다. Databricks는 각 환경 버전에 대해 3년의 라이프사이클을 지원합니다. 이용 가능한 버전과 포함된 패키지에 대해서는 환경 버전을 참조하세요.Databricks CLI 버전 0.294.0에 추가됨 |
파이프라인.이벤트_로그
Type: Map
파이프라인에 대한 이벤트 로그 구성입니다.
| Key | Type | Description |
|---|---|---|
catalog |
String | 이벤트 로그가 게시되는 Unity 카탈로그입니다. |
name |
String | 이벤트 로그가 Unity 카탈로그에 게시되는 이름입니다. |
schema |
String | 이벤트 로그가 게시되는 Unity 카탈로그 스키마입니다. |
파이프라인.필터들
Type: Map
배포된 그래프에 포함할 파이프라인 패키지를 결정하는 필터입니다.
| Key | Type | Description |
|---|---|---|
include |
Sequence | 포함할 패키지 이름 목록입니다. |
exclude |
Sequence | 제외할 패키지 이름 목록입니다. |
pipeline.ingestion_definition
Type: Map
관리되는 수집 파이프라인에 대한 구성입니다. 이러한 설정은 libraries, schema, target 또는 catalog 설정과 함께 사용할 수 없습니다.
| Key | Type | Description |
|---|---|---|
connection_name |
String | 데이터 수집에 사용할 연결의 이름입니다. API 전용 인증을 지원하는 커넥터에 대해 프로그래밍 방식으로 연결을 만들려면 사전 배포 스크립트 또는 작업 태스크에서 사용합니다 databricks connections create .
배포를 참조하세요. |
connector_type |
String | Optional. 원본에 대한 커넥터 유형입니다. 유효한 값은 CDC 및 QUERY_BASED입니다.Databricks CLI 버전 0.296.0에 추가됨 |
data_staging_options |
Map | Optional. 준비된 데이터 스토리지의 위치입니다. 이는 게이트웨이 파이프라인이 있는 CDC 관리 수집 파이프라인에서 결합된 CDC 관리 수집 파이프라인으로 마이그레이션하는 데 필요합니다. 지정하지 않으면 스테이징된 데이터의 볼륨이 최상위 파이프라인 정의에 지정된 카탈로그 및 스키마/대상에 만들어집니다. Databricks CLI 버전 0.296.0에 추가됨 |
full_refresh_window |
Map | Optional. CDC에서 스냅샷 쿼리에 대한 시간 범위 집합을 지정하는 창입니다. |
ingest_from_uc_foreign_catalog |
Boolean | 변경 불가 true로 설정하면 파이프라인은 Unity 카탈로그 연결 또는 수집 게이트웨이를 지정할 필요 없이 Unity 카탈로그 외세의 카탈로그에서 테이블을 직접 수집합니다.
source_catalog IngestionConfig 개체의 필드는 수집할 Unity 카탈로그 외장 카탈로그로 해석됩니다.Databricks CLI 버전 0.279.0에 추가됨 |
ingestion_gateway_id |
String | 수집 게이트웨이의 ID입니다. |
objects |
Sequence | 필수 사항입니다. 복제할 테이블과 복제된 테이블의 대상을 지정하는 설정입니다. 각 개체는 SchemaSpec, TableSpec 또는 ReportSpec일 수 있습니다. |
source_type |
String | 를 사용할 source_configurations때 필요합니다. 커넥터 유형(예: |
source_configurations |
Sequence | 카탈로그 수준 원본 구성 매개 변수입니다. 이 필드를 사용하는 경우 .source_type
source_configurations 참조하세요. |
table_configuration |
Map | 수집 테이블의 설정입니다. table_configuration 참조하세요. |
스키마스펙
Type: Map
스키마에서 모든 테이블을 수집하기 위한 스키마 개체 사양입니다.
| Key | Type | Description |
|---|---|---|
source_schema |
String | 데이터를 수집할 원본 스키마의 이름입니다. |
destination_catalog |
String | Unity 카탈로그의 대상 카탈로그 이름입니다. |
destination_schema |
String | Unity 카탈로그의 대상 스키마 이름입니다. |
table_configuration |
Map | 이 스키마의 모든 테이블에 적용할 구성입니다. pipeline.ingestion_definition.table_configuration을 참조하세요. |
테이블스펙
Type: Map
특정 테이블을 가져오기 위한 테이블 오브젝트 사양입니다.
| Key | Type | Description |
|---|---|---|
source_schema |
String | 테이블을 포함하는 원본 스키마의 이름입니다. |
source_table |
String | 수집할 원본 테이블의 이름입니다. |
destination_catalog |
String | Unity 카탈로그의 대상 카탈로그 이름입니다. |
destination_schema |
String | Unity 카탈로그의 대상 스키마 이름입니다. |
destination_table |
String | Unity 카탈로그의 대상 테이블 이름입니다. |
table_configuration |
Map | 이 특정 테이블에 대한 구성입니다. pipeline.ingestion_definition.table_configuration을 참조하세요. |
보고서 사양
Type: Map
분석 보고서를 수집하여 처리하기 위한 보고서 객체 사양입니다.
| Key | Type | Description |
|---|---|---|
source_url |
String | 원본 보고서의 URL입니다. |
source_report |
String | 원본 보고서의 이름 또는 식별자입니다. |
destination_catalog |
String | Unity 카탈로그의 대상 카탈로그 이름입니다. |
destination_schema |
String | Unity 카탈로그의 대상 스키마 이름입니다. |
destination_table |
String | 보고서 데이터의 대상 테이블 이름입니다. |
table_configuration |
Map | 보고서 테이블에 대한 구성입니다. pipeline.ingestion_definition.table_configuration을 참조하세요. |
pipeline.ingestion_definition.source_configurations
Type: Sequence
원본에 대한 구성입니다. 시퀀스의 각 요소는 카탈로그 수준 구성을 포함하는 맵입니다.
| Key | Type | Description |
|---|---|---|
catalog |
Map | 카탈로그 수준 원본 구성 매개 변수입니다. 카탈로그를 참조 하세요. |
pipeline.ingestion_definition.source_configurations.catalog
Type: Map
카탈로그 수준 원본 구성 매개 변수
| Key | Type | Description |
|---|---|---|
postgres |
Map | Postgres 관련 카탈로그 수준 구성 매개 변수입니다. 논리적 복제에 사용할 Postgres 슬롯 구성을 나타내는 slot_config 및 Map과 연결된 하나의 키를 포함합니다. |
source_catalog |
String | 원본 카탈로그 이름입니다. |
파이프라인.수집_정의.테이블_구성
Type: Map
수집 테이블에 대한 구성 옵션입니다.
| Key | Type | Description |
|---|---|---|
exclude_columns |
Sequence | 수집 시 제외할 열 이름의 목록입니다. 명시하지 않으면 include_columns가 수집할 열을 완전히 제어합니다. 지정하면 이후 열을 포함한 다른 모든 열이 수집을 위해 자동으로 포함됩니다. 이 필드는 include_columns와 상호 배타적입니다. |
include_columns |
Sequence | 포함할 열 이름의 목록입니다. 명시하지 않으면 exclude_columns에 있는 열을 제외한 모든 열이 포함됩니다. 이후 열은 자동으로 포함됩니다. 지정하면 향후 다른 모든 열은 데이터 처리에서 자동으로 제외됩니다. 이 필드는 exclude_columns와 상호 배타적입니다. |
primary_keys |
Sequence | 테이블의 기본 키로 사용할 열 이름 목록입니다. |
sequence_by |
Sequence | 원본 데이터에서 이벤트의 논리적 순서를 지정하는 열 이름입니다. Spark 선언적 파이프라인은 이 시퀀스를 사용하여 순서가 잘못 도착하는 변경 이벤트를 처리합니다. |
파이프라인.라이브러리
Type: Sequence
이 파이프라인에 필요한 라이브러리 또는 코드 목록을 정의합니다.
목록의 각 항목은 정의입니다.
| Key | Type | Description |
|---|---|---|
file |
Map | 파이프라인을 정의하고 Databricks Repos 저장되는 파일의 경로입니다. pipeline.libraries.file을 참조하세요. |
glob |
Map | 소스 코드를 포함할 통합 필드입니다. 각 항목은 전자 필기장 경로, 파일 경로 또는 끝나는 폴더 경로일 수 있습니다 /**. 이 필드는 notebook 또는 file와 함께 사용할 수 없습니다.
pipeline.libraries.glob을 참조하세요. |
notebook |
Map | 파이프라인을 정의하고 Databricks 작업 영역에 저장되는 Notebook의 경로입니다. pipeline.libraries.notebook을 참조하세요. |
whl |
String | 이 필드는 더 이상 사용되지 않습니다. |
pipeline.libraries.file
Type: Map
파이프라인을 정의하고 Databricks Repos 저장되는 파일의 경로입니다.
| Key | Type | Description |
|---|---|---|
path |
String | 소스 코드의 절대 경로입니다. |
파이프라인.라이브러리.글로브
Type: Map
소스 코드를 포함할 통합 필드입니다. 각 항목은 전자 필기장 경로, 파일 경로 또는 끝나는 폴더 경로일 수 있습니다 /**. 이 필드는 notebook 또는 file와 함께 사용할 수 없습니다.
| Key | Type | Description |
|---|---|---|
include |
String | 파이프라인에 포함할 소스 코드 |
파이프라인.라이브러리.노트북
Type: Map
파이프라인을 정의하고 Databricks 작업 영역에 저장되는 Notebook의 경로입니다.
| Key | Type | Description |
|---|---|---|
path |
String | 소스 코드의 절대 경로입니다. |
pipeline.notifications
Type: Sequence
이 파이프라인에 대한 알림 설정입니다. 시퀀스의 각 항목은 알림 구성입니다.
| Key | Type | Description |
|---|---|---|
alerts |
Sequence | 알림을 트리거하는 경고 목록입니다. 유효한 값에는 , on-update-success, on-update-failureon-update-fatal-failure등이 있습니다on-flow-failure. |
email_recipients |
Sequence | 구성된 경고가 트리거될 때 알릴 전자 메일 주소 목록입니다. |
Example
다음 예제에서는 리소스 키 hello-pipeline사용하여 파이프라인을 정의합니다.
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
추가 파이프라인 구성 예제는 파이프라인 구성을 참조하세요.
postgres_branch
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type:Map
Postgres 분기 리소스를 사용하면 번들에서 Lakebase 분기 를 정의할 수 있습니다. 또한 해당 Postgres 프로젝트 및 컴퓨팅 엔드포인트를 정의해야 합니다.
Databricks CLI 버전 0.287.0에 추가됨
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | Type | Description |
|---|---|---|
branch_id |
String | 분기에 사용할 ID입니다. 이 구성 요소는 분기 리소스 이름의 최종 구성 요소가 됩니다. ID는 필수이며 1-63자 길이여야 하며 소문자로 시작하고 소문자, 숫자 및 하이픈만 포함해야 합니다. 예를 들어 development은 projects/my-app/branches/development이 됩니다.Databricks CLI 버전 0.287.0에 추가됨 |
expire_time |
String | 절대 만료 타임스탬프입니다. 설정되면 분기는 현재 만료됩니다. Databricks CLI 버전 0.287.0에 추가됨 |
is_protected |
Boolean | true로 설정하면 분기를 삭제하고 다시 설정하지 않도록 보호합니다. 분기가 보호되는 동안에는 연결된 컴퓨팅 엔드포인트와 프로젝트를 삭제할 수 없습니다. Databricks CLI 버전 0.287.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
no_expiry |
Boolean | 명시적으로 만료를 사용하지 않도록 설정합니다. true로 설정하면 분기가 만료되지 않습니다. false로 설정하면 요청이 잘못되었습니다. 대신 ttl 또는 expire_time 제공합니다. Databricks CLI 버전 0.287.0에 추가됨 |
parent |
String | 이 분기를 만들 프로젝트입니다. 형식: projects/{project_id}Databricks CLI 버전 0.287.0에 추가됨 |
purge_on_delete |
Boolean | 지부가 삭제될 때 데이터를 삭제할지 여부. Databricks CLI 버전 1.7.0에 추가됨 |
replace_existing |
Boolean | 배포할 때 ID가 동일한 기존 분기를 바꿀지 여부입니다. Databricks CLI 버전 1.0.0에 추가됨 |
source_branch |
String | 이 분기를 만든 원본 분기의 이름입니다(지정 시간 복구를 위한 데이터 계보). 지정하지 않으면 기본값은 프로젝트의 기본 분기입니다. 형식: projects/{project_id}/branches/{branch_id}Databricks CLI 버전 0.287.0에 추가됨 |
source_branch_lsn |
String | 이 분기가 만들어진 원본 분기의 LSN(로그 시퀀스 번호)입니다. Databricks CLI 버전 0.287.0에 추가됨 |
source_branch_time |
String | 이 분기가 만들어진 원본 분기의 지정 시간입니다. Databricks CLI 버전 0.287.0에 추가됨 |
ttl |
String | 상대적인 TL(Time-to-Live) 기간입니다. 설정되면 분기는 creation_time + ttl에 만료됩니다. Databricks CLI 버전 0.287.0에 추가됨 |
Example
postgres_projects 예제를 참조하세요.
postgres_catalog
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 카탈로그 리소스를 사용하면 번들에서 Lakebase Postgres 카탈로그를 정의할 수 있습니다. 각 카탈로그는 Lakebase 자동 크기 조정 분기의 Postgres 데이터베이스에 Unity 카탈로그 카탈로그를 바인딩합니다.
Databricks CLI 버전 1.0.0에 추가됨
postgres_catalogs:
<postgres_catalog-name>:
<postgres_catalog-field-name>: <postgres_catalog-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | 카탈로그를 백업하는 Lakebase 자동 크기 조정 분기입니다. Databricks CLI 버전 1.0.0에 추가됨 |
catalog_id |
String | 필수 사항입니다. Postgres 데이터베이스에 바인딩할 Unity 카탈로그 카탈로그의 ID입니다. Databricks CLI 버전 1.0.0에 추가됨 |
create_database_if_missing |
Boolean | Postgres 데이터베이스가 아직 없는 경우 만들지 여부입니다. Databricks CLI 버전 1.0.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.0.0에 추가됨 |
postgres_database |
String | 필수 사항입니다. 카탈로그에 바인딩할 Postgres 데이터베이스의 이름입니다. Databricks CLI 버전 1.0.0에 추가됨 |
Example
resources:
postgres_projects:
project:
project_id: test-pg-project
display_name: Test Postgres Project
postgres_catalogs:
catalog:
catalog_id: test_catalog
branch: ${resources.postgres_projects.project.name}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_database
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 데이터베이스 리소스를 사용하면 번들에서 Lakebase Postgres 데이터베이스를 정의할 수 있습니다. 각 데이터베이스는 Lakebase 자동 크기 조정 분기에 만들어집니다.
Databricks CLI 버전 1.4.0에 추가됨
postgres_databases:
<postgres_database-name>:
<postgres_database-field-name>: <postgres_database-field-value>
| Key | Type | Description |
|---|---|---|
database_id |
String | 필수 사항입니다. 데이터베이스에 사용할 ID입니다. 이 구성 요소는 데이터베이스의 리소스 이름의 최종 구성 요소가 됩니다. Databricks CLI 버전 1.4.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.4.0에 추가됨 |
parent |
String | 필수 사항입니다. 이 데이터베이스가 만들어지는 분기입니다. 형식: projects/{project_id}/branches/{branch_id}.Databricks CLI 버전 1.4.0에 추가됨 |
postgres_database |
String | Postgres 데이터베이스의 이름입니다. Databricks CLI 버전 1.4.0에 추가됨 |
replace_existing |
Boolean | 배포할 때 ID가 동일한 기존 데이터베이스를 바꿀지 여부입니다. Databricks CLI 버전 1.7.0에 추가됨 |
role |
String | 만들 때 필요합니다. 데이터베이스를 소유하는 Postgres 역할의 리소스 이름입니다. 형식: projects/{project_id}/branches/{branch_id}/roles/{role_id}.Databricks CLI 버전 1.4.0에 추가됨 |
Examples
resources:
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Database'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
owner:
parent: ${resources.postgres_branches.main.id}
role_id: app-owner
postgres_role: app_owner
postgres_databases:
my_database:
parent: ${resources.postgres_branches.main.id}
database_id: my-database
postgres_database: app_db
# The live API requires `role`. Declare an explicit role so the bundle is
# portable across users (the auto-created project-owner role's id is
# derived from the creator's identity).
role: ${resources.postgres_roles.owner.id}
postgres_endpoint
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 엔드포인트 리소스는 Lakebase 컴퓨트 엔드포인트를 번들로 정의할 수 있게 해줍니다. 또한 해당 Lakebase 프로젝트 및 Lakebase 분기를 정의해야 합니다.
Databricks CLI 버전 0.287.0에 추가됨
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | 컴퓨팅 단위의 최대 수입니다. 최소값은 0.5입니다. Databricks CLI 버전 0.287.0에 추가됨 |
autoscaling_limit_min_cu |
Number | 컴퓨팅 단위의 최소 수입니다. 최소값은 0.5입니다. Databricks CLI 버전 0.287.0에 추가됨 |
disabled |
Boolean | 컴퓨팅 엔드포인트에 대한 연결을 제한할지 여부입니다. 이 옵션을 사용하도록 설정하면 컴퓨팅 일시 중단 작업이 예약됩니다. 사용하지 않도록 설정된 컴퓨팅 엔드포인트는 연결 또는 콘솔 작업으로 사용하도록 설정할 수 없습니다. Databricks CLI 버전 0.287.0에 추가됨 |
endpoint_id |
String | 엔드포인트에 사용할 ID입니다. 엔드포인트 리소스 이름의 최종 구성 요소가 됩니다. ID는 필수이며 1-63자 길이여야 하며 소문자로 시작하고 소문자, 숫자 및 하이픈만 포함해야 합니다. 예를 들어 primary은 projects/my-app/branches/development/endpoints/primary이 됩니다.Databricks CLI 버전 0.287.0에 추가됨 |
endpoint_type |
String | 엔드포인트 유형입니다. 분기는 하나의 READ_WRITE 엔드포인트만 가질 수 있습니다. 가능한 값: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.Databricks CLI 버전 0.287.0에 추가됨 |
group |
Map | 엔드포인트 그룹 구성입니다. postgres_endpoint.group을 참조하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
no_suspension |
Boolean | true로 설정하면 자동 일시 중단을 명시적으로 사용하지 않도록 설정합니다(일시 중단 안 함). 제공된 경우 true로 설정해야 합니다. Databricks CLI 버전 0.287.0에 추가됨 |
parent |
String | 이 엔드포인트를 만들 분기입니다. 형식: projects/{project_id}/branches/{branch_id}Databricks CLI 버전 0.287.0에 추가됨 |
replace_existing |
Boolean | 배포할 때 ID가 동일한 기존 컴퓨팅 엔드포인트를 바꿀지 여부입니다. Databricks CLI 버전 1.0.0에 추가됨 |
settings |
Map | 컴퓨팅 엔드포인트에 대한 설정 컬렉션입니다. Databricks CLI 버전 0.287.0에 추가됨 |
suspend_timeout_duration |
String | 컴퓨팅 엔드포인트가 자동으로 일시 중단된 후의 비활성 기간입니다. 지정된 경우 60~604800s(1분에서 1주) 사이여야 합니다. Databricks CLI 버전 0.287.0에 추가됨 |
postgres_endpoint.그룹
Type: Map
엔드포인트 그룹 구성입니다.
| Key | Type | Description |
|---|---|---|
enable_readable_secondaries |
Boolean | 읽기-쓰기 엔드포인트에 대한 읽기 전용 연결을 허용할지 여부입니다. 읽기-쓰기 엔드포인트에만 관련이 있습니다 group.max > 1. |
max |
Integer | 필수 사항입니다. 엔드포인트 그룹의 최대 컴퓨팅 수입니다. 현재 이 값은 같 min아야 합니다.
1 HA(고가용성)를 사용하지 않도록 설정하려면 단일 컴퓨팅 엔드포인트로 설정합니다. 엔드포인트 그룹의 모든 컴퓨팅을 수동으로 일시 중단하려면 엔드포인트로 설정합니다 disabledtrue . |
min |
Integer | 필수 사항입니다. 엔드포인트 그룹의 최소 컴퓨팅 수입니다. 현재 이 값은 같 max아야 합니다. 이 값은 .보다 크거나 같 1아야 합니다. |
Example
postgres_projects 예제를 참조하세요.
postgres_project
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 프로젝트 리소스를 사용하면 번들에서 Lakebase 자동 크기 조정 Postgres 데이터베이스 프로젝트를 정의할 수 있습니다. 또한 해당 Postgres 분기 및 컴퓨팅 엔드포인트를 정의해야 합니다.
Databricks CLI 버전 0.287.0에 추가됨
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 이 프로젝트의 예산 정책 ID입니다. |
custom_tags |
Sequence | 이 프로젝트에 대한 사용자 지정 태그입니다. postgres_project.custom_tags를 참조하세요. |
default_branch |
String | 프로젝트의 기본 분기 형식 projects/{project_id}/branches/{branch_id}입니다. |
default_endpoint_settings |
Map | 컴퓨팅 엔드포인트에 대한 설정 컬렉션입니다.
postgres_project.default_endpoint_settings를 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
display_name |
String | 사람이 읽을 수 있는 프로젝트 이름입니다. 길이는 1자에서 256자 사이여야 합니다. Databricks CLI 버전 0.287.0에 추가됨 |
enable_pg_native_login |
Boolean | 프로젝트에 대해 네이티브 Postgres 로그인을 사용하도록 설정할지 여부입니다. Databricks CLI 버전 0.294.0에 추가됨 |
history_retention_duration |
String | 이 프로젝트의 모든 분기의 특정 시점 복구에 대한 공유 기록을 유지할 시간(초)입니다. 값은 0에서 2592000s 사이여야 합니다(최대 30일). Databricks CLI 버전 0.287.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.287.0에 추가됨 |
permissions |
Sequence | Postgres 프로젝트에 대한 권한입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.292.0에 추가됨 |
pg_version |
Integer | 주 Postgres 버전 번호입니다. 지원되는 버전은 16 및 17입니다. Databricks CLI 버전 0.287.0에 추가됨 |
project_id |
String | Project 사용할 ID입니다. 프로젝트 리소스 이름의 최종 구성 요소가 됩니다. ID는 필수이며 1-63자 길이여야 하며 소문자로 시작하고 소문자, 숫자 및 하이픈만 포함해야 합니다. 예를 들어 my-app은 projects/my-app이 됩니다.Databricks CLI 버전 0.287.0에 추가됨 |
purge_on_delete |
Boolean | 삭제될 때 프로젝트의 데이터를 제거할지 여부입니다. Databricks CLI 버전 1.2.0에 추가됨 |
예제
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.custom_tags
Type: Sequence
프로젝트에 대한 사용자 지정 태그 목록입니다.
| Key | Type | Description |
|---|---|---|
key |
String | 사용자 지정 태그의 키입니다. |
value |
String | 사용자 지정 태그의 값입니다. |
postgres_project.default_endpoint_settings
Type: Map
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | 컴퓨팅 단위의 최대 수입니다. 최소값은 0.5입니다. |
autoscaling_limit_min_cu |
Number | 컴퓨팅 단위의 최소 수입니다. 최소값은 0.5입니다. |
no_suspension |
Boolean | true로 설정하면 자동 일시 중단을 명시적으로 사용하지 않도록 설정합니다(일시 중단 안 함). 제공된 경우 true로 설정해야 합니다.
suspend_timeout_duration와 상호 배타적입니다. 업데이트할 때 update_mask 사용합니다 spec.project_default_settings.suspension . |
pg_settings |
Map | Postgres 설정의 원시 표현입니다. |
suspend_timeout_duration |
String | 컴퓨팅 엔드포인트가 자동으로 일시 중단된 후의 비활성 기간입니다. 지정된 경우 60~604800s(1분에서 1주) 사이여야 합니다.
no_suspension와 상호 배타적입니다. 업데이트할 때 update_mask 사용합니다 spec.project_default_settings.suspension . |
postgres_role
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 역할 리소스를 사용하면 번들에서 Lakebase Postgres 역할을 정의할 수 있습니다. 각 역할은 Lakebase 자동 크기 조정 분기에 만들어집니다.
Databricks CLI 버전 1.4.0에 추가됨
postgres_roles:
<postgres_role-name>:
<postgres_role-field-name>: <postgres_role-field-value>
| Key | Type | Description |
|---|---|---|
attributes |
Map | 역할과 연결할 원하는 API 노출 Postgres 역할 특성입니다.
postgres_role.attributes를 참조하세요. Databricks CLI 버전 1.4.0에 추가됨 |
auth_method |
String | Postgres에 연결할 때 역할이 인증되는 방법 지정되지 않은 상태로 두면 의미 있는 인증 방법이 .에서 identity_type파생됩니다. 유효한 값은 NO_LOGIN, PG_PASSWORD_SCRAM_SHA_256. LAKEBASE_OAUTH_V1Databricks CLI 버전 1.4.0에 추가됨 |
identity_type |
String | 이 역할이 나타내는 Databricks 관리 ID의 형식입니다. Databricks ID와 연결되지 않은 일반 Postgres 역할을 만들려면 비워 둡니다. 유효한 값은 USER, SERVICE_PRINCIPAL. GROUPDatabricks CLI 버전 1.4.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.4.0에 추가됨 |
membership_roles |
Sequence | 이 역할이 멤버인 표준 역할입니다. Databricks CLI 버전 1.4.0에 추가됨 |
parent |
String | 필수 사항입니다. 이 역할이 만들어지는 분기입니다. 형식: projects/{project_id}/branches/{branch_id}.Databricks CLI 버전 1.4.0에 추가됨 |
postgres_role |
String | Postgres 역할의 이름입니다. 역할을 만들 때 필요합니다. 관리되는 Databricks ID postgres_role 에서 지원되는 Postgres 역할을 만들려면 다음 중 하나여야 합니다.
Databricks CLI 버전 1.4.0에 추가됨 |
replace_existing |
Boolean | 배포할 때 ID가 동일한 기존 역할을 바꿀지 여부입니다. Databricks CLI 버전 1.7.0에 추가됨 |
role_id |
String | 필수 사항입니다. 사용자가 지정한 역할 ID입니다. 는 역할의 리소스 이름의 최종 구성 요소가 됩니다. 4-63자, 소문자, 숫자 및 하이픈(RFC 1123)이어야 합니다. Databricks CLI 버전 1.4.0에 추가됨 |
postgres_role.속성
Type: Map
역할과 연결할 원하는 API 노출 Postgres 역할 특성입니다.
Databricks CLI 버전 1.4.0에 추가됨
| Key | Type | Description |
|---|---|---|
bypassrls |
Boolean | 역할이 행 수준 보안을 무시할지 여부입니다. |
createdb |
Boolean | 역할이 데이터베이스를 만들 수 있는지 여부입니다. |
createrole |
Boolean | 역할이 다른 역할의 보안 레이블을 만들고, 변경하고, 삭제하고, 주석을 달고, 변경할 수 있는지 여부입니다. |
Examples
resources:
postgres_projects:
my_project:
project_id: my-pg-proj
display_name: 'Test Project for Role'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
my_role:
parent: ${resources.postgres_branches.main.id}
role_id: my-role
postgres_role: app_role
attributes:
createdb: true
postgres_synced_table
중요합니다
이 기능은 베타 버전으로 제공됩니다.
Type: Map
Postgres 동기화 테이블 리소스를 사용하면 번들에서 Lakebase Postgres 동기화 테이블을 정의할 수 있습니다. 동기화된 각 테이블은 지속적으로 Unity 카탈로그 델타 원본 테이블을 Lakebase 자동 크기 조정 인스턴스의 Postgres 테이블에 복제합니다.
Databricks CLI 버전 1.0.0에 추가됨
postgres_synced_tables:
<postgres_synced_table-name>:
<postgres_synced_table-field-name>: <postgres_synced_table-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | 동기화된 테이블이 만들어지는 Lakebase 자동 크기 조정 분기입니다. Databricks CLI 버전 1.0.0에 추가됨 |
create_database_objects_if_missing |
Boolean | 동기화된 테이블의 논리 데이터베이스 및 스키마 리소스가 아직 없는 경우 만들 것인지 여부입니다. Databricks CLI 버전 1.0.0에 추가됨 |
existing_pipeline_id |
String | 기존 파이프라인의 ID입니다. 이 설정이 설정되면 동기화된 테이블은 참조되는 기존 파이프라인으로 압축됩니다. 이렇게 하면 새 파이프라인을 만들지 않고 기존 컴퓨팅을 공유할 수 있습니다. 이 경우 scheduling_policy 이 동기화된 테이블은 기존 파이프라인의 예약 정책과 일치해야 합니다.
existing_pipeline_id와 new_pipeline_spec 중 최대 하나만 정의해야 합니다.Databricks CLI 버전 1.0.0에 추가됨 |
extra_columns |
Sequence | 동기화된 테이블에 추가해야 할 추가 PostgreSQL 컬럼, 소스 테이블에서 복제한 컬럼 외에 추가하는 것들. Databricks CLI 버전 1.10.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.0.0에 추가됨 |
new_pipeline_spec |
Map | 새 파이프라인에 대한 사양입니다.
postgres_synced_table.new_pipeline_spec을 참조하세요.
existing_pipeline_id와 new_pipeline_spec 중 최대 하나만 정의해야 합니다.Databricks CLI 버전 1.0.0에 추가됨 |
postgres_database |
String | 동기화된 테이블의 대상 Postgres 데이터베이스 이름입니다. Databricks CLI 버전 1.0.0에 추가됨 |
primary_key_columns |
Sequence | 기본 키를 형성하는 열 이름 목록입니다. Databricks CLI 버전 1.0.0에 추가됨 |
scheduling_policy |
String | 동기화된 테이블의 기본 파이프라인에 대한 정책 예약 유효한 값은 CONTINUOUS, TRIGGERED. SNAPSHOTDatabricks CLI 버전 1.0.0에 추가됨 |
source_table_full_name |
String | 원본 테이블의 전체 이름입니다 catalog.schema.table.Databricks CLI 버전 1.0.0에 추가됨 |
synced_table_id |
String | 필수 사항입니다. 동기화된 테이블에 사용할 ID입니다. Databricks CLI 버전 1.0.0에 추가됨 |
timeseries_key |
String | 동일한 기본 키를 사용하여 행을 중복 해제하는 시계열 키입니다. Databricks CLI 버전 1.0.0에 추가됨 |
type_overrides |
Sequence | 특정 열에 대한 기본 Delta-to-PostgreSQL 타입 매핑을 덮어씁니다.
postgres_synced_table.type_overrides를 참조하세요. Databricks CLI 버전 1.5.0에 추가됨 |
postgres_synced_table.new_pipeline_spec
Type: Map
동기화된 테이블에서 사용하는 새 파이프라인에 대한 사양입니다.
Databricks CLI 버전 1.0.0에 추가됨
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 새로 만든 파이프라인에 설정할 예산 정책입니다. |
storage_catalog |
String | 검사점 및 이벤트 로그와 같은 중간 파일을 저장할 파이프라인의 카탈로그입니다. 사용자가 델타 테이블을 만들 수 있는 권한이 있는 표준 카탈로그여야 합니다. |
storage_schema |
String | 검사점 및 이벤트 로그와 같은 중간 파일을 저장할 파이프라인의 스키마입니다. 사용자가 델타 테이블을 만들 수 있는 권한이 있는 표준 카탈로그에 있어야 합니다. |
postgres_synced_table.type_overrides
Type: Sequence
단일 열에 대한 기본 Delta-to-PostgreSQL 타입 매핑을 덮어씁니다.
Databricks CLI 버전 1.5.0에 추가됨
| Key | Type | Description |
|---|---|---|
column_name |
String | 필수 사항입니다. 대상 PostgreSQL 타입을 덮어써야 하는 소스 열의 이름. Databricks CLI 버전 1.5.0에 추가됨 |
pg_type |
String | 필수 사항입니다. 이 열에 사용할 PostgreSQL 전용 타겟 타겟 타입입니다. 유효한 값은 PG_SPECIFIC_TYPE_VECTOR, PG_SPECIFIC_TYPE_HALFVEC 및 PG_SPECIFIC_TYPE_VARCHAR입니다.Databricks CLI 버전 1.5.0에 추가됨 |
size |
Integer | 대상 타입의 크기 매개변수, 예를 들어 벡터 차원이나 varchar 길이와 같이 1을 사용하는 타입에 대해. 선택 pg_type 받은 사람이 사이즈가 필요할 때 요구되는 것.Databricks CLI 버전 1.5.0에 추가됨 |
Example
resources:
schemas:
pipeline_storage:
name: test_pipeline_storage
catalog_name: main
comment: 'Pipeline storage for the synced-table test'
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Synced Table'
pg_version: 17
postgres_catalogs:
my_catalog:
catalog_id: lakebase_test
branch: ${resources.postgres_projects.my_project.id}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_synced_tables:
my_table:
synced_table_id: ${resources.postgres_catalogs.my_catalog.catalog_id}.public.trips_synced
source_table_full_name: main.source_test.trips_source
primary_key_columns: ['tpep_pickup_datetime']
scheduling_policy: SNAPSHOT
postgres_database: appdb
branch: ${resources.postgres_projects.my_project.id}/branches/production
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: ${resources.schemas.pipeline_storage.catalog_name}
storage_schema: ${resources.schemas.pipeline_storage.name}
품질_모니터(Unity 카탈로그)
Type: Map
quality_monitor 리소스를 사용하면 Unity 카탈로그 테이블 모니터를 정의할 수 있습니다. 모니터에 대한 자세한 내용은 데이터 프로파일링을 참조하세요.
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | Type | Description |
|---|---|---|
assets_dir |
String | 모니터링 자산(예: 대시보드, 메트릭 테이블)을 저장할 디렉터리입니다. |
baseline_table_name |
String | 드리프트 메트릭이 계산되는 기준 테이블의 이름입니다. 모니터링되는 테이블의 열은 반드시 기준 테이블에 모두 존재해야 합니다. |
custom_metrics |
Sequence | 모니터링되는 테이블에서 계산할 사용자 지정 메트릭입니다. 이러한 메트릭은 집계 메트릭, 파생 메트릭(이미 계산된 집계 메트릭에서) 또는 드리프트 메트릭(시간 기간 간 메트릭 비교)일 수 있습니다. custom_metrics 참조하세요. |
inference_log |
Map | 유추 로그를 모니터링하기 위한 구성입니다. inference_log 참조하세요. |
latest_monitor_failure_msg |
String | 모니터 오류에 대한 최신 오류 메시지입니다. 모니터가 실패할 때 채워지는 읽기 전용 필드입니다. Databricks CLI 버전 0.264.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
notifications |
Map | 모니터에 대한 알림 설정입니다. 알림을 참조하세요. |
output_schema_name |
String | 출력 메트릭 테이블이 만들어지는 스키마입니다. |
schedule |
Map | 메트릭 테이블을 자동으로 업데이트하고 새로 고치는 일정입니다. 일정을 참조하세요. |
skip_builtin_dashboard |
Boolean | 데이터 품질 메트릭을 요약하는 기본 대시보드 만들기를 건너뛸지 여부입니다. |
slicing_exprs |
Sequence | 대상 분석을 위해 데이터를 조각화할 열 식 목록입니다. 데이터는 각 표현별로 독립적으로 그룹화되므로, 각 술어와 그 보충에 대해 별도의 조각이 생성됩니다. 높은 카디널리티 열의 경우 상위 100개 고유 값만 빈도별로 조각이 생성됩니다. |
snapshot |
Map | 스냅샷 테이블 모니터링을 위한 구성입니다. 스냅샷을 참조하세요. |
table_name |
String | 테이블의 전체 이름입니다. Databricks CLI 버전 0.235.0에 추가됨 |
time_series |
Map | 시계열 테이블을 모니터링하기 위한 구성입니다. time_series 참조하세요. |
warehouse_id |
String | 대시보드 만들기를 위해 웨어하우스를 지정하는 선택적 인수입니다. 지정하지 않으면 첫 번째 실행 웨어하우스가 사용됩니다. |
품질_모니터.사용자_지정_메트릭
Type: Sequence
사용자 지정 메트릭 정의 목록입니다.
목록의 각 항목은 다음과 같습니다.CustomMetric
| Key | Type | Description |
|---|---|---|
definition |
String | 메트릭을 계산하는 방법을 지정하는 SQL 식의 Jinja 템플릿입니다. 메트릭 정의 만들기를 참조하세요. |
input_columns |
Sequence | 메트릭을 계산해야 하는 입력 테이블의 열 이름 목록입니다. 메트릭에 여러 열의 정보가 필요함을 나타내는 데 사용할 :table 수 있습니다. |
name |
String | 출력 테이블의 메트릭 이름입니다. |
output_data_type |
String | 사용자 지정 메트릭의 출력 형식입니다. |
type |
String | , CUSTOM_METRIC_TYPE_AGGREGATE또는 CUSTOM_METRIC_TYPE_DERIVED. 중 CUSTOM_METRIC_TYPE_DRIFT하나만 사용할 수 있습니다.
CUSTOM_METRIC_TYPE_AGGREGATE 및 CUSTOM_METRIC_TYPE_DERIVED 메트릭은 단일 테이블에서 계산되는 반면, CUSTOM_METRIC_TYPE_DRIFT는 기준 및 입력 테이블 간 또는 두 개의 연속된 시간 창 간의 메트릭을 비교합니다.
|
품질_모니터.추론_로그
Type: Map
유추 로그를 모니터링하기 위한 구성입니다.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | 유추 로그를 집계하기 위한 시간 세분성(예: ["1 day"])입니다. |
model_id_col |
String | 모델 ID를 포함하는 열의 이름입니다. |
prediction_col |
String | 예측 데이터를 포함하는 열의 이름입니다. |
timestamp_col |
String | 타임스탬프를 포함하는 열의 이름입니다. |
problem_type |
String | ML 문제의 유형입니다. 유효한 값에는 PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION이(가) 포함됩니다. |
label_col |
String | 레이블(실제값)이 포함된 열의 이름입니다. |
prediction_proba_col |
String | 예측 확률을 포함하는 열의 이름입니다. |
품질_모니터.알림
Type: Map
모니터에 대한 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
on_failure |
Map | 모니터가 실패할 때 알림 설정입니다. on_failure 참조하십시오. |
on_new_classification_tag_detected |
Map | 새 분류 태그가 검색될 때 알림 설정입니다. on_new_classification_tag_detected을 참조하세요. |
quality_monitor.notifications.on_failure (품질 모니터 알림 실패 시)
Type: Map
모니터가 실패할 때 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | 모니터 실패 시 알릴 전자 메일 주소 목록입니다. |
quality_monitor.notifications.새로운 분류 태그가 감지되었습니다.
Type: Map
새 분류 태그가 검색될 때 알림 설정입니다.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | 새 분류 태그가 검색될 때 알릴 전자 메일 주소 목록입니다. |
품질_모니터.일정
Type: Map
메트릭 테이블을 자동으로 업데이트하고 새로 고치는 일정을 예약합니다.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Quartz 구문을 사용하는 Cron 식입니다. 예를 들어 0 0 8 * * ? 매일 오전 8:00에 실행됩니다. |
timezone_id |
String | 일정의 표준 시간대입니다(예: UTC, America/Los_Angeles). |
pause_status |
String | 일정이 일시 중지되었는지 여부입니다. 유효한 값: PAUSED, . UNPAUSED |
품질_모니터.스냅샷
Type: Map
스냅샷 테이블 모니터링을 위한 구성입니다.
품질_모니터.시계열
시계열 테이블을 모니터링하기 위한 구성입니다.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | 시계열 데이터를 집계하기 위한 시간 세분성입니다(예: ["30 minutes"]). |
timestamp_col |
String | 타임스탬프를 포함하는 열의 이름입니다. |
Examples
다음 예제에서는 InferenceLog, TimeSeries 및 스냅샷 프로필 형식에 대한 품질 모니터를 정의합니다.
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
다음 예제에서는 모니터링에 따라 품질 모니터 및 해당 모델 재학습 작업을 구성합니다.
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
등록된_모델(Unity 카탈로그)
Type: Map
등록된 모델 리소스를 사용하면 Unity 카탈로그에서 모델을 정의할 수 있습니다. Unity 카탈로그에서 등록된 모델에 대한 자세한 내용은 모델 수명 주기 관리를 참조하세요.
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | Type | Description |
|---|---|---|
aliases |
Sequence | 등록된 모델과 연결된 별칭 목록입니다.
registered_model.aliases를 참조하세요. Databricks CLI 버전 0.273.0에 추가됨 |
catalog_name |
String | 스키마와 등록된 모델이 있는 카탈로그의 이름입니다. |
comment |
String | 등록된 모델에 첨부된 주석입니다. |
created_at |
Integer | Unix epoch 이후 등록된 모델의 생성 타임스탬프(밀리초)입니다. Databricks CLI 버전 0.273.0에 추가됨 |
created_by |
String | 등록된 모델을 만든 사용자의 식별자입니다. Databricks CLI 버전 0.273.0에 추가됨 |
full_name |
String | 등록된 모델의 세 수준(정규화된) 이름입니다. Databricks CLI 버전 0.273.0에 추가됨 |
grants |
Sequence | 등록된 모델과 연관된 보조금입니다. 부여를 참조 하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
metastore_id |
String | 메타스토어의 고유 식별자입니다. Databricks CLI 버전 0.273.0에 추가됨 |
name |
String | 등록된 모델의 이름입니다. |
owner |
String | 등록된 모델을 소유한 사용자의 식별자입니다. Databricks CLI 버전 0.273.0에 추가됨 |
schema_name |
String | 등록된 모델이 있는 스키마의 이름입니다. |
storage_location |
String | 모델 버전 데이터 파일이 저장되는 클라우드의 스토리지 위치입니다. |
updated_at |
String | Unix epoch 이후 등록된 모델의 마지막 업데이트 타임스탬프(밀리초)입니다. Databricks CLI 버전 0.273.0에 추가됨 |
updated_by |
String | 마지막으로 등록된 모델을 업데이트한 사용자의 식별자입니다. Databricks CLI 버전 0.273.0에 추가됨 |
등록된_모델.별칭
Type: Sequence
등록된 모델과 연결된 별칭 목록입니다.
목록의 각 항목은 Alias입니다.
| Key | Type | Description |
|---|---|---|
alias_name |
String | 별칭의 이름(예: 'champion' 또는 'latest_stable') |
catalog_name |
String | 모델 버전이 포함된 카탈로그의 이름입니다. |
id |
String | 별칭의 고유 식별자입니다. |
model_name |
String | 부모 스키마를 기준으로 한 모델 버전의 상위 등록 모델 이름입니다. |
schema_name |
String | 부모 카탈로그를 기준으로 모델 버전을 포함하는 스키마의 이름입니다. |
version_num |
Integer | 이 별칭이 가리키는 모델 버전의 정수 버전 번호입니다. |
Example
다음 예제에서는 Unity 카탈로그에 등록된 모델을 정의합니다.
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
스키마(Unity Catalog)
Type: Map
스키마는 선언적 자동화 번들에 대한 Python 지원됩니다. databricks.bundles.schemas를 참조하세요.
스키마 리소스 유형을 사용하면 번들의 일부로 생성된 워크플로 및 파이프라인의 테이블 및 기타 자산에 대한 Unity 카탈로그 스키마을 정의할 수 있습니다. 다른 리소스 종류와 다른 스키마에는 다음과 같은 제한 사항이 있습니다.
- 스키마 리소스의 소유자는 항상 배포 사용자이며 변경할 수 없습니다. 번들에
run_as가 지정되면 스키마에 대한 작업에서 이를 무시합니다. -
해당 스키마 객체 생성 API에서 지원하는 필드만 스키마 리소스에서 사용할 수 있습니다. 예를 들어
enable_predictive_optimization업데이트 API만 사용할 수 있으므로 지원되지 않습니다.
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | 부모 카탈로그의 이름입니다. |
comment |
String | 사용자가 제공한 자유 형식 텍스트 설명입니다. |
custom_max_retention_hours |
Integer | 스키마의 맞춤 최대 최대 보존 기간, 시간 단위. Databricks CLI 버전 1.5.0에 추가됨 |
grants |
Sequence | 스키마와 연결된 권한 부여입니다. 부여를 참조 하세요. |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 부모 카탈로그를 기준으로 하는 스키마의 이름입니다. |
properties |
Map | 스키마에 연결된 키-값 속성의 맵입니다. |
storage_root |
String | 스키마 내의 관리 테이블에 대한 스토리지 루트 URL입니다. |
Examples
다음 예제에서는 키가 대상으로 포함된 Unity 카탈로그 스키마를 만드는 리소스 키를 my_pipelinemy_schema 사용하여 파이프라인을 정의합니다. 이 예제에서는 대체를 사용합니다.
resources:
pipelines:
my_pipeline:
name: test-pipeline
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema
catalog_name: main
comment: This schema was created by Declarative Automation Bundles.
최상위 권한 부여 매핑은 선언적 자동화 번들에서 지원되지 않으므로 스키마에 대한 부여를 설정하려면 매핑 내에서 스키마에 대한 부여를 schemas 정의합니다. 권한 부여에 대한 자세한 내용은 권한 표시, 부여 및 해지참조하세요.
다음 예제에서는 권한 부여를 사용하여 Unity 카탈로그 스키마를 정의합니다.
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
secret (Unity 카탈로그)
Type: Map
비밀 자원은 Unity 카탈로그에 저장된 비밀을 정의할 수 있게 해줍니다. 비밀은 비밀번호, 토큰, 키와 같은 민감한 자격 증명 데이터를 안전하게 저장하는 3단계 네임스페이스 객체(catalog.schema.secret)입니다.
Note
선언적 자동화 번들을 사용해 비밀을 정의하는 것은 직접 배포 엔진을 사용하는 경우에만 지원됩니다.
Databricks CLI 버전 1.12.0에 추가됨
secrets:
<secret-name>:
<secret-field-name>: <secret-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | 필수 사항입니다. 스키마와 비밀이 있는 카탈로그의 이름. Databricks CLI 버전 1.12.0에 추가됨 |
comment |
String | 사용자가 제공한 자유 형식의 시크릿 설명. 1자에서 65536자 사이여야 합니다. Databricks CLI 버전 1.12.0에 추가됨 |
expire_time |
String | 사용자가 제공한 비밀의 만료 기간. 이 필드는 비밀을 더 이상 사용하지 말아야 할 시기를 나타내며, UI에서 경고로 표시될 수 있습니다. 순전히 정보 제공에 해당하며 자동 행동을 유발하거나 비밀의 수명 주기에 영향을 주지 않습니다. Databricks CLI 버전 1.12.0에 추가됨 |
grants |
Sequence | 이 비밀에 대해 신청할 수 있는 보조금. 부여를 참조 하세요. Databricks CLI 버전 1.12.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.12.0에 추가됨 |
name |
String | 필수 사항입니다. 비밀의 이름, 그리고 그 모 스키마에 대한 이름입니다. Databricks CLI 버전 1.12.0에 추가됨 |
owner |
String | 비밀의 주인. 생성 시 기본 원칙을 따릅니다. 비밀의 소유권을 다른 주체로 이전하도록 업데이트할 수 있습니다. Databricks CLI 버전 1.12.0에 추가됨 |
schema_name |
String | 필수 사항입니다. 비밀이 있는 스키마의 이름. Databricks CLI 버전 1.12.0에 추가됨 |
value |
String | 필수 사항입니다. 비밀 값으로 저장해야 합니다. 이 필드는 입력 전용이며 응답으로 반환되지 않습니다—이 필드(를 로 GetSecret 설정true하여 include_value )를 사용하여 effective_value 비밀 값을 읽으세요. 최대 크기는 60 KiB(암호화 전)입니다. 허용되는 콘텐츠에는 비밀번호, 토큰, 키 및 기타 민감한 자격 증명 데이터가 포함됩니다. 1자에서 61440자 사이여야 합니다.Databricks CLI 버전 1.12.0에 추가됨 |
Examples
다음 예시는 배포 시 번들 변수로 값을 제공하는 Unity 카탈로그 비밀을 정의합니다:
bundle:
name: my-bundle
variables:
my_secret_value:
description: 'Secret value passed at deploy time'
resources:
secrets:
my_secret:
catalog_name: main
schema_name: default
name: my_api_key
value: ${var.my_secret_value}
comment: 'API key for external service'
시크릿_스코프
Type: Map
secret_scope 리소스를 사용하면 번들에서 비밀 범위를 정의할 수 있습니다. 비밀 범위에 대한 자세한 내용은 비밀 관리를 참조하세요.
Databricks CLI 버전 0.252.0에 추가됨
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | Type | Description |
|---|---|---|
backend_type |
String | 범위가 생성될 때 사용할 백엔드 유형. 지정하지 않으면 기본값은 .입니다 DATABRICKS.Databricks CLI 버전 0.252.0에 추가됨 |
keyvault_metadata |
Map | 비밀 범위의 메타데이터는 backend_type가 AZURE_KEYVAULT인 경우입니다.
keyvault_metadata 참조하세요.Databricks CLI 버전 0.252.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 사용자가 요청한 범위 이름입니다. 범위 이름은 고유합니다. Databricks CLI 버전 0.252.0에 추가됨 |
permissions |
Sequence | 비밀 범위에 적용할 권한 설정입니다. 권한은 비밀 범위 ACL을 통해 관리되므로, 각 group_name, , 또는 user_name 는 ACL 내의 필드로 service_principal_name 변환principal됩니다. 허용된 수준은 READ, , WRITE그리고 MANAGE입니다. 사용 권한을 참조 하세요.Databricks CLI 버전 0.252.0에 추가됨 |
비밀_범위.키보관함_메타데이터
Type: Map
Azure Key Vault 지원되는 비밀 범위에 대한 메타데이터입니다.
| Key | Type | Description |
|---|---|---|
resource_id |
String | Key Vault Azure 리소스 ID입니다. |
dns_name |
String | Azure Key Vault DNS 이름입니다. |
Examples
다음 예제에서는 키 보관소 백엔드를 사용하는 비밀 범위를 정의합니다.
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
다음 예제에서는 비밀 범위 및 권한을 사용하여 사용자 지정 ACL을 설정합니다.
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
번들에서 비밀 범위 및 작업에서 읽는 작업을 정의하는 방법을 보여 주는 예제 번들은 bundle-examples GitHub 리포지토리 참조하세요.
SQL 창고
Type: Map
SQL 웨어하우스 리소스를 사용하면 번들에 SQL 웨어하우스 를 정의할 수 있습니다. SQL 웨어하우스에 대한 자세한 내용은
Databricks CLI 버전 0.260.0에 추가됨
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | Type | Description |
|---|---|---|
auto_stop_mins |
Integer | SQL 웨어하우스가 자동으로 중지되기 전에 유휴 상태여야 하는 시간(예: 실행 중인 쿼리 없음)의 시간(분)입니다. 유효한 값은 0(자동 정지 없음), 10(클래식/프로) 또는 1(서버리스)입니다. 기본값은 120(클래식/프로)과 10(서버리스)입니다. Databricks CLI 버전 0.260.0에 추가됨 |
channel |
Map | 채널 세부 정보입니다.
채널을 참조하세요. Databricks CLI 버전 0.260.0에 추가됨 |
cluster_size |
String | 이 웨어하우스에 할당된 클러스터의 크기입니다. Spark 클러스터의 크기를 늘리면 더 큰 쿼리를 실행할 수 있습니다. 동시 쿼리 수를 늘리려면 max_num_clusters 조정합니다. 지원되는 값은 cluster_size 참조하세요. Databricks CLI 버전 0.260.0에 추가됨 |
creator_name |
String | 웨어하우스를 만든 사용자의 이름입니다. Databricks CLI 버전 0.260.0에 추가됨 |
enable_photon |
Boolean | 웨어하우스에서 Photon 최적화 클러스터를 사용해야 하는지 여부입니다. 기본값은 false입니다. Databricks CLI 버전 0.260.0에 추가됨 |
enable_serverless_compute |
Boolean | 웨어하우스에서 서버리스 컴퓨팅을 사용해야 하는지 여부입니다. Databricks CLI 버전 0.260.0에 추가됨 |
instance_profile_arn |
String | Deprecated. 클러스터에 IAM 역할을 전달하는 데 사용되는 인스턴스 프로필입니다. Databricks CLI 버전 0.260.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
max_num_clusters |
Integer | 자동 크기 조정기가 동시 쿼리를 처리하기 위해 만들 클러스터의 최대 수입니다. 값은 30보다 작거나 같아야 하며 30보다 크거나 같아야 합니다 min_num_clusters. 설정되지 않은 경우 자동으로 min_clusters를 기본값으로 설정합니다.Databricks CLI 버전 0.260.0에 추가됨 |
min_num_clusters |
Integer | 이 SQL 웨어하우스에 대해 유지 관리될 사용 가능한 최소 클러스터 수입니다. 이렇게 하면 더 많은 수의 클러스터가 항상 실행되므로 새 쿼리의 콜드 시작 시간이 줄어들 수 있습니다. 이는 리소스 관리자에서 예약된 코어와 취소 가능한 코어와 비슷합니다. 값은 0보다 크고 min(max_num_clusters, 30)보다 작거나 같아야 합니다. 기본값은 1입니다. Databricks CLI 버전 0.260.0에 추가됨 |
name |
String | 클러스터의 논리적 이름입니다. 이름은 조직 내에서 고유해야 하며 100자 미만이어야 합니다. Databricks CLI 버전 0.260.0에 추가됨 |
permissions |
Sequence | 창고에 적용할 권한 설정입니다. 사용 권한을 참조 하세요. Databricks CLI 버전 0.260.0에 추가됨 |
spot_instance_policy |
String | 스폿 인스턴스를 사용할지 여부입니다. 유효한 값은 POLICY_UNSPECIFIED, COST_OPTIMIZED. RELIABILITY_OPTIMIZED 기본값은 COST_OPTIMIZED입니다.Databricks CLI 버전 0.260.0에 추가됨 |
tags |
Map | 웨어하우스에 대한 사용자 지정 태그 집합입니다.
sql_warehouse.tags를 참조하세요. Databricks CLI 버전 0.260.0에 추가됨 |
warehouse_type |
String | 웨어하우스 유형입니다. 유효한 값은 PRO 및 CLASSIC입니다. 서버리스 컴퓨팅을 사용하려면 이 필드를 설정하여 PRO 필드를 enable_serverless_computetrue.로 설정합니다.Databricks CLI 버전 0.260.0에 추가됨 |
sql_웨어하우스.채널
Type: Map
SQL 웨어하우스의 채널 구성입니다.
| Key | Type | Description |
|---|---|---|
name |
String | 채널의 이름입니다. 유효한 값에는 CHANNEL_NAME_CURRENT, . CHANNEL_NAME_PREVIEWCHANNEL_NAME_CUSTOM |
dbsql_version |
String | 사용자 지정 채널에 대한 DBSQL 버전입니다. |
sql_warehouse.태그
Type: Map
SQL 웨어하우스에 대한 사용자 지정 태그입니다.
| Key | Type | Description |
|---|---|---|
custom_tags |
Sequence | 이 SQL 웨어하우스와 연결된 모든 리소스(예: AWS 인스턴스 및 EBS 볼륨)의 태그를 식별하는 키-값 쌍 집합입니다. 태그 수는 45개 미만이어야 합니다. |
Example
다음 예제에서는 SQL 웨어하우스를 정의합니다.
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
tags:
custom_tags:
- key: 'bizunit'
value: 'commercial'
- key: 'area'
value: 'marketing'
동기화된_데이터베이스_테이블
Type: Map
동기화된 데이터베이스 테이블 리소스를 사용하면 번들에서 Lakebase 데이터베이스 테이블을 정의할 수 있습니다.
동기화된 데이터베이스 테이블에 대한 자세한 내용은 Lakebase Provisioned를 참조하세요.
Databricks CLI 버전 0.266.0에 추가됨
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | Type | Description |
|---|---|---|
database_instance_name |
String | 대상 데이터베이스 인스턴스의 이름입니다. 표준 카탈로그에서 동기화된 데이터베이스 테이블을 만들 때 필요합니다. 이는 등록된 카탈로그에서 동기화된 데이터베이스 테이블을 생성할 때 선택 사항입니다; 이 경우 데이터베이스 인스턴스 이름이 등록된 카탈로그와 일치해야 하며, 그렇지 않으면 요청이 거부됩니다. Databricks CLI 버전 0.266.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
logical_database_name |
String | 이 테이블의 대상 Postgres 데이터베이스 개체(논리 데이터베이스)의 이름입니다. 등록된 Postgres 카탈로그에서 동기화된 테이블을 생성할 때, 목표 Postgres 데이터베이스 이름은 등록된 카탈로그의 것으로 추정됩니다. 이 필드가 지정되어 있을 경우, Postgres 데이터베이스 이름은 등록된 카탈로그와 일치해야 하며, 그렇지 않으면 요청이 거부됩니다. 표준 카탈로그에서 동기화된 테이블을 생성할 때 이 필드가 필수이며, 이를 지정하면 임의의 Postgres 데이터베이스를 타겟팅할 수 있습니다. 이는 의 create_database_objects_if_missing장에 spec 대한 함의를 가진다는 점에 유의하라.Databricks CLI 버전 0.266.0에 추가됨 |
name |
String | 필수 사항입니다. 테이블의 전체 이름입니다.catalog.schema.tableDatabricks CLI 버전 0.266.0에 추가됨 |
spec |
Map | 데이터베이스 테이블 사양입니다.
동기화된 데이터베이스 테이블 사양을 참조하세요. Databricks CLI 버전 0.266.0에 추가됨 |
데이터베이스 동기화 테이블 파일(synced_database_table.spec)
Type: Map
데이터베이스 테이블 사양입니다.
Databricks CLI 버전 0.266.0에 추가됨
| Key | Type | Description |
|---|---|---|
create_database_objects_if_missing |
Boolean | 동기화된 테이블의 논리 데이터베이스 및 스키마 리소스가 아직 없는 경우 만들 것인지 여부입니다. |
existing_pipeline_id |
String | 기존 파이프라인의 ID입니다. 이 설정이 설정되면 동기화된 테이블은 참조되는 기존 파이프라인으로 압축됩니다. 이렇게 하면 새 파이프라인을 만들지 않고 기존 컴퓨팅을 공유할 수 있습니다. 이 경우 scheduling_policy 이 동기화된 테이블은 기존 파이프라인의 예약 정책과 일치해야 합니다.
existing_pipeline_id와 new_pipeline_spec 중 최대 하나만 정의해야 합니다. |
new_pipeline_spec |
Map | 새 파이프라인에 대한 사양입니다.
new_pipeline_spec 참조하세요.
existing_pipeline_id와 new_pipeline_spec 중 최대 하나만 정의해야 합니다. |
primary_key_columns |
Sequence | 기본 키를 형성하는 열 이름 목록입니다. |
scheduling_policy |
String | 동기화를 위한 예약 정책입니다. 유효한 값에는 SNAPSHOT, . CONTINUOUSTRIGGERED |
source_table_full_name |
String | 원본 테이블의 전체 이름입니다 catalog.schema.table. |
timeseries_key |
String | 동일한 기본 키를 사용하여 행을 중복 해제하는 시계열 키입니다. |
synced_database_table.spec.new_pipeline_spec
Type: Map
동기화된 데이터베이스 테이블에서 사용하는 새 파이프라인에 대한 사양입니다.
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 새로 만든 파이프라인에 설정할 예산 정책의 ID입니다. |
storage_catalog |
String | 검사점 및 이벤트 로그와 같은 중간 파일을 저장할 파이프라인의 카탈로그입니다. 사용자가 델타 테이블을 만들 수 있는 권한이 있는 표준 카탈로그여야 합니다. |
storage_schema |
String | 검사점 및 이벤트 로그와 같은 중간 파일을 저장할 파이프라인의 스키마입니다. 사용자가 델타 테이블을 만들 수 있는 권한이 있는 표준 카탈로그에 있어야 합니다. |
Examples
다음 예제에서는 해당 데이터베이스 카탈로그 내에서 동기화된 데이터베이스 테이블을 정의합니다.
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
다음 예제에서는 표준 카탈로그 내에 동기화된 데이터베이스 테이블을 정의합니다.
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
이 예제에서는 동기화된 데이터베이스 테이블을 만들고 이에 대한 파이프라인 일정을 사용자 지정합니다. 이미 다음 항목이 있다고 가정합니다.
- 명명된 데이터베이스 인스턴스
my-database-instance - 명명된 표준 카탈로그
my_standard_catalog - 명명된 표준 카탈로그의 스키마
default -
source_delta.schema.customer라는 원본 델타 테이블과 기본 키c_custkey
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
vector_search_endpoint
Type: Map
vector_search_endpoint 리소스를 사용하면 번들에서 AI Search 엔드포인트를 정의할 수 있습니다. AI Search에 대한 자세한 내용은 Databricks AI Search를 참조하세요.
Note
직접 배포 엔진을 사용하는 경우에만 선언적 자동화 번들을 사용하여 벡터 검색 엔드포인트를 정의할 수 있습니다.
Databricks CLI 버전 0.298.0에 추가됨
vector_search_endpoints:
<vector_search_endpoint-name>:
<vector_search_endpoint-field-name>: <vector_search_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | 이 엔드포인트에 사용할 예산 정책의 ID입니다. Databricks CLI 버전 0.298.0에 추가됨 |
endpoint_type |
String | 엔드포인트의 유형입니다. 유효한 값은 STORAGE_OPTIMIZED 및 STANDARD입니다.Databricks CLI 버전 0.298.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.298.0에 추가됨 |
name |
String | AI Search 엔드포인트의 이름입니다. Databricks CLI 버전 0.298.0에 추가됨 |
permissions |
Sequence | AI Search 엔드포인트에 적용할 권한입니다. 허용된 수준은 CAN_CREATE, , CAN_MANAGE그리고 CAN_USE입니다. 사용 권한을 참조 하세요.Databricks CLI 버전 0.298.0에 추가됨 |
target_qps |
Integer | AI Search 엔드포인트에 대한 초당 대상 쿼리입니다.
num_replicas와 상호 배타적입니다. 실제 복제본 수는 이 값을 기반으로 인덱스 생성 또는 동기화 시점에 계산됩니다. 이 목표는 최선을 다하는 목표입니다; 이 시스템은 이 QPS가 달성된다는 보장을 하지 않습니다.Databricks CLI 버전 0.299.2에 추가됨 |
Example
다음 예제에서는 AI Search 엔드포인트를 정의합니다.
# databricks.yml
bundle:
name: vector-search-example
engine: direct # Vector Search requires the direct deployment engine
resources:
vector_search_endpoints:
my_vector_search_endpoint:
name: my_vector_search_endpoint
endpoint_type: STANDARD
vector_search_index
Type: Map
vector_search_index 리소스를 사용하면 번들에서 벡터 검색 인덱스를 정의할 수 있습니다. 벡터 검색에 대한 자세한 내용은 Databricks AI Search를 참조하세요.
Databricks CLI 버전 1.1.0에 추가됨
vector_search_indexes:
<vector_search_index-name>:
<vector_search_index-field-name>: <vector_search_index-field-value>
| Key | Type | Description |
|---|---|---|
delta_sync_index_spec |
Map | 델타 동기화 인덱스 사양입니다.
index_type가 DELTA_SYNC인 경우 필수입니다.
vector_search_index.delta_sync_index_spec을 참조하세요.Databricks CLI 버전 1.1.0에 추가됨 |
direct_access_index_spec |
Map | 직접 벡터 액세스 인덱스 사양입니다.
index_type가 DIRECT_ACCESS인 경우 필수입니다.
vector_search_index.direct_access_index_spec을 참조하세요.Databricks CLI 버전 1.1.0에 추가됨 |
endpoint_name |
String | 필수 사항입니다. 인덱스 제공에 사용할 엔드포인트의 이름입니다. Databricks CLI 버전 1.1.0에 추가됨 |
grants |
Sequence | 벡터 검색 인덱스와 연결된 권한 부여입니다. 부여를 참조 하세요. Databricks CLI 버전 1.1.0에 추가됨 |
index_subtype |
String | (베타) 인덱스의 하위 형식입니다. 유효한 값은 HYBRID 및 FULL_TEXT입니다.
VECTOR은 지원되지 않습니다.Databricks CLI 버전 1.1.0에 추가됨 |
index_type |
String | 필수 사항입니다. 인덱스의 형식입니다. 유효한 값은 다음과 같습니다.
|
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 1.1.0에 추가됨 |
name |
String | 필수 사항입니다. 인덱스의 이름입니다. Databricks CLI 버전 1.1.0에 추가됨 |
primary_key |
String | 필수 사항입니다. 인덱스의 기본 키입니다. Databricks CLI 버전 1.1.0에 추가됨 |
vector_search_index.delta_sync_index_spec
Type: Map
델타 동기화 인덱스 사양입니다.
Databricks CLI 버전 1.1.0에 추가됨
| Key | Type | Description |
|---|---|---|
columns_to_index |
Sequence | Optional.
columns_to_sync의 별칭입니다. 벡터 인덱스에 포함할 열을 선택합니다. 이 필드가 비어 있으면 원본 테이블의 모든 열이 포함됩니다. 기본 키 열 및 원본 열 포함 또는 포함 벡터 열은 항상 포함됩니다. 하나 columns_to_sync 만 지정하거나 columns_to_index 지정할 수 있습니다. |
columns_to_sync |
Sequence | Optional. 벡터 인덱스와 동기화할 열을 선택합니다. 이 필드가 비어 있으면 원본 테이블의 모든 열이 인덱스와 동기화됩니다. 기본 키 열과 임베딩 원본 열 또는 임베딩 벡터 열은 항상 동기화됩니다. |
embedding_source_columns |
Sequence | 포함 원본을 포함하는 열입니다. |
embedding_vector_columns |
Sequence | 포함 벡터가 포함된 열입니다. |
embedding_writeback_table |
String | Optional. 벡터 인덱스 내용과 계산된 포함을 동기화할 델타 테이블의 이름입니다. |
pipeline_type |
String | 파이프라인 실행 모드입니다. 유효한 값은 다음과 같습니다.
|
source_table |
String | 원본 테이블의 이름입니다. |
vector_search_index.direct_access_index_spec
Type: Map
직접 벡터 액세스 인덱스 사양입니다.
Databricks CLI 버전 1.1.0에 추가됨
| Key | Type | Description |
|---|---|---|
embedding_source_columns |
Sequence | 포함 원본을 포함하는 열입니다. 형식은 array[double]여야 합니다. |
embedding_vector_columns |
Sequence | 포함 벡터가 포함된 열입니다. 형식은 array[double]여야 합니다. |
schema_json |
String | JSON 형식의 인덱스 스키마입니다. 지원되는 형식은 integer,long, float, doubleboolean, string, datetimestamp. 벡터 열에 지원되는 형식: array<float>, array<double>. |
Example
다음 예제에서는 델타 동기화 벡터 검색 인덱스를 정의합니다.
resources:
vector_search_endpoints:
my_endpoint:
name: my-endpoint
endpoint_type: STANDARD
vector_search_indexes:
my_index:
name: main.default.my_index
endpoint_name: ${resources.vector_search_endpoints.my_endpoint.name}
primary_key: id
index_type: DELTA_SYNC
delta_sync_index_spec:
source_table: main.default.source
pipeline_type: TRIGGERED
grants:
- principal: data-engineers
privileges: [SELECT]
볼륨(Unity 카탈로그)
Type: Map
볼륨은 선언적 자동화 번들에 대한 Python 지원됩니다. databricks.bundles.volumes를 참조하세요.
볼륨 리소스 유형을 사용하여 번들의 일부로 Unity 카탈로그의 볼륨을 정의하고 생성할 수 있습니다. 볼륨이 정의된 번들을 배포하는 경우 다음 사항에 유의하세요.
- 작업 영역에 볼륨이 존재하기 전까지
artifact_path에서 번들에 대한 참조가 불가능합니다. 따라서 선언적 자동화 번들을 사용하여 볼륨을 만들려면 먼저 번들에서 볼륨을 정의하고 배포하여 볼륨을 만든 다음 후속 배포에서artifact_path참조해야 합니다. - 배포 대상이
dev_${workspace.current_user.short_name}로 설정된 경우, 번들에 있는 볼륨에mode: development접두사가 추가되지 않습니다. 그러나 이 접두사를 수동으로 구성할 수 있습니다. 사용자 지정 사전 설정참조하세요.
Databricks CLI 버전 0.236.0에 추가됨
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | 스키마와 볼륨의 카탈로그 이름입니다. Databricks CLI 버전 0.236.0에 추가됨 |
comment |
String | 볼륨에 첨부된 주석입니다. Databricks CLI 버전 0.236.0에 추가됨 |
grants |
Sequence | 볼륨과 연결된 권한 부여입니다. 부여를 참조 하세요. Databricks CLI 버전 0.236.0에 추가됨 |
lifecycle |
Map | 리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
수명 주기를 참조하세요. Databricks CLI 버전 0.268.0에 추가됨 |
name |
String | 볼륨의 이름입니다. Databricks CLI 버전 0.236.0에 추가됨 |
schema_name |
String | 볼륨이 있는 스키마의 이름입니다. Databricks CLI 버전 0.236.0에 추가됨 |
storage_location |
String | 클라우드의 스토리지 위치입니다. Databricks CLI 버전 0.236.0에 추가됨 |
volume_type |
String | 볼륨 유형은 EXTERNAL 또는 MANAGED 중 하나입니다. 외부 볼륨은 지정된 외부 위치에 있습니다. 관리되는 볼륨은 부모 스키마 또는 부모 카탈로그 또는 메타스토어로 지정된 기본 위치에 있습니다.
관리 볼륨과 외부 볼륨을 참조하세요. |
Example
다음 예제에서는 키 my_volume_id사용하여 Unity 카탈로그 볼륨을 만듭니다.
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
Unity 카탈로그 볼륨의 파일에 쓰는 작업을 실행하는 예제 번들은 bundle-examples GitHub 리포지토리 참조하세요.
일반적인 물건
허가
Type: Map
해당 보안 주체에 부여할 보안 주체 및 권한을 정의합니다. 권한 부여에 대한 자세한 내용은 권한 표시, 부여 및 해지참조하세요.
| Key | Type | Description |
|---|---|---|
principal |
String | 권한이 부여될 사용자의 이름입니다. 사용자, 그룹 또는 서비스 주체일 수 있습니다. |
privileges |
Sequence | 지정된 엔터티에 부여할 수 있는 권한. 유효한 값은 리소스 종류(예: SELECT, , MODIFY, CREATEUSAGE, READ_FILESWRITE_FILES, EXECUTEALL_PRIVILEGES)에 따라 달라집니다. |
Example
다음 예제에서는 권한 부여를 사용하여 Unity 카탈로그 스키마를 정의합니다.
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
생명주기
Type: Map
리소스에 대한 수명 주기 설정을 포함합니다. 리소스가 배포되거나 제거될 때 리소스의 동작을 제어합니다.
Databricks CLI 버전 0.268.0에 추가됨
| Key | Type | Description |
|---|---|---|
prevent_destroy |
Boolean | 리소스가 제거되지 않도록 하는 수명 주기 설정입니다. Databricks CLI 버전 0.268.0에 추가됨 |
started |
Boolean | 시작 모드에서 리소스를 배포하는 수명 주기 설정입니다.
직접 배포 모드에서 앱, 클러스터 및 sql_warehouses 대해서만 지원됩니다. Databricks CLI 버전 0.297.0(앱)에 추가됨 Databricks CLI 버전 1.1.0 (클러스터)에 추가됨 Databricks CLI 버전 1.2.0 (sql_warehouses)에 추가됨 |
triggers |
Sequence | 런을 재발화하는 조건과 구성 변경이 포함됩니다.
job_run만 지원됨Databricks CLI 버전 1.13.0에 추가됨 |