Databricks 資產套件組合允許您在套件組合配置中的 resources 映射裡,指定所使用的 Azure Databricks 資源的相關資訊。 請參閱 資源參考。
此頁面提供軟體組所有支援資源類型的組態參考,並提供每個支援類型的詳細資料和範例。 如需其他範例,請參閱 套件組合組態範例。
用來驗證 YAML 設定之套件組合的 JSON 結構描述位於 Databricks CLI GitHub 存放庫中。
Tip
若要產生任何現有資源的 YAML,請使用 databricks bundle generate 命令。 請參閱 databricks 套件組合產生。
支援的資源
下表列出套件組合支援的資源類型 (YAML 和 Python,如適用)。 某些資源可以藉由在套件組合中定義並部署套件組合來建立,而某些資源只能藉由參考現有的資產來包含在套件組合中來建立。
資源設定會定義對應至 Databricks REST API 物件的 Databricks 物件。 REST API 物件支援的建立請求欄位(以 YAML 表示)是該資源支援的鍵。 下表中列出了每個資源對應物件的文件連結。
Tip
如果套件組合組態檔中找到未知的資源屬性,則 databricks bundle validate 命令會傳回警告。
| Resource | Python 支援 | 對應的 REST API 物件 |
|---|---|---|
| 警報 | 警報物件 | |
| app | 應用程式物件 | |
| 目錄 (Unity 目錄) | 目錄物件 | |
| cluster | 叢集物件 | |
| dashboard | 儀表板物件 | |
| database_catalog | 資料庫型錄物件 | |
| database_instance | 資料庫執行個體物件 | |
| experiment | 實驗對象 | |
| job | 工作 | Job 物件 |
| 模型 (舊版) | Model(舊版)物件 | |
| model_serving_endpoint | 模型服務端點對象 | |
| pipeline | Pipelines | 管線物件 |
| postgres_branch | Postgres 分支物件 | |
| postgres_endpoint | Postgres 計算端點物件 | |
| postgres_project | Postgres 專案物件 | |
| quality_monitor | 品質監控物件 | |
| registered_model(Unity Catalog) | 已註冊的模型物件 | |
| 架構 (Unity 目錄) | Schemas | Schema 物件 |
| secret_scope | 秘密範圍物件 | |
| sql_warehouse | SQL 倉儲物件 | |
| synced_database_table | 同步處理的資料庫表格物件 | |
| 磁碟區 (Unity 目錄) | 磁碟區 | 體積物件 |
警告
Type: Map
警報資源定義了一個 SQL 警報(v2)。
新增於 Databricks CLI 版本 0.279.0
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | 類型 | Description |
|---|---|---|
custom_description |
String | 選擇性。 警示的自訂描述。 支援鬍鬚範本。 新增於 Databricks CLI 版本 0.279.0 |
custom_summary |
String | 選擇性。 警示的自訂摘要。 支援鬍鬚範本。 新增於 Databricks CLI 版本 0.279.0 |
display_name |
String | 必須的。 警示的顯示名稱,例如,Example alert。新增於 Databricks CLI 版本 0.279.0 |
evaluation |
Map | 必須的。 警示的評估配置。 請參見 alert.evaluation。 新增於 Databricks CLI 版本 0.279.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.279.0 |
parent_path |
String | 選擇性。 包含警報資料夾的工作區路徑。 只能設定在建立模式,且無法更新。 範例: /Users/someone@example.com.新增於 Databricks CLI 版本 0.279.0 |
permissions |
Sequence | 警報權限。 請參閱 許可權。 新增於 Databricks CLI 版本 0.279.0 |
query_text |
String | 必須的。 查詢的文字,例如, SELECT 1。新增於 Databricks CLI 版本 0.279.0 |
run_as |
Map | 選擇性。 指定將用於執行警報的身份。 此欄位允許你設定警示以特定使用者或服務主體身份執行。 參見 run_as。
新增於 Databricks CLI 版本 0.279.0 |
schedule |
Map | 必須的。 警報的排程設定。 請參閱 alert.schedule。 新增於 Databricks CLI 版本 0.279.0 |
warehouse_id |
String | 必須的。 例如,附帶於警示的 SQL 倉庫 ID 為 a7066a8ef796be84。新增於 Databricks CLI 版本 0.279.0 |
警報。評估
Type: Map
警示的評估配置。
| Key | 類型 | Description |
|---|---|---|
comparison_operator |
String | 警示評估中使用的比較運算子。 |
empty_result_state |
String | 如果結果為空,警報狀態會顯示。 避免將此欄位設為UNKNOWN,因為UNKNOWN狀態預計將淘汰。 |
notification |
Map | 使用者或其他目的地在警報觸發時通知。 請參見 alert.evaluation.notification。 |
source |
Map | 結果中的來源欄位用來用於評估警示。 請參見 alert.evaluation.source。 |
threshold |
Map | 用於警示評估的門檻。 這可以是欄位或值。 請參見 alert.evaluation.threshold。 |
警示.評估.通知
Type: Map
使用者或其他目的地在警報觸發時通知。
| Key | 類型 | Description |
|---|---|---|
notify_on_ok |
布林值 | 選擇性。 當警報恢復正常時,是否要通知通知訂閱者。 |
retrigger_seconds |
Integer | 選擇性。 警報在觸發後等待的秒數,才允許發送另一條通知。 若設定為或 0 省略,警報在第一次觸發後將不再發送任何通知。 將此值設為 1 時,警報會在每次評估中條件達成時發送通知,實際上使其在通知目的上總是重新觸發。 |
subscriptions |
Sequence | 選擇性。 通知訂閱的未排序清單。 請參見 alert.evaluation.notification.subscriptions。 |
警報.評估.通知.訂閱
Type: Sequence
一份未排序的通知訂閱清單。
清單中的每個項目都是:AlertSubscription
| Key | 類型 | Description |
|---|---|---|
destination_id |
String | 通知目的地的 ID。 |
user_email |
String | 要通知的用戶電子郵件地址。 |
警報.評估.來源
Type: Map
從結果中選出來源欄位,用來評估警示。
| Key | 類型 | Description |
|---|---|---|
aggregation |
String | 將聚合方法套用於來源欄位。 有效值為 SUM, COUNT, , COUNT_DISTINCTAVGMEDIANMINMAXSTDDEV |
display |
String | 來源欄位的顯示名稱。 |
name |
String | 查詢結果中來源欄位的名稱。 |
警報評估閾值 (alert.evaluation.threshold)
Type: Map
用於警示評估的閾值可以是欄位或值。
| Key | 類型 | Description |
|---|---|---|
column |
Map | 欄位參考作為閾值。 請參見 alert.evaluation.source。 |
value |
Map | 使用字面值作為臨界值。 請參見 alert.evaluation.threshold.value。 |
警報評估閾值.數值
Type: Map
使用字面值作為臨界值。 請指定以下其中一種值類型。
| Key | 類型 | Description |
|---|---|---|
bool_value |
布林值 | 選擇性。 閾值的布林值,例如 true。 |
double_value |
Double | 選擇性。 例如,閾值的數值。 1.25 |
string_value |
String | 選擇性。 例如,閾值的字串值。 test |
警報.排程
Type: Map
警報的排程設定。
| Key | 類型 | Description |
|---|---|---|
pause_status |
String | 選擇性。 不管這個行程是否暫停。 有效值: UNPAUSED、 PAUSED。 預設值:UNPAUSED。 |
quartz_cron_schedule |
String | 必須的。 一個使用 quartz 語法的 cron 表達式,指定此管線的排程。 石英格式以 石英排程器格式描述。 |
timezone_id |
String | 必須的。 一個 Java 時區 ID。排程將依據此時區來解決。 這將與 quartz_cron_schedule 結合為一,以決定排程。 如需詳細資訊,請參閱 SET TIME ZONE。 |
Examples
以下範例配置定義了一個簡單的評估通知:
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
以下範例配置定義了一個帶有權限的警示,該警示會利用聚合進行評估並發送通知:
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
應用程式
Type: Map
應用程式資源定義了 Databricks 應用程式。 如需 Databricks Apps 的相關信息,請參閱 Databricks Apps。
若要新增應用程式,請指定要定義應用程式的設定,包括必要的 source_code_path。
Tip
您可以使用下列命令,用 Streamlit Databricks 應用程式初始化套件:
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
新增於 Databricks CLI 版本 0.239.0
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | 類型 | Description |
|---|---|---|
budget_policy_id |
String | 應用程式的預算原則標識碼。 新增於 Databricks CLI 版本 0.243.0 |
compute_size |
String | 應用程式的計算大小。 有效的值是 MEDIUM 或 LARGE 但取決於工作區設定。新增於 Databricks CLI 版本 0.273.0 |
config |
Map | 應用程式設定指令與環境變數。 在指定時,此設定會在部署時寫入原始碼路徑中的 app.yaml 檔案。 這樣你就能直接在套件中的 YAML 中定義應用程式設定,而不必維護獨立的 app.yaml 檔案。 請參見 app.config。 新增於 Databricks CLI 版本 0.283.0 |
description |
String | 應用程式的描述。 新增於 Databricks CLI 版本 0.239.0 |
lifecycle |
Map | 資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 應用程式的名稱。 名稱必須只包含小寫英數位元和連字元。 它必須在工作區中是唯一的。 新增於 Databricks CLI 版本 0.239.0 |
permissions |
Sequence | 應用程式的許可權。 請參閱 許可權。 新增於 Databricks CLI 版本 0.239.0 |
resources |
Sequence | 應用程式計算資源。 請參閱 app.resources。 新增於 Databricks CLI 版本 0.239.0 |
source_code_path |
String |
./app Databricks 應用程式原始程式碼的本機路徑。新增於 Databricks CLI 版本 0.239.0 |
user_api_scopes |
Sequence | 使用者 API 範圍。 新增於 Databricks CLI 版本 0.246.0 |
app.config
應用程式設定指令與環境變數。 請參閱使用 app.yaml設定 Databricks 應用程式執行。
| Key | 類型 | Description |
|---|---|---|
command |
Sequence | 例如執行應用程式的指令 ["streamlit", "run", "app.py"] |
env |
Sequence | 一個指定應用程式環境變數的清單 name 和 value 配對。 |
應用程式資源
Type: Sequence
應用程式的運算資源清單。
清單中的每個項目都是:AppResource
| Key | 類型 | Description |
|---|---|---|
description |
String | 應用程式資源的描述。 |
database |
Map | 識別要使用的 Lakebase 資料庫的設定。 請參閱 app.resources.database。 |
experiment |
Map | 這些設定是用來識別 MLflow 實驗要使用的。 請參考 app.resources.experiment。 |
genie_space |
Map | 識別要使用的 Genie 空間的設定。 參見 app.resources.genie_space。 |
job |
Map | 識別要使用的作業資源的設定。 請參閱 app.resources.job。 |
name |
String | 應用程式資源的名稱。 |
secret |
Map | 識別要使用的 Azure Databricks 秘密資源的設定。 請參閱 app.resources.secret。 |
serving_endpoint |
Map | 識別要使用的模型服務端點資源的設定。 參見 app.resources.serving_endpoint。 |
sql_warehouse |
Map | 識別要使用的 SQL 倉儲資源的設定。 請參閱 app.resources.sql_warehouse。 |
uc_securable |
Map | 識別要使用的 Unity 目錄磁碟區的設定。 參見 app.resources.uc_securable。 |
app.資源.資料庫
Type: Map
識別要使用的 Lakebase 資料庫的設定。
| Key | 類型 | Description |
|---|---|---|
database_name |
String | 資料庫的名稱。 |
instance_name |
String | 資料庫實例的名稱。 |
permission |
String | 資料庫的權限層級。 合法值為 CAN_CONNECT_AND_CREATE。 |
應用程式.資源.實驗
Type: Map
這些設定是用來識別 MLflow 實驗要使用的。
| Key | 類型 | Description |
|---|---|---|
experiment_id |
String | MLflow 實驗的 ID。 |
permission |
String | 實驗的許可等級。 有效值包括 CAN_READ、 、 CAN_EDITCAN_MANAGE。 |
app.resources.genie_space
Type: Map
識別要使用的 Genie 空間的設定。
| Key | 類型 | Description |
|---|---|---|
name |
String | 精靈空間的名稱。 |
permission |
String | 空間的權限層級。 有效值包括 CAN_VIEW、 、 CAN_EDITCAN_MANAGE、 CAN_RUN。 |
space_id |
String | Genie 空間的 ID,例如 550e8400-e29b-41d4-a716-999955440000。 |
應用程式資源.工作
Type: Map
識別要使用的作業資源的設定。
| Key | 類型 | Description |
|---|---|---|
id |
String | 作業的識別碼。 |
permission |
String | 工作任務的權限層級。 有效值包括 CAN_VIEW、 、 CAN_MANAGE_RUNCAN_MANAGE、 IS_OWNER。 |
應用資源.密鑰
Type: Map
識別要使用的 Azure Databricks 秘密資源的設定。
| Key | 類型 | Description |
|---|---|---|
key |
String | 授予權限的秘密鑰匙。 |
permission |
String | 機密的權限等級。 有效值包括 READ、 、 WRITEMANAGE。 |
scope |
String | 秘密範圍的名稱。 |
app.resources.服務端點
Type: Map
識別要使用的模型服務端點資源的設定。
| Key | 類型 | Description |
|---|---|---|
name |
String | 服務端點的名稱。 |
permission |
String | 服務端點的許可層級。 有效值包括 CAN_QUERY、 、 CAN_MANAGECAN_VIEW。 |
app.resources.sql_倉庫
Type: Map
識別要使用的 SQL 倉儲的設定。
| Key | 類型 | Description |
|---|---|---|
id |
String | SQL 倉儲的識別碼。 |
permission |
String | SQL 倉儲的權限層級。 有效值包括 CAN_USE、 、 CAN_MANAGEIS_OWNER。 |
app.resources.uc_securable
Type: Map
識別要使用的 Unity 目錄磁碟區的設定。
| Key | 類型 | Description |
|---|---|---|
permission |
String | Unity 目錄的權限等級是可確保的。 有效值為 READ_VOLUME 與 WRITE_VOLUME。 |
securable_full_name |
String | 以格式 catalog.schema.volume為安全性保護的 Unity 目錄的完整名稱。 |
securable_type |
String | Unity Catalog 中可被保護的對象類型。 合法值為 VOLUME。 |
Examples
若有教學說明如何建立定義應用程式的套件,請參見「 使用 Databricks 資產套件管理 Databricks 應用程式」。
以下範例定義了一個基本的應用程式:
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
以下範例會建立一個名為 my_app app 的應用程式,管理由 bundle 所建立的工作。 完整範例請參見 GitHub 的 bundle-examples 倉庫。
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
對應的 app.yaml 會定義執行應用程式的組態:
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
以下範例建立一個應用程式,能存取由套件所建立的 MLflow 實驗:
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
另外,以下範例定義了在 bundle 配置中定義自訂設定的應用程式:
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
catalogs
Type: Map
目錄資源允許你在套件中定義目錄(Unity 目錄)。
Note
只有在使用 直接部署引擎時,才支援使用 Databricks 資產組合來定義目錄。
新增於 Databricks CLI 版本 0.287.0
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | 類型 | Description |
|---|---|---|
comment |
String | 使用者提供的自由文字目錄說明。 新增於 Databricks CLI 版本 0.287.0 |
connection_name |
String | 連接到外部資料來源的名稱。 新增於 Databricks CLI 版本 0.287.0 |
grants |
Sequence | 與目錄相關的補助金。 參見 grant。 新增於 Databricks CLI 版本 0.287.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.287.0 |
name |
String | 必須的。 目錄名稱 新增於 Databricks CLI 版本 0.287.0 |
options |
物體 | 一個附加於可擔保資產的鍵值屬性映射。 新增於 Databricks CLI 版本 0.287.0 |
properties |
物體 | 一個附加於可擔保資產的鍵值屬性映射。 新增於 Databricks CLI 版本 0.287.0 |
provider_name |
String | 那家 delta 共享供應商的名字。 Delta Sharing 目錄是一種基於遠端共享伺服器上的 Delta 共享的目錄。 請參閱 What is Delta Sharing?。 新增於 Databricks CLI 版本 0.287.0 |
share_name |
String | 股份提供者下的股份名稱。 新增於 Databricks CLI 版本 0.287.0 |
storage_root |
String | 目錄中受管理資料表的儲存根 URL。 新增於 Databricks CLI 版本 0.287.0 |
Example
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Databricks Asset Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
叢集
Type: Map
叢集資源會定義 叢集。
新增於 Databricks CLI 版本 0.229.0 或以下
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | 類型 | Description |
|---|---|---|
apply_policy_default_values |
布林值 | 當設定為 true 時,原則中的固定和預設值將會用於省略的欄位。 當設定為 false 時,只會套用原則中的固定值。 新增於 Databricks CLI 版本 0.229.0 或以下 |
autoscale |
Map | 根據負載自動調整擴展或縮減叢集所需的參數。 請參閱 自動調整。 新增於 Databricks CLI 版本 0.229.0 或以下 |
autotermination_minutes |
Integer | 在叢集處於非使用中狀態之後,會在幾分鐘內自動終止叢集。 如果未設定,將不會自動終止此叢集。 如果指定,臨界值必須介於 10 到 10000 分鐘之間。 使用者也可以將此值設定為0,以明確停用自動終止。 新增於 Databricks CLI 版本 0.229.0 或以下 |
aws_attributes |
Map | 與在 Amazon Web Services 上執行的叢集相關的屬性。 如果未在叢集建立時指定,則會使用一組預設值。 請參閱 aws_attributes。 新增於 Databricks CLI 版本 0.229.0 或以下 |
azure_attributes |
Map | 與在 Microsoft Azure 上執行的叢集相關的屬性。 如果未在叢集建立時指定,則會使用一組預設值。 請參閱 azure_attributes。 新增於 Databricks CLI 版本 0.229.0 或以下 |
cluster_log_conf |
Map | 將 Spark 記錄傳遞至長期記憶體目的地的設定。 請參閱 cluster_log_conf。 新增於 Databricks CLI 版本 0.229.0 或以下 |
cluster_name |
String | 使用者要求的叢集名稱。 這不一定是唯一的。 如果未在建立時指定,叢集名稱會是空字串。 新增於 Databricks CLI 版本 0.229.0 或以下 |
custom_tags |
Map | 叢集資源的附加標籤。 Databricks 除了使用default_tags標籤外,還會為所有叢集資源(例如 AWS 實例和 EBS 磁碟區)加上這些標籤。新增於 Databricks CLI 版本 0.229.0 或以下 |
data_security_mode |
String | 從叢集存取數據時要使用的數據控管模型。 有效值包括 NONE、 、 SINGLE_USERUSER_ISOLATION、 LEGACY_SINGLE_USERLEGACY_TABLE_ACLLEGACY_PASSTHROUGH、 。新增於 Databricks CLI 版本 0.229.0 或以下 |
docker_image |
Map | 自訂 Docker 映像。 請參閱 docker_image。 新增於 Databricks CLI 版本 0.229.0 或以下 |
driver_instance_pool_id |
String | 叢集驅動程式所屬實例集區的選擇性標識碼。 若未指派驅動池,池叢集會使用帶有 id (instance*pool_id) 的實例池。 新增於 Databricks CLI 版本 0.229.0 或以下 |
driver_node_type_id |
String | Spark 驅動程式的節點類型。 此欄位為選擇性欄位。 若未設定,驅動節點類型將設定為 的 node_type_id值。 若 node_type_id 為 ,則此欄位virtual_cluster_size與 不應該被設定。 若driver_node_type_id同時指定 node_type_id 、 virtual_cluster_size和 driver_node_type_id ,則優先於 。node_type_id新增於 Databricks CLI 版本 0.229.0 或以下 |
enable_elastic_disk |
布林值 | 自動調整本機儲存:啟用時,這個叢集會在 Spark 工作執行個體的磁碟空間不足時動態取得額外的磁碟空間。 此功能需要特定的 AWS 許可權才能正確運作 - 如需詳細資訊,請參閱使用者指南。 新增於 Databricks CLI 版本 0.229.0 或以下 |
enable_local_disk_encryption |
布林值 | 是否要在叢集 VM 的本機磁碟上啟用 LUKS。 新增於 Databricks CLI 版本 0.229.0 或以下 |
gcp_attributes |
Map | 與Google Cloud Platform上執行的叢集相關的屬性。 如果未在叢集建立時指定,則會使用一組預設值。 請參閱 gcp_attributes。 新增於 Databricks CLI 版本 0.229.0 或以下 |
init_scripts |
Sequence | 用於儲存 init 指令的組態。 您可以指定任意數目的目的地。 指令碼會依提供的順序循序執行。 請參閱 init_scripts。 新增於 Databricks CLI 版本 0.229.0 或以下 |
instance_pool_id |
String | 叢集所屬實例集區的選擇性標識符。 新增於 Databricks CLI 版本 0.229.0 或以下 |
is_single_node |
布林值 | 只有當 時 kind = CLASSIC_PREVIEW,才能使用此欄位。 當設定為 true 時,Databricks 會自動設定與單一節點相關的 custom_tags、 spark_conf、 num_workers和 。新增於 Databricks CLI 版本 0.237.0 |
kind |
String | 這個計算規格所描述的計算類型。 新增於 Databricks CLI 版本 0.237.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
node_type_id |
String | 此欄位透過單一值,將對此叢集中每個 Spark 節點可使用的資源編碼。 例如,Spark 節點可以針對記憶體或計算密集型工作負載進行布建和優化。 可透過 List 節點類型 API 檢索可用節點類型清單。 新增於 Databricks CLI 版本 0.229.0 或以下 |
num_workers |
Integer | 此叢集應該擁有的工作節點數目。 叢集有一個 Spark 驅動程式和 num_workers 執行程式,總計 num_workers 為 + 1 個 Spark 節點。新增於 Databricks CLI 版本 0.229.0 或以下 |
permissions |
Sequence | 叢集權限設定 請參閱 許可權。 新增於 Databricks CLI 版本 0.229.0 或以下 |
policy_id |
String | 適用時用來建立叢集之叢集原則的標識符。 新增於 Databricks CLI 版本 0.229.0 或以下 |
remote_disk_throughput |
Integer | 遠端磁碟吞吐量以位元組每秒計。 新增於 Databricks CLI 版本 0.257.0 |
runtime_engine |
String | 決定叢集的執行運行時引擎,是 STANDARD 還是 PHOTON。新增於 Databricks CLI 版本 0.229.0 或以下 |
single_user_name |
String | 若資料*security_mode SINGLE_USER為 ,則為單一使用者名稱。新增於 Databricks CLI 版本 0.229.0 或以下 |
spark_conf |
Map | 包含一組選用的、使用者指定的 Spark 設定索引鍵/值組的物件。 使用者也可以透過spark.driver.extraJavaOptions和spark.executor.extraJavaOptions,分別將額外的 JVM 選項字串傳遞給驅動程式和執行程序。新增於 Databricks CLI 版本 0.229.0 或以下 |
spark_env_vars |
Map | 包含一組選用的、使用者指定的環境變數索引鍵/值組的物件。 新增於 Databricks CLI 版本 0.229.0 或以下 |
spark_version |
String | 叢集的 Spark 版本,例如 3.3.x-scala2.11。 可透過「 List available spark versions API」取得可用 Spark 版本清單。新增於 Databricks CLI 版本 0.229.0 或以下 |
ssh_public_keys |
Sequence | 將新增至此叢集中每個 Spark 節點的 SSH 公鑰內容。 對應的私鑰可用來使用埠 ubuntu上的使用者名稱2200登入。 最多可以指定10個按鍵。新增於 Databricks CLI 版本 0.229.0 或以下 |
total_initial_remote_disk_size |
Integer | 初始遠端磁碟的總大小(以位元組為單位)。 新增於 Databricks CLI 版本 0.257.0 |
use_ml_runtime |
布林值 | 只有當 時 kind = CLASSIC_PREVIEW,才能使用此欄位。
effective_spark_version 是由 spark_version(Databricks 執行時版本)、此欄位use_ml_runtime 以及 node_type_id 是否為 GPU 節點來決定的。新增於 Databricks CLI 版本 0.237.0 |
workload_type |
Map | 顯示叢集工作負載類型的叢集屬性。 請參閱 workload_type。 新增於 Databricks CLI 版本 0.229.0 或以下 |
cluster.autoscale
Type: Map
根據負載自動擴展和縮減叢集的參數。
| Key | 類型 | Description |
|---|---|---|
min_workers |
Integer | 叢集在未充分利用時可以縮減到的最小工作者數目。 這也是叢集建立後將擁有的初始工作角色數目。 |
max_workers |
Integer | 叢集在超載時可以相應增加的工作者數目上限。
max_workers 必須嚴格大於 min_workers。 |
叢集.aws屬性
Type: Map
與在 Amazon Web Services 上執行的叢集相關的屬性。
| Key | 類型 | Description |
|---|---|---|
zone_id |
String | 叢集所在可用區域/資料中心的識別碼。 此字串的形式會類似 us-west-2a。 |
availability |
String | 此可用性類型供於所有位於 first_on_demand 節點之後的後續節點使用。 有效值為 SPOT、 ON_DEMAND、 SPOT_WITH_FALLBACK。 |
spot_bid_price_percent |
Integer | AWS Spot 執行個體的最高價格,佔對應執行個體類型隨需價格的百分比。 |
instance_profile_arn |
String | 此叢集的節點只會放置在具有此執行個體設定檔的 AWS 執行個體上。 |
first_on_demand |
Integer | 叢集的第一個 first_on_demand 節點將放置在隨需執行個體上。 此值應大於 0,以確保叢集驅動程式節點放置在隨需執行個體上。 |
ebs_volume_type |
String | 將使用此叢集啟動的 EBS 磁碟區類型。 有效值為 GENERAL_PURPOSE_SSD 或 THROUGHPUT_OPTIMIZED_HDD。 |
ebs_volume_count |
Integer | 針對每個執行個體啟動的磁碟區數目。 |
ebs_volume_size |
Integer | 提供給每個執行個體的每個 EBS 磁碟區大小,以 GiB 為單位。 |
ebs_volume_iops |
Integer | 每個 EBS gp3 磁碟區的 IOPS 數目。 |
ebs_volume_throughput |
Integer | 每個 EBS gp3 磁碟區的輸送量 (以每秒 MiB 為單位)。 |
集群的 Azure 屬性
Type: Map
與在 Microsoft Azure 上執行的叢集相關的屬性。
| Key | 類型 | Description |
|---|---|---|
first_on_demand |
Integer | 叢集的第一個 first_on_demand 節點將放置在隨需執行個體上。 |
availability |
String | 此可用性類型供於所有位於 first_on_demand 節點之後的後續節點使用。 有效值為 SPOT_AZURE、 ON_DEMAND_AZURE、 SPOT_WITH_FALLBACK_AZURE。 |
spot_bid_max_price |
Number | Azure Spot 執行個體的價格上限。 用於 -1 指定最低價格。 |
log_analytics_info |
Map | Azure Log Analytics agent 的設定。 請參見 log_analytics_info。 |
cluster.azure_attributes.log_analytics_info
Type: Map
Azure Log Analytics agent 的設定。
| Key | 類型 | Description |
|---|---|---|
log_analytics_workspace_id |
String | Azure Log Analytics 工作區的 ID。 |
log_analytics_primary_key |
String | Azure Log Analytics 工作空間的主要金鑰。 |
叢集.gcp屬性
Type: Map
與Google Cloud Platform上執行的叢集相關的屬性。
| Key | 類型 | Description |
|---|---|---|
use_preemptible_executors |
布林值 | 是否使用搶佔式執行程式。 搶佔式執行器是可搶佔式的 GCE 實例,GCE 可以隨時回收。 |
google_service_account |
String | Databricks 叢集 VM 執行個體要使用的 Google 服務帳戶。 |
local_ssd_count |
Integer | 要連接至叢集中每個節點的本機SSD數目。 預設值是 0。 |
zone_id |
String | 叢集所在可用區域/資料中心的識別碼。 |
availability |
String | 用於所有節點的可用性類型。 有效值為 PREEMPTIBLE_GCP、 ON_DEMAND_GCP、 PREEMPTIBLE_WITH_FALLBACK_GCP。 |
boot_disk_size |
Integer | 開機磁碟的大小 (以 GB 為單位)。 值的範圍通常介於 100 到 1000 之間。 |
cluster.cluster_log_conf
將 Spark 日誌傳遞至長期儲存目的地的組態。
| Key | 類型 | Description |
|---|---|---|
dbfs |
Map | 用於叢集記錄傳遞的 DBFS 位置。 請參閱 dbfs。 |
s3 |
Map | 用於叢集日誌傳遞的 S3 位置。 參見 第 3 條。 |
volumes |
Map | 叢集日誌傳遞的磁碟區位置。 參見 磁碟區。 |
cluster.cluster_log_conf.dbfs
Type: Map
用於叢集記錄傳遞的 DBFS 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | 叢集日誌傳遞的 DBFS 路徑 (例如 dbfs:/cluster-logs)。 |
cluster.cluster_log_conf.s3
Type: Map
用於叢集日誌傳遞的 S3 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | 叢集日誌交付的 S3 URI (例如 s3://my-bucket/cluster-logs)。 |
region |
String | S3 儲存貯體的 AWS 區域。 |
endpoint |
String | S3端點URL (選用)。 |
enable_encryption |
布林值 | 是否啟用叢集記錄的加密。 |
encryption_type |
String | 加密類型。 有效值包括 SSE_S3、 。 SSE_KMS |
kms_key |
String | 用於加密的 KMS 金鑰 ARN (使用 SSE_KMS時)。 |
canned_acl |
String | 要套用至叢集記錄的預設 ACL。 |
cluster.cluster_log_conf.磁碟區
Type: Map
叢集日誌傳遞的磁碟區位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | 叢集日誌傳遞的磁碟區路徑 (例如 /Volumes/catalog/schema/volume/cluster_log)。 |
cluster.docker_image
Type: Map
自訂 Docker 映像組態。
| Key | 類型 | Description |
|---|---|---|
url |
String | Docker 映像的 URL。 |
basic_auth |
Map | Docker 存放庫的基本驗證。 參見 basic_auth。 |
cluster.docker_image.基本驗證
Type: Map
Docker 存放庫的基本驗證。
| Key | 類型 | Description |
|---|---|---|
username |
String | Docker 登錄驗證的使用者名稱。 |
password |
String | Docker 登錄驗證的密碼。 |
叢集.初始化腳本
Type: Map
用於儲存 init 指令的組態。 必須至少指定一個位置類型。
| Key | 類型 | Description |
|---|---|---|
dbfs |
Map | init 指令碼的 DBFS 位置。 請參閱 dbfs。 |
workspace |
Map | init 指令碼的工作區位置。 請參閱 工作區。 |
s3 |
Map | 初始化指令碼的 S3 位置。 參見 第 3 條。 |
abfss |
Map | init 指令碼的 ABFSS 位置。 參見 abfss。 |
gcs |
Map | init 指令碼的 GCS 位置。 請參閱 gcs。 |
volumes |
Map | init 指令碼的 UC 磁碟區位置。 參見 磁碟區。 |
cluster.init_scripts.dbfs
Type: Map
init 指令碼的 DBFS 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | init 指令碼的 DBFS 路徑。 |
叢集的初始化腳本工作區
Type: Map
init 指令碼的工作區位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | init 指令碼的工作區路徑。 |
cluster.init_scripts.s3
Type: Map
初始化指令碼的 S3 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | init 指令碼的 S3 URI。 |
region |
String | S3 儲存貯體的 AWS 區域。 |
endpoint |
String | S3端點URL (選用)。 |
cluster.init_scripts.abfss
Type: Map
init 指令碼的 ABFSS 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | init 指令碼的 ABFSS 路徑。 |
cluster.init_scripts.gcs
Type: Map
init 指令碼的 GCS 位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | init 指令碼的 GCS 路徑。 |
cluster.init_scripts.體積
Type: Map
init 指令碼的磁碟區位置。
| Key | 類型 | Description |
|---|---|---|
destination |
String | 初始化指令碼中的 UC Volume 路徑。 |
cluster.workload_type(負載類型)
Type: Map
顯示叢集工作負載類型的叢集屬性。
| Key | 類型 | Description |
|---|---|---|
clients |
Map | 定義可以使用叢集的用戶端類型。 參見 客戶。 |
cluster.workload_type.客戶端
Type: Map
此運算工作負載的用戶端類型。
| Key | 類型 | Description |
|---|---|---|
jobs |
布林值 | 叢集是否可以執行作業。 |
notebooks |
布林值 | 群集系統是否可以執行筆記本程式。 |
Examples
下列範例會使用 Databricks Runtime 15.4 LTS 和叢集原則,為目前使用者建立專用的 (單一使用者) 叢集:
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
此範例會建立一個簡單的叢集,並將該叢集 my_cluster 設定為用來在 my_job 中執行筆記本的叢集。
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
儀表板
Type: Map
儀表板資源讓您可以集成管理 AI/BI 儀表板。 如需 AI/BI 儀錶板的相關信息,請參閱 儀錶板。
如果您部署了一個套件,該套件中包含本機環境的儀表板,然後利用 UI 修改該儀表板,則通過 UI 所做的修改不會應用到本機套件中的儀表板 JSON 檔案,除非您明確通過 bundle generate 更新它。 您可以使用 --watch 選項持續輪詢以擷取儀錶板的變更。 請參閱 databricks 套件組合產生。
**
此外,如果您嘗試從本地環境部署一個包含與遠端工作區儀表板 JSON 檔案不同的儀表板 JSON 檔案的封裝,則會發生錯誤。 若要將本地工作區的儀錶板強制部署並覆蓋到遠端工作區中,請使用 [--force] 選項。 請參閱 databricks 套件組合部署。
新增於 Databricks CLI 版本 0.232.0
Note
使用 Databricks 總資產套件組合搭配 儀錶板 Git 支援 時,為防止重複產生儀錶板,請新增 同步對應,將這些儀錶板排除在文件同步之外。
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | 類型 | Description |
|---|---|---|
dataset_catalog |
String | 如果在查詢中未另行指定,儀表板中所有資料集將使用的預設目錄值。 例如設定此欄位的配置,請參見 儀表板目錄與結構參數化。 新增於 Databricks CLI 版本 0.283.0 |
dataset_schema |
String | 如果查詢中未特別指定,儀表板中所有資料集所使用的預設結構值。 例如設定此欄位的配置,請參見 儀表板目錄與結構參數化。 新增於 Databricks CLI 版本 0.283.0 |
display_name |
String | 儀錶板的顯示名稱。 新增於 Databricks CLI 版本 0.232.0 |
embed_credentials |
布林值 | 是否使用服務包部署身分認證來執行所有儀表板檢視器的查詢。 如果設定為 false,則會使用檢視器的認證。 預設值是 false。新增於 Databricks CLI 版本 0.232.0 |
etag |
String | 儀錶板的 ETag。 可以在更新中選擇性地提供,以確保儀表板自上次讀取後未被修改。 新增於 Databricks CLI 版本 0.234.0 |
file_path |
String | 儀錶板資產的本機路徑,包括檔名。 匯出的儀表板一律具有副檔名 .lvdash.json。新增於 Databricks CLI 版本 0.232.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 |
parent_path |
String | 包含儀表板資料夾的工作區路徑。 包含前斜線,無後斜線。 新增於 Databricks CLI 版本 0.232.0 |
path |
String | 儀表板資產的工作區路徑,包括資產名稱。 新增於 Databricks CLI 版本 0.234.0 |
permissions |
Sequence | 儀表板權限。 請參閱 許可權。 新增於 Databricks CLI 版本 0.232.0 |
serialized_dashboard |
Any | 以串行化字串形式呈現儀錶板的內容。 新增於 Databricks CLI 版本 0.232.0 |
warehouse_id |
String | 用於執行儀表板的倉儲標識碼。 新增於 Databricks CLI 版本 0.232.0 |
Example
下列範例包含並將範例 NYC 計程車車程分析 儀錶板部署到 Databricks 工作區。
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
資料庫目錄
Type: Map
資料庫型錄資源可讓您定義對應至軟體組中資料庫實例的 資料庫型錄 。 資料庫目錄是註冊為 Unity Catalog 目錄的 Lakebase 資料庫。
如需資料庫目錄的相關資訊,請參閱 建立目錄。
新增於 Databricks CLI 版本 0.265.0
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | 類型 | Description |
|---|---|---|
create_database_if_not_exists |
布林值 | 如果資料庫不存在,是否要建立資料庫。 新增於 Databricks CLI 版本 0.265.0 |
database_instance_name |
String | 儲存資料庫的執行個體名稱。 新增於 Databricks CLI 版本 0.265.0 |
database_name |
String | 與目錄相關聯的資料庫名稱(在一個執行個體中)。 新增於 Databricks CLI 版本 0.265.0 |
lifecycle |
Map | 包含資源的生命週期設定,包括部署或銷毀資源時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.265.0 |
name |
String | Unity Catalog 中的目錄名稱。 新增於 Databricks CLI 版本 0.265.0 |
Example
下列範例會定義具有對應資料庫型錄的 資料庫實例 :
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
資料庫實例
Type: Map
資料庫實例資源可讓您在軟體組中定義 資料庫實例 。 Lakebase 資料庫執行個體會管理儲存體和運算資源,並提供使用者連線的端點。
這很重要
當您部署含有資料庫實例的套件時,該實例會立即開始執行並開始計費。 請參閱 Lakebase 定價。
如需資料庫執行個體的相關資訊,請參閱什麼是 資料庫執行個體?。
新增於 Databricks CLI 版本 0.265.0
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | 類型 | Description |
|---|---|---|
capacity |
String | 執行個體的 SKU。 有效值為 CU_1、CU_2、CU_4CU_8。新增於 Databricks CLI 版本 0.265.0 |
custom_tags |
Sequence | 列出指定與執行個體相關聯的自定義標籤的鍵值配對清單。 新增於 Databricks CLI 版本 0.273.0 |
enable_pg_native_login |
布林值 | 執行個體是否已啟用 PG 原生密碼登入。 預設為 true。新增於 Databricks CLI 版本 0.267.0 |
enable_readable_secondaries |
布林值 | 是否要讓備援節點處理唯讀流量。 預設為 false。新增於 Databricks CLI 版本 0.265.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 執行個體的名稱。 這是實例的唯一識別碼。 新增於 Databricks CLI 版本 0.265.0 |
node_count |
Integer | 執行個體中的節點數目,由 1 個主要節點和 0 個以上次要節點組成。 預設為 1 個主數據庫和 0 個次數據庫。 新增於 Databricks CLI 版本 0.265.0 |
parent_instance_ref |
Map | 父實例的參考。 只有在執行個體是子執行個體時,才能使用此功能。 請參閱 父執行個體。 新增於 Databricks CLI 版本 0.265.0 |
permissions |
Sequence | 資料庫執行個體的許可權。 請參閱 許可權。 新增於 Databricks CLI 版本 0.265.0 |
retention_window_in_days |
Integer | 執行個體的保留期間。 這是保留歷程資料的時間範圍(以天為單位)。 預設值為 7 天。 有效值為 2 到 35 天。 新增於 Databricks CLI 版本 0.265.0 |
stopped |
布林值 | 執行個體是否已停止。 新增於 Databricks CLI 版本 0.265.0 |
usage_policy_id |
String | 要與實例關聯的所需使用政策。 新增於 Databricks CLI 版本 0.273.0 |
資料庫實例.parent_instance_ref
Type: Map
父實例的參考。 只有在執行個體是子執行個體時,才能使用此功能。
| Key | 類型 | Description |
|---|---|---|
branch_time |
String | ref 資料庫執行個體的分支時間。 對於父參考實例,這是實例建立於父實例上的特定時間點。 對於子參考實例,這是從中建立子實例的實例上的時間點。 |
lsn |
String | 使用者指定 ref 資料庫實例的 WAL LSN。 |
name |
String | ref 資料庫執行個體的名稱。 |
Example
下列範例會定義具有對應 資料庫型錄的資料庫實例:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
如需示範如何定義資料庫執行個體和對應資料庫目錄的範例套件組合,請參閱 套件組合範例 GitHub 儲存庫。
實驗
Type: Map
實驗資源可讓您在套件組合中定義 MLflow 實驗。 如需 MLflow 實驗的相關信息,請參閱 使用 MLflow 實驗組織訓練回合。
新增於 Databricks CLI 版本 0.229.0 或以下
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | 類型 | Description |
|---|---|---|
artifact_location |
String | 儲存實驗成品的位置。 新增於 Databricks CLI 版本 0.229.0 或以下 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 識別實驗的易記名稱。 實驗名稱必須是 Databricks 工作區中的絕對路徑,例如 /Workspace/Users/someone@example.com/my_experiment。新增於 Databricks CLI 版本 0.229.0 或以下 |
permissions |
Sequence | 實驗的權限。 請參閱 許可權。 新增於 Databricks CLI 版本 0.229.0 或以下 |
tags |
Sequence | 其他元數據索引鍵/值組。 請參閱 標記。 新增於 Databricks CLI 版本 0.229.0 或以下 |
Example
下列範例會定義所有使用者都可以檢視的實驗:
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
description: MLflow experiment used to track runs
作業
Type: Map
Python 支援 Databricks 資產套件組合的作業。 參見 databricks.bundles.jobs。
作業資源可讓您在套件組合中定義 作業及其對應的工作。
如需作業的相關信息,請參閱 Lakeflow 作業。 如需使用 Databricks 資產套件組合範本建立作業的教學課程,請參閱 使用 Databricks 資產套件組合開發作業。
新增於 Databricks CLI 版本 0.229.0 或以下
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | 類型 | Description |
|---|---|---|
budget_policy_id |
String | 要用於此作業的使用者指定預算原則的識別碼。 如果未指定,在建立或修改作業時,可能會套用預設預算原則。 請參閱 effective_budget_policy_id 此工作負載所使用的預算原則。新增於 Databricks CLI 版本 0.231.0 |
continuous |
Map | 此作業的選擇性連續屬性。 連續屬性可確保始終有一個任務在執行。
schedule和continuous只能使用其中之一。 請參閱 連續。新增於 Databricks CLI 版本 0.229.0 或以下 |
deployment |
Map | 外部來源所管理之作業的部署資訊。 請參閱 deployment。 新增於 Databricks CLI 版本 0.229.0 或以下 |
description |
String | 作業的選擇性描述。 UTF-8 編碼的最大長度為 27700 個字元。 新增於 Databricks CLI 版本 0.229.0 或以下 |
email_notifications |
Map | 一組可選的電子郵件地址,在此作業開始、完成或被刪除時會收到通知。 請參閱 email_notifications。 新增於 Databricks CLI 版本 0.229.0 或以下 |
environments |
Sequence | 可供此作業無伺服器工作參考的執行環境規格清單。 無伺服器任務需要有一個環境。 對於無伺服器筆記本工作,環境可在筆記本環境面板中存取。 對於其他無伺服器工作,必須在工作設定中使用environment_key來指定工作環境。 請參閱 環境。 新增於 Databricks CLI 版本 0.229.0 或以下 |
format |
String | Deprecated. 作業的格式。 |
git_source |
Map | 遠端 Git 存放庫的選擇性規格,其中包含工作所使用的原始程式碼。 請見 job.git_source。 新增於 Databricks CLI 版本 0.229.0 或以下 重要: 不建議將 git_source 欄位和 source 欄位設置為 GIT 用於套件,因為本機相對路徑可能不會指向 Git 存放庫中的相同內容,而且套件預期已部署作業的內容必須與從中部署的位置的本機副本相同。請改為在本機複製存放庫,並在此存放庫中設定您的套件組合專案,讓工作的來源是工作區。 |
health |
Map | 一組可為此任務定義的選用健康規則。 請參閱 健康情況。 新增於 Databricks CLI 版本 0.229.0 或以下 |
job_clusters |
Sequence | 此作業的工作可共用和重複使用的作業叢集規格清單。 請看 job_clusters。 新增於 Databricks CLI 版本 0.229.0 或以下 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
max_concurrent_runs |
Integer | 工作並行執行的選用允許數目上限。 如果您想要能夠同時執行相同工作的多個執行,請設定此值。 |
name |
String | 工作的可選名稱。 UTF-8 編碼的最大長度為 4096 個字節。 新增於 Databricks CLI 版本 0.229.0 或以下 |
notification_settings |
Map | 當將通知發送到此工作中的每個 email_notifications 和 webhook_notifications 時所使用的可選通知設定。 請參閱 notification_settings。新增於 Databricks CLI 版本 0.229.0 或以下 |
parameters |
Sequence | 作業層級參數定義。 請參考 job.parameters。 新增於 Databricks CLI 版本 0.229.0 或以下 |
performance_target |
String | 定義在無伺服器環境中執行的效能或成本效益。 新增於 Databricks CLI 版本 0.241.0 |
permissions |
Sequence | 作業的許可權。 請參閱 許可權。 新增於 Databricks CLI 版本 0.229.0 或以下 |
queue |
Map | 作業的佇列設定。 請參閱 佇列。 新增於 Databricks CLI 版本 0.229.0 或以下 |
run_as |
Map | 唯寫設定。 指定作業以何種用戶或服務主體執行。 如果未指定,作業會以建立作業的使用者身分執行。 要指定user_name或service_principal_name其中之一。 如果沒有,則會拋出錯誤。 參見 run_as。新增於 Databricks CLI 版本 0.229.0 或以下 |
schedule |
Map | 此工作的可選排程時間表。 默認行為是只有在按兩下 [作業 UI] 中的 [立即執行] 或將 API 要求傳送至 runNow時,才會執行作業。 請參閱 排程。新增於 Databricks CLI 版本 0.229.0 或以下 |
tags |
Map | 與工作相關聯的標籤一覽。 這些會被轉送至叢集,作為任務叢集的叢集標籤,並且受到與叢集標籤相同的限制。 最多可以新增 25 個標記至作業。 新增於 Databricks CLI 版本 0.229.0 或以下 |
tasks |
Sequence | 此作業所要執行的工作規格清單。 請參閱 在 Databricks 資產包中將任務新增到作業。 新增於 Databricks CLI 版本 0.237.0 |
timeout_seconds |
Integer | 可選擇的超時設定,可應用於此工作每次的執行。 的值 0 表示沒有逾時。新增於 Databricks CLI 版本 0.229.0 或以下 |
trigger |
Map | 符合特定條件時觸發執行的組態。 請參閱 觸發程式。 新增於 Databricks CLI 版本 0.229.0 或以下 |
usage_policy_id |
String | 使用本工作所需的使用政策 ID。 新增於 Databricks CLI 版本 0.273.0 |
webhook_notifications |
Map | 系統通知標識碼集合,用於在此作業的運行開始或完成時發出通知。 請參閱 webhook_notifications。 新增於 Databricks CLI 版本 0.229.0 或以下 |
持續工作
Type: Map
連續執行作業的設定。
| Key | 類型 | Description |
|---|---|---|
pause_status |
String | 連續作業是否已暫停。 有效值: PAUSED、 UNPAUSED。 |
task_retry_mode |
String | 說明持續性工作是如何應用任務層級重試的。 有效值為 NEVER 與 ON_FAILURE。 預設為 NEVER。 |
作業部署
Type: Map
外部來源所管理之作業的部署資訊。
| Key | 類型 | Description |
|---|---|---|
kind |
String | 部署的類型。 例如: BUNDLE 。 |
metadata_file_path |
String | 部署的中繼資料檔案路徑。 |
工作.電子郵件通知
Type: Map
執行工作的電子郵件通知設定。
| Key | 類型 | Description |
|---|---|---|
on_start |
Sequence | 執行開始時要通知的電子郵件地址清單。 |
on_success |
Sequence | 執行成功時要通知的電子郵件地址清單。 |
on_failure |
Sequence | 執行失敗時要通知的電子郵件地址清單。 |
on_duration_warning_threshold_exceeded |
Sequence | 當執行持續時間超過警告閾值時通知的電子郵件地址清單。 |
no_alert_for_skipped_runs |
布林值 | 是否要跳過傳送執行被略過的警示。 |
on_streaming_backlog_exceeded |
Sequence | 電子郵件地址清單,用於在超過任何串流的任何串流待辦專案閾值時通知。 串流待辦清單的臨界值可在現場使用以下指標設定health:STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDSSTREAMING_BACKLOG_SECONDS或STREAMING_BACKLOG_FILES。 警示是根據這些指標的 10 分鐘平均值。 如果問題仍然存在,則每 30 分鐘重新發送一次通知。 |
工作環境
Type: Sequence
一份可由無伺服器任務參考的任務執行環境規範清單。
列表中的每個項目都是 JobEnvironment。
| Key | 類型 | Description |
|---|---|---|
environment_key |
String | 環境的關鍵。 它必須在工作中是唯一的。 |
spec |
Map | 代表無伺服器環境的實體。 請參考 job.environments.spec。 |
job.environments.spec
Type: Map
代表無伺服器環境的實體。
| Key | 類型 | Description |
|---|---|---|
client |
String | Deprecated. 客戶端版本。 |
dependencies |
Sequence | pip 相依性清單,在此環境中的 pip 版本所支援。 |
environment_version |
String | 必須的。 環境使用的環境版本。 每個版本都附帶一個特定的 Python 版本和一組 Python 套件。 版本是一個字符串,由一個整數組成。 |
job.git來源
Type: Map
任務原始程式碼的 Git 存放庫組態。
| Key | 類型 | Description |
|---|---|---|
git_branch |
String | 此工作要檢出並使用的分支名稱。 此域無法與git_tag或git_commit同時指定。 |
git_commit |
String | 承諾由此工作簽出並使用。 此域無法與git_branch或git_tag同時指定。 |
git_provider |
String | 用於主機 Git 儲存庫服務的唯一識別碼。 其數值不區分大小寫。 有效值為 gitHub, bitbucketCloud, gitLab, azureDevOpsServicesgitHubEnterprisebitbucketServer, gitLabEnterpriseEdition, 。 |
git_snapshot |
Map | 執行工作時遠端儲存庫的唯讀狀態。 此欄位僅在執行工作時適用。 參見 git_snapshot。 |
git_tag |
String | 此工作要出庫及使用的標籤名稱。 此域無法與git_branch或git_commit同時指定。 |
git_url |
String | 此工作要複製的儲存庫 URL。 |
job.git_source.git_snapshot(Git 原始碼快照)
Type: Map
唯讀提交資訊快照。
| Key | 類型 | Description |
|---|---|---|
used_commit |
String | 用來執行執行的認可。 若 git_branch 指定為 ,則指向執行時分支的 HEAD 位址;若 git_tag 指定,則指向標籤所指向的提交對象。 |
工作.健康
Type: Map
作業健康監控設定。
| Key | 類型 | Description |
|---|---|---|
rules |
Sequence | 工作健康情況規則清單。 每個規則都包含 metric and op (運算子) 和 value。 請參見 job.health.rules。 |
工作.健康.規則
Type: Sequence
工作健康情況規則清單。
列表中的每個項目都是 JobHealthRule。
| Key | 類型 | Description |
|---|---|---|
metric |
String | 指定要針對特定健康規則進行評估的健康指標。
|
op |
String | 指定用來比較健康情況度量值與指定臨界值的運算子。 |
value |
Integer | 指定健康情況度量應遵守的臨界值,以符合健康情況規則。 |
job.job_clusters
Type: Sequence
此作業的工作可共用和重複使用的作業叢集規格清單。 無法在共用工作叢集中宣告程式庫。 您必須在作業設定中宣告相依程式庫。
列表中的每個項目都是 JobCluster。
| Key | 類型 | Description |
|---|---|---|
job_cluster_key |
String | 工作叢集的唯一名稱。 此欄位是必填欄位,且在工作中必須是唯一的。
JobTaskSettings 可參考此欄位以決定任務執行時要啟動哪個叢集。 |
new_cluster |
Map | 如果new_cluster,則會描述每個任務所建立的叢集。 請參閱 叢集。 |
作業.通知設定
Type: Map
適用於此工作的所有通知的設定。
| Key | 類型 | Description |
|---|---|---|
no_alert_for_skipped_runs |
布林值 | 是否要跳過傳送執行被略過的警示。 |
no_alert_for_canceled_runs |
布林值 | 是否跳過傳送已取消作業的警示。 |
job.parameters
Type: Sequence
一份工作參數定義清單。
列表中的每個項目都是 JobParameter。
| Key | 類型 | Description |
|---|---|---|
default |
String | 必須的。 參數的預設值,例如「users」。 |
name |
String | 必須的。 定義參數的名稱,例如「table」。 有效值僅包含字母數字、 _、 -和 .。 |
工作佇列
Type: Map
工作的佇列設定。
| Key | 類型 | Description |
|---|---|---|
enabled |
布林值 | 是否啟動工作的佇列。 |
工作.排程
Type: Map
排程週期性任務執行的配置。
| Key | 類型 | Description |
|---|---|---|
quartz_cron_expression |
String | 使用 Quartz 語法的 Cron 運算式,可指定工作執行的時間。 例如, 0 0 9 * * ? 每天上午 9:00 UTC 執行任務。 |
timezone_id |
String | 排程的時區。 例如,America/Los_Angeles 或 UTC。 |
pause_status |
String | 排程是否已暫停。 有效值: PAUSED、 UNPAUSED。 |
job.觸發器
Type: Map
觸發事件驅動任務執行的組態。
| Key | 類型 | Description |
|---|---|---|
file_arrival |
Map | 根據檔案到達觸發。 參見 file_arrival。 |
table |
Map | 根據資料表觸發。 見 表。 |
table_update |
Map | 根據資料表的更新進行觸發。 參見 table_update。 |
periodic |
Map | 定期觸發。 參見 週期性。 |
任務.觸發.檔案到達
Type: Map
根據檔案到達觸發設定。
| Key | 類型 | Description |
|---|---|---|
url |
String | 要監視新檔案的檔案路徑。 |
min_time_between_triggers_seconds |
Integer | 觸發事件之間的最短時間 (以秒為單位)。 |
wait_after_last_change_seconds |
Integer | 觸發前最後一次檔案變更後的等待時間(以秒為單位)。 |
job.觸發器資料表
Type: Map
依據資料表進行觸發設定。
| Key | 類型 | Description |
|---|---|---|
table_names |
Sequence | 要監視的表格名稱清單。 |
condition |
String | 必須符合才能觸發工作的 SQL 條件。 |
工作.觸發.表格更新
Type: Map
根據資料表更新觸發設定。
| Key | 類型 | Description |
|---|---|---|
table_names |
Sequence | 監視更新用的資料表名稱清單。 |
condition |
String | 必須符合才能觸發工作的 SQL 條件。 |
wait_after_last_change_seconds |
Integer | 在最後一次表格更新後,觸發之前的等待時間(以秒為單位)。 |
工作.觸發.週期性
Type: Map
週期性觸發器設定。
| Key | 類型 | Description |
|---|---|---|
interval |
Integer | 定期觸發的間隔值。 |
unit |
String | 間隔的時間單位。 有效值: HOURS, DAYS, WEEKS。 |
工作.網路掛鉤通知
Type: Map
作業執行的 Webhook 通知設定選項。
| Key | 類型 | Description |
|---|---|---|
on_start |
Sequence | 在執行開始時通知的 Webhook 通知識別碼清單。 |
on_success |
Sequence | Webhook 通知識別碼清單,以在執行成功時通知。 |
on_failure |
Sequence | 在執行失敗時通知的 Webhook 通知 ID 清單。 |
on_duration_warning_threshold_exceeded |
Sequence | Webhook 通知 ID 清單,可在執行持續時間超過警告臨界值時發出通知。 |
on_streaming_backlog_exceeded |
Sequence | 當任何串流的積壓閾值超過時,系統通知 ID 清單。 串流待辦清單的臨界值可在現場使用以下指標設定health:STREAMING_BACKLOG_BYTES、STREAMING_BACKLOG_RECORDSSTREAMING_BACKLOG_SECONDS或STREAMING_BACKLOG_FILES。 警示是根據這些指標的 10 分鐘平均值。 如果問題仍然存在,則每 30 分鐘重新發送一次通知。 最多可指定三個目的地。 |
Examples
下列範例會定義一個使用資源索引鍵 hello-job 並包含一個筆記本任務的作業:
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
下列範例會使用 SQL 筆記本定義作業:
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
如需其他作業組態範例,請參閱 作業組態。
如需定義工作任務和覆寫作業設定的相關資訊,請參閱:
模型 (舊版)
Type: Map
模型資源可讓您在套件中定義舊版模型。 Databricks 建議您改用 Unity Catalog 中註冊的模型。
新增於 Databricks CLI 版本 0.229.0 或以下
模型提供端點
Type: Map
model_serving_endpoint 資源允許您定義模型服務端點 。 請參閱 管理服務端點的模型。
新增於 Databricks CLI 版本 0.229.0 或以下
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | 類型 | Description |
|---|---|---|
ai_gateway |
Map | 服務端點的 AI 閘道組態。 注意:目前僅支援外部模型和布建的輸送量端點。 請參閱 ai_gateway。 新增於 Databricks CLI 版本 0.230.0 |
budget_policy_id |
String | 用於此端點的預算政策 ID。 新增於 Databricks CLI 版本 0.244.0 |
config |
Map | 服務端點的核心組態。 請參閱 設定。 新增於 Databricks CLI 版本 0.229.0 或以下 |
description |
String | 服務端點的描述。 新增於 Databricks CLI 版本 0.260.0 |
email_notifications |
Map | 服務端點的電子郵件通知設定。 請參閱 email_notifications。 新增於 Databricks CLI 版本 0.264.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 服務端點的名稱。 此欄位是必要的,而且在 Databricks 工作區中必須是唯一的。 端點名稱可以包含英文字母、數字、連字號和底線。 新增於 Databricks CLI 版本 0.229.0 或以下 |
permissions |
Sequence | 提供端點許可權的模型。 請參閱 許可權。 新增於 Databricks CLI 版本 0.229.0 或以下 |
rate_limits |
Sequence | Deprecated. 將速度限制應用於服務端點。 使用 AI 閘道來管理速率限制。 新增於 Databricks CLI 版本 0.229.0 或以下 |
route_optimized |
布林值 | 啟用服務端點的路由優化。 新增於 Databricks CLI 版本 0.229.0 或以下 |
tags |
Sequence | 要附加至服務端點的標籤,並自動傳遞到計費日誌。 新增於 Databricks CLI 版本 0.229.0 或以下 |
model_serving_endpoint.email_notifications
Type: Map
服務端點的電子郵件通知設定。
| Key | 類型 | Description |
|---|---|---|
on_update_failure |
Sequence | 當端點未能更新設定或狀態時,將收到通知的電子郵件地址清單。 |
on_update_success |
Sequence | 當端點成功更新設定或狀態時,將收到通知的電子郵件地址清單。 |
模型服務端點.人工智慧閘道
Type: Map
服務端點的 AI 閘道設定。
| Key | 類型 | Description |
|---|---|---|
fallback_config |
Map | 流量回退設定,若對受服務實體的請求因特定錯誤碼失敗,會自動回退至其他被服務實體,以提升可用性。 請看 fallback_config。 |
guardrails |
Map | 護欄配置。 請參閱 護欄。 |
inference_table_config |
Map | 在 Unity Catalog 資料表上進行推斷記錄的配置設定。 參見 inference_table_config。 |
rate_limits |
Sequence | 速率限制組態。 |
usage_tracking_config |
Map | 用於追蹤使用情況的設定。 參見 usage_tracking_config。 |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
流量回退設定,當請求因某些錯誤代碼失敗時,會自動回傳至其他服務實體。
| Key | 類型 | Description |
|---|---|---|
enabled |
布林值 | 此端點是否啟用備援。 |
模型服務端點.ai_gateway.護欄
Type: Map
AI 閘道防護措施設定。
| Key | 類型 | Description |
|---|---|---|
input |
Map | 輸入護欄配置,包含safety、pii等欄位。 |
output |
Map | 輸出護欄組態,其中包含諸如safety、pii欄位。 |
invalid_keywords |
Sequence | 要封鎖的關鍵字清單。 |
模型服務端點.ai_gateway.推論表配置
Type: Map
在 Unity Catalog 資料表上進行推斷記錄的配置設定。
| Key | 類型 | Description |
|---|---|---|
catalog_name |
String | Unity Catalog 中的目錄名稱。 |
schema_name |
String | Unity 目錄中結構描述的名稱。 |
table_name_prefix |
String | 推斷資料表名稱的前置詞。 |
enabled |
布林值 | 是否啟用推論資料表記錄。 |
模型服務端點.ai_gateway.使用追蹤設定
Type: Map
用於追蹤使用情況的 AI 閘道設定。
| Key | 類型 | Description |
|---|---|---|
enabled |
布林值 | 是否啟用使用情況追蹤。 |
model_serving_endpoint.config
Type: Map
服務端點的核心組態。
| Key | 類型 | Description |
|---|---|---|
served_entities |
Sequence | 端點要服務的服務實體清單。 每個服務實體都包含entity_name、entity_version、workload_size、scale_to_zero_enabled、workload_type等environment_vars欄位。 |
served_models |
Sequence | (已棄用:請改用 served_entities )端點要服務的服務模型清單。 |
traffic_config |
Map | 流量配置,定義如何將呼叫路由至服務端點。 參見 traffic_config。 |
auto_capture_config |
Map | 推斷資料表的設定,可自動將要求和回應記錄至 Unity 目錄。 參見 auto_capture_config。 |
model_serving_endpoint.config.traffic_config
Type: Map
流量配置,定義如何將呼叫路由至服務端點。
| Key | 類型 | Description |
|---|---|---|
routes |
Sequence | 用於流量分配的路由清單。 每條路由都包含 served_model_name 和 traffic_percentage。 |
model_serving_endpoint.config.auto_capture_config(模型服務端點配置的自動捕捉配置)
Type: Map
推斷資料表的設定,可自動將要求和回應記錄至 Unity 目錄。
| Key | 類型 | Description |
|---|---|---|
catalog_name |
String | Unity Catalog 中的目錄名稱。 |
schema_name |
String | Unity 目錄中結構描述的名稱。 |
table_name_prefix |
String | 推斷資料表名稱的前置詞。 |
enabled |
布林值 | 是否啟用推論資料表記錄。 |
Example
下列範例會定義提供端點的 Unity 目錄模型:
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
管線
Type: Map
Python 支援 Databricks 資產套件組合的管線。 請參閱 databricks.bundles.pipelines。
管線資源允許你建立 管線。 如需管線的相關資訊,請參閱 Lakeflow Spark 宣告式管線。 如需使用 Databricks 資產套件組合範本來建立管線的教學課程,請參閱使用 Databricks 資產套件組合開發 Lakeflow Spark 宣告式管線。
新增於 Databricks CLI 版本 0.229.0 或以下
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | 類型 | Description |
|---|---|---|
allow_duplicate_names |
布林值 | 如果是假的話,當名稱與另一個管線衝突時,部署將會失敗。 新增於 Databricks CLI 版本 0.261.0 |
budget_policy_id |
String | 此管線的預算原則。 新增於 Databricks CLI 版本 0.230.0 |
catalog |
String | 在 Unity Catalog 中的資料目錄,用於從此管線中發佈數據。 如果target已指定,則此管線中的數據表會發佈至 target 內的catalog架構(例如 catalog.target.)。table 如果未 target 指定,則不會將數據發佈至 Unity 目錄。新增於 Databricks CLI 版本 0.229.0 或以下 |
channel |
String | Lakeflow Spark 宣告式管線發行通道,可指定要使用的 Lakeflow Spark 宣告式管線版本。 新增於 Databricks CLI 版本 0.229.0 或以下 |
clusters |
Sequence | 此管線部署的叢集設定。 請參閱 叢集。 新增於 Databricks CLI 版本 0.229.0 或以下 |
configuration |
Map | 此流程執行的組態。 新增於 Databricks CLI 版本 0.229.0 或以下 |
continuous |
布林值 | 管線是連續運行的還是被觸發的。 這會取代 trigger。新增於 Databricks CLI 版本 0.229.0 或以下 |
deployment |
Map | 此管線的部署類型。 請參閱 deployment。 新增於 Databricks CLI 版本 0.229.0 或以下 |
development |
布林值 | 管線是否正在開發中。 預設為 False。 新增於 Databricks CLI 版本 0.229.0 或以下 |
dry_run |
布林值 | 管線是否為乾燥的執行管線。 |
edition |
String | 管線產品版本。 新增於 Databricks CLI 版本 0.229.0 或以下 |
environment |
Map | 此管線的環境規格,用來在無伺服器計算上安裝相依性。 參見 環境。 Databricks CLI 0.258 版和更新版本僅支援此密鑰。 新增於 Databricks CLI 版本 0.257.0 |
event_log |
Map | 此管線的事件記錄組態。 請參閱 event_log。 新增於 Databricks CLI 版本 0.246.0 |
filters |
Map | 決定要包含在已部署圖表中的管線套件的篩選條件。 請參閱 篩選條件。 新增於 Databricks CLI 版本 0.229.0 或以下 |
gateway_definition |
Map | 閘道管線的配置。 這些設定無法與設定 ingestion_definition 一起使用。新增於 Databricks CLI 版本 0.229.0 或以下 |
id |
String | 此管線的唯一標識碼。 新增於 Databricks CLI 版本 0.229.0 或以下 |
ingestion_definition |
Map | 受控擷取管線的組態。 這些設定不能與 libraries、schema、target 或 catalog 設定搭配使用。 請參閱 ingestion_definition。新增於 Databricks CLI 版本 0.229.0 或以下 |
libraries |
Sequence | 此部署所需的程式庫或程式碼清單。 請參見 pipeline.libraries。 新增於 Databricks CLI 版本 0.229.0 或以下 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 這個管線的易記名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
notifications |
Sequence | 此管線的通知設定。 請參閱 通知。 新增於 Databricks CLI 版本 0.229.0 或以下 |
permissions |
Sequence | 管道的許可權。 請參閱 許可權。 新增於 Databricks CLI 版本 0.229.0 或以下 |
photon |
布林值 | 是否啟用 Photon 於這個管線。 若 serverless 設為 true,則忽略此鍵。新增於 Databricks CLI 版本 0.229.0 或以下 |
restart_window |
Map | 定義了此管線的重新啟動視窗。 管線可在此期間重新啟動而不會落後。 |
root_path |
String | 此管線的根路徑。 在 Databricks 使用者介面中編輯管線時,這會用作根目錄,並在管線執行期間執行 Python 來源時新增至 sys.path。 新增於 Databricks CLI 版本 0.253.0 |
run_as |
Map | 執行管線所用的身份。 如果未指定,管線會以建立管線的使用者身分執行。 只能 user_name 或 service_principal_name 可以指定。 如果同時指定兩者,則會拋出錯誤。 參見 run_as。新增於 Databricks CLI 版本 0.241.0 |
schema |
String | 預設架構(資料庫),用於讀取或寫入資料表的默認位置。 新增於 Databricks CLI 版本 0.230.0 |
serverless |
布林值 | 是否已為此管線啟用無伺服器計算。 新增於 Databricks CLI 版本 0.229.0 或以下 |
storage |
String | 用來儲存檢查點和數據表的 DBFS 根目錄。 新增於 Databricks CLI 版本 0.229.0 或以下 |
tags |
Map | 與管線相關聯的標籤映射。 這些會作為叢集標籤轉送至叢集,因此受到相同的限制。 管道中最多可以新增 25 個標籤。 新增於 Databricks CLI 版本 0.256.0 |
target |
String | 要在此管線中加入數據表的目標架構(資料庫)。 必須指定schema或target中的其中一個。 若要發佈至 Unity 目錄,請同時指定 catalog。 此不建議使用的欄位在管線建立中已不再使用,取而代之的是 schema 欄位。新增於 Databricks CLI 版本 0.229.0 或以下 |
usage_policy_id |
String | 用於此管線的使用政策 ID。 新增於 Databricks CLI 版本 0.273.0 |
管道.部署
Type: Map
管線的部署類型設定。
| Key | 類型 | Description |
|---|---|---|
kind |
String | 部署的類型。 例如: BUNDLE 。 |
metadata_file_path |
String | 部署的中繼資料檔案路徑。 |
管線環境
Type: Map
在無伺服器運算上安裝相依性的環境規格。
| Key | 類型 | Description |
|---|---|---|
dependencies |
Sequence | 一份 pip 相依關係清單,依照本環境 pip 版本所支援。 每個相依關係都是一行 PIP 需求檔案。 |
pipeline(管道).event_log(事件日誌)
Type: Map
管線的事件記錄檔設定。
| Key | 類型 | Description |
|---|---|---|
catalog |
String | 活動日誌發佈於 Unity Catalog。 |
name |
String | 在 Unity 目錄中發佈的事件日誌名稱。 |
schema |
String | 事件日誌發佈時所屬的 Unity Catalog 架構。 |
管道.過濾器
Type: Map
決定要包含在已部署流程圖中的管線套件的篩選器。
| Key | 類型 | Description |
|---|---|---|
include |
Sequence | 要包含的套件名稱清單。 |
exclude |
Sequence | 要排除的套件名稱清單。 |
pipeline.ingestion_definition
Type: Map
受管理匯入管線的設定。 這些設定不能與 libraries、schema、target 或 catalog 設定搭配使用。
| Key | 類型 | Description |
|---|---|---|
connection_name |
String | 要用於匯入的連線名稱。 |
ingestion_gateway_id |
String | 資料匯入閘道的 ID。 |
objects |
Sequence | 必須的。 設定指定要複製的資料表及複製資料表的目的地。 每個物件可以是 SchemaSpec、 TableSpec 或 ReportSpec。 |
source_configurations |
Sequence | 頂層來源配置。 |
table_configuration |
Map | 匯入資料表的設定。 參見 table_configuration。 |
架構規格
Type: Map
從結構描述擷取所有資料表的結構描述物件規格。
| Key | 類型 | Description |
|---|---|---|
source_schema |
String | 要擷取的來源結構描述名稱。 |
destination_catalog |
String | Unity Catalog 中的目的地目錄名稱。 |
destination_schema |
String | Unity Catalog 中目的地結構定義的名稱。 |
table_configuration |
Map | 要套用至此結構描述中所有資料表的設定。 請參閱 pipeline.ingestion_definition.table_configuration。 |
表格規格
Type: Map
用於擷取特定資料表的資料表物件規格。
| Key | 類型 | Description |
|---|---|---|
source_schema |
String | 包含資料表的來源結構描述名稱。 |
source_table |
String | 要匯入的來源資料表名稱。 |
destination_catalog |
String | Unity Catalog 中的目的地目錄名稱。 |
destination_schema |
String | Unity Catalog 中目的地結構定義的名稱。 |
destination_table |
String | Unity 目錄中目標資料表的名稱。 |
table_configuration |
Map | 此特定資料表的設定。 請參閱 pipeline.ingestion_definition.table_configuration。 |
報告規格
Type: Map
用於收集數據報告的報告物件規格。
| Key | 類型 | Description |
|---|---|---|
source_url |
String | 來源報告的 URL。 |
source_report |
String | 來源報告的名稱或識別碼。 |
destination_catalog |
String | Unity Catalog 中的目的地目錄名稱。 |
destination_schema |
String | Unity Catalog 中目的地結構定義的名稱。 |
destination_table |
String | 報表資料的目的地資料表名稱。 |
table_configuration |
Map | 報表表格的組態。 請參閱 pipeline.ingestion_definition.table_configuration。 |
pipeline.ingestion_definition.source_configurations
Type: Map
來源設定。
| Key | 類型 | Description |
|---|---|---|
catalog |
Map | 目錄層級的原始碼設定參數。 詳見 目錄。 |
管道.資料攝取定義.來源配置.目錄
Type: Map
目錄層級的原始碼設定參數
| Key | 類型 | Description |
|---|---|---|
postgres |
Map | Postgres 專屬的目錄層級設定參數。 包含一個用於邏輯複寫的 slot_config 鍵,其中 Map 表示 Postgres 插槽配置。 |
source_catalog |
String | 來源目錄名稱。 |
管道.攝取_定義.表格_配置
Type: Map
資料匯入表的組態選項。
| Key | 類型 | Description |
|---|---|---|
exclude_columns |
Sequence | 一份要排除的欄位名稱清單。 如果未指定,include_columns 完全控制要擷取哪些欄位。 指定後,所有其他欄位(包括未來欄位)都會自動納入擷取。 此域與 include_columns互斥。 |
include_columns |
Sequence | 一份用於導入的欄位名稱清單。 若未指定,除了exclude_columns中的欄位外,所有欄位都會被包含。 未來的專欄將自動納入。 指定後,所有其他未來欄位將自動排除於攝取之外。 此域與 exclude_columns互斥。 |
primary_keys |
Sequence | 要用作資料表主索引鍵的資料行名稱清單。 |
sequence_by |
Sequence | 欄位名稱指定了來源資料中事件的邏輯順序。 Spark 宣告式管線利用此排序來處理亂序到達的變更事件。 |
管道.庫
Type: Sequence
定義此管線所需的函式庫或程式碼清單。
清單中的每個項目都是一個定義:
| Key | 類型 | Description |
|---|---|---|
file |
Map | 定義管線並儲存在 Databricks Repos 中的檔案路徑。 請參閱 pipeline.libraries.file。 |
glob |
Map | 包含原始程式碼的統一欄位。 每個項目都可以是筆記本路徑、檔案路徑或結尾 /**的資料夾路徑。 此欄位不能與 notebook 或 file一起使用。 請參閱 pipeline.libraries.glob。 |
notebook |
Map | 存放在 Databricks 工作區中、定義管線的筆記本所在路徑。 請參閱 pipeline.libraries.notebook。 |
whl |
String | 此欄位已被取代 |
pipeline.libraries.檔案
Type: Map
定義管線並儲存在 Databricks 存放庫中的檔案路徑。
| Key | 類型 | Description |
|---|---|---|
path |
String | 原始程式碼的絕對路徑。 |
pipeline.libraries.glob
Type: Map
包含原始程式碼的統一欄位。 每個項目都可以是筆記本路徑、檔案路徑或結尾 /**的資料夾路徑。 此欄位不能與 notebook 或 file一起使用。
| Key | 類型 | Description |
|---|---|---|
include |
String | 要包含管線的原始程式碼 |
pipeline.libraries.notebook
Type: Map
存放在 Databricks 工作區中、定義管線的筆記本所在路徑。
| Key | 類型 | Description |
|---|---|---|
path |
String | 原始程式碼的絕對路徑。 |
pipeline.notifications
Type: Sequence
此管線的通知設定。 序列中的每個項目都是一個通知設定。
| Key | 類型 | Description |
|---|---|---|
alerts |
Sequence | 一份觸發通知的警示清單。 有效值包括 on-update-success、 、 on-update-failureon-update-fatal-failure、 on-flow-failure。 |
email_recipients |
Sequence | 一個電子郵件地址清單,當設定警報觸發時會通知。 |
Example
下列範例會定義資源金鑰為 hello-pipeline的管線:
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
如需其他管線設定範例,請參閱 管線設定。
postgres_branch
Type:Map
Postgres 分支資源允許你在 bundle 中定義 Lakebase 分支 。 你還必須定義對應的 Postgres 專案 和 計算端點。
新增於 Databricks CLI 版本 0.287.0
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | 類型 | Description |
|---|---|---|
branch_id |
String | 分行要用的身分證。 這成為分支資源名稱的最後一個組件。 識別碼必須長 1 到 63 個字元,開頭為小寫字母,且僅包含小寫字母、數字與連字符。 例如,development 會成為 projects/my-app/branches/development。新增於 Databricks CLI 版本 0.287.0 |
expire_time |
String | 絕對過期時間戳記。 設定完成後,該分支將在此時間過期。 新增於 Databricks CLI 版本 0.287.0 |
is_protected |
布林值 | 設為 true 時,可保護分支免於刪除與重置。 在分支受到保護期間,相關的計算端點與專案無法被刪除。 新增於 Databricks CLI 版本 0.287.0 |
no_expiry |
布林值 | 明確關閉過期功能。 當該分支設為 true 時,不會過期。 若設為 false,請求無效;請提供 TTL 或 expire_time。 新增於 Databricks CLI 版本 0.287.0 |
parent |
String | 這個分行將被建立的專案。 格式:projects/{project_id}新增於 Databricks CLI 版本 0.287.0 |
source_branch |
String | 該分支所建立的來源分支名稱(用於時間點恢復的資料沿源)。 若未指定,則預設為專案的預設分支。 格式:projects/{project_id}/branches/{branch_id}新增於 Databricks CLI 版本 0.287.0 |
source_branch_lsn |
String | 該分支所建立的來源分支上的日誌序號(Log Sequence Number,LSN)。 新增於 Databricks CLI 版本 0.287.0 |
source_branch_time |
String | 該分支所從源分支中建立的時間點。 新增於 Databricks CLI 版本 0.287.0 |
ttl |
String | 相對生存時間。 設定後,分支將於 creation_time + ttl 失效。 新增於 Databricks CLI 版本 0.287.0 |
Example
請參考 postgres_projects範例。
postgres_endpoint
Type: Map
postgres_endpoints資源允許你在套件中定義 Lakebase 計算端點 。 你還必須定義對應的 Lakebase 專案 和 Lakebase 分支。
新增於 Databricks CLI 版本 0.287.0
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | 類型 | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | 計算單元的最大數量。 最低值為0.5。 新增於 Databricks CLI 版本 0.287.0 |
autoscaling_limit_min_cu |
Number | 計算單元的最小數量。 最低值為0.5。 新增於 Databricks CLI 版本 0.287.0 |
disabled |
布林值 | 是否要限制連接到計算端點。 啟用此選項後,會排程暫停運算操作。 被停用的運算端點無法透過連線或主控台動作啟用。 新增於 Databricks CLI 版本 0.287.0 |
endpoint_id |
String | 端點要用的 ID。 這成為端點資源名稱的最後一個元件。 識別碼必須長 1 到 63 個字元,開頭為小寫字母,且僅包含小寫字母、數字與連字符。 例如,primary 會成為 projects/my-app/branches/development/endpoints/primary。新增於 Databricks CLI 版本 0.287.0 |
endpoint_type |
String | 端點類型。 分支只能有一個READ_WRITE端點。 可能的值:ENDPOINT_TYPE_READ_WRITE、ENDPOINT_TYPE_READ_ONLY。新增於 Databricks CLI 版本 0.287.0 |
no_suspension |
布林值 | 當設定為 true時,明確關閉自動暫停(絕不暫停)。 提供時應該會設為 true。 新增於 Databricks CLI 版本 0.287.0 |
parent |
String | 該分支將建立該端點。 格式:projects/{project_id}/branches/{branch_id}新增於 Databricks CLI 版本 0.287.0 |
settings |
Map | 一組用於計算端點的設定。 新增於 Databricks CLI 版本 0.287.0 |
suspend_timeout_duration |
String | 計算端點自動暫停的不活動時間。 如果有指定,應該介於60多秒到604800秒之間(1分鐘到1週)。 新增於 Databricks CLI 版本 0.287.0 |
Example
請參考 postgres_projects範例。
postgres_project
Type: Map
Postgres 專案資源允許你在套件中定義 Lakebase 自動縮放 Postgres 資料庫專案 。 你還必須定義對應的 Postgres 分支 並計算 端點。
新增於 Databricks CLI 版本 0.287.0
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | 類型 | Description |
|---|---|---|
default_endpoint_settings |
Map | 一組用於計算端點的設定。 請參考 postgres_project.default_endpoint_settings。 新增於 Databricks CLI 版本 0.287.0 |
display_name |
String | 人類可讀的專案名稱。 字元長度應介於 1 到 256 字元之間。 新增於 Databricks CLI 版本 0.287.0 |
history_retention_duration |
String | 本專案中所有分支在點點恢復時,保留共享歷史所需的秒數。 價值應該介於0到2592000之間(最多30天)。 新增於 Databricks CLI 版本 0.287.0 |
pg_version |
Integer | 主要的 Postgres 版本號。 支援的版本為 16 和 17。 新增於 Databricks CLI 版本 0.287.0 |
project_id |
String | 專案用的ID。 這成為專案資源名稱的最後一個組成部分。 識別碼必須長 1 到 63 個字元,開頭為小寫字母,且僅包含小寫字母、數字與連字符。 例如,my-app 會成為 projects/my-app。新增於 Databricks CLI 版本 0.287.0 |
範例
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.default_endpoint_settings
Type: Map
| Key | 類型 | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | 計算單元的最大數量。 最低值為0.5。 |
autoscaling_limit_min_cu |
Number | 計算單元的最小數量。 最低值為0.5。 |
no_suspension |
布林值 | 當設定為 true時,明確關閉自動暫停(絕不暫停)。 提供時應該會設為 true。 |
pg_settings |
Map | Postgres 設定的原始呈現。 |
suspend_timeout_duration |
String | 計算端點自動暫停的不活動時間。 如果有指定,應該介於60多秒到604800秒之間(1分鐘到1週)。 |
quality_monitor(Unity Catalog)
Type: Map
使用 quality_monitor 資源,您可以定義 Unity Catalog 資料表監視器。 如需監視器的相關資訊,請參閱 資料分析。
新增於 Databricks CLI 版本 0.229.0 或以下
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | 類型 | Description |
|---|---|---|
assets_dir |
String | 用來儲存監視資產的目錄(例如儀錶板、計量數據表)。 新增於 Databricks CLI 版本 0.229.0 或以下 |
baseline_table_name |
String | 從中計算漂移計量的基準數據表名稱。 受監視數據表中的數據行也應該出現在基準數據表中。 新增於 Databricks CLI 版本 0.229.0 或以下 |
custom_metrics |
Sequence | 在受監視數據表上計算的自定義計量。 這些可以是匯總計量、衍生計量(來自已計算的匯總計量),或漂移計量(比較時間範圍中的計量)。 請參閱 custom_metrics。 新增於 Databricks CLI 版本 0.229.0 或以下 |
inference_log |
Map | 監視推斷記錄的設定。 請參閱 inference_log。 新增於 Databricks CLI 版本 0.229.0 或以下 |
latest_monitor_failure_msg |
String | 最新的監視器故障錯誤訊息。 這是一個唯讀欄位,當監視器故障時會被填入。 新增於 Databricks CLI 版本 0.264.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
notifications |
Map | 監視器的通知設定。 請參閱 通知。 新增於 Databricks CLI 版本 0.229.0 或以下 |
output_schema_name |
String | 建立輸出計量數據表的架構。 新增於 Databricks CLI 版本 0.229.0 或以下 |
schedule |
Map | 自動更新和重新整理計量數據表的排程。 請參閱 排程。 新增於 Databricks CLI 版本 0.229.0 或以下 |
skip_builtin_dashboard |
布林值 | 是否要略過建立預設的儀表板來摘要數據品質指標。 新增於 Databricks CLI 版本 0.229.0 或以下 |
slicing_exprs |
Sequence | 用於切片數據以進行目標分析的欄位表達式清單。 數據會依每個表達式個別分組,產生每個述詞及其補語的個別切片。 對於高基數欄位,只有依頻率排序的前 100 個唯一的值會生成切片。 新增於 Databricks CLI 版本 0.229.0 或以下 |
snapshot |
Map | 監視快照表的設定。 請參閱 快照。 新增於 Databricks CLI 版本 0.229.0 或以下 |
table_name |
String | 數據表的完整名稱。 新增於 Databricks CLI 版本 0.235.0 |
time_series |
Map | 監視時間序列資料表的設定。 請參閱 time_series。 新增於 Databricks CLI 版本 0.229.0 或以下 |
warehouse_id |
String | 選填參數,以指定建立儀錶板所用的倉儲。 如果未指定,則會使用第一個運作中的倉庫。 新增於 Databricks CLI 版本 0.229.0 或以下 |
quality_monitor.custom_metrics(品質監控自定義指標)
Type: Sequence
自訂度量定義列表。
列表中的每個項目都是 CustomMetric。
| Key | 類型 | Description |
|---|---|---|
definition |
String | Jinja 範本,用於指定如何計算度量的 SQL 運算式。 請參閱 建立度量定義。 |
input_columns |
Sequence | 應計算度量的輸入表格中的欄名稱清單。 可用來 :table 指出度量需要來自多個資料行的資訊。 |
name |
String | 輸出表格中度量的名稱。 |
output_data_type |
String | 自訂指標的輸出類型。 |
type |
String | 只能是CUSTOM_METRIC_TYPE_AGGREGATE、CUSTOM_METRIC_TYPE_DERIVED或CUSTOM_METRIC_TYPE_DRIFT之一。 這兩個指標CUSTOM_METRIC_TYPE_AGGREGATECUSTOM_METRIC_TYPE_DERIVED是在單一表格上計算的,而CUSTOM_METRIC_TYPE_DRIFT比較指標將在基準和輸入表格之間,或在兩個連續時間區間之間進行比較。
|
quality_monitor.推論日誌
Type: Map
監視推斷記錄的設定。
| Key | 類型 | Description |
|---|---|---|
granularities |
Sequence | 用於彙總推論日誌的時間粒度(例如 ["1 day"])。 |
model_id_col |
String | 模型 ID 所在欄位的名稱。 |
prediction_col |
String | 包含預測的資料行名稱。 |
timestamp_col |
String | 包含時間戳記的資料行名稱。 |
problem_type |
String | ML 問題的類型。 有效值包括 PROBLEM_TYPE_CLASSIFICATION、 。 PROBLEM_TYPE_REGRESSION |
label_col |
String | 包含標籤的資料行名稱 (基本事實)。 |
prediction_proba_col |
String | 包含預測機率的欄位名稱。 |
quality_monitor.通知
Type: Map
監視器的通知設定。
| Key | 類型 | Description |
|---|---|---|
on_failure |
Map | 監視器故障時的通知設定。 參見 on_failure。 |
on_new_classification_tag_detected |
Map | 偵測到新分類標籤時的通知設定。 參見 on_new_classification_tag_detected。 |
quality_monitor.notifications.on_failure(品質監控通知:故障)
Type: Map
監視器故障時的通知設定。
| Key | 類型 | Description |
|---|---|---|
email_addresses |
Sequence | 要在監視器失敗時通知的電子郵件地址清單。 |
quality_monitor.notifications.on_new_classification_tag_detected(已偵測到通知書)
Type: Map
偵測到新分類標籤時的通知設定。
| Key | 類型 | Description |
|---|---|---|
email_addresses |
Sequence | 偵測到新分類標籤時通知的電子郵件地址清單。 |
quality_monitor.時間表
Type: Map
安排自動更新和重新整理量測表格。
| Key | 類型 | Description |
|---|---|---|
quartz_cron_expression |
String | 使用 Quartz 語法的 Cron 運算式。 例如,0 0 8 * * ? 每天早上 8:00 執行。 |
timezone_id |
String | 排程的時區 (例如, UTC, America/Los_Angeles)。 |
pause_status |
String | 排程是否已暫停。 有效值: PAUSED、 UNPAUSED。 |
quality_monitor.快照
Type: Map
監視快照表的設定。
quality_monitor.時間序列
監視時間序列資料表的設定。
| Key | 類型 | Description |
|---|---|---|
granularities |
Sequence | 彙總時間序列資料的時間粒度 (例如 ["30 minutes"])。 |
timestamp_col |
String | 包含時間戳記的資料行名稱。 |
Examples
下列範例會定義 InferenceLog、 TimeSeries 和 Snapshot 設定檔類型的品質監視器。
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
以下範例根據監控配置品質監控器及相應的模型再訓練工作:
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
已註冊模型(Unity 目錄)
Type: Map
已註冊的模型資源可讓您在 Unity 目錄中定義模型。 如需 Unity 目錄 註冊模型的相關信息,請參閱 在 Unity 目錄中管理模型生命週期。
新增於 Databricks CLI 版本 0.229.0 或以下
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | 類型 | Description |
|---|---|---|
aliases |
Sequence | 與已註冊模型相關聯的別名清單。 請參閱 registered_model.aliases。 新增於 Databricks CLI 版本 0.273.0 |
browse_only |
布林值 | 指出當要求中啟用了 include_browse 時,主體是否僅限於透過 BROWSE 權限擷取相關聯物件的中繼資料。 新增於 Databricks CLI 版本 0.273.0 |
catalog_name |
String | 架構和已註冊模型所在的目錄名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
comment |
String | 附加至已註冊模型的批注。 新增於 Databricks CLI 版本 0.229.0 或以下 |
created_at |
Integer | 註冊模型的建立時間戳記,自 Unix 時代以來以毫秒計。 新增於 Databricks CLI 版本 0.273.0 |
created_by |
String | 建立註冊模型的使用者識別碼。 新增於 Databricks CLI 版本 0.273.0 |
full_name |
String | 已註冊模型的三級(完整限定)名稱。 新增於 Databricks CLI 版本 0.273.0 |
grants |
Sequence | 與已註冊模型相關聯的補助。 參見 grant。 新增於 Databricks CLI 版本 0.229.0 或以下 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
metastore_id |
String | 元商店的唯一識別碼。 新增於 Databricks CLI 版本 0.273.0 |
name |
String | 已註冊模型的名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
owner |
String | 擁有已註冊模型之用戶的標識碼。 新增於 Databricks CLI 版本 0.273.0 |
schema_name |
String | 已註冊模型所在的架構名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
storage_location |
String | 儲存模型版本數據檔的雲端儲存位置。 新增於 Databricks CLI 版本 0.229.0 或以下 |
updated_at |
String | 註冊模型的最後更新時間戳記,以毫秒計,自 Unix 時代以來。 新增於 Databricks CLI 版本 0.273.0 |
updated_by |
String | 上次更新註冊型號的使用者識別碼。 新增於 Databricks CLI 版本 0.273.0 |
registered_model.別名
Type: Sequence
與註冊型號相關的別名清單。
清單中的每個項目都是:Alias
| Key | 類型 | Description |
|---|---|---|
alias_name |
String | 別名名稱,例如「冠軍」或「latest_stable」 |
catalog_name |
String | 包含模型版本的目錄名稱 |
id |
String | 別名的唯一識別碼 |
model_name |
String | 相對於父結構描述的模型版本的父註冊模型名稱 |
schema_name |
String | 包含模型版本的模式名稱,相對於父目錄 |
version_num |
Integer | 此別名所指向之模型版本的整數版本號碼。 |
Example
下列範例會在 Unity 目錄中定義已註冊的模型:
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
架構 (Unity 目錄)
Type: Map
Python 支援 Databricks 資產套件組合的結構描述。 請參閱 databricks.bundles.schemas。
架構資源類型可讓您定義 Unity 目錄模式,用于作為套件組合一部分被建立的工作流程和管線中的資料表和其他資產。 架構與其他資源類型不同,具有下列限制:
- 架構資源的擁有者一律是部署使用者,而且無法變更。 如果在套件組合中指定
run_as,架構上的操作將會忽略它。 - 只有對應 Schemas 物件建立 API 支援的欄位可供架構資源使用。 例如,不支援
enable_predictive_optimization,因為它僅適用於 更新 API。
新增於 Databricks CLI 版本 0.229.0 或以下
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | 類型 | Description |
|---|---|---|
catalog_name |
String | 父目錄的名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
comment |
String | 使用者提供的自由格式文字描述。 新增於 Databricks CLI 版本 0.229.0 或以下 |
grants |
Sequence | 與架構相關聯的授與。 參見 grant。 新增於 Databricks CLI 版本 0.229.0 或以下 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 相對於父目錄的架構名稱。 新增於 Databricks CLI 版本 0.229.0 或以下 |
properties |
Map | 附加至架構的鍵值屬性對映。 新增於 Databricks CLI 版本 0.229.0 或以下 |
storage_root |
String | 架構中受控數據表的記憶體根 URL。 新增於 Databricks CLI 版本 0.229.0 或以下 |
Examples
下列範例會定義具有資源密鑰的管線 my_pipeline,此管線會使用索引鍵 my_schema 作為目標來建立 Unity 目錄架構:
resources:
pipelines:
my_pipeline:
name: test-pipeline-{{.unique_id}}
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema-{{.unique_id}}
catalog_name: main
comment: This schema was created by Databricks Asset Bundles.
Databricks Asset Bundles 不支援頂層授權對應,因此如果您想要設定架構的授權,請在 schemas 對應中定義架構的授權。 如需有關權限授與的更多資訊,請參閱 顯示、授與和撤銷許可權。
下列範例透過授權來定義 Unity Catalog 資料庫結構:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- CAN_MANAGE
catalog_name: main
秘密作用域
Type: Map
secret_scope資源可讓您在套件組合中定義 秘密範圍 。 如需秘密範圍的相關信息,請參閱 秘密管理。
新增於 Databricks CLI 版本 0.252.0
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | 類型 | Description |
|---|---|---|
backend_type |
String | 將會使用來建立範圍的後端類型。 如果未指定,這會預設為 DATABRICKS。新增於 Databricks CLI 版本 0.252.0 |
keyvault_metadata |
Map | 如果 backend_type 為 AZURE_KEYVAULT,則為秘密範圍的元數據。 參見 keyvault_metadata。新增於 Databricks CLI 版本 0.252.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 使用者要求的範圍名稱。 範圍名稱是唯一的。 新增於 Databricks CLI 版本 0.252.0 |
permissions |
Sequence | 要套用至機密範圍的權限。 許可權是透過秘密範圍 ACL 來管理。 請參閱 許可權。 新增於 Databricks CLI 版本 0.252.0 |
秘密範圍.keyvault_metadata
Type: Map
Azure 金鑰保存庫支援的秘密範圍的中繼資料。
| Key | 類型 | Description |
|---|---|---|
resource_id |
String | 金鑰保存庫的 Azure 資源識別碼。 |
dns_name |
String | Azure 金鑰保存庫的 DNS 名稱。 |
Examples
下列範例會定義使用金鑰保存庫後端的秘密範圍:
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
下列範例會使用秘密範圍和權限來設定自訂 ACL:
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
如需示範如何定義秘密範圍以及具有從中讀取任務的作業的範例套件組合,請參閱 套件組合範例 GitHub 存放庫。
SQL倉庫
Type: Map
SQL 倉儲資源可讓您在套件組合中定義 SQL 倉儲 。 如需 SQL 倉儲的相關資訊,請參閱 Azure Databricks 上的資料倉儲。
新增於 Databricks CLI 版本 0.260.0
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | 類型 | Description |
|---|---|---|
auto_stop_mins |
Integer | SQL 倉儲必須閒置的時間長度(以分鐘為單位, 例如,沒有執行中的查詢),才會自動停止。 有效值為 0,表示沒有自動停止,或大於或等於 10。 預設值為 120。 新增於 Databricks CLI 版本 0.260.0 |
channel |
Map | 頻道詳細資料。 請參見 頻道。 新增於 Databricks CLI 版本 0.260.0 |
cluster_size |
String | 配置給此倉儲的叢集大小。 增加 Spark 叢集的大小可讓您在其上執行更大的查詢。 如果您想要增加並行查詢數目,請調整max_num_clusters。 如需支援的值,請參閱 cluster_size。 新增於 Databricks CLI 版本 0.260.0 |
creator_name |
String | 建立倉儲的使用者名稱。 新增於 Databricks CLI 版本 0.260.0 |
enable_photon |
布林值 | 倉儲是否應該使用 Photon 最佳化叢集。 預設為 False。 新增於 Databricks CLI 版本 0.260.0 |
enable_serverless_compute |
布林值 | 倉儲是否應該使用無伺服器運算。 新增於 Databricks CLI 版本 0.260.0 |
instance_profile_arn |
String | Deprecated. 實例設定檔用於將 IAM 角色傳給叢集。 新增於 Databricks CLI 版本 0.260.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
max_num_clusters |
Integer | 自動調整器將建立的叢集數目上限,以處理同時查詢。 值必須小於或等於 30 且大於或等 min_num_clusters於 。 如果未設定,則預設為min_clusters。新增於 Databricks CLI 版本 0.260.0 |
min_num_clusters |
Integer | 將針對此 SQL 倉儲維護的可用叢集數目下限。 增加此值可確保更多叢集持續運行,因此可能會減少新查詢的冷啟動時間。 這類似於資源管理員中的保留核心與可撤銷核心。 值必須大於 0 且小於或等於 min(max_num_clusters, 30)。 預設值為 1。 新增於 Databricks CLI 版本 0.260.0 |
name |
String | 叢集的邏輯名稱。 名稱在組織內必須是唯一的,且少於 100 個字元。 新增於 Databricks CLI 版本 0.260.0 |
permissions |
Sequence | 適用於倉庫的權限。 請參閱 許可權。 新增於 Databricks CLI 版本 0.260.0 |
spot_instance_policy |
String | 是否使用Spot執行個體。 有效值為 POLICY_UNSPECIFIED、 COST_OPTIMIZED、 RELIABILITY_OPTIMIZED。 預設值為 COST_OPTIMIZED。新增於 Databricks CLI 版本 0.260.0 |
tags |
Map | 一組鍵值對,將在與此 SQL 倉儲相關聯的所有資源(例如 AWS 執行個體和 EBS 磁碟區)上貼上標籤。 標籤數量必須少於 45 個。 新增於 Databricks CLI 版本 0.260.0 |
warehouse_type |
String | 倉儲類型,PRO 或 CLASSIC。 如果您想要使用無伺服器運算,請將此欄位設定為 PRO ,並將欄位 enable_serverless_compute 設定為 true。新增於 Databricks CLI 版本 0.260.0 |
sql_warehouse.頻道
Type: Map
SQL 倉儲的通道設定。
| Key | 類型 | Description |
|---|---|---|
name |
String | 頻道的名稱。 有效值包括 CHANNEL_NAME_CURRENT、 、 CHANNEL_NAME_PREVIEWCHANNEL_NAME_CUSTOM。 |
dbsql_version |
String | 自訂頻道的 DBSQL 版本。 |
Example
下列範例會定義 SQL 倉儲:
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
同步的資料庫表
Type: Map
同步的資料庫資料表資源可讓您在套件組合中定義 Lakebase 資料庫資料表 。
如需同步資料庫資料表的相關資訊,請參閱什麼是 資料庫執行個體?。
新增於 Databricks CLI 版本 0.266.0
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | 類型 | Description |
|---|---|---|
database_instance_name |
String | 目標資料庫執行個體的名稱。 在標準型錄中建立同步的資料庫表格時,這是必要的。 在已登錄型錄中建立同步化的資料庫表格時,這是選擇性的。 新增於 Databricks CLI 版本 0.266.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
logical_database_name |
String | 此資料表的目標 Postgres 資料庫物件 (邏輯資料庫) 的名稱。 新增於 Databricks CLI 版本 0.266.0 |
name |
String | 表格的完整名稱,格式 catalog.schema.table為 。新增於 Databricks CLI 版本 0.266.0 |
spec |
Map | 資料庫表格規格。 請參閱 同步資料庫表格規格。 新增於 Databricks CLI 版本 0.266.0 |
同步的資料庫表格規格 (synced_database_table.spec)
Type: Map
資料庫表格規格。
新增於 Databricks CLI 版本 0.266.0
| Key | 類型 | Description |
|---|---|---|
create_database_objects_if_missing |
布林值 | 是否要建立同步資料表的邏輯資料庫和綱目資源(如果它們尚不存在)。 |
existing_pipeline_id |
String | 現有管線的識別碼。 如果設定此值,同步處理的資料表將會被壓縮並打包到所參考的現有管線中。 這避免了建立新的管線,並允許共用現有的計算。 在此情況下,這個同步資料表的scheduling_policy必須符合現有管線的排程原則。 最多只能定義 existing_pipeline_id 或 new_pipeline_spec。 |
new_pipeline_spec |
Map | 新管線的規格。 參見 new_pipeline_spec。 最多只能定義 existing_pipeline_id 或 new_pipeline_spec。 |
primary_key_columns |
Sequence | 構成主鍵的資料行名稱清單。 |
scheduling_policy |
String | 同步處理的排程原則。 有效值包括 SNAPSHOT、 。 CONTINUOUS |
source_table_full_name |
String | 來源表格的全名,格式為 catalog.schema.table。 |
timeseries_key |
String | 時間序列鍵用於去除具有相同主鍵的重複資料列。 |
同步_資料庫_表.spec.新_流水線_規範
Type: Map
同步處理資料庫資料表所使用之新管線規格。
| Key | 類型 | Description |
|---|---|---|
budget_policy_id |
String | 預算政策的識別碼,將設定在新建立的管線上。 |
storage_catalog |
String | 管道的目錄,用於儲存中繼檔案,例如檢查點和事件記錄檔。 這必須是標準目錄,並且使用者需有權限來建立 Delta 資料表。 |
storage_schema |
String | 管道儲存中繼檔案的結構描述,例如檢查點和事件記錄檔。 這需要位於使用者具有建立 Delta 資料表權限的標準目錄中。 |
Examples
下列範例定義對應資料庫 型錄內的同步資料庫表格:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
下列範例定義標準目錄內的同步資料庫表格:
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
此範例會建立同步處理的資料庫資料表,並自訂其管線排程。 它假設您已經擁有:
- 名為
my-database-instance的資料庫實例 - 名為
my_standard_catalog的標準目錄 - 標準目錄中的一個結構名為
default - 具有主鍵的名為
source_delta.schema.customer的源端差異表c_custkey
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
資料卷 (Unity 目錄)
Type: Map
Databricks 資產包組合的磁碟區在 Python 中受到支援。 請參閱 databricks.bundles.volumes。
磁碟區資源類型可讓您定義和建立 Unity Catalog 磁碟區,作為一個套件的一部分。 部署有定義磁碟區的套件組合時,注意以下幾點:
- 除非磁碟區已存在於工作區,否則無法在軟體包的
artifact_path中參考該磁碟區。 因此,如果您想要使用 Databricks 資產組合來建立磁碟區,您必須先定義套件組合中的磁碟區、部署磁碟區以建立磁碟區,然後在後續部署的artifact_path中參考磁碟區。 - 當部署目標已配置
dev_${workspace.current_user.short_name}時,套件中的卷不會帶有mode: development前綴。 不過,您可以手動設定此字首。 請參閱 自訂預設值。
新增於 Databricks CLI 版本 0.236.0
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | 類型 | Description |
|---|---|---|
catalog_name |
String | 架構和磁碟區目錄的名稱。 新增於 Databricks CLI 版本 0.236.0 |
comment |
String | 附加至磁碟區的批注。 新增於 Databricks CLI 版本 0.236.0 |
grants |
Sequence | 與磁碟區相關聯的授與。 參見 grant。 新增於 Databricks CLI 版本 0.236.0 |
lifecycle |
Map | 包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。 請參閱 生命週期。 新增於 Databricks CLI 版本 0.268.0 |
name |
String | 卷名。 新增於 Databricks CLI 版本 0.236.0 |
schema_name |
String | 磁碟區所在的架構名稱。 新增於 Databricks CLI 版本 0.236.0 |
storage_location |
String | 雲端上的儲存位置。 新增於 Databricks CLI 版本 0.236.0 |
volume_type |
String | 磁碟區類型,是 EXTERNAL 或 MANAGED 其中之一。 外部磁碟區存放於指定的外部位置。 受控磁碟區位於父架構或父目錄或中繼存放區所指定的預設位置。 請參閱 受管理磁碟區與外部磁碟區。 |
Example
下列範例會建立具有索引鍵 my_volume_id的 Unity 目錄磁碟區:
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
如需執行將資料寫入 Unity Catalog 卷中檔案之作業的範例套件組合,請參閱 套件組合範例 GitHub 存放庫。
常見物品
授權
Type: Map
定義主體及其授予的權限。 如需有關權限授與的更多資訊,請參閱 顯示、授與和撤銷許可權。
新增於 Databricks CLI 版本 0.229.0 或以下
| Key | 類型 | Description |
|---|---|---|
principal |
String | 被授予許可權的主體名稱。 這可以是使用者、群組或服務主體。 |
privileges |
Sequence | 授與指定實體的許可權。 有效值取決於資源類型 (例如,SELECT、MODIFY、CREATEUSAGEREAD_FILESWRITE_FILESEXECUTE)。 ALL_PRIVILEGES |
Example
下列範例透過授權來定義 Unity Catalog 資料庫結構:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- CAN_MANAGE
catalog_name: main
生命週期
Type: Map
包含資源的生命週期設定。 它控制資源在部署或銷毀時的行為。
新增於 Databricks CLI 版本 0.268.0
| Key | 類型 | Description |
|---|---|---|
prevent_destroy |
布林值 | 生命週期設定,以防止資源被毀損。 新增於 Databricks CLI 版本 0.268.0 |