Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Bundel Otomatisasi Deklaratif (sebelumnya dikenal sebagai Bundel Aset Databricks) memungkinkan Anda menentukan informasi tentang sumber daya Azure Databricks yang digunakan oleh bundel dalam pemetaan resources dalam konfigurasi bundel. Lihat referensi sumber daya.
Halaman ini menyediakan referensi konfigurasi untuk semua jenis sumber daya yang didukung untuk bundel dan menyediakan detail dan contoh untuk setiap jenis yang didukung. Untuk contoh tambahan, lihat contoh konfigurasi Bundel .
Skema JSON untuk bundel yang digunakan untuk memvalidasi konfigurasi YAML ada di repositori GitHub CLI Databricks.
Tip
Untuk menghasilkan YAML untuk sumber daya yang ada, gunakan perintah databricks bundle generate. Lihat databricks bundle generate.
Sumber daya yang didukung
Tabel berikut mencantumkan jenis sumber daya yang didukung untuk bundel (YAML dan Python, jika berlaku). Beberapa sumber daya dapat dibuat dengan menentukannya dalam bundel dan menyebarkan bundel, dan beberapa sumber daya hanya dapat dibuat dengan merujuk aset yang ada untuk disertakan dalam bundel.
Konfigurasi sumber daya mendefinisikan objek Databricks yang sesuai dengan objek Databricks REST API . Bidang permintaan buat objek REST API yang didukung, yang dinyatakan sebagai YAML, adalah kunci yang didukung sumber daya. Tautan ke dokumentasi untuk setiap objek terkait sumber daya ada dalam tabel di bawah ini.
Tip
Perintah databricks bundle validate mengembalikan peringatan jika properti sumber daya yang tidak diketahui ditemukan dalam file konfigurasi bundel.
siaga
Type: Map
Sumber daya pemberitahuan mendefinisikan pemberitahuan SQL (v2).
Ditambahkan dalam Databricks CLI versi 0.279.0
alerts:
<alert-name>:
<alert-field-name>: <alert-field-value>
| Key | Type | Description |
|---|---|---|
custom_description |
String | Optional. Deskripsi kustom untuk pemberitahuan. Mendukung templat kumis. Ditambahkan dalam Databricks CLI versi 0.279.0 |
custom_summary |
String | Optional. Ringkasan kustom untuk pemberitahuan. Mendukung templat kumis. Ditambahkan dalam Databricks CLI versi 0.279.0 |
display_name |
String | Dibutuhkan. Nama tampilan pemberitahuan, misalnya, Example alert.Ditambahkan dalam Databricks CLI versi 0.279.0 |
evaluation |
Map | Dibutuhkan. Konfigurasi evaluasi untuk peringatan. Lihat alert.evaluation. Ditambahkan dalam Databricks CLI versi 0.279.0 |
file_path |
String | Jalur file lokal aset pemberitahuan. Ditambahkan dalam Databricks CLI versi 0.282.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.279.0 |
parent_path |
String | Optional. Jalur ruang kerja dari folder yang berisi peringatan. Hanya dapat diatur ketika pembuatan, dan tidak dapat diperbarui. Contoh: /Users/someone@example.com.Ditambahkan dalam Databricks CLI versi 0.279.0 |
permissions |
Sequence | Izin peringatan. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.279.0 |
query_text |
String | Dibutuhkan. Teks kueri yang akan dijalankan, misalnya, SELECT 1.Ditambahkan dalam Databricks CLI versi 0.279.0 |
run_as |
Map | Optional. Menentukan identitas yang akan digunakan untuk menjalankan pemberitahuan. Bidang ini memungkinkan Anda mengonfigurasi pemberitahuan untuk dijalankan sebagai pengguna atau perwakilan layanan tertentu. Lihat run_as.
Ditambahkan dalam Databricks CLI versi 0.279.0 |
schedule |
Map | Dibutuhkan. Konfigurasi penjadwalan untuk peringatan. Lihat alert.schedule. Ditambahkan dalam Databricks CLI versi 0.279.0 |
warehouse_id |
String | Dibutuhkan. ID gudang SQL yang dilampirkan ke pemberitahuan, misalnya, a7066a8ef796be84.Ditambahkan dalam Databricks CLI versi 0.279.0 |
penilaian.alert
Type: Map
Konfigurasi evaluasi untuk peringatan.
| Key | Type | Description |
|---|---|---|
comparison_operator |
String | Operator yang digunakan untuk perbandingan dalam evaluasi peringatan. |
empty_result_state |
String | Status pemberitahuan jika hasilnya kosong. Hindari mengatur bidang ini ke UNKNOWN karena UNKNOWN status direncanakan tidak digunakan lagi. |
notification |
Map | Pengguna atau tujuan lain untuk memberi tahu saat pemberitahuan dipicu. Lihat alert.evaluation.notification. |
source |
Map | Kolom sumber dari hasil yang akan digunakan untuk mengevaluasi peringatan. Lihat alert.evaluation.source. |
threshold |
Map | Ambang batas yang digunakan untuk evaluasi pemberitahuan. Ini bisa berupa kolom atau nilai. Lihat alert.evaluation.threshold. |
peringatan.evaluasi.pemberitahuan
Type: Map
Pengguna atau tujuan lain untuk memberi tahu saat pemberitahuan dipicu.
| Key | Type | Description |
|---|---|---|
notify_on_ok |
Boolean | Optional. Apakah akan memberi tahu pelanggan langganan jika pemberitahuan kembali ke keadaan normal. |
retrigger_seconds |
Integer | Optional. Jumlah detik pemberitahuan menunggu setelah dipicu sebelum diizinkan untuk mengirim pemberitahuan lain. Jika diatur ke 0 atau dihilangkan, pemberitahuan tidak akan dikirim lebih lanjut setelah pemicu pertama. Mengatur nilai ini ke 1 memungkinkan alert mengirimkan notifikasi pada setiap evaluasi yang memenuhi kondisi, sehingga efektif selalu memicu ulang untuk tujuan pemberitahuan. |
subscriptions |
Sequence | Optional. Daftar langganan pemberitahuan yang tidak diurutkan. Lihat alert.evaluation.notification.subscriptions. |
peringatan.evaluasi.notifikasi.langganan
Type: Sequence
Daftar langganan pemberitahuan yang tidak diurutkan.
Setiap item dalam daftar adalah AlertSubscription:
| Key | Type | Description |
|---|---|---|
destination_id |
String | ID tujuan pemberitahuan. |
user_email |
String | Alamat email pengguna yang akan diberi tahu. |
alerta.evaluasi.sumber
Type: Map
Sumber kolom dari hasil untuk digunakan dalam mengevaluasi peringatan.
| Key | Type | Description |
|---|---|---|
aggregation |
String | Metode agregasi untuk diterapkan ke kolom sumber. Nilai yang valid adalah SUM, , COUNTCOUNT_DISTINCT, AVG, MEDIAN, MIN, , MAXSTDDEV |
display |
String | Nama tampilan untuk kolom sumber. |
name |
String | Nama kolom sumber dari hasil kueri. |
peringatan.evaluasi.ambang
Type: Map
Ambang batas yang digunakan untuk evaluasi pemberitahuan, bisa berupa kolom atau nilai.
| Key | Type | Description |
|---|---|---|
column |
Map | Referensi kolom untuk digunakan sebagai ambang batas. Lihat alert.evaluation.source. |
value |
Map | Nilai harfiah untuk digunakan sebagai ambang batas. Lihat alert.evaluation.threshold.value. |
peringatan.evaluasi.ambang.nilai
Type: Map
Nilai harfiah untuk digunakan sebagai ambang batas. Tentukan salah satu jenis nilai berikut.
| Key | Type | Description |
|---|---|---|
bool_value |
Boolean | Optional. Nilai Boolean untuk ambang batas, misalnya, true. |
double_value |
Double | Optional. Nilai numerik untuk ambang batas, misalnya, 1.25. |
string_value |
String | Optional. Nilai string untuk ambang batas, misalnya, test. |
alert.schedule
Type: Map
Konfigurasi penjadwalan untuk peringatan.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Optional. Apakah jadwal ini dijeda atau tidak. Nilai yang valid: UNPAUSED, PAUSED. Standar: UNPAUSED. |
quartz_cron_schedule |
String | Dibutuhkan. Ekspresi cron menggunakan sintaks kuarsa yang menentukan jadwal untuk alur ini. Format kuarsa dijelaskan dalam format penjadwal kuarsa. |
timezone_id |
String | Dibutuhkan. Id zona waktu Java. Jadwal akan diselesaikan menggunakan zona waktu ini. Ini akan dikombinasikan dengan quartz_cron_schedule untuk menentukan jadwal. Lihat SET TIME ZONE untuk detailnya. |
Examples
Contoh konfigurasi berikut mendefinisikan pemberitahuan dengan evaluasi sederhana:
resources:
alerts:
my_alert:
display_name: my_alert
evaluation:
comparison_operator: EQUAL
source:
name: '1'
threshold:
value:
double_value: 2
query_text: select 2
schedule:
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: Europe/Amsterdam
warehouse_id: 799f096837fzzzz4
Contoh konfigurasi berikut menentukan pemberitahuan dengan izin yang mengevaluasi menggunakan agregasi dan mengirim pemberitahuan:
resources:
alerts:
my_alert:
permissions:
- level: CAN_MANAGE
user_name: someone@example.com
custom_summary: 'My alert'
display_name: 'My alert'
evaluation:
comparison_operator: 'EQUAL'
notification:
notify_on_ok: false
retrigger_seconds: 1
source:
aggregation: 'MAX'
display: '1'
name: '1'
threshold:
value:
double_value: 2
query_text: 'select 2'
schedule:
pause_status: 'UNPAUSED'
quartz_cron_schedule: '44 19 */1 * * ?'
timezone_id: 'Europe/Amsterdam'
warehouse_id: 799f096837fzzzz4
aplikasi
Type: Map
Sumber daya aplikasi mendefinisikan aplikasi Databricks. Untuk informasi tentang Aplikasi Databricks, lihat Aplikasi Databricks.
Untuk menambahkan aplikasi, tentukan pengaturan untuk menentukan aplikasi, termasuk yang diperlukan source_code_path.
Tip
Anda dapat menginisialisasi bundel dengan aplikasi Streamlit Databricks menggunakan perintah berikut:
databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app
Ditambahkan dalam Databricks CLI versi 0.239.0
apps:
<app-name>:
<app-field-name>: <app-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | ID kebijakan anggaran untuk aplikasi. Ditambahkan dalam Databricks CLI versi 0.243.0 |
compute_size |
String | Ukuran komputasi untuk aplikasi. Nilai yang valid adalah MEDIUM atau LARGE tetapi bergantung pada konfigurasi ruang kerja.Ditambahkan dalam Databricks CLI versi 0.273.0 |
config |
Map | Perintah konfigurasi aplikasi dan variabel lingkungan. Lihat app.config. Ditambahkan dalam Databricks CLI versi 0.283.0 |
description |
String | Deskripsi aplikasi. Ditambahkan dalam Databricks CLI versi 0.239.0 |
git_repository |
Map | Konfigurasi repositori Git untuk penyebaran aplikasi. Ketika ditentukan, penyebaran dapat mereferensikan kode dari repositori ini dengan hanya memberikan referensi git (cabang, tag, atau penerapan). Lihat app.git_repository. Ditambahkan dalam Databricks CLI versi 0.283.0 |
git_source |
Map | Konfigurasi sumber Git untuk penyebaran aplikasi. Menentukan referensi Git mana (cabang, tag, atau penerapan) yang akan digunakan saat menyebarkan aplikasi. Digunakan bersama dengan git_repository untuk menyebarkan kode langsung dari git. dalam source_code_pathgit_source menentukan jalur relatif ke kode aplikasi dalam repositori. Lihat app.git_source.Ditambahkan dalam Databricks CLI versi 0.290.0 |
lifecycle |
Map | Perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama aplikasi. Nama hanya boleh berisi karakter alfanumerik huruf kecil dan tanda hubung. Ini harus unik dalam ruang kerja. Ditambahkan dalam Databricks CLI versi 0.239.0 |
permissions |
Sequence | Izin aplikasi. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.239.0 |
resources |
Sequence | Sumber daya komputasi aplikasi. Lihat app.resources. Ditambahkan dalam Databricks CLI versi 0.239.0 |
source_code_path |
String | Jalur lokal ./app dari kode sumber aplikasi Databricks.Ditambahkan dalam Databricks CLI versi 0.239.0 |
telemetry_export_destinations |
Sequence | Tujuan ekspor telemetri untuk aplikasi. Lihat app.telemetry_export_destinations. Ditambahkan dalam Databricks CLI versi 0.294.0 |
usage_policy_id |
String | ID kebijakan penggunaan tanpa server yang akan digunakan untuk aplikasi ini. Ditambahkan dalam Databricks CLI versi 0.283.0 |
user_api_scopes |
Sequence | Cakupan API pengguna. Ditambahkan dalam Databricks CLI versi 0.246.0 |
app.config
Perintah konfigurasi aplikasi dan variabel lingkungan. Lihat Mengonfigurasi eksekusi aplikasi Databricks dengan app.yaml.
| Key | Type | Description |
|---|---|---|
command |
Sequence | Perintah untuk menjalankan aplikasi, misalnya ["streamlit", "run", "app.py"] |
env |
Sequence | Daftar name pasangan dan value yang menentukan variabel lingkungan aplikasi untuk diatur di lingkungan runtime aplikasi. Ini akan mengambil alih variabel lingkungan yang ditentukan dalam file app.yaml. Untuk informasi tentang variabel lingkungan aplikasi default, lihat Lingkungan Aplikasi Databricks.Variabel lingkungan tidak diatur hingga aplikasi dimulai. |
app.git_repository
Type: Map
Konfigurasi repositori Git yang menentukan lokasi repositori.
| Key | Type | Description |
|---|---|---|
provider |
String | Dibutuhkan. Penyedia Git. Tidak peka huruf besar/kecil. Nilai yang didukung: gitHub, , gitHubEnterprisebitbucketCloud, bitbucketServer, azureDevOpsServices, gitLab, gitLabEnterpriseEdition, awsCodeCommit.Ditambahkan dalam Databricks CLI versi 0.283.0 |
url |
String | Dibutuhkan. URL repositori Git. Ditambahkan dalam Databricks CLI versi 0.283.0 |
app.git_source
Type: Map
Konfigurasi sumber Git untuk penyebaran aplikasi.
| Key | Type | Description |
|---|---|---|
branch |
String | Cabang Git yang akan diperiksa. |
commit |
String | Sha komit Git yang akan diperiksa. |
source_code_path |
String | Jalur relatif ke kode sumber aplikasi dalam repositori Git. Jika tidak ditentukan, akar repositori digunakan. |
tag |
String | Tag Git yang akan diperiksa. |
app.sumberdaya
Type: Sequence
Daftar sumber daya komputasi untuk aplikasi.
Setiap item dalam daftar adalah AppResource:
| Key | Type | Description |
|---|---|---|
app |
Map | Nama dan izin aplikasi |
description |
String | Deskripsi sumber daya aplikasi. |
database |
Map | Pengaturan yang mengidentifikasi database Provisi Lakebase untuk digunakan. Lihat app.resources.database. |
experiment |
Map | Pengaturan yang mengidentifikasi eksperimen MLflow yang akan digunakan. Lihat app.resources.experiment. |
genie_space |
Map | Pengaturan yang mengidentifikasi Agen Genie untuk digunakan. Lihat app.resources.genie_space. |
job |
Map | Pengaturan yang mengidentifikasi sumber daya pekerjaan yang akan digunakan. Lihat app.resources.job. |
name |
String | Nama sumber daya aplikasi. |
postgres |
Map | Pengaturan yang mengidentifikasi database Lakebase Autoscaling untuk digunakan. Lihat app.resources.postgres. |
secret |
Map | Pengaturan yang mengidentifikasi sumber daya rahasia Azure Databricks untuk digunakan. Lihat app.resources.secret. |
serving_endpoint |
Map | Pengaturan yang mengidentifikasi model yang melayani sumber daya titik akhir untuk digunakan. Lihat app.resources.serving_endpoint. |
sql_warehouse |
Map | Pengaturan yang mengidentifikasi sumber daya gudang SQL untuk digunakan. Lihat app.resources.sql_warehouse. |
uc_securable |
Map | Pengaturan yang mengidentifikasi Katalog Unity yang dapat diamankan untuk digunakan. Lihat app.resources.uc_securable. |
aplikasi.sumberdaya.basisdata
Type: Map
Pengaturan yang mengidentifikasi database Lakebase untuk digunakan.
| Key | Type | Description |
|---|---|---|
database_name |
String | Nama database. |
instance_name |
String | Nama instans database. |
permission |
String | Tingkat izin untuk database. Nilai yang valid adalah CAN_CONNECT_AND_CREATE. |
app.resources.experiment
Type: Map
Pengaturan yang mengidentifikasi eksperimen MLflow yang akan digunakan.
| Key | Type | Description |
|---|---|---|
experiment_id |
String | ID eksperimen MLflow. |
permission |
String | Tingkat izin untuk eksperimen. Nilai yang valid meliputi CAN_READ, CAN_EDIT, CAN_MANAGE. |
app.resources.genie_space
Type: Map
Pengaturan yang mengidentifikasi Agen Genie untuk digunakan.
| Key | Type | Description |
|---|---|---|
name |
String | Nama Agen Genie. |
permission |
String | Tingkat izin untuk ruang kerja ini. Nilai yang valid meliputi CAN_VIEW, CAN_EDIT, CAN_MANAGE, CAN_RUN. |
space_id |
String | ID Agen Genie, misalnya 550e8400-e29b-41d4-a716-999955440000. |
app.resources.job
Type: Map
Pengaturan yang mengidentifikasi sumber daya pekerjaan yang akan digunakan.
| Key | Type | Description |
|---|---|---|
id |
String | ID pekerjaan. |
permission |
String | Tingkat izin untuk pekerjaan tersebut. Nilai yang valid meliputi CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE, IS_OWNER. |
app.resources.postgres
Type: Map
Pengaturan yang mengidentifikasi database Lakebase Autoscaling untuk digunakan.
| Key | Type | Description |
|---|---|---|
branch |
String | Nama cabang, misalnya, projects/proj-abc123/branches/branch-xyz789. |
database |
String | Nama instans database, misalnya, projects/proj-abc123/branches/branch-xyz789/databases/db-456. |
permission |
String | Tingkat izin untuk database. Nilai yang valid adalah CAN_CONNECT_AND_CREATE. |
app.sumberdaya.rahasia
Type: Map
Pengaturan yang mengidentifikasi sumber daya rahasia Azure Databricks untuk digunakan.
| Key | Type | Description |
|---|---|---|
key |
String | Kunci rahasia untuk memberikan izin. |
permission |
String | Tingkat izin untuk informasi rahasia. Nilai yang valid meliputi READ, WRITE, MANAGE. |
scope |
String | Nama ruang lingkup rahasia. |
app.resources.titik_akhir_pelayanan
Type: Map
Pengaturan yang mengidentifikasi model yang melayani sumber daya titik akhir untuk digunakan.
| Key | Type | Description |
|---|---|---|
name |
String | Nama titik akhir layanan. |
permission |
String | Tingkat izin untuk titik akhir layanan. Nilai yang valid meliputi CAN_QUERY, CAN_MANAGE, CAN_VIEW. |
app.resources.sql_warehouse
Type: Map
Pengaturan yang mengidentifikasi gudang SQL untuk digunakan.
| Key | Type | Description |
|---|---|---|
id |
String | ID gudang SQL. |
permission |
String | Tingkat izin untuk gudang SQL. Nilai yang valid meliputi CAN_USE, CAN_MANAGE, IS_OWNER. |
app.sumberdaya.uc_securable
Type: Map
Pengaturan yang mengidentifikasi Katalog Unity yang dapat diamankan untuk digunakan. Aplikasi mendukung volume, tabel, fungsi, dan koneksi sebagai sumber daya yang dapat diamankan.
| Key | Type | Description |
|---|---|---|
permission |
String | Tingkat izin untuk Katalog Unity yang dapat diamankan. Nilai yang valid bergantung pada securable_type:
|
securable_full_name |
String | Nama lengkap Katalog Unity yang dapat diamankan, dalam format catalog.schema.name. Untuk koneksi, gunakan nama koneksi. |
securable_type |
String | Jenis objek dalam Unity Catalog yang dapat diamankan. Nilai yang valid adalah: VOLUME, TABLE, FUNCTION, dan CONNECTION. |
Note
Untuk volume, tabel, dan fungsi, perwakilan layanan aplikasi juga membutuhkan USE CATALOG dan USE SCHEMA hak istimewa pada katalog dan skema induk. Azure Databricks memberikan hak istimewa ini secara otomatis saat Anda menambahkan yang dapat diamankan sebagai sumber daya aplikasi.
app.telemetry_export_destinations
Type: Sequence
Daftar tujuan ekspor telemetri untuk aplikasi.
Ditambahkan dalam Databricks CLI versi 0.294.0
Setiap item dalam daftar adalah AppTelemetryExportDestination:
| Key | Type | Description |
|---|---|---|
unity_catalog |
Map | Tujuan Katalog Unity untuk ekspor telemetri OTEL. Ditambahkan dalam Databricks CLI versi 0.294.0 |
Examples
Untuk tutorial yang membahas pembuatan bundel yang menentukan aplikasi, lihat Mengelola aplikasi Databricks menggunakan Bundel Otomatisasi Deklaratif.
Contoh berikut mendefinisikan aplikasi dasar:
resources:
apps:
hello_world_app:
name: 'hello-world-app'
source_code_path: . # This assumes the app source code is at the root of the project.
description: 'A Databricks app'
Contoh berikut membuat aplikasi bernama my_app yang mengelola pekerjaan yang dibuat oleh bundel. Untuk contoh lengkapnya, lihat bundle-examples GitHub repositori.
resources:
jobs:
# Define a job in the bundle
hello_world:
name: hello_world
tasks:
- task_key: task
spark_python_task:
python_file: ../src/main.py
environment_key: default
environments:
- environment_key: default
spec:
environment_version: '2'
# Define an app that manages the job in the bundle
apps:
job_manager:
name: 'job_manager_app'
description: 'An app which manages a job created by this bundle'
# The location of the source code for the app
source_code_path: ../src/app
# The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
resources:
- name: 'app-job'
job:
id: ${resources.jobs.hello_world.id}
permission: 'CAN_MANAGE_RUN'
Konfigurasi yang sesuai app.yaml menentukan pengaturan untuk menjalankan aplikasi.
command:
- flask
- --app
- app
- run
- --debug
env:
- name: JOB_ID
valueFrom: 'app-job'
Contoh berikut membuat aplikasi yang memiliki akses ke eksperimen MLflow yang dibuat oleh bundel:
resources:
experiments:
# Define an MLflow experiment in the bundle
my_experiment:
name: /Users/${workspace.current_user.userName}/my-app-experiment
apps:
my_ml_app:
name: 'my-ml-app'
description: 'An app with access to an MLflow experiment'
source_code_path: ./app
# Grant the app access to the MLflow experiment
resources:
- name: 'app-experiment'
experiment:
experiment_id: ${resources.experiments.my_experiment.id}
permission: 'CAN_MANAGE'
Atau, contoh berikut menentukan aplikasi dengan konfigurasi kustom yang ditentukan dalam konfigurasi bundel:
resources:
apps:
my_app:
name: my_app
description: my_app_description
source_code_path: ./app
config:
command: ['flask', '--app', 'app', 'run']
env:
- name: MY_ENV_VAR
value: test_value
- name: ANOTHER_VAR
value: another_value
Contoh berikut mendefinisikan aplikasi dengan sumber daya Lakebase Autoscaling:
resources:
apps:
my_app:
name: my-app
source_code_path: .
resources:
- name: lakebase-db
postgres:
branch: projects/my-app/branches/production
database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
permission: CAN_CONNECT_AND_CREATE
catalogs
Type: Map
Sumber daya katalog memungkinkan Anda menentukan katalog (Unity Catalog) dalam bundel.
Note
Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan katalog hanya didukung jika Anda menggunakan mesin penyebaran langsung.
Ditambahkan dalam Databricks CLI versi 0.287.0
catalogs:
<catalog-name>:
<catalog-field-name>: <catalog-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Deskripsi teks bentuk bebas yang disediakan pengguna dari katalog. Ditambahkan dalam Databricks CLI versi 0.287.0 |
connection_name |
String | Nama koneksi ke sumber data eksternal. Ditambahkan dalam Databricks CLI versi 0.287.0 |
grants |
Sequence | Pemberian yang terkait dengan katalog. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.287.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0 |
managed_encryption_settings |
Map | Mengontrol enkripsi CMK untuk data katalog terkelola. Lihat catalog.managed_encryption_settings. Ditambahkan dalam Databricks CLI versi 0.298.0 |
name |
String | Dibutuhkan. Nama dari katalog Ditambahkan dalam Databricks CLI versi 0.287.0 |
options |
Objek | Peta properti kunci-nilai yang dilampirkan ke yang dapat diamankan. Ditambahkan dalam Databricks CLI versi 0.287.0 |
properties |
Objek | Peta properti kunci-nilai yang dilampirkan ke yang dapat diamankan. Ditambahkan dalam Databricks CLI versi 0.287.0 |
provider_name |
String | Nama penyedia OpenSharing. Katalog OpenSharing adalah katalog yang didasarkan pada berbagi OpenSharing di server berbagi jarak jauh. Lihat Apa itu OpenSharing?. Ditambahkan dalam Databricks CLI versi 0.287.0 |
share_name |
String | Nama berbagi di bawah penyedia berbagi. Ditambahkan dalam Databricks CLI versi 0.287.0 |
storage_root |
String | URL akar penyimpanan untuk tabel terkelola dalam katalog. Ditambahkan dalam Databricks CLI versi 0.287.0 |
Example
# databricks.yml
bundle:
name: catalogs-example
engine: direct # catalogs require the direct deployment engine
resources:
catalogs:
my_catalog:
name: my_catalog
comment: 'Catalog created by Declarative Automation Bundles'
properties:
purpose: 'Testing'
grants:
- principal: someone@example.com
privileges:
- USE_CATALOG
- CREATE_SCHEMA
schemas:
my_schema:
name: my_schema
catalog_name: ${resources.catalogs.my_catalog.name}
comment: 'Schema in custom catalog'
catalog.managed_encryption_settings
Type: Map
Pengaturan enkripsi untuk data katalog terkelola. Digunakan untuk mengonfigurasi kunci yang dikelola pelanggan (CMK).
Ditambahkan dalam Databricks CLI versi 0.298.0
| Key | Type | Description |
|---|---|---|
azure_encryption_settings |
Map | Pengaturan Azure opsional — hanya diperlukan jika CMK Azure digunakan. Ditambahkan dalam Databricks CLI versi 0.298.0 |
azure_key_vault_key_id |
String | URL AKV di Azure, sebaliknya null. Ditambahkan dalam Databricks CLI versi 0.298.0 |
customer_managed_key_id |
String | CMK UUID di AWS dan GCP, sebaliknya null. Ditambahkan dalam Databricks CLI versi 0.298.0 |
kluster
Type: Map
Sumber daya kluster mendefinisikan kluster.
clusters:
<cluster-name>:
<cluster-field-name>: <cluster-field-value>
| Key | Type | Description |
|---|---|---|
apply_policy_default_values |
Boolean | Ketika diatur ke true, nilai tetap dan default dari kebijakan akan digunakan untuk bidang yang dihilangkan. Ketika diatur ke false, hanya nilai tetap dari kebijakan yang akan diterapkan. |
autoscale |
Map | Parameter yang diperlukan untuk menskalakan kluster secara otomatis naik dan turun berdasarkan beban. Lihat skala otomatis. |
autotermination_minutes |
Integer | Secara otomatis mengakhiri kluster setelah tidak aktif untuk waktu ini dalam hitung menit. Jika tidak diatur, kluster ini tidak akan dihentikan secara otomatis. Jika ditentukan, ambang batas harus antara 10 dan 10000 menit. Pengguna juga dapat mengatur nilai ini ke 0 untuk menonaktifkan penghentian otomatis secara eksplisit. |
aws_attributes |
Map | Atribut yang terkait dengan kluster yang berjalan di Amazon Web Services. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat aws_attributes. |
azure_attributes |
Map | Atribut yang terkait dengan kluster yang berjalan di Microsoft Azure. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat azure_attributes. |
cluster_log_conf |
Map | Konfigurasi untuk mengirimkan log Spark ke tujuan penyimpanan jangka panjang. Lihat cluster_log_conf. |
cluster_name |
String | Nama kluster yang diminta oleh pengguna. Ini tidak harus unik. Jika tidak ditentukan saat pembuatan, nama kluster akan menjadi string kosong. |
custom_tags |
Map | Tag tambahan untuk sumber daya kluster. Databricks akan menandai semua sumber daya kluster (misalnya, instans AWS dan volume EBS) dengan tag ini selain default_tags. |
data_security_mode |
String | Model tata kelola data yang akan digunakan saat mengakses data dari kluster. Nilai yang valid termasuk DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_STANDARD, DATA_SECURITY_MODE_DEDICATED, dan NONE.
USER_ISOLATION dan SINGLE_USER merupakan alias warisan untuk DATA_SECURITY_MODE_STANDARD dan DATA_SECURITY_MODE_DEDICATED, masing-masing. Mode LEGACY_* tidak digunakan lagi dimulai dengan Databricks Runtime 15.0. |
docker_image |
Map | Gambar docker kustom. Lihat docker_image. |
driver_instance_pool_id |
String | ID opsional kumpulan instans tempat driver kluster berasal. Kluster kumpulan menggunakan kumpulan instans dengan id (instans*pool_id) jika kumpulan driver tidak ditetapkan. |
driver_node_type_flexibility |
Map | Konfigurasi jenis node fleksibel untuk node driver. Lihat cluster.driver_node_type_flexibility. Ditambahkan dalam Databricks CLI versi 0.285.0 |
driver_node_type_id |
String | Jenis node dari driver Spark. Bidang ini bersifat opsional. Jika tidak diatur, jenis node driver diatur ke nilai node_type_id. Bidang ini, bersama dengan node_type_id, tidak boleh diatur jika virtual_cluster_size diatur. Jika , driver_node_type_id, node_type_iddan virtual_cluster_size ditentukan, driver_node_type_id dan node_type_id diutamakan. |
enable_elastic_disk |
Boolean | Autoscaling Local Storage: ketika diaktifkan, kluster ini akan secara dinamis memperoleh ruang disk tambahan ketika pekerja Spark-nya hampir kehabisan ruang disk. Fitur ini memerlukan izin AWS tertentu agar berfungsi dengan benar - lihat Panduan Pengguna untuk detail selengkapnya. |
enable_local_disk_encryption |
Boolean | Apakah akan mengaktifkan LUKS pada disk lokal VM kluster. |
gcp_attributes |
Map | Atribut yang terkait dengan kluster yang berjalan di Google Cloud Platform. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat gcp_attributes. |
init_scripts |
Sequence | Konfigurasi untuk penyimpanan skrip init. Sejumlah tujuan dapat ditentukan. Skrip dijalankan secara berurutan dalam urutan yang disediakan. Lihat init_scripts. |
instance_pool_id |
String | ID opsional kumpulan instans tempat kluster berada. |
is_single_node |
Boolean | Bidang ini hanya dapat digunakan ketika kind = CLASSIC_PREVIEW. Ketika diatur ke true, Databricks akan secara otomatis mengatur simpul tunggal terkait custom_tags, spark_conf, dan num_workers.Ditambahkan dalam Databricks CLI versi 0.237.0 |
kind |
String | Jenis komputasi yang dijelaskan oleh spesifikasi komputasi ini. Ditambahkan dalam Databricks CLI versi 0.237.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
node_type_id |
String | Bidang ini mengkodekan, melalui satu nilai, sumber daya yang tersedia untuk masing-masing node Spark di kluster ini. Misalnya, node Spark dapat disediakan dan dioptimalkan untuk beban kerja yang intensif memori atau komputasi. Daftar jenis node yang tersedia dapat diambil dengan menggunakan API Jenis node daftar. |
num_workers |
Integer | Jumlah node pekerja yang seharusnya dimiliki oleh klaster ini. Kluster memiliki satu Driver Spark dan num_workers Eksekutor untuk total num_workers + 1 simpul Spark. |
permissions |
Sequence | Izin kluster. Lihat izin. |
policy_id |
String | ID kebijakan kluster yang digunakan untuk membuat kluster jika berlaku. |
remote_disk_throughput |
Integer | Throughput disk jarak jauh dalam byte per detik. Ditambahkan dalam Databricks CLI versi 0.257.0 |
runtime_engine |
String | Menentukan mesin runtime kluster, baik STANDARD atau PHOTON. |
single_user_name |
String | Nama pengguna tunggal jika data*security_mode adalah SINGLE_USER. |
spark_conf |
Map | Objek yang berisi set pasangan kunci-nilai konfigurasi Spark opsional yang ditentukan pengguna. Pengguna juga dapat meneruskan serangkaian opsi JVM tambahan ke driver dan pelaksana melalui spark.driver.extraJavaOptions dan spark.executor.extraJavaOptions masing-masing. |
spark_env_vars |
Map | Objek yang berisi set pasangan kunci-nilai variabel lingkungan opsional yang ditentukan pengguna. |
spark_version |
String | Versi Spark dari kluster, misalnya 3.3.x-scala2.11. Daftar versi Spark yang tersedia dapat diambil dengan menggunakan API Daftar versi Spark yang tersedia. |
ssh_public_keys |
Sequence | Konten kunci publik SSH yang akan ditambahkan ke setiap simpul Spark dalam kluster ini. Kunci privat yang sesuai dapat digunakan untuk masuk dengan nama ubuntu pengguna di port 2200. Hingga 10 kunci dapat ditentukan. |
total_initial_remote_disk_size |
Integer | Total ukuran disk jarak jauh awal dalam byte. Ditambahkan dalam Databricks CLI versi 0.257.0 |
use_ml_runtime |
Boolean | Bidang ini hanya dapat digunakan ketika kind = CLASSIC_PREVIEW.
effective_spark_version ditentukan oleh spark_version (Rilis Runtime Databricks), bidang use_ml_runtime ini, dan apakah node_type_id simpul GPU atau tidak.Ditambahkan dalam Databricks CLI versi 0.237.0 |
worker_node_type_flexibility |
Map | Konfigurasi jenis node fleksibel untuk simpul pekerja. Lihat cluster.worker_node_type_flexibility. Ditambahkan dalam Databricks CLI versi 0.285.0 |
workload_type |
Map | Atribut Kluster yang menunjukkan jenis beban kerja kluster. Lihat workload_type. |
cluster.autoscale
Type: Map
Parameter untuk menskalakan kluster secara otomatis ke atas dan ke bawah berdasarkan beban.
| Key | Type | Description |
|---|---|---|
min_workers |
Integer | Jumlah minimum pekerja yang dapat dicapai kluster saat skala diturunkan karena kurangnya pemanfaatan. Ini juga merupakan jumlah awal pekerja yang akan dimiliki kluster setelah pembuatan. |
max_workers |
Integer | Jumlah maksimum pekerja yang dapat ditingkatkan skala klusternya ketika kelebihan beban.
max_workers harus benar-benar lebih besar dari min_workers. |
cluster.aws_attributes
Type: Map
Atribut yang terkait dengan kluster yang berjalan di Amazon Web Services.
| Key | Type | Description |
|---|---|---|
zone_id |
String | Pengidentifikasi untuk zona ketersediaan/pusat data tempat kluster berada. String ini akan berupa bentuk seperti us-west-2a. |
availability |
String | Jenis ketersediaan yang digunakan untuk semua simpul berikutnya melewati simpul first_on_demand. Nilai yang valid adalah SPOT, ON_DEMAND, SPOT_WITH_FALLBACK. |
spot_bid_price_percent |
Integer | Harga maksimum untuk instans spot AWS, sebagai persentase dari harga sesuai permintaan jenis instans yang sesuai. |
instance_profile_arn |
String | Simpul untuk kluster ini hanya akan ditempatkan pada instans AWS yang memiliki profil instans tersebut. |
first_on_demand |
Integer | Node-node pertama first_on_demand dari kluster akan ditempatkan pada instans on-demand. Nilai ini harus lebih besar dari 0, untuk memastikan node driver kluster ditempatkan pada instans sesuai permintaan. |
ebs_volume_type |
String | Jenis volume EBS yang akan diluncurkan dengan kluster ini. Nilai yang valid adalah: GENERAL_PURPOSE_SSD atau THROUGHPUT_OPTIMIZED_HDD. |
ebs_volume_count |
Integer | Jumlah volume yang diluncurkan untuk setiap instance. |
ebs_volume_size |
Integer | Ukuran setiap volume EBS (dalam GiB) yang diluncurkan untuk setiap instance. |
ebs_volume_iops |
Integer | Jumlah IOPS per volume EBS gp3. |
ebs_volume_throughput |
Integer | Throughput dari volume EBS gp3, dalam MiB per detik. |
cluster.azure_attributes
Type: Map
Atribut yang terkait dengan kluster yang berjalan di Microsoft Azure.
| Key | Type | Description |
|---|---|---|
first_on_demand |
Integer | Node-node pertama first_on_demand dari kluster akan ditempatkan pada instans on-demand. |
availability |
String | Jenis ketersediaan yang digunakan untuk semua simpul berikutnya melewati simpul first_on_demand. Nilai yang valid adalah SPOT_AZURE, ON_DEMAND_AZURE, SPOT_WITH_FALLBACK_AZURE. |
spot_bid_max_price |
Number | Harga maksimum untuk instans spot Azure. Gunakan -1 untuk menentukan harga terendah. |
log_analytics_info |
Map | Konfigurasi untuk agen Azure Log Analytics. Lihat log_analytics_info. |
cluster.azure_attributes.log_analytics_info
Type: Map
Konfigurasi untuk agen Azure Log Analytics.
| Key | Type | Description |
|---|---|---|
log_analytics_workspace_id |
String | ID ruang kerja Azure Log Analytics. |
log_analytics_primary_key |
String | Kunci utama untuk ruang kerja Azure Log Analytics. |
cluster.gcp_attributes
Type: Map
Atribut yang terkait dengan kluster yang berjalan di Google Cloud Platform.
| Key | Type | Description |
|---|---|---|
use_preemptible_executors |
Boolean | Apakah akan menggunakan pelaksana yang dapat diduga sebelumnya. Eksekutor preemptible adalah instans GCE preemptible yang dapat diambil kembali oleh GCE kapan saja. |
google_service_account |
String | Akun layanan Google yang akan digunakan oleh instans VM kluster Databricks. |
local_ssd_count |
Integer | Jumlah SSD lokal yang akan dilampirkan ke setiap simpul dalam kluster. Nilai defaultnya adalah 0. |
zone_id |
String | Pengidentifikasi untuk zona ketersediaan/pusat data tempat kluster berada. |
availability |
String | Jenis ketersediaan yang digunakan untuk semua simpul. Nilai yang valid adalah PREEMPTIBLE_GCP, ON_DEMAND_GCP, PREEMPTIBLE_WITH_FALLBACK_GCP. |
boot_disk_size |
Integer | Ukuran disk boot dalam GB. Nilai biasanya berkisar antara 100 hingga 1000. |
cluster.cluster_log_conf (konfigurasi log untuk cluster)
Konfigurasi untuk mengirimkan log Spark ke tujuan penyimpanan jangka panjang.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Lokasi DBFS untuk pengiriman log kluster. Lihat dbfs. |
s3 |
Map | Lokasi S3 untuk pengiriman log kluster. Lihat s3. |
volumes |
Map | Lokasi volume untuk pengiriman catatan kluster. Lihat volume. |
cluster.cluster_log_conf.dbfs
Type: Map
Lokasi DBFS untuk pengiriman log kluster.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur DBFS untuk pengiriman log kluster (misalnya, dbfs:/cluster-logs). |
cluster.cluster_log_conf.s3
Type: Map
Lokasi S3 untuk pengiriman log kluster.
| Key | Type | Description |
|---|---|---|
destination |
String | URI S3 untuk pengiriman log kluster (misalnya, s3://my-bucket/cluster-logs). |
region |
String | Wilayah AWS wadah S3. |
endpoint |
String | URL titik akhir S3 (opsional). |
enable_encryption |
Boolean | Apakah akan mengaktifkan enkripsi untuk log kluster. |
encryption_type |
String | Jenis enkripsi. Nilai yang valid meliputi SSE_S3, SSE_KMS. |
kms_key |
String | Kunci KMS ARN untuk enkripsi (saat menggunakan SSE_KMS). |
canned_acl |
String | ACL default untuk diterapkan ke log kluster. |
cluster.cluster_log_conf.volumes
Type: Map
Lokasi volume untuk pengiriman catatan kluster.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur volume untuk pengiriman log kluster (misalnya, /Volumes/catalog/schema/volume/cluster_log). |
cluster.docker_image
Type: Map
Konfigurasi gambar Docker kustom.
| Key | Type | Description |
|---|---|---|
url |
String | URL gambar Docker. |
basic_auth |
Map | Autentikasi dasar untuk repositori Docker. Lihat basic_auth. |
cluster.docker_image.autentikasi_dasar
Type: Map
Autentikasi dasar untuk repositori Docker.
| Key | Type | Description |
|---|---|---|
username |
String | Nama pengguna untuk autentikasi registri Docker. |
password |
String | Kata sandi untuk autentikasi registri Docker. |
skrip_inisialisasi_klaster
Type: Map
Konfigurasi untuk penyimpanan skrip init. Setidaknya satu jenis lokasi harus ditentukan.
| Key | Type | Description |
|---|---|---|
dbfs |
Map | Lokasi skrip inisialisasi DBFS. Lihat dbfs. |
workspace |
Map | Lokasi ruang kerja skrip init. Lihat ruang kerja . |
s3 |
Map | Lokasi S3 skrip inisialisasi. Lihat s3. |
abfss |
Map | Lokasi skrip init ABFSS. Lihat abfss. |
gcs |
Map | Lokasi skrip inisialisasi di GCS. Lihat gcs. |
volumes |
Map | Lokasi Volume Katalog Unity dari skrip init. Lihat volume. |
cluster.init_scripts.dbfs
Type: Map
Lokasi skrip inisialisasi DBFS.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur DBFS dari skrip init. |
kluster.init_scripts.lingkungan_kerja
Type: Map
Lokasi ruang kerja skrip init.
| Key | Type | Description |
|---|---|---|
destination |
String | Lokasi ruang kerja skrip inisialisasi. |
cluster.init_scripts.s3
Type: Map
Lokasi S3 skrip inisialisasi.
| Key | Type | Description |
|---|---|---|
destination |
String | URI S3 dari skrip init. |
region |
String | Wilayah AWS wadah S3. |
endpoint |
String | URL titik akhir S3 (opsional). |
cluster.init_scripts.abfss
Type: Map
Lokasi skrip init ABFSS.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur ABFSS dari skrip init. |
cluster.init_scripts.gcs
Type: Map
Lokasi skrip inisialisasi di GCS.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur GCS dari skrip init. |
cluster.skrip_inisialisasi.volume
Type: Map
Lokasi volume skrip inisialisasi.
| Key | Type | Description |
|---|---|---|
destination |
String | Jalur Volume Katalog Unity dari skrip init. |
cluster.driver_node_type_flexibility
Type: Map
Konfigurasi jenis node fleksibel untuk node driver.
Ditambahkan dalam Databricks CLI versi 0.285.0
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Daftar ID jenis node yang akan digunakan sebagai fallback ketika jenis node utama tidak tersedia. Ditambahkan dalam Databricks CLI versi 0.285.0 |
cluster.worker_node_type_flexibility
Type: Map
Konfigurasi jenis node fleksibel untuk simpul pekerja.
Ditambahkan dalam Databricks CLI versi 0.285.0
| Key | Type | Description |
|---|---|---|
alternate_node_type_ids |
Sequence | Daftar ID jenis node yang akan digunakan sebagai fallback ketika jenis node utama tidak tersedia. Ditambahkan dalam Databricks CLI versi 0.285.0 |
cluster.tipe_beban_kerja
Type: Map
Atribut kluster memperlihatkan jenis beban kerja kluster.
| Key | Type | Description |
|---|---|---|
clients |
Map | Menentukan jenis klien apa yang dapat menggunakan kluster. Lihat klien. |
cluster.jenis_beban_kerja.klien
Type: Map
Jenis klien untuk beban kerja komputasi ini.
| Key | Type | Description |
|---|---|---|
jobs |
Boolean | Apakah kluster dapat menjalankan pekerjaan. |
notebooks |
Boolean | Apakah kluster dapat menjalankan notebook. |
Examples
Contoh berikut membuat kluster khusus (pengguna tunggal) untuk pengguna saat ini dengan Databricks Runtime 15.4 LTS dan kebijakan kluster:
resources:
clusters:
my_cluster:
num_workers: 0
node_type_id: 'i3.xlarge'
driver_node_type_id: 'i3.xlarge'
spark_version: '15.4.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
autotermination_minutes: 60
enable_elastic_disk: true
single_user_name: ${workspace.current_user.userName}
policy_id: '000128DB309672CA'
enable_local_disk_encryption: false
data_security_mode: SINGLE_USER
runtime_engine: STANDARD
Contoh ini membuat kluster my_cluster sederhana dan mengatur yang sebagai kluster yang akan digunakan untuk menjalankan buku catatan di my_job:
bundle:
name: clusters
resources:
clusters:
my_cluster:
num_workers: 2
node_type_id: 'i3.xlarge'
autoscale:
min_workers: 2
max_workers: 7
spark_version: '13.3.x-scala2.12'
spark_conf:
'spark.executor.memory': '2g'
jobs:
my_job:
tasks:
- task_key: test_task
notebook_task:
notebook_path: './src/my_notebook.py'
existing_cluster_id: ${resources.clusters.my_cluster.id}
papan kendali
Type: Map
Sumber daya dasbor memungkinkan Anda mengelola dasbor AI/BI dalam bundel. Untuk informasi tentang dasbor AI/BI, lihat dasbor .
Jika Anda menyebarkan bundel yang berisi dasbor dari lingkungan lokal Anda lalu menggunakan UI untuk memodifikasi dasbor tersebut, modifikasi yang dilakukan melalui UI tidak diterapkan ke file JSON dasbor di bundel lokal kecuali Anda secara eksplisit memperbaruinya menggunakan bundle generate. Anda dapat menggunakan opsi --watch untuk terus menjalankan polling dan mendapatkan perubahan pada dasbor. Lihat databricks bundle generate.
Selain itu, jika Anda mencoba menyebarkan bundel dari lingkungan lokal Anda yang berisi file JSON dasbor yang berbeda dari yang ada di ruang kerja jarak jauh, kesalahan akan terjadi. Untuk memaksakan penerapan dan menimpa dasbor di ruang kerja remote dengan dasbor lokal, gunakan opsi --force. Lihat databricks bundle deploy.
Ditambahkan dalam Databricks CLI versi 0.232.0
Note
Saat menggunakan Bundel Otomatisasi Deklaratif dengan dukungan Git dasbor, cegah dasbor duplikat dihasilkan dengan menambahkan pemetaan sinkronisasi untuk mengecualikan dasbor agar tidak disinkronkan sebagai file:
sync:
exclude:
- src/*.lvdash.json
dashboards:
<dashboard-name>:
<dashboard-field-name>: <dashboard-field-value>
| Key | Type | Description |
|---|---|---|
dataset_catalog |
String | Nilai katalog default yang digunakan oleh semua himpunan data di dasbor jika tidak ditentukan lain dalam kueri. Misalnya konfigurasi yang mengatur bidang ini, lihat Katalog dasbor dan parameterisasi skema. Ditambahkan dalam Databricks CLI versi 0.283.0 |
dataset_schema |
String | Nilai skema default yang digunakan oleh semua himpunan data di dasbor jika tidak ditentukan lain dalam kueri. Misalnya konfigurasi yang mengatur bidang ini, lihat Katalog dasbor dan parameterisasi skema. Ditambahkan dalam Databricks CLI versi 0.283.0 |
display_name |
String | Nama tampilan dasbor. Ditambahkan dalam Databricks CLI versi 0.232.0 |
embed_credentials |
Boolean | Apakah kredensial identitas penyebaran bundel digunakan untuk menjalankan kueri bagi semua pengguna dasbor. Jika diatur ke false, kredensial penampil digunakan. Nilai defaultnya adalah false.Ditambahkan dalam Databricks CLI versi 0.232.0 |
etag |
String | Etag untuk dasbor. Dapat disediakan secara opsional pada pembaruan untuk memastikan bahwa dasbor belum dimodifikasi sejak bacaan terakhir. Ditambahkan dalam Databricks CLI versi 0.234.0 |
file_path |
String | Jalur lokal aset dasbor, termasuk nama file. Dasbor yang diekspor selalu memiliki ekstensi .lvdash.json file.Ditambahkan dalam Databricks CLI versi 0.232.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. |
parent_path |
String | Jalur ruang kerja folder yang berisi dasbor. Termasuk garis miring terkemuka dan tidak ada garis miring berikutnya. Ditambahkan dalam Databricks CLI versi 0.232.0 |
path |
String | Jalur ruang kerja aset dasbor, termasuk nama aset. Ditambahkan dalam Databricks CLI versi 0.234.0 |
permissions |
Sequence | Izin-izin dasbor. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.232.0 |
serialized_dashboard |
Any | Konten dasbor dalam bentuk string berseri. Ditambahkan dalam Databricks CLI versi 0.232.0 |
warehouse_id |
String | ID gudang yang digunakan untuk menjalankan dasbor. Ditambahkan dalam Databricks CLI versi 0.232.0 |
Example
Contoh berikut mencakup dan menerapkan dasbor sampel Analisis Perjalanan Taksi NYC ke ruang kerja Databricks.
resources:
dashboards:
nyc_taxi_trip_analysis:
display_name: 'NYC Taxi Trip Analysis'
file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
warehouse_id: ${var.warehouse_id}
database_catalog
Type: Map
Sumber daya katalog database memungkinkan Anda menentukan katalog database yang sesuai dengan instans database dalam bundel. Katalog database adalah database Lakebase yang terdaftar sebagai katalog Unity Catalog.
Untuk informasi tentang katalog database, lihat Membuat katalog.
Ditambahkan dalam Databricks CLI versi 0.265.0
database_catalogs:
<database_catalog-name>:
<database_catalog-field-name>: <database_catalog-field-value>
| Key | Type | Description |
|---|---|---|
create_database_if_not_exists |
Boolean | Apakah akan membuat database jika tidak ada. Ditambahkan dalam Databricks CLI versi 0.265.0 |
database_instance_name |
String | Nama instans yang menaungi database. Ditambahkan dalam Databricks CLI versi 0.265.0 |
database_name |
String | Nama database (dalam instans) yang terkait dengan katalog. Ditambahkan dalam Databricks CLI versi 0.265.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya, termasuk perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.265.0 |
name |
String | Nama katalog di Katalog Unity. Ditambahkan dalam Databricks CLI versi 0.265.0 |
Example
Contoh berikut mendefinisikan instans database dengan katalog database yang sesuai:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
database_instance
Type: Map
Sumber daya instans database memungkinkan Anda menentukan instans database dalam bundel. Instans database Lakebase mengelola penyimpanan dan sumber daya komputasi dan menyediakan titik akhir yang terhubung dengan pengguna.
Note
Instans database baru yang dibuat oleh database_instances sumber daya sekarang dibuat sebagai proyek Lakebase Autoscaling. Lihat Penskalaan otomatis secara default untuk detailnya. Untuk pekerjaan Lakebase baru, sebaiknya gunakan sumber daya sebagai gantinya postgres_projects .
Penting
Saat Anda menyebarkan bundel dengan instans database, instans segera mulai berjalan dan tunduk pada harga. Lihat Harga Lakebase.
Untuk informasi tentang instans database, lihat Lakebase Provisioned.
Ditambahkan dalam Databricks CLI versi 0.265.0
database_instances:
<database_instance-name>:
<database_instance-field-name>: <database_instance-field-value>
| Key | Type | Description |
|---|---|---|
capacity |
String | Sku instans. Nilai yang valid adalah CU_1, CU_2, CU_4, CU_8.Ditambahkan dalam Databricks CLI versi 0.265.0 |
custom_tags |
Sequence | Daftar pasangan kunci-nilai yang menentukan tag kustom yang terkait dengan instans. Ditambahkan dalam Databricks CLI versi 0.273.0 |
enable_pg_native_login |
Boolean | Apakah instans mengaktifkan login kata sandi asli PG. Secara default menjadi true.Ditambahkan dalam Databricks CLI versi 0.267.0 |
enable_readable_secondaries |
Boolean | Apakah akan mengaktifkan sekunder untuk melayani lalu lintas baca-saja. Secara default menjadi false.Ditambahkan dalam Databricks CLI versi 0.265.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama instans. Ini adalah pengidentifikasi unik untuk instans. Ditambahkan dalam Databricks CLI versi 0.265.0 |
node_count |
Integer | Jumlah simpul dalam instans, terdiri dari 1 primer dan 0 atau lebih sekunder. Default ke 1 primer dan 0 sekunder. Ditambahkan dalam Databricks CLI versi 0.265.0 |
parent_instance_ref |
Map | Referensi instans induk. Ini hanya tersedia jika instans adalah instans anak. Lihat instans induk. Ditambahkan dalam Databricks CLI versi 0.265.0 |
permissions |
Sequence | Izin instans database. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.265.0 |
retention_window_in_days |
Integer | Jendela retensi untuk instans. Ini adalah jendela waktu dalam hari di mana data historis disimpan. Nilai defaultnya adalah 7 hari. Nilai yang valid adalah 2 hingga 35 hari. Ditambahkan dalam Databricks CLI versi 0.265.0 |
stopped |
Boolean | Apakah instans dihentikan. Ditambahkan dalam Databricks CLI versi 0.265.0 |
usage_policy_id |
String | Kebijakan penggunaan tanpa server yang diinginkan untuk dikaitkan dengan instans. Ditambahkan dalam Databricks CLI versi 0.273.0 |
database_instance.parent_instance_ref
Type: Map
Referensi instans induk. Ini hanya tersedia jika instans adalah instans anak.
| Key | Type | Description |
|---|---|---|
branch_time |
String | Waktu cabang instans database ref. Untuk instans ref induk, ini adalah titik waktu pada instans induk tempat instans dibuat. Untuk instans referensi anak, ini adalah titik waktu pada instans dari mana instans anak tersebut dibuat. |
lsn |
String | LSN WAL yang ditentukan oleh pengguna dari instans database referensi. |
name |
String | Nama dari instans database ref. |
Example
Contoh berikut mendefinisikan instans database dengan katalog database yang sesuai:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: ${resources.database_instances.my_instance.name}
name: example_catalog
database_name: my_database
create_database_if_not_exists: true
Untuk contoh bundel yang menunjukkan cara menentukan instans database dan katalog database terkait, lihat bundle-examples GitHub repositori.
eksperimen
Type: Map
Sumber daya eksperimen memungkinkan Anda mendefinisikan eksperimen MLflow dalam satu bundel. Untuk informasi tentang eksperimen MLflow, lihat Mengatur eksekusi pelatihan dengan eksperimen MLflow.
experiments:
<experiment-name>:
<experiment-field-name>: <experiment-field-value>
| Key | Type | Description |
|---|---|---|
artifact_location |
String | Lokasi tempat artefak untuk eksperimen disimpan. Lokasi harus menyertakan skema URI seperti dbfs: atau s3:. Untuk menyimpan artefak dalam volume Katalog Unity (disarankan, memerlukan MLflow 2.15.0 atau lebih tinggi), gunakan jalur formulir dbfs:/Volumes/<catalog>/<schema>/<volume>/<path>. Lihat Membuat eksperimen dari ruang kerja. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama yang mudah dikenali untuk mengidentifikasi eksperimen. Nama eksperimen harus merupakan jalur absolut di ruang kerja Databricks, misalnya /Workspace/Users/someone@example.com/my_experiment. |
permissions |
Sequence | Izin eksperimen tersebut. Lihat izin. |
tags |
Sequence | Pasangan kunci-nilai metadata tambahan. Lihat tag. Untuk mengatur deskripsi eksperimen, gunakan mlflow.note.content tag . Untuk melampirkan kebijakan anggaran tanpa server, gunakan mlflow.workload_creation_policy_id tag . Lihat Penggunaan atribut dengan kebijakan penggunaan tanpa server. |
Example
Contoh berikut mendefinisikan eksperimen yang dapat dilihat semua pengguna:
resources:
experiments:
experiment:
name: /Workspace/Users/someone@example.com/my_experiment
permissions:
- level: CAN_READ
group_name: users
tags:
- key: mlflow.note.content
value: MLflow experiment used to track runs
external_location (Katalog Unity)
Type: Map
Sumber daya lokasi eksternal memungkinkan Anda menentukan lokasi eksternal (Unity Catalog) dalam bundel.
Note
Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan lokasi eksternal hanya didukung jika Anda menggunakan mesin penyebaran langsung.
Ditambahkan dalam Databricks CLI versi 0.289.0
external_locations:
<external-location-name>:
<external-location-field-name>: <external-location-field-value>
| Key | Type | Description |
|---|---|---|
comment |
String | Deskripsi teks bentuk bebas yang disediakan pengguna dari lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0 |
credential_name |
String | Dibutuhkan. Nama kredensial penyimpanan yang digunakan dengan lokasi ini. Ditambahkan dalam Databricks CLI versi 0.289.0 |
enable_file_events |
Boolean | Apakah akan mengaktifkan aktivitas berkas pada lokasi eksternal ini. Secara default menjadi true. Nilai aktual yang diterapkan mungkin berbeda karena default sisi server. Periksa effective_enable_file_events status efektif.Ditambahkan dalam Databricks CLI versi 0.289.0 |
encryption_details |
Map | Opsi enkripsi yang berlaku untuk klien yang terhubung ke penyimpanan cloud. Lihat external_location.encryption_details. Ditambahkan dalam Databricks CLI versi 0.289.0 |
fallback |
Boolean | Menunjukkan apakah mode fallback diaktifkan untuk lokasi eksternal ini. Ketika mode fallback diaktifkan, akses ke lokasi kembali ke kredensial kluster jika kredensial Katalog Unity tidak cukup. Ditambahkan dalam Databricks CLI versi 0.289.0 |
file_event_queue |
Map | Pengaturan antrean peristiwa file untuk lokasi eksternal ini. Jika enable_file_events tidak false, kunci ini harus didefinisikan dan memiliki salah satu properti yang didokumentasikan. Lihat external_location.file_event_queue.Ditambahkan dalam Databricks CLI versi 0.289.0 |
grants |
Sequence | Pemberian yang terkait dengan lokasi eksternal. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.289.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.289.0 |
name |
String | Dibutuhkan. Nama lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0 |
read_only |
Boolean | Menunjukkan apakah lokasi eksternal hanya dapat dibaca. Ditambahkan dalam Databricks CLI versi 0.289.0 |
skip_validation |
Boolean | Mengabaikan validasi kredensial penyimpanan yang terkait dengan lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0 |
url |
String | Dibutuhkan. Jalur URL ke lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0 |
external_location.encryption_details
Type: Map
Opsi enkripsi yang berlaku untuk klien yang terhubung ke penyimpanan cloud.
| Key | Type | Description |
|---|---|---|
sse_encryption_details |
Map | Properti enkripsi sisi server untuk klien yang berkomunikasi dengan Amazon S3. |
external_location.file_event_queue
Type: Map
Pengaturan antrean peristiwa file untuk lokasi eksternal ini.
| Key | Type | Description |
|---|---|---|
managed_aqs |
Map | Pengaturan Azure Queue Storage terkelola. |
managed_pubsub |
Map | Pengaturan Google Cloud Pub/Sub terkelola. |
managed_sqs |
Map | Pengaturan Amazon SQS terkelola. |
provided_aqs |
Map | Pengaturan Azure Queue Storage yang disediakan pengguna. |
provided_pubsub |
Map | Pengaturan Google Cloud Pub/Sub yang disediakan pengguna. |
provided_sqs |
Map | Pengaturan Amazon SQS yang disediakan pengguna. |
Example
# databricks.yml
bundle:
name: external-locations-example
engine: direct # External locations require the direct deployment engine
resources:
external_locations:
my_external_location:
name: my_external_location
url: 's3://my-bucket/my-path'
credential_name: my_storage_credential
comment: 'External location created by Databricks Asset Bundles'
grants:
- principal: someone@example.com
privileges:
- CREATE_EXTERNAL_TABLE
- READ_FILES
genie_space
Type: Map
Sumber daya agen Genie memungkinkan Anda menentukan agen Genie dalam bundel. Untuk informasi selengkapnya tentang agen Genie, lihat Agen Genie.
Note
Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan agen Genie hanya didukung jika Anda menggunakan mesin penyebaran langsung.
Ditambahkan dalam Databricks CLI versi 1.3.0
genie_spaces:
<genie_space-name>:
<genie_space-field-name>: <genie_space-field-value>
| Key | Type | Description |
|---|---|---|
description |
String | Deskripsi agen Genie. Ditambahkan dalam Databricks CLI versi 1.3.0 |
file_path |
String | Jalur ke file lokal (misalnya, sales_analytics.geniespace.json) yang akan digunakan alih-alih serialized_space entri. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 1.3.0 |
parent_path |
String | Jalur folder induk tempat agen Genie akan didaftarkan. Ditambahkan dalam Databricks CLI versi 1.3.0 |
permissions |
Sequence | Agen Genie izin. Lihat izin. Ditambahkan dalam Databricks CLI versi 1.3.0 |
serialized_space |
String | Dibutuhkan. Konten Agen Genie dalam bentuk string berseri. Bidang ini menyediakan struktur string JSON yang mewakili tata letak dan komponen spasi. Jika file_path ditentukan, dibutuhkan presendensi lebih dari serialized_space.Ditambahkan dalam Databricks CLI versi 1.3.0 |
title |
String | Judul opsional diambil alih untuk agen Genie. Ditambahkan dalam Databricks CLI versi 1.3.0 |
warehouse_id |
String | Dibutuhkan. ID gudang SQL untuk dikaitkan dengan ruang baru. Ditambahkan dalam Databricks CLI versi 1.3.0 |
Examples
Contoh berikut mendefinisikan sumber daya agen Genie:
# databricks.yml
bundle:
name: nyc-taxi-genie
engine: direct # genie_spaces require the direct deployment engine
resources:
genie_spaces:
nyc_taxi_genie:
title: 'NYC Taxi Trip Analysis'
description: 'Ask questions about NYC taxi trip data in natural language'
warehouse_id: <warehouse-id>
file_path: ./nyc_taxi_genie.geniespace.json
permissions:
- level: CAN_RUN
group_name: users
File yang nyc_taxi_genie.geniespace.json sesuai menyimpan definisi ruang yang diserialisasikan, termasuk sumber data, instruksi, dan pertanyaan sampelnya. Ini juga dapat ditentukan dalam YAML di kunci sebagai gantinya serialized_space .
// nyc_taxi_genie.geniespace.json
{
"version": 2,
"config": {
"sample_questions": [
{
"id": "11111111111111111111111111111111",
"question": ["What is the average fare per trip?"]
}
]
},
"data_sources": {
"tables": [
{
"identifier": "samples.nyctaxi.trips",
"column_configs": [
{ "column_name": "fare_amount" },
{ "column_name": "pickup_zip" },
{ "column_name": "tpep_pickup_datetime" },
{ "column_name": "trip_distance" }
]
}
]
},
"instructions": {
"text_instructions": [
{
"id": "22222222222222222222222222222222",
"content": ["Fare amounts are in USD. When asked about revenue, use SUM(fare_amount)."]
}
]
}
}
pekerjaan
Type: Map
Pekerjaan didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.jobs.
Sumber daya pekerjaan memungkinkan Anda menentukan pekerjaan dan tugas yang sesuai dalam bundel Anda.
Untuk informasi tentang pekerjaan, lihat Pekerjaan Lakeflow. Untuk tutorial yang menggunakan templat Bundel Otomatisasi Deklaratif untuk membuat pekerjaan, lihat Mengembangkan pekerjaan dengan Bundel Otomatisasi Deklaratif.
jobs:
<job-name>:
<job-field-name>: <job-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Id kebijakan anggaran yang ditentukan pengguna untuk digunakan untuk pekerjaan ini. Jika tidak ditentukan, kebijakan anggaran default dapat diterapkan saat membuat atau memodifikasi pekerjaan. Lihat effective_budget_policy_id untuk kebijakan anggaran yang digunakan oleh tugas kerja ini.Ditambahkan dalam Databricks CLI versi 0.231.0 |
continuous |
Map | Properti berkelanjutan opsional untuk pekerjaan ini. Properti kontinu akan memastikan bahwa selalu ada satu proses yang berlangsung. Hanya satu dari schedule dan continuous yang dapat digunakan. Lihat kontinu. |
deployment |
Map | Informasi penyebaran untuk pekerjaan yang dikelola oleh sumber eksternal. Lihat penyebaran. |
description |
String | Deskripsi opsional untuk pekerjaan tersebut. Panjang maksimum adalah 27700 karakter dalam pengodean UTF-8. |
email_notifications |
Map | Sekumpulan alamat email opsional yang diberi tahu ketika eksekusi pekerjaan ini dimulai atau selesai serta ketika pekerjaan ini dihapus. Lihat email_notifications. |
environments |
Sequence | Daftar spesifikasi lingkungan eksekusi tugas yang dapat dirujuk oleh tugas tanpa server dari pekerjaan ini. Diperlukan lingkungan untuk melaksanakan tugas tanpa server. Untuk tugas notebook tanpa server, lingkungan dapat diakses di panel lingkungan notebook. Untuk tugas tanpa server lainnya, lingkungan tugas harus ditentukan menggunakan environment_key dalam pengaturan tugas. Lihat lingkungan. |
format |
String | Deprecated. Format pekerjaan. |
git_source |
Map | Spesifikasi opsional untuk repositori Git jarak jauh yang berisi kode sumber yang digunakan oleh tugas. Lihat job.git_source. Penting: Bidang git_source dan bidang tugas source yang disetel ke GIT tidak disarankan untuk paket, karena jalur relatif lokal mungkin tidak menunjuk ke konten yang sama di repositori Git, dan paket tersebut mengharapkan bahwa tugas yang dijalankan memiliki konten yang sama dengan salinan lokal dari tempatnya dijalankan.Sebagai gantinya, kloning repositori secara lokal dan siapkan proyek bundel Anda dalam repositori ini, sehingga sumber tugas berada di dalam ruang kerja. |
health |
Map | Sekumpulan aturan kesehatan opsional yang dapat ditentukan untuk pekerjaan ini. Lihat kesehatan. |
job_clusters |
Sequence | Daftar spesifikasi kluster pekerjaan yang dapat dibagikan dan digunakan kembali oleh tugas pekerjaan ini. Lihat job_clusters. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
max_concurrent_runs |
Integer | Jumlah maksimum eksekusi pekerjaan bersamaan yang diizinkan, jika diperlukan. Atur nilai ini jika Anda ingin dapat menjalankan beberapa eksekusi dari pekerjaan yang sama secara bersamaan. |
name |
String | Nama opsional untuk pekerjaan tersebut. Panjang maksimum adalah 4096 byte dalam pengodean UTF-8. |
notification_settings |
Map | Pengaturan pemberitahuan opsional yang digunakan saat mengirim pemberitahuan ke masing-masing email_notifications dan webhook_notifications untuk pekerjaan ini. Lihat notification_settings. |
parameters |
Sequence | Definisi parameter tingkat pekerjaan. Lihat job.parameters. |
performance_target |
String | Mendefinisikan bagaimana performanya atau efisiensi biaya eksekusi pada serverless seharusnya. Ditambahkan dalam Databricks CLI versi 0.241.0 |
permissions |
Sequence | Izin pekerjaan. Lihat izin. |
queue |
Map | Pengaturan antrean pekerjaan. Lihat antrean. |
run_as |
Map | Pengaturan tulis-saja. Menentukan pengguna atau perwakilan layanan tempat pekerjaan berjalan. Jika tidak ditentukan, tugas dijalankan sebagai pengguna yang membuat tugas. Salah satu user_name atau service_principal_name harus ditentukan. Jika tidak, kesalahan akan muncul. Lihat run_as. |
schedule |
Map | Jadwal periodik opsional untuk pekerjaan ini. Perilaku default adalah bahwa pekerjaan hanya berjalan ketika dipicu dengan mengklik "Jalankan Sekarang" di antarmuka pengguna Pekerjaan atau mengirim permintaan API ke runNow. Lihat jadwal. |
tags |
Map | Peta tag yang terkait dengan pekerjaan. Ini diteruskan ke kluster sebagai tag kluster untuk kluster pekerjaan, dan tunduk pada batasan yang sama dengan tag kluster. Maksimal 25 tag dapat ditambahkan pada tugas. |
tasks |
Sequence | Daftar spesifikasi tugas yang akan dijalankan oleh pekerjaan ini. Lihat Menambahkan tugas ke pekerjaan di Bundel Otomatisasi Deklaratif. Ditambahkan dalam Databricks CLI versi 0.237.0 |
timeout_seconds |
Integer | Batas waktu opsional diterapkan untuk setiap eksekusi pekerjaan ini. Nilai 0 berarti tidak ada batas waktu. |
trigger |
Map | Konfigurasi untuk memicu eksekusi saat kondisi tertentu terpenuhi. Lihat pemicu. |
usage_policy_id |
String | ID kebijakan penggunaan tanpa server yang akan digunakan untuk pekerjaan ini. Ditambahkan dalam Databricks CLI versi 0.273.0 |
webhook_notifications |
Map | Kumpulan ID pemberitahuan sistem untuk diberi tahu ketika eksekusi pekerjaan ini dimulai atau selesai. Lihat webhook_notifications. |
pekerjaan.berlanjut
Type: Map
Konfigurasi untuk eksekusi pekerjaan berkelanjutan.
| Key | Type | Description |
|---|---|---|
pause_status |
String | Apakah pekerjaan berkelanjutan dijeda atau tidak. Nilai yang valid: PAUSED, UNPAUSED. |
task_retry_mode |
String | Menunjukkan bagaimana pekerjaan berkelanjutan menerapkan percobaan ulang tingkat tugas. Nilai yang berlaku adalah NEVER atau ON_FAILURE. Secara default menjadi NEVER. |
penyebaran.pekerjaan
Type: Map
Informasi penyebaran untuk pekerjaan yang dikelola oleh sumber eksternal.
| Key | Type | Description |
|---|---|---|
kind |
String | Jenis implementasi. Contohnya, BUNDLE. |
metadata_file_path |
String | Jalur ke file metadata untuk penyebaran. |
pekerjaan.notifikasi_email
Type: Map
Pengaturan pemberitahuan email untuk pelaksanaan tugas.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Daftar alamat email yang akan diberi tahu ketika proses dimulai. |
on_success |
Sequence | Daftar alamat email yang akan diberi tahu saat eksekusi berhasil. |
on_failure |
Sequence | Daftar alamat email untuk mendapat pemberitahuan saat eksekusi gagal. |
on_duration_warning_threshold_exceeded |
Sequence | Daftar alamat email yang akan diberi tahu saat durasi eksekusi melebihi ambang batas peringatan. |
no_alert_for_skipped_runs |
Boolean | Apakah akan mengelewatkan pengiriman notifikasi untuk pemrosesan yang dilewati. |
on_streaming_backlog_exceeded |
Sequence | Daftar alamat email untuk diberi tahu ketika ambang batas backlog streaming terlampaui untuk aliran apa pun. Ambang batas backlog streaming dapat diatur di health bidang menggunakan metrik berikut: STREAMING_BACKLOG_BYTES, , STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSatau STREAMING_BACKLOG_FILES. Pemberitahuan didasarkan pada rata-rata 10 menit dari metrik ini. Jika masalah berlanjut, pemberitahuan akan dihentikan setiap 30 menit. |
pekerjaan.lingkungan
Type: Sequence
Daftar spesifikasi lingkungan eksekusi tugas yang dapat dirujuk oleh tugas tanpa server dari suatu pekerjaan.
Setiap item dalam daftar adalah JobEnvironment:
| Key | Type | Description |
|---|---|---|
environment_key |
String | Kunci lingkungan. Ini harus unik dalam pekerjaan. |
spec |
Map | Entitas yang mewakili lingkungan tanpa server. Lihat job.environments.spec. |
job.environments.spec
Type: Map
Entitas yang mewakili lingkungan tanpa server.
| Key | Type | Description |
|---|---|---|
client |
String | Deprecated. Versi klien. |
dependencies |
Sequence | Daftar dependensi pip, seperti yang didukung oleh versi pip yang ada di lingkungan ini. |
environment_version |
String | Dibutuhkan. Versi sistem yang digunakan oleh lingkungan. Setiap versi dilengkapi dengan versi Python tertentu dan satu set paket Python. Versinya adalah string, yang terdiri dari bilangan bulat. |
job.git_source
Type: Map
Konfigurasi repositori Git untuk kode sumber pekerjaan.
| Key | Type | Description |
|---|---|---|
git_branch |
String | Nama cabang yang akan diperiksa dan digunakan oleh pekerjaan ini. Bidang ini tidak dapat ditentukan bersama dengan git_tag atau git_commit. |
git_commit |
String | Komitmen untuk diperiksa dan digunakan oleh tugas ini. Bidang ini tidak dapat ditentukan bersama dengan git_branch atau git_tag. |
git_provider |
String | Pengidentifikasi unik layanan yang digunakan untuk menghosting repositori Git. Nilainya tidak sensitif terhadap penggunaan huruf besar/kecil. Nilai yang valid adalah gitHub, , bitbucketCloudgitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition. |
git_snapshot |
Map | Status baca-saja dari repositori jarak jauh pada saat pekerjaan dijalankan. Bidang ini hanya disertakan pada pelaksanaan pekerjaan. Lihat git_snapshot. |
git_tag |
String | Nama tag yang akan dicek keluar dan digunakan oleh pekerjaan ini. Bidang ini tidak dapat ditentukan bersama dengan git_branch atau git_commit. |
git_url |
String | URL repositori yang akan dikloning oleh pekerjaan ini. |
sparse_checkout |
Map | Konfigurasi cek keluar jarang untuk repositori Git. Lihat job.git_source.sparse_checkout. Ditambahkan dalam Databricks CLI versi 0.290.0 |
job.git_source.sparse_checkout
Type: Map
Konfigurasi cek keluar jarang untuk repositori Git.
Ditambahkan dalam Databricks CLI versi 0.290.0
| Key | Type | Description |
|---|---|---|
patterns |
Sequence | Daftar pola yang akan disertakan untuk checkout jarang. Ditambahkan dalam Databricks CLI versi 0.290.0 |
job.git_source.git_snapshot
Type: Map
Rekam jepret informasi penerapan baca-saja.
| Key | Type | Description |
|---|---|---|
used_commit |
String | Commit yang digunakan untuk mengeksekusi run. Jika git_branch ditentukan, ini menunjuk ke HEAD cabang pada saat eksekusi; jika git_tag ditentukan, ini menunjuk ke commit yang ditunjuk oleh tag. |
job.kesehatan
Type: Map
Konfigurasi pemantauan kesehatan untuk pekerjaan tersebut.
| Key | Type | Description |
|---|---|---|
rules |
Sequence | Daftar aturan kesehatan pekerjaan. Setiap aturan berisi metric dan op (operator) dan value. Lihat job.health.rules. |
aturan.kesehatan.pekerjaan
Type: Sequence
Daftar aturan kesehatan pekerjaan.
Setiap item dalam daftar adalah JobHealthRule:
| Key | Type | Description |
|---|---|---|
metric |
String | Menentukan metrik kesehatan yang sedang dievaluasi untuk aturan kesehatan tertentu.
|
op |
String | Menentukan operator yang digunakan untuk membandingkan nilai metrik kesehatan dengan ambang yang ditentukan. |
value |
Integer | Menentukan nilai ambang batas yang harus dipatuhi metrik kesehatan untuk memenuhi aturan kesehatan. |
job.job_clusters
Type: Sequence
Daftar spesifikasi kluster pekerjaan yang dapat dibagikan dan digunakan kembali oleh tugas pekerjaan ini. Pustaka tidak dapat dideklarasikan dalam kluster pekerjaan bersama. Anda harus mendeklarasikan pustaka dependen dalam pengaturan tugas.
Setiap item dalam daftar adalah JobCluster:
| Key | Type | Description |
|---|---|---|
job_cluster_key |
String | Nama unik untuk kluster pekerjaan. Bidang ini diperlukan dan harus unik dalam pekerjaan.
JobTaskSettings dapat merujuk ke bidang ini untuk menentukan kluster mana yang akan diluncurkan untuk eksekusi tugas. |
new_cluster |
Map | Jika new_cluster, deskripsi kluster yang dibuat untuk setiap tugas. Lihat kluster. |
pekerjaan.pengaturan_notifikasi
Type: Map
Pengaturan pemberitahuan yang berlaku untuk semua pemberitahuan untuk pekerjaan tersebut.
| Key | Type | Description |
|---|---|---|
no_alert_for_skipped_runs |
Boolean | Apakah akan mengelewatkan pengiriman notifikasi untuk pemrosesan yang dilewati. |
no_alert_for_canceled_runs |
Boolean | Apakah akan melewatkan pengiriman notifikasi untuk eksekusi yang dibatalkan. |
job.parameters
Type: Sequence
Daftar definisi parameter pekerjaan.
Setiap item dalam daftar adalah JobParameter:
| Key | Type | Description |
|---|---|---|
default |
String | Dibutuhkan. Nilai default parameter, misalnya, "pengguna". |
name |
String | Dibutuhkan. Nama parameter yang ditentukan, misalnya, "table". Nilai yang valid hanya berisi karakter alfanumerik, _, -, dan .. |
antrian.pekerjaan
Type: Map
Pengaturan antrean untuk pekerjaan tersebut.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Apakah akan mengaktifkan pengantrean untuk tugas tersebut. |
pekerjaan.jadwal
Type: Map
Konfigurasi penjadwalan untuk eksekusi pekerjaan berkala.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Ekspresi Cron menggunakan sintaks Quartz yang menentukan kapan tugas dijalankan. Misalnya, 0 0 9 * * ? menjalankan pekerjaan setiap hari pada pukul 09.00 UTC. |
timezone_id |
String | Zona waktu untuk jadwal. Misalnya, America/Los_Angeles atau UTC. |
pause_status |
String | Apakah jadwal dijeda atau tidak. Nilai yang valid: PAUSED, UNPAUSED. |
pekerjaan.pemicu
Type: Map
Konfigurasi pemicu untuk eksekusi pekerjaan berbasis peristiwa.
| Key | Type | Description |
|---|---|---|
file_arrival |
Map | Pemicu berdasarkan kedatangan file. Lihat file_arrival. |
table |
Map | Pemicu berdasarkan tabel. Lihat tabel. |
table_update |
Map | Pemicu berdasarkan pembaruan tabel data. Lihat table_update. |
periodic |
Map | Pemicu berkala. Lihat berkala. |
tugas.pemicu.kedatangan_berkas
Type: Map
Konfigurasi pemicu berdasarkan kedatangan file.
| Key | Type | Description |
|---|---|---|
url |
String | Jalur berkas untuk memantau berkas baru. |
min_time_between_triggers_seconds |
Integer | Waktu minimum dalam detik antara peristiwa pemicu. |
wait_after_last_change_seconds |
Integer | Waktu tunggu dalam detik setelah file terakhir berubah sebelum memicu. |
pekerjaan.pemicu.tabel
Type: Map
Konfigurasi pemicu berdasarkan tabel.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | Daftar nama tabel yang akan dipantau. |
condition |
String | Kondisi SQL yang harus dipenuhi untuk memicu pekerjaan. |
pekerjaan.pemicu.pembaruan_tabel
Type: Map
Konfigurasi pemicu berdasarkan pembaruan tabel.
| Key | Type | Description |
|---|---|---|
table_names |
Sequence | Daftar nama tabel yang akan dipantau pembaruannya. |
condition |
String | Kondisi SQL yang harus dipenuhi untuk memicu pekerjaan. |
wait_after_last_change_seconds |
Integer | Waktu tunggu dalam detik setelah pembaruan tabel terakhir sebelum memicu. |
pekerjaan.pemicu.berkala
Type: Map
Konfigurasi pemicu berkala.
| Key | Type | Description |
|---|---|---|
interval |
Integer | Nilai interval untuk pemicu berkala. |
unit |
String | Satuan waktu untuk interval. Nilai yang valid: HOURS, DAYS, WEEKS. |
pekerjaan.notifikasi_webhook
Type: Map
Pengaturan pemberitahuan webhook untuk pemrosesan pekerjaan.
| Key | Type | Description |
|---|---|---|
on_start |
Sequence | Daftar ID pemberitahuan webhook yang akan diinformasikan saat operasi dimulai. |
on_success |
Sequence | Daftar ID pemberitahuan webhook untuk notifikasi saat eksekusi berhasil. |
on_failure |
Sequence | Daftar ID pemberitahuan webhook untuk memberikan pemberitahuan ketika eksekusi gagal. |
on_duration_warning_threshold_exceeded |
Sequence | Daftar ID pemberitahuan webhook untuk diberi tahu ketika durasi eksekusi melebihi ambang batas peringatan. |
on_streaming_backlog_exceeded |
Sequence | Daftar ID pemberitahuan sistem untuk dipanggil ketika ambang batas backlog streaming terlampaui untuk aliran apa pun. Ambang batas backlog streaming dapat diatur di health bidang menggunakan metrik berikut: STREAMING_BACKLOG_BYTES, , STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSatau STREAMING_BACKLOG_FILES. Pemberitahuan didasarkan pada rata-rata 10 menit dari metrik ini. Jika masalah berlanjut, pemberitahuan akan dihentikan setiap 30 menit. Maksimal 3 tujuan dapat ditentukan. |
Examples
Contoh berikut mendefinisikan pekerjaan dengan kunci sumber daya hello-job dengan satu tugas buku catatan:
resources:
jobs:
hello-job:
name: hello-job
tasks:
- task_key: hello-task
notebook_task:
notebook_path: ./hello.py
Contoh berikut mendefinisikan pekerjaan dengan buku catatan SQL:
resources:
jobs:
job_with_sql_notebook:
name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
tasks:
- task_key: notebook
notebook_task:
notebook_path: ./select.sql
warehouse_id: 799f096837fzzzz4
Untuk contoh konfigurasi pekerjaan tambahan, lihat Konfigurasi pekerjaan.
Untuk informasi tentang menentukan tugas pekerjaan dan mengubah pengaturan pekerjaan, lihat:
model (warisan)
Type: Map
Sumber daya model memungkinkan Anda menentukan model lama dalam bentuk bundel. Databricks menyarankan Anda untuk menggunakan model yang terdaftar di Unity Catalog sebagai gantinya.
titik_akhir_penyajian_model
Type: Map
Sumber daya model_serving_endpoint memungkinkan Anda menentukan model yang melayani titik akhir. Lihat Kelola titik akhir penyajian model.
model_serving_endpoints:
<model_serving_endpoint-name>:
<model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
ai_gateway |
Map | Konfigurasi Gateway AI untuk titik akhir penyajian. CATATAN: Hanya model eksternal dan titik akhir throughput yang disediakan yang saat ini didukung. Lihat ai_gateway. Ditambahkan dalam Databricks CLI versi 0.230.0 |
budget_policy_id |
String | ID kebijakan anggaran yang akan digunakan untuk titik akhir ini. Ditambahkan dalam Databricks CLI versi 0.244.0 |
config |
Map | Konfigurasi inti dari titik akhir penyajian. Lihat konfigurasi. |
description |
String | Deskripsi untuk titik akhir penyajian. Ditambahkan di Databricks CLI versi 0.260.0 |
email_notifications |
Map | Konfigurasi pemberitahuan email untuk titik akhir penyajian. Lihat email_notifications. Ditambahkan dalam Databricks CLI versi 0.264.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama titik akhir layanan. Bidang ini diperlukan dan harus unik di seluruh ruang kerja Databricks. Nama titik akhir dapat terdiri dari karakter alfanumerik, tanda hubung, dan garis bawah. |
permissions |
Sequence | Model yang melayani izin titik akhir. Lihat izin. |
rate_limits |
Sequence | Deprecated. Batas tarif yang akan diterapkan ke titik akhir penyajian. Gunakan AI Gateway untuk mengelola batas tarif. |
route_optimized |
Boolean | Aktifkan pengoptimalan rute untuk titik akhir penyajian. |
tags |
Sequence | Tag yang akan dilampirkan ke titik akhir penyajian dan secara otomatis disebarluaskan ke log penagihan. |
model_serving_endpoint.email_notifications
Type: Map
Konfigurasi pemberitahuan email untuk titik akhir penyajian.
| Key | Type | Description |
|---|---|---|
on_update_failure |
Sequence | Daftar alamat email yang akan diberi tahu ketika titik akhir gagal memperbarui konfigurasi atau statusnya. |
on_update_success |
Sequence | Daftar alamat email yang akan diberi tahu ketika titik akhir berhasil memperbarui konfigurasi atau statusnya. |
model_serving_endpoint.ai_gateway
Type: Map
Konfigurasi Gateway AI untuk titik akhir penyajian.
| Key | Type | Description |
|---|---|---|
fallback_config |
Map | Konfigurasi untuk fallback lalu lintas yang mundur otomatis ke entitas lain yang dilayani jika permintaan ke entitas yang dilayani gagal dengan kode kesalahan tertentu, untuk meningkatkan ketersediaan. Lihat fallback_config. |
guardrails |
Map | Konfigurasi penjaga keselamatan. Lihat pagar pembatas. |
inference_table_config |
Map | Konfigurasi untuk pencatatan inferensi ke tabel Katalog Unity. Lihat inference_table_config. |
rate_limits |
Sequence | Konfigurasi batas kecepatan. |
usage_tracking_config |
Map | Konfigurasi untuk melacak penggunaan. Lihat usage_tracking_config. |
model_serving_endpoint.ai_gateway.fallback_config
Type: Map
Konfigurasi untuk fallback lalu lintas yang melakukan fallback otomatis ke entitas lain yang dilayani jika permintaan gagal dengan kode kesalahan tertentu.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Apakah fallback diaktifkan untuk titik akhir ini. |
model_serving_endpoint.gateway_ai.pembatas_guarda
Type: Map
Konfigurasi batasan gateway AI.
| Key | Type | Description |
|---|---|---|
input |
Map | Konfigurasi pagar pembatas input dengan bidang seperti safety, pii. |
output |
Map | Konfigurasi pagar pembatas output dengan bidang seperti safety, pii. |
invalid_keywords |
Sequence | Daftar kata kunci yang akan diblokir. |
model_serving_endpoint.ai_gateway.inference_table_config
Type: Map
Konfigurasi untuk pencatatan inferensi ke tabel Katalog Unity.
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Nama katalog di Katalog Unity. |
schema_name |
String | Nama skema di Katalog Unity. |
table_name_prefix |
String | Awalan untuk nama tabel inferensi. |
enabled |
Boolean | Apakah pengelogan tabel inferensi diaktifkan. |
model_serving_endpoint.ai_gateway.konfigurasi_pelacakan_penggunaan
Type: Map
Pengaturan gateway AI untuk pemantauan penggunaan.
| Key | Type | Description |
|---|---|---|
enabled |
Boolean | Apakah pelacakan penggunaan diaktifkan. |
model_serving_endpoint.config
Type: Map
Konfigurasi inti titik akhir layanan.
| Key | Type | Description |
|---|---|---|
served_entities |
Sequence | Daftar entitas yang dilayani untuk titik akhir yang akan dilayani. Setiap entitas yang dilayani berisi bidang seperti entity_name, , entity_versionworkload_size, scale_to_zero_enabled, workload_type, environment_vars. |
served_models |
Sequence | (Tidak digunakan lagi: gunakan served_entities sebagai gantinya) Daftar model yang dilayani agar titik akhir berfungsi. |
traffic_config |
Map | Konfigurasi lalu lintas yang menentukan bagaimana panggilan ke endpoint layanan akan dirutekan. Lihat traffic_config. |
model_serving_endpoint.config.pengaturan_lalu_lintas
Type: Map
Konfigurasi lalu lintas yang menentukan bagaimana panggilan ke endpoint layanan akan dirutekan.
| Key | Type | Description |
|---|---|---|
routes |
Sequence | Daftar rute untuk distribusi lalu lintas. Setiap rute berisi served_model_name dan traffic_percentage. |
Example
Contoh berikut mendefinisikan model Unity Catalog yang melayani titik akhir:
resources:
model_serving_endpoints:
uc_model_serving_endpoint:
name: 'uc-model-endpoint'
config:
served_entities:
- entity_name: 'myCatalog.mySchema.my-ads-model'
entity_version: '10'
workload_size: 'Small'
scale_to_zero_enabled: 'true'
traffic_config:
routes:
- served_model_name: 'my-ads-model-10'
traffic_percentage: '100'
tags:
- key: 'team'
value: 'data science'
pipeline
Type: Map
Alur didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.pipelines.
Sumber daya pipeline memungkinkan Anda membuat pipeline. Untuk informasi tentang alur, lihat Alur Deklaratif Spark. Untuk tutorial yang menggunakan templat Bundel Otomatisasi Deklaratif untuk membuat alur, lihat Mengembangkan alur dengan Bundel Otomatisasi Deklaratif.
pipelines:
<pipeline-name>:
<pipeline-field-name>: <pipeline-field-value>
| Key | Type | Description |
|---|---|---|
allow_duplicate_names |
Boolean | Jika "false", penyebaran akan gagal jika nama bertentangan dengan pipeline lain. Ditambahkan dalam Databricks CLI versi 0.261.0 |
budget_policy_id |
String | Kebijakan anggaran pipa ini. Ditambahkan dalam Databricks CLI versi 0.230.0 |
catalog |
String | Katalog di Unity Catalog untuk menerbitkan data dari alur ini ke. Jika target ditentukan, tabel dalam pipeline ini diterbitkan ke dalam skema target di dalam catalog (misalnya, catalog.target.table). Jika target tidak ditentukan, tidak ada data yang diterbitkan ke Katalog Unity. |
channel |
String | Saluran Rilis alur Lakeflow yang menentukan versi alur Lakeflow mana yang akan digunakan. |
clusters |
Sequence | Pengaturan kluster untuk penyebaran alur ini. Lihat kluster. |
configuration |
Map | Konfigurasi untuk eksekusi alur ini. |
continuous |
Boolean | Apakah alur berkelanjutan atau dipicu. Ini menggantikan trigger. |
deployment |
Map | Jenis penyebaran alur ini. Lihat penyebaran. |
development |
Boolean | Apakah alur dalam mode pengembangan. Secara default diatur ke false. |
dry_run |
Boolean | Apakah alur adalah alur dry run. |
edition |
String | Edisi produk pipa. |
environment |
Map | Spesifikasi lingkungan untuk alur ini digunakan untuk menginstal dependensi pada komputasi tanpa server. Lihat lingkungan. Kunci ini hanya didukung di Databricks CLI versi 0.258 ke atas. Ditambahkan dalam Databricks CLI versi 0.257.0 |
event_log |
Map | Konfigurasi log peristiwa untuk alur ini. Lihat event_log. Ditambahkan dalam Databricks CLI versi 0.246.0 |
filters |
Map | Filter yang menentukan paket alur mana yang akan disertakan dalam grafik yang disebarkan. Lihat filter. |
gateway_definition |
Map | Konfigurasi untuk alur gateway. Pengaturan ini tidak dapat digunakan dengan ingestion_definition setelan. |
id |
String | Pengidentifikasi unik untuk saluran ini. |
ingestion_definition |
Map | Konfigurasi untuk alur penyerapan terkelola. Pengaturan ini tidak dapat digunakan dengan pengaturan libraries, schema, target, atau catalog. Lihat ingestion_definition. |
libraries |
Sequence | Daftar library atau kode yang dibutuhkan untuk penyebaran ini. Lihat pipeline.libraries. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama yang mudah diingat untuk alur ini. |
notifications |
Sequence | Pengaturan pemberitahuan untuk alur ini. Lihat pemberitahuan. |
parameters |
Map | Parameter untuk alur ini, di mana setiap kunci adalah nama parameter dan nilainya adalah nilai parameter. |
permissions |
Sequence | Izin alur. Lihat izin. |
photon |
Boolean | Apakah Photon diaktifkan untuk alur ini. Kunci ini diabaikan jika serverless diatur ke true. |
restart_window |
Map | Menentukan jendela hidupkan ulang untuk alur ini. Alur dapat dimulai ulang dalam jendela ini tanpa tertinggal. |
root_path |
String | Jalur akar untuk alur ini. Ini digunakan sebagai direktori akar saat mengedit alur di antarmuka pengguna Databricks dan ditambahkan ke sys.path saat menjalankan sumber Python selama eksekusi alur. Ditambahkan di Databricks CLI versi 0.253.0 |
run_as |
Map | Identitas yang digunakan alur kerja. Jika tidak ditentukan, alur berjalan sebagai pengguna yang membuat alur. Hanya user_name atau service_principal_name dapat ditentukan. Jika keduanya ditentukan, kesalahan akan muncul. Lihat run_as.Ditambahkan dalam Databricks CLI versi 0.241.0 |
schema |
String | Skema default (database) tempat tabel dibaca atau diterbitkan. Ditambahkan dalam Databricks CLI versi 0.230.0 |
serverless |
Boolean | Apakah komputasi tanpa server diaktifkan untuk alur ini. |
storage |
String | Direktori akar DBFS untuk menyimpan titik pemeriksaan dan tabel. |
tags |
Map | Peta tag yang terkait dengan pipa. Ini diteruskan ke kluster sebagai tag kluster, dan karenanya tunduk pada batasan yang sama. Maksimal 25 tag dapat ditambahkan ke alur. Ditambahkan dalam Databricks CLI versi 0.256.0 |
target |
String | Skema target (database) untuk menambah tabel pada pipeline ini. Tepat salah satu dari schema atau target harus ditentukan. Untuk menerbitkan ke Katalog Unity, juga tentukan catalog. Bidang warisan ini tidak lagi digunakan untuk pembuatan alur kerja dan digantikan dengan bidang schema. |
usage_policy_id |
String | ID kebijakan penggunaan tanpa server yang akan digunakan untuk alur ini. Ditambahkan dalam Databricks CLI versi 0.273.0 |
pipeline.penyebaran
Type: Map
Konfigurasi jenis penyebaran untuk alur.
| Key | Type | Description |
|---|---|---|
kind |
String | Jenis implementasi. Contohnya, BUNDLE. |
metadata_file_path |
String | Jalur ke file metadata untuk penyebaran. |
pipeline.lingkungan
Type: Map
Spesifikasi lingkungan untuk menginstal dependensi pada komputasi tanpa server.
| Key | Type | Description |
|---|---|---|
dependencies |
Sequence | Daftar dependensi pip, seperti yang didukung oleh versi pip di lingkungan ini. Setiap dependensi adalah baris dalam file persyaratan pip. |
pipeline.event_log
Type: Map
Konfigurasi log peristiwa untuk alur.
| Key | Type | Description |
|---|---|---|
catalog |
String | Katalog Unity yang menerbitkan log peristiwa. |
name |
String | Nama log peristiwa diterbitkan di Katalog Unity. |
schema |
String | Skema Katalog Unity tempat log kejadian diterbitkan. |
saluran.penyaring
Type: Map
Filter yang menentukan paket alur mana yang akan disertakan dalam grafik yang disebarkan.
| Key | Type | Description |
|---|---|---|
include |
Sequence | Daftar nama paket yang akan disertakan. |
exclude |
Sequence | Daftar nama paket yang akan dikecualikan. |
pipeline.ingestion_definition
Type: Map
Konfigurasi untuk alur penyerapan terkelola. Pengaturan ini tidak dapat digunakan dengan pengaturan libraries, schema, target, atau catalog.
| Key | Type | Description |
|---|---|---|
connection_name |
String | Nama koneksi yang akan digunakan untuk penyerapan. Untuk membuat koneksi secara terprogram untuk konektor yang mendukung autentikasi khusus API, gunakan databricks connections create dalam skrip pra-penyebaran atau tugas pekerjaan. Lihat Penyebaran. |
connector_type |
String | Optional. Jenis konektor untuk sumber. Nilai yang berlaku adalah CDC atau QUERY_BASED.Ditambahkan dalam Databricks CLI versi 0.296.0 |
data_staging_options |
Map | Optional. Lokasi penyimpanan data bertahap. Ini diperlukan untuk migrasi dari alur penyerapan terkelola CDC dengan alur gateway ke alur penyerapan terkelola CDC gabungan. Jika tidak ditentukan, volume untuk data bertahap dibuat dalam katalog dan skema/target yang ditentukan dalam definisi alur tingkat atas. Ditambahkan dalam Databricks CLI versi 0.296.0 |
full_refresh_window |
Map | Optional. Jendela yang menentukan serangkaian rentang waktu untuk kueri rekam jepret di CDC. |
ingest_from_uc_foreign_catalog |
Boolean | Tetap. Jika diatur ke true, alur akan menyerap tabel dari katalog asing Unity Catalog secara langsung tanpa perlu menentukan koneksi Katalog Unity atau gateway penyerapan. Bidang source_catalog dalam objek IngestionConfig ditafsirkan sebagai katalog asing Unity Catalog untuk diserap.Ditambahkan dalam Databricks CLI versi 0.279.0 |
ingestion_gateway_id |
String | ID gateway penyerapan. |
objects |
Sequence | Dibutuhkan. Pengaturan yang menentukan tabel yang akan direplikasi dan tujuan untuk tabel yang direplikasi. Setiap objek dapat berupa SchemaSpec, TableSpec, atau ReportSpec. |
source_type |
String | Diperlukan saat menggunakan source_configurations. Menentukan jenis konektor (misalnya, POSTGRESQL, MYSQL). |
source_configurations |
Sequence | Parameter konfigurasi sumber pada tingkat katalog. Saat menggunakan bidang ini, Anda juga harus menentukan source_type. Lihat source_configurations. |
table_configuration |
Map | Konfigurasi untuk tabel penyerapan. Lihat table_configuration. |
SchemaSpec
Type: Map
Spesifikasi objek skema untuk menyerap semua tabel dari skema.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Nama skema sumber untuk diserap. |
destination_catalog |
String | Nama tujuan katalog di Unity Catalog. |
destination_schema |
String | Nama skema tujuan di Unity Catalog. |
table_configuration |
Map | Konfigurasi untuk diterapkan ke semua tabel dalam skema ini. Silakan lihat pipeline.ingestion_definition.table_configuration. |
TableSpec
Type: Map
Spesifikasi objek tabel untuk menyerap tabel tertentu.
| Key | Type | Description |
|---|---|---|
source_schema |
String | Nama skema sumber yang berisi tabel. |
source_table |
String | Nama tabel sumber yang akan dimasukkan. |
destination_catalog |
String | Nama tujuan katalog di Unity Catalog. |
destination_schema |
String | Nama skema tujuan di Unity Catalog. |
destination_table |
String | Nama tabel tujuan di Katalog Unity. |
table_configuration |
Map | Konfigurasi untuk tabel khusus ini. Silakan lihat pipeline.ingestion_definition.table_configuration. |
SpesifikasiLaporan
Type: Map
Melaporkan spesifikasi objek untuk menyerap laporan analitik.
| Key | Type | Description |
|---|---|---|
source_url |
String | URL laporan sumber. |
source_report |
String | Nama atau pengidentifikasi laporan sumber. |
destination_catalog |
String | Nama tujuan katalog di Unity Catalog. |
destination_schema |
String | Nama skema tujuan di Unity Catalog. |
destination_table |
String | Nama tabel tujuan untuk data laporan. |
table_configuration |
Map | Konfigurasi untuk tabel laporan. Silakan lihat pipeline.ingestion_definition.table_configuration. |
pipeline.ingestion_definition.source_configurations
Type: Sequence
Konfigurasi untuk sumber. Setiap elemen dalam urutan adalah Peta yang berisi konfigurasi tingkat katalog.
| Key | Type | Description |
|---|---|---|
catalog |
Map | Parameter konfigurasi sumber pada tingkat katalog. Lihat katalog. |
pipeline.ingestion_definition.source_configurations.catalog
Type: Map
Parameter konfigurasi sumber pada tingkat katalog
| Key | Type | Description |
|---|---|---|
postgres |
Map | Parameter konfigurasi tingkat katalog khusus Postgres. Berisi satu slot_config kunci yang mewakili Map konfigurasi slot Postgres yang akan digunakan untuk replikasi logis. |
source_catalog |
String | Nama katalog sumber. |
pipeline.definisi_pemasukan.konfigurasi_tabel
Type: Map
Opsi konfigurasi untuk tabel penyerapan.
| Key | Type | Description |
|---|---|---|
exclude_columns |
Sequence | Daftar nama kolom yang akan dikecualikan untuk pengambilan data. Ketika tidak ditentukan, include_columns sepenuhnya mengontrol kolom apa yang akan diserap. Ketika ditentukan, semua kolom lainnya, termasuk yang di masa depan, akan secara otomatis disertakan untuk pemrosesan. Bidang ini saling eksklusif dengan include_columns. |
include_columns |
Sequence | Daftar nama kolom yang akan disertakan untuk penyerapan. Ketika tidak ditentukan, semua kolom kecuali kolom di exclude_columns akan disertakan. Kolom mendatang akan disertakan secara otomatis. Ketika ditentukan, semua kolom lain di masa mendatang akan secara otomatis dikecualikan dari penyerapan. Bidang ini saling eksklusif dengan exclude_columns. |
primary_keys |
Sequence | Daftar nama kolom yang akan digunakan sebagai kunci utama untuk tabel. |
sequence_by |
Sequence | Nama kolom menentukan urutan logis peristiwa dalam data sumber. Alur Deklaratif Spark menggunakan urutan ini untuk menangani peristiwa perubahan yang tiba tidak berurutan. |
perpustakaan saluran
Type: Sequence
Menentukan daftar pustaka atau kode yang diperlukan oleh alur ini.
Setiap item dalam daftar adalah definisi:
| Key | Type | Description |
|---|---|---|
file |
Map | Jalur ke file yang menentukan alur dan disimpan di Databricks Repositori. Lihat pipeline.libraries.file. |
glob |
Map | Bidang terpadu untuk menyertakan kode sumber. Setiap entri dapat berupa jalur buku catatan, jalur file, atau jalur folder yang berakhir /**. Bidang ini tidak dapat digunakan bersama dengan notebook atau file. Lihat pipeline.libraries.glob. |
notebook |
Map | Jalur ke notebook yang menentukan alur dan disimpan di ruang kerja Databricks. Lihat pipeline.libraries.notebook. |
whl |
String | Bidang ini tidak digunakan lagi |
pipeline.libraries.file
Type: Map
Jalur ke file yang menentukan alur dan disimpan dalam Repositori Databricks.
| Key | Type | Description |
|---|---|---|
path |
String | Jalur absolut kode sumber. |
pipeline.libraries.glob
Type: Map
Bidang terpadu untuk menyertakan kode sumber. Setiap entri dapat berupa jalur buku catatan, jalur file, atau jalur folder yang berakhir /**. Bidang ini tidak dapat digunakan bersama dengan notebook atau file.
| Key | Type | Description |
|---|---|---|
include |
String | Kode sumber yang akan disertakan untuk alur |
jalur.perpustakaan.buku catatan
Type: Map
Jalur ke notebook yang menentukan alur dan disimpan di ruang kerja Databricks.
| Key | Type | Description |
|---|---|---|
path |
String | Jalur absolut kode sumber. |
pipeline.notifications
Type: Sequence
Pengaturan pemberitahuan untuk alur ini. Setiap item dalam urutan adalah konfigurasi pemberitahuan.
| Key | Type | Description |
|---|---|---|
alerts |
Sequence | Daftar pemberitahuan yang memicu pemberitahuan. Nilai yang valid meliputi on-update-success, on-update-failure, on-update-fatal-failure, on-flow-failure. |
email_recipients |
Sequence | Daftar alamat email untuk diberi tahu saat pemberitahuan yang dikonfigurasi dipicu. |
Example
Contoh berikut mendefinisikan alur dengan kunci sumber daya hello-pipeline:
resources:
pipelines:
hello-pipeline:
name: hello-pipeline
clusters:
- label: default
num_workers: 1
development: true
continuous: false
channel: CURRENT
edition: CORE
photon: false
libraries:
- notebook:
path: ./pipeline.py
Untuk contoh konfigurasi alur tambahan, lihat Konfigurasi alur.
postgres_branch
Type:Map
Sumber daya cabang Postgres memungkinkan Anda menentukan cabang Lakebase dalam bundel. Anda juga harus menentukan proyek Postgres dan titik akhir komputasi yang sesuai.
Ditambahkan dalam Databricks CLI versi 0.287.0
postgres_branches:
<postgres_branch-name>:
<postgres_branch-field-name>: <postgres_branches-field-value>
| Key | Type | Description |
|---|---|---|
branch_id |
String | ID yang digunakan untuk Cabang. Ini menjadi komponen akhir dari nama sumber daya cabang. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, development menjadi projects/my-app/branches/development.Ditambahkan dalam Databricks CLI versi 0.287.0 |
expire_time |
String | Tanda waktu kedaluwarsa absolut. Ketika diatur, cabang akan kedaluwarsa saat ini. Ditambahkan dalam Databricks CLI versi 0.287.0 |
is_protected |
Boolean | Ketika diatur ke true, melindungi cabang dari penghapusan dan reset. Titik akhir komputasi terkait dan proyek tidak dapat dihapus saat cabang dilindungi. Ditambahkan dalam Databricks CLI versi 0.287.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0 |
no_expiry |
Boolean | Nonaktifkan kedaluwarsa secara eksplisit. Ketika diatur ke true, cabang tidak akan kedaluwarsa. Jika diatur ke false, permintaan tidak valid; berikan ttl atau expire_time sebagai gantinya. Ditambahkan dalam Databricks CLI versi 0.287.0 |
parent |
String | Proyek tempat cabang ini akan dibuat. Format: projects/{project_id}Ditambahkan dalam Databricks CLI versi 0.287.0 |
replace_existing |
Boolean | Apakah akan mengganti cabang yang ada yang memiliki ID yang sama saat menyebarkan. Ditambahkan di Databricks CLI versi 1.0.0 |
source_branch |
String | Nama cabang sumber tempat cabang ini dibuat (silsilah data untuk pemulihan titik waktu). Jika tidak ditentukan, default ke cabang default proyek. Format: projects/{project_id}/branches/{branch_id}Ditambahkan dalam Databricks CLI versi 0.287.0 |
source_branch_lsn |
String | Nomor Urutan Log (LSN) pada cabang sumber tempat cabang ini dibuat. Ditambahkan dalam Databricks CLI versi 0.287.0 |
source_branch_time |
String | Titik waktu pada cabang sumber tempat cabang ini dibuat. Ditambahkan dalam Databricks CLI versi 0.287.0 |
ttl |
String | Durasi waktu hidup relatif. Ketika diatur, cabang akan kedaluwarsa pada creation_time + ttl. Ditambahkan dalam Databricks CLI versi 0.287.0 |
Example
Lihat contoh postgres_projects.
postgres_catalog
Type: Map
Sumber daya katalog Postgres memungkinkan Anda menentukan katalog Lakebase Postgres dalam bundel. Setiap katalog mengikat katalog Katalog Unity ke database Postgres di cabang Autoscaling Lakebase.
Ditambahkan di Databricks CLI versi 1.0.0
postgres_catalogs:
<postgres_catalog-name>:
<postgres_catalog-field-name>: <postgres_catalog-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | Cabang Lakebase Autoscaling yang mendukung katalog. Ditambahkan di Databricks CLI versi 1.0.0 |
catalog_id |
String | Dibutuhkan. ID katalog Katalog Unity untuk mengikat database Postgres. Ditambahkan di Databricks CLI versi 1.0.0 |
create_database_if_missing |
Boolean | Apakah akan membuat database Postgres jika belum ada. Ditambahkan di Databricks CLI versi 1.0.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan di Databricks CLI versi 1.0.0 |
postgres_database |
String | Dibutuhkan. Nama database Postgres yang akan diikat ke katalog. Ditambahkan di Databricks CLI versi 1.0.0 |
Example
resources:
postgres_projects:
project:
project_id: test-pg-project
display_name: Test Postgres Project
postgres_catalogs:
catalog:
catalog_id: test_catalog
branch: ${resources.postgres_projects.project.name}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_database
Type: Map
Sumber daya database Postgres memungkinkan Anda menentukan database Lakebase Postgres dalam bundel. Setiap database dibuat pada cabang Autoscaling Lakebase.
Ditambahkan dalam Databricks CLI versi 1.4.0
postgres_databases:
<postgres_database-name>:
<postgres_database-field-name>: <postgres_database-field-value>
| Key | Type | Description |
|---|---|---|
database_id |
String | Dibutuhkan. ID yang digunakan untuk database. Ini menjadi komponen akhir dari nama sumber daya database. Ditambahkan dalam Databricks CLI versi 1.4.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 1.4.0 |
parent |
String | Dibutuhkan. Cabang tempat database ini dibuat. Format: projects/{project_id}/branches/{branch_id}.Ditambahkan dalam Databricks CLI versi 1.4.0 |
postgres_database |
String | Nama database Postgres. Ditambahkan dalam Databricks CLI versi 1.4.0 |
replace_existing |
Boolean | Apakah akan mengganti database yang sudah ada yang memiliki ID yang sama saat menyebarkan. Ditambahkan dalam Databricks CLI versi 1.7.0 |
role |
String | Diperlukan untuk membuat. Nama sumber daya peran Postgres yang memiliki database. Format: projects/{project_id}/branches/{branch_id}/roles/{role_id}.Ditambahkan dalam Databricks CLI versi 1.4.0 |
Examples
resources:
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Database'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
owner:
parent: ${resources.postgres_branches.main.id}
role_id: app-owner
postgres_role: app_owner
postgres_databases:
my_database:
parent: ${resources.postgres_branches.main.id}
database_id: my-database
postgres_database: app_db
# The live API requires `role`. Declare an explicit role so the bundle is
# portable across users (the auto-created project-owner role's id is
# derived from the creator's identity).
role: ${resources.postgres_roles.owner.id}
postgres_endpoint
Type: Map
Sumber daya postgres_endpoints memungkinkan Anda menentukan titik akhir komputasi Lakebase dalam bundel. Anda juga harus menentukan proyek Lakebase dan cabang Lakebase yang sesuai.
Ditambahkan dalam Databricks CLI versi 0.287.0
postgres_endpoints:
<postgres_endpoint-name>:
<postgres_endpoint-field-name>: <postgres_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | Jumlah maksimum Unit Komputasi. Nilai minimum adalah 0,5. Ditambahkan dalam Databricks CLI versi 0.287.0 |
autoscaling_limit_min_cu |
Number | Jumlah minimum Unit Komputasi. Nilai minimum adalah 0,5. Ditambahkan dalam Databricks CLI versi 0.287.0 |
disabled |
Boolean | Apakah akan membatasi koneksi ke titik akhir komputasi. Mengaktifkan opsi ini menjadwalkan operasi komputasi yang ditangguhkan. Titik akhir komputasi yang dinonaktifkan tidak dapat diaktifkan oleh koneksi atau tindakan konsol. Ditambahkan dalam Databricks CLI versi 0.287.0 |
endpoint_id |
String | ID yang digunakan untuk Titik Akhir. Ini menjadi komponen akhir dari nama sumber daya titik akhir. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, primary menjadi projects/my-app/branches/development/endpoints/primary.Ditambahkan dalam Databricks CLI versi 0.287.0 |
endpoint_type |
String | Jenis titik akhir. Cabang hanya dapat memiliki satu titik akhir READ_WRITE. Nilai yang mungkin: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY.Ditambahkan dalam Databricks CLI versi 0.287.0 |
group |
Map | Konfigurasi grup titik akhir. Lihat postgres_endpoint.group. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0 |
no_suspension |
Boolean | Ketika diatur ke true, secara eksplisit menonaktifkan penangguhan otomatis (tidak pernah ditangguhkan). Harus diatur ke true ketika disediakan. Ditambahkan dalam Databricks CLI versi 0.287.0 |
parent |
String | Cabang tempat Titik Akhir ini akan dibuat. Format: projects/{project_id}/branches/{branch_id}Ditambahkan dalam Databricks CLI versi 0.287.0 |
replace_existing |
Boolean | Apakah akan mengganti titik akhir komputasi yang ada yang memiliki ID yang sama saat menyebarkan. Ditambahkan di Databricks CLI versi 1.0.0 |
settings |
Map | Kumpulan pengaturan untuk titik akhir komputasi. Ditambahkan dalam Databricks CLI versi 0.287.0 |
suspend_timeout_duration |
String | Durasi tidak aktif setelah titik akhir komputasi ditangguhkan secara otomatis. Jika ditentukan harus antara 60-an dan 604800s (1 menit hingga 1 minggu). Ditambahkan dalam Databricks CLI versi 0.287.0 |
postgres_endpoint.group
Type: Map
Konfigurasi grup titik akhir.
| Key | Type | Description |
|---|---|---|
enable_readable_secondaries |
Boolean | Apakah akan memperbolehkan koneksi baca-saja ke titik akhir baca-tulis. Hanya relevan untuk titik akhir baca-tulis di mana group.max > 1. |
max |
Integer | Dibutuhkan. Jumlah maksimum komputasi dalam grup titik akhir. Saat ini, ini harus sama dengan min. Atur ke 1 untuk titik akhir komputasi tunggal, untuk menonaktifkan Ketersediaan Tinggi (HA). Untuk menangguhkan semua komputasi secara manual dalam grup titik akhir, atur disabled ke true pada titik akhir. |
min |
Integer | Dibutuhkan. Jumlah minimum komputasi dalam grup titik akhir. Saat ini, ini harus sama dengan max. Ini harus lebih besar dari atau sama dengan 1. |
Example
Lihat contoh postgres_projects.
postgres_project
Type: Map
Sumber daya proyek Postgres memungkinkan Anda menentukan proyek database Postgres Autoscaling Lakebase dalam bundel. Anda juga harus menentukan cabang Postgres dan titik akhir komputasi yang sesuai.
Ditambahkan dalam Databricks CLI versi 0.287.0
postgres_projects:
<postgres_project-name>:
<postgres_project-field-name>: <postgres_project-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | ID kebijakan anggaran untuk proyek ini. |
custom_tags |
Sequence | Tag kustom untuk proyek ini. Lihat postgres_project.custom_tags. |
default_branch |
String | Cabang default untuk proyek, dalam format projects/{project_id}/branches/{branch_id}. |
default_endpoint_settings |
Map | Kumpulan pengaturan untuk titik akhir komputasi. Lihat postgres_project.default_endpoint_settings. Ditambahkan dalam Databricks CLI versi 0.287.0 |
display_name |
String | Nama proyek yang dapat dibaca manusia. Panjangnya harus antara 1 dan 256 karakter. Ditambahkan dalam Databricks CLI versi 0.287.0 |
enable_pg_native_login |
Boolean | Apakah akan mengaktifkan login Postgres asli untuk proyek. Ditambahkan dalam Databricks CLI versi 0.294.0 |
history_retention_duration |
String | Jumlah detik untuk mempertahankan riwayat bersama untuk pemulihan titik waktu untuk semua cabang dalam proyek ini. Nilai harus antara 0-an dan 2592000s (hingga 30 hari). Ditambahkan dalam Databricks CLI versi 0.287.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0 |
permissions |
Sequence | Izin untuk proyek Postgres. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.292.0 |
pg_version |
Integer | Nomor versi Postgres utama. Versi yang didukung adalah 16 dan 17. Ditambahkan dalam Databricks CLI versi 0.287.0 |
project_id |
String | ID yang digunakan untuk Project. Ini menjadi komponen akhir dari nama sumber daya proyek. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, my-app menjadi projects/my-app.Ditambahkan dalam Databricks CLI versi 0.287.0 |
purge_on_delete |
Boolean | Apakah akan menghapus menyeluruh data proyek saat dihapus. Ditambahkan dalam Databricks CLI versi 1.2.0 |
Contoh
resources:
postgres_projects:
my_db:
project_id: test-prod-app
display_name: 'Production Database'
pg_version: 17
postgres_branches:
main:
parent: ${resources.postgres_projects.my_db.id}
branch_id: main
is_protected: false
no_expiry: true
postgres_endpoints:
primary:
parent: ${resources.postgres_branches.main.id}
endpoint_id: primary
endpoint_type: ENDPOINT_TYPE_READ_WRITE
autoscaling_limit_min_cu: 0.5
autoscaling_limit_max_cu: 4
postgres_project.custom_tags
Type: Sequence
Daftar tag kustom untuk proyek.
| Key | Type | Description |
|---|---|---|
key |
String | Kunci tag kustom. |
value |
String | Nilai tag kustom. |
postgres_project.default_endpoint_settings
Type: Map
| Key | Type | Description |
|---|---|---|
autoscaling_limit_max_cu |
Number | Jumlah maksimum Unit Komputasi. Nilai minimum adalah 0,5. |
autoscaling_limit_min_cu |
Number | Jumlah minimum Unit Komputasi. Nilai minimum adalah 0,5. |
no_suspension |
Boolean | Ketika diatur ke true, secara eksplisit menonaktifkan penangguhan otomatis (tidak pernah ditangguhkan). Harus diatur ke true ketika disediakan. Bersifat saling eksklusif dengan suspend_timeout_duration. Saat memperbarui, gunakan spec.project_default_settings.suspension di update_mask. |
pg_settings |
Map | Representasi mentah pengaturan Postgres. |
suspend_timeout_duration |
String | Durasi tidak aktif setelah titik akhir komputasi ditangguhkan secara otomatis. Jika ditentukan harus antara 60-an dan 604800s (1 menit hingga 1 minggu). Bersifat saling eksklusif dengan no_suspension. Saat memperbarui, gunakan spec.project_default_settings.suspension di update_mask. |
postgres_role
Type: Map
Sumber daya peran Postgres memungkinkan Anda menentukan peran Lakebase Postgres dalam bundel. Setiap peran dibuat pada cabang Autoscaling Lakebase.
Ditambahkan dalam Databricks CLI versi 1.4.0
postgres_roles:
<postgres_role-name>:
<postgres_role-field-name>: <postgres_role-field-value>
| Key | Type | Description |
|---|---|---|
attributes |
Map | Atribut peran Postgres yang diekspos API yang diinginkan untuk dikaitkan dengan peran tersebut. Lihat postgres_role.attributes. Ditambahkan dalam Databricks CLI versi 1.4.0 |
auth_method |
String | Bagaimana peran diautentikasi saat menyambungkan ke Postgres. Jika dibiarkan tidak ditentukan, metode autentikasi yang bermakna berasal dari identity_type. Nilai yang valid adalah NO_LOGIN, PG_PASSWORD_SCRAM_SHA_256, LAKEBASE_OAUTH_V1.Ditambahkan dalam Databricks CLI versi 1.4.0 |
identity_type |
String | Jenis identitas terkelola Databricks yang diwakili peran ini. Biarkan kosong untuk membuat peran Postgres biasa yang tidak terkait dengan identitas Databricks. Nilai yang valid adalah USER, SERVICE_PRINCIPAL, GROUP.Ditambahkan dalam Databricks CLI versi 1.4.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 1.4.0 |
membership_roles |
Sequence | Peran standar yang peran ini adalah anggota. Ditambahkan dalam Databricks CLI versi 1.4.0 |
parent |
String | Dibutuhkan. Cabang tempat peran ini dibuat. Format: projects/{project_id}/branches/{branch_id}.Ditambahkan dalam Databricks CLI versi 1.4.0 |
postgres_role |
String | Nama peran Postgres. Diperlukan saat membuat peran. Untuk membuat peran Postgres yang didukung oleh identitas Databricks terkelola, postgres_role harus menjadi salah satu dari berikut ini:
Ditambahkan dalam Databricks CLI versi 1.4.0 |
replace_existing |
Boolean | Apakah akan mengganti peran yang ada yang memiliki ID yang sama saat menyebarkan. Ditambahkan dalam Databricks CLI versi 1.7.0 |
role_id |
String | Dibutuhkan. ID peran yang ditentukan pengguna; menjadi komponen akhir dari nama sumber daya peran. Harus 4-63 karakter, huruf kecil, angka, dan tanda hubung (RFC 1123). Ditambahkan dalam Databricks CLI versi 1.4.0 |
postgres_role.attributes
Type: Map
Atribut peran Postgres yang diekspos API yang diinginkan untuk dikaitkan dengan peran tersebut.
Ditambahkan dalam Databricks CLI versi 1.4.0
| Key | Type | Description |
|---|---|---|
bypassrls |
Boolean | Apakah peran melewati keamanan tingkat baris. |
createdb |
Boolean | Apakah peran dapat membuat database. |
createrole |
Boolean | Apakah peran dapat membuat, mengubah, menghilangkan, mengomentari, dan mengubah label keamanan peran lain. |
Examples
resources:
postgres_projects:
my_project:
project_id: my-pg-proj
display_name: 'Test Project for Role'
pg_version: 16
history_retention_duration: '604800s'
postgres_branches:
main:
parent: ${resources.postgres_projects.my_project.id}
branch_id: main
no_expiry: true
postgres_roles:
my_role:
parent: ${resources.postgres_branches.main.id}
role_id: my-role
postgres_role: app_role
attributes:
createdb: true
postgres_synced_table
Type: Map
Sumber daya tabel yang disinkronkan Postgres memungkinkan Anda menentukan tabel yang disinkronkan Lakebase Postgres dalam bundel. Setiap tabel yang disinkronkan terus mereplikasi tabel sumber Delta Katalog Unity ke dalam tabel Postgres pada instans Penskalaan Otomatis Lakebase.
Ditambahkan di Databricks CLI versi 1.0.0
postgres_synced_tables:
<postgres_synced_table-name>:
<postgres_synced_table-field-name>: <postgres_synced_table-field-value>
| Key | Type | Description |
|---|---|---|
branch |
String | Cabang Autoscaling Lakebase tempat tabel yang disinkronkan dibuat. Ditambahkan di Databricks CLI versi 1.0.0 |
create_database_objects_if_missing |
Boolean | Apakah akan membuat database logis tabel yang disinkronkan dan sumber daya skema jika belum ada. Ditambahkan di Databricks CLI versi 1.0.0 |
existing_pipeline_id |
String | ID untuk pipeline yang sudah ada. Jika ini diatur, tabel yang disinkronkan akan dikemas secara bin ke dalam alur yang telah direferensikan. Ini menghindari pembuatan alur baru dan memungkinkan berbagi komputasi yang ada. Dalam hal ini, scheduling_policy tabel yang sudah disinkronkan harus sesuai dengan kebijakan penjadwalan dari pipeline yang ada. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan.Ditambahkan di Databricks CLI versi 1.0.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan di Databricks CLI versi 1.0.0 |
new_pipeline_spec |
Map | Spesifikasi untuk jalur baru. Lihat postgres_synced_table.new_pipeline_spec. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan.Ditambahkan di Databricks CLI versi 1.0.0 |
postgres_database |
String | Nama database Postgres target untuk tabel yang disinkronkan. Ditambahkan di Databricks CLI versi 1.0.0 |
primary_key_columns |
Sequence | Daftar nama kolom yang membentuk kunci utama. Ditambahkan di Databricks CLI versi 1.0.0 |
scheduling_policy |
String | Kebijakan penjadwalan alur dasar tabel yang disinkronkan. Nilai yang valid adalah CONTINUOUS, TRIGGERED, SNAPSHOT.Ditambahkan di Databricks CLI versi 1.0.0 |
source_table_full_name |
String | Nama lengkap tabel sumber dalam format catalog.schema.table.Ditambahkan di Databricks CLI versi 1.0.0 |
synced_table_id |
String | Dibutuhkan. ID yang digunakan untuk tabel yang disinkronkan. Ditambahkan di Databricks CLI versi 1.0.0 |
timeseries_key |
String | Kunci deret waktu untuk menghilangkan duplikasi baris dengan kunci utama yang sama. Ditambahkan di Databricks CLI versi 1.0.0 |
postgres_synced_table.new_pipeline_spec
Type: Map
Spesifikasi untuk alur baru yang digunakan oleh tabel yang disinkronkan.
Ditambahkan di Databricks CLI versi 1.0.0
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | Kebijakan anggaran yang akan ditetapkan pada alur yang baru dibuat. |
storage_catalog |
String | Katalog untuk alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus menjadi katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta. |
storage_schema |
String | Skema alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus berada di katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta. |
Example
resources:
schemas:
pipeline_storage:
name: test_pipeline_storage
catalog_name: main
comment: 'Pipeline storage for the synced-table test'
postgres_projects:
my_project:
project_id: test-pg-proj
display_name: 'Test Project for Synced Table'
pg_version: 17
postgres_catalogs:
my_catalog:
catalog_id: lakebase_test
branch: ${resources.postgres_projects.my_project.id}/branches/production
postgres_database: appdb
create_database_if_missing: true
postgres_synced_tables:
my_table:
synced_table_id: ${resources.postgres_catalogs.my_catalog.catalog_id}.public.trips_synced
source_table_full_name: main.source_test.trips_source
primary_key_columns: ['tpep_pickup_datetime']
scheduling_policy: SNAPSHOT
postgres_database: appdb
branch: ${resources.postgres_projects.my_project.id}/branches/production
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: ${resources.schemas.pipeline_storage.catalog_name}
storage_schema: ${resources.schemas.pipeline_storage.name}
pemantau_kualitas (Katalog Unity)
Type: Map
Sumber daya quality_monitor memungkinkan Anda untuk mendefinisikan sebuah monitor tabel dalam Unity Catalog. Untuk informasi tentang pemantauan, lihat Pembuatan profil data.
quality_monitors:
<quality_monitor-name>:
<quality_monitor-field-name>: <quality_monitor-field-value>
| Key | Type | Description |
|---|---|---|
assets_dir |
String | Direktori untuk menyimpan aset pemantauan (misalnya dasbor, tabel metrik). |
baseline_table_name |
String | Nama tabel garis besar tempat metrik penyimpangan dihitung. Kolom dalam tabel yang dipantau juga harus ada dalam tabel garis besar. |
custom_metrics |
Sequence | Metrik kustom untuk dihitung pada tabel yang dipantau. Ini dapat berupa metrik agregat, metrik turunan (dari metrik agregat yang sudah dihitung), atau metrik penyimpangan (membandingkan metrik di seluruh jendela waktu). Lihat custom_metrics. |
inference_log |
Map | Konfigurasi untuk memantau log inferensi. Lihat inference_log. |
latest_monitor_failure_msg |
String | Pesan kesalahan terbaru untuk kegagalan pemantauan. Ini adalah bidang baca-saja yang diisi saat monitor gagal. Ditambahkan dalam Databricks CLI versi 0.264.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
notifications |
Map | Pengaturan pemberitahuan untuk monitor. Lihat pemberitahuan. |
output_schema_name |
String | Skema tempat tabel metrik output dibuat. |
schedule |
Map | Jadwal untuk memperbarui dan menyegarkan tabel metrik secara otomatis. Lihat jadwal. |
skip_builtin_dashboard |
Boolean | Apakah akan melewati pembuatan dasbor default yang meringkas metrik kualitas data. |
slicing_exprs |
Sequence | Daftar ekspresi kolom untuk mengiris data untuk analisis yang ditargetkan. Data dikelompokkan menurut setiap ekspresi secara independen, menghasilkan bagian tersendiri untuk setiap predikat dan pelengkapnya. Untuk kolom kardinalitas tinggi, hanya 100 nilai unik teratas berdasarkan frekuensi yang akan menghasilkan irisan. |
snapshot |
Map | Konfigurasi untuk memantau tabel rekam jepret. Lihat rekam jepret. |
table_name |
String | Nama lengkap tabel. Ditambahkan dalam Databricks CLI versi 0.235.0 |
time_series |
Map | Konfigurasi untuk memantau tabel rangkaian waktu. Lihat time_series. |
warehouse_id |
String | Argumen opsional untuk menentukan gudang untuk pembuatan dasbor. Jika tidak ditentukan, gudang pertama yang sedang berjalan akan digunakan. |
monitor_kualitas.metode_kustom
Type: Sequence
Daftar definisi metrik kustom.
Setiap item dalam daftar adalah CustomMetric:
| Key | Type | Description |
|---|---|---|
definition |
String | Templat Jinja untuk ekspresi SQL yang menentukan cara menghitung metrik. Lihat membuat definisi metrik. |
input_columns |
Sequence | Daftar nama kolom dalam tabel input yang harus dihitung metriknya. Dapat digunakan :table untuk menunjukkan bahwa metrik membutuhkan informasi dari beberapa kolom. |
name |
String | Nama metrik dalam tabel output. |
output_data_type |
String | Jenis keluaran dari metrik kustom. |
type |
String | Hanya bisa menjadi salah satu dari CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED, atau CUSTOM_METRIC_TYPE_DRIFT.
CUSTOM_METRIC_TYPE_AGGREGATE dan CUSTOM_METRIC_TYPE_DERIVED metrik dihitung pada satu tabel, sedangkan CUSTOM_METRIC_TYPE_DRIFT metrik membandingkan di antara tabel dasar dan tabel input, atau di antara dua rentang waktu berturut-turut.
|
pemantau_kualitas.log_inferensi
Type: Map
Konfigurasi untuk memantau log inferensi.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Granularitas waktu untuk mengumpulkan log inferensi (misalnya, ["1 day"]). |
model_id_col |
String | Nama kolom yang berisi ID model. |
prediction_col |
String | Nama kolom yang berisi prediksi. |
timestamp_col |
String | Nama kolom yang berisi tanda waktu. |
problem_type |
String | Jenis masalah pembelajaran mesin. Nilai yang valid meliputi PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION. |
label_col |
String | Nama kolom yang berisi label (kebenaran dasar). |
prediction_proba_col |
String | Nama kolom yang berisi probabilitas prediksi. |
kualitas_monitor.pemberitahuan
Type: Map
Pengaturan notifikasi untuk monitor.
| Key | Type | Description |
|---|---|---|
on_failure |
Map | Pengaturan pemberitahuan saat monitor gagal. Lihat on_failure. |
on_new_classification_tag_detected |
Map | Pengaturan pemberitahuan saat tag klasifikasi baru terdeteksi. Silakan lihat on_new_classification_tag_detected. |
quality_monitor.notifications.on_failure (digunakan untuk menentukan peringatan saat terjadi kesalahan)
Type: Map
Pengaturan pemberitahuan saat monitor gagal.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | Daftar alamat email untuk diberi tahu tentang kegagalan pemantauan. |
pemantau_kualitas.notifikasi.saat_tag_klasifikasi_baru_terdeteksi
Type: Map
Pengaturan pemberitahuan saat tag klasifikasi baru terdeteksi.
| Key | Type | Description |
|---|---|---|
email_addresses |
Sequence | Daftar alamat email yang akan diberi tahu saat tag klasifikasi baru terdeteksi. |
pengawasan_kualitas.jadwal
Type: Map
Jadwalkan untuk memperbarui dan menyegarkan tabel metrik secara otomatis.
| Key | Type | Description |
|---|---|---|
quartz_cron_expression |
String | Ekspresi Cron menggunakan sintaks Quartz. Misalnya, 0 0 8 * * ? berjalan setiap hari pada pukul 08.00 pagi. |
timezone_id |
String | Zona waktu untuk jadwal (misalnya, UTC, America/Los_Angeles). |
pause_status |
String | Apakah jadwal sedang dijeda? Nilai yang valid: PAUSED, UNPAUSED. |
monitor_kualitas.cuplikan
Type: Map
Konfigurasi untuk memantau tabel rekam jepret.
pemantauan_kualitas.serial_waktu
Konfigurasi untuk memantau tabel rangkaian waktu.
| Key | Type | Description |
|---|---|---|
granularities |
Sequence | Granularitas waktu untuk menggabungkan data rangkaian waktu (misalnya, ["30 minutes"]). |
timestamp_col |
String | Nama kolom yang berisi tanda waktu. |
Examples
Contoh berikut menentukan monitor kualitas untuk InferenceLog, TimeSeries, dan tipe profil Snapshot.
# InferenceLog profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 day]
model_id_col: model_id
prediction_col: prediction
label_col: price
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# TimeSeries profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
time_series:
granularities: [30 minutes]
timestamp_col: timestamp
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
# Snapshot profile type
resources:
quality_monitors:
my_quality_monitor:
table_name: dev.mlops_schema.predictions
output_schema_name: ${bundle.target}.mlops_schema
assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
snapshot: {}
schedule:
quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
timezone_id: UTC
Contoh berikut mengonfigurasi monitor kualitas dan pekerjaan pelatihan ulang model yang sesuai berdasarkan pemantauan:
# Quality monitoring workflow
resources:
quality_monitors:
mlops_quality_monitor:
table_name: ${bundle.target}.mlops_demo.predictions
output_schema_name: ${bundle.target}.mlops_demo
assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
inference_log:
granularities: [1 hour]
model_id_col: model_version
prediction_col: prediction
label_col: fare_amount
problem_type: PROBLEM_TYPE_REGRESSION
timestamp_col: inference_timestamp
schedule:
quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
timezone_id: UTC
jobs:
retraining_job:
name: ${bundle.target}-mlops_demo-monitoring-retraining-job
tasks:
- task_key: monitored_metric_violation_check
notebook_task:
notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
base_parameters:
env: ${bundle.target}
table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
metric_to_monitor: r2_score
metric_violation_threshold: 0.7
num_evaluation_windows: 24
num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold
- task_key: is_metric_violated
depends_on:
- task_key: monitored_metric_violation_check
condition_task:
op: EQUAL_TO
left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
right: 'true'
- task_key: trigger_retraining
depends_on:
- task_key: is_metric_violated
outcome: 'true'
run_job_task:
job_id: ${resources.jobs.model_training_job.id}
schedule:
quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
timezone_id: UTC
# To get notifications, provide a list of emails to the on_failure argument.
#
# email_notifications:
# on_failure:
# - someone@example.com
model_terdaftar (Katalog Unity)
Type: Map
Sumber daya model terdaftar memungkinkan Anda menentukan model di Unity Catalog. Untuk informasi mengenai model terdaftardi Unity Catalog
registered_models:
<registered_model-name>:
<registered_model-field-name>: <registered_model-field-value>
| Key | Type | Description |
|---|---|---|
aliases |
Sequence | Daftar alias yang terkait dengan model terdaftar. Lihat registered_model.alias. Ditambahkan dalam Databricks CLI versi 0.273.0 |
browse_only |
Boolean | Menunjukkan apakah prinsipal hanya dapat mengambil metadata untuk objek terkait melalui hak istimewa BROWSE ketika include_browse diaktifkan dalam permintaan. Ditambahkan dalam Databricks CLI versi 0.273.0 |
catalog_name |
String | Nama katalog tempat skema dan model terdaftar berada. |
comment |
String | Komentar yang dilampirkan pada model yang terdaftar. |
created_at |
Integer | Tanda waktu pembuatan model terdaftar dalam milidetik sejak zaman Unix. Ditambahkan dalam Databricks CLI versi 0.273.0 |
created_by |
String | Pengidentifikasi pengguna yang membuat model terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0 |
full_name |
String | Nama berjenjang tiga (sepenuhnya memenuhi syarat) dari model yang terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0 |
grants |
Sequence | Hibah yang terkait dengan model terdaftar. Lihat pemberian. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
metastore_id |
String | Pengidentifikasi unik metastore. Ditambahkan dalam Databricks CLI versi 0.273.0 |
name |
String | Nama model terdaftar. |
owner |
String | Identifikasi pengguna yang memiliki model yang terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0 |
schema_name |
String | Nama skema tempat model terdaftar berada. |
storage_location |
String | Lokasi penyimpanan di cloud tempat file data versi model disimpan. |
updated_at |
String | Tanda waktu pembaruan terakhir dari model terdaftar dalam milidetik sejak epoch Unix. Ditambahkan dalam Databricks CLI versi 0.273.0 |
updated_by |
String | Pengidentifikasi pengguna yang memperbarui model terdaftar terakhir kali. Ditambahkan dalam Databricks CLI versi 0.273.0 |
registered_model.alias
Type: Sequence
Daftar alias yang terkait dengan model terdaftar.
Setiap item dalam daftar adalah Alias:
| Key | Type | Description |
|---|---|---|
alias_name |
String | Nama alias, misalnya 'champion' atau 'latest_stable' |
catalog_name |
String | Nama katalog yang berisi versi model |
id |
String | Pengidentifikasi unik dari alias |
model_name |
String | Nama model terdaftar induk dari versi model, relatif terhadap skema induk |
schema_name |
String | Nama skema yang berisi versi model, relatif terhadap katalog induk |
version_num |
Integer | Nomor versi bilangan bulat dari versi model yang ditunjukkan alias ini. |
Example
Contoh berikut mendefinisikan model terdaftar di Unity Catalog:
resources:
registered_models:
model:
name: my_model
catalog_name: ${bundle.target}
schema_name: mlops_schema
comment: Registered model in Unity Catalog for ${bundle.target} deployment target
grants:
- privileges:
- EXECUTE
principal: account users
skema (Katalog Unity)
Type: Map
Skema didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.schemas.
Jenis sumber daya skema dapat memungkinkan Anda menentukan skema Unity Catalog untuk tabel dan aset lainnya dalam alur kerja dan jalur pemrosesan yang dibuat sebagai bagian dari suatu bundel. Skema, berbeda dari jenis sumber daya lainnya, memiliki batasan berikut:
- Pemilik sumber daya skema selalu menjadi pengguna penyebaran, dan tidak dapat diubah. Jika
run_asditentukan dalam bundel, elemen tersebut akan diabaikan oleh operasi pada skema. - Hanya bidang yang didukung oleh API pembuatan objek Skema yang sesuai yang tersedia untuk sumber daya skema. Misalnya,
enable_predictive_optimizationtidak didukung karena hanya tersedia di API pembaruan .
schemas:
<schema-name>:
<schema-field-name>: <schema-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Nama katalog induk. |
comment |
String | Deskripsi teks bentuk bebas yang disediakan pengguna. |
grants |
Sequence | Hibah yang terkait dengan skema. Lihat pemberian. |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama skema, relatif terhadap katalog induk. |
properties |
Map | Daftar properti kunci-nilai yang terhubung dengan skema. |
storage_root |
String | URL akar penyimpanan untuk tabel terkelola dalam skema. |
Examples
Contoh berikut mendefinisikan alur dengan kunci my_pipeline sumber daya yang membuat skema Katalog Unity dengan kunci my_schema sebagai target. Contoh ini menggunakan substitusi.
resources:
pipelines:
my_pipeline:
name: test-pipeline
libraries:
- notebook:
path: ../src/nb.ipynb
- file:
path: ../src/range.sql
development: true
catalog: ${resources.schemas.my_schema.catalog_name}
target: ${resources.schemas.my_schema.id}
schemas:
my_schema:
name: test-schema
catalog_name: main
comment: This schema was created by Declarative Automation Bundles.
Pemetaan pemberian hibah tingkat atas tidak didukung oleh Bundel Otomatisasi Deklaratif, jadi jika Anda ingin mengatur pemberian untuk skema, tentukan hibah untuk skema dalam schemas pemetaan. Untuk informasi selengkapnya tentang pemberian, lihat Tampilkan, berikan, dan cabut hak istimewa.
Contoh berikut mendefinisikan skema Unity Catalog dengan hibah:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
ruang_lingkup_rahasia
Type: Map
Sumber daya secret_scope memungkinkan Anda menentukan cakupan rahasia dalam satu paket. Untuk informasi tentang cakupan rahasia, lihat Manajemen rahasia.
Ditambahkan dalam Databricks CLI versi 0.252.0
secret_scopes:
<secret_scope-name>:
<secret_scope-field-name>: <secret_scope-field-value>
| Key | Type | Description |
|---|---|---|
backend_type |
String | Jenis backend yang akan digunakan untuk membuat cakupan. Jika tidak ditentukan, ini default ke DATABRICKS.Ditambahkan dalam Databricks CLI versi 0.252.0 |
keyvault_metadata |
Map | Metadata untuk cakupan rahasia jika backend_type adalah AZURE_KEYVAULT. Lihat keyvault_metadata.Ditambahkan dalam Databricks CLI versi 0.252.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama cakupan yang diminta oleh pengguna. Nama cakupan bersifat unik. Ditambahkan dalam Databricks CLI versi 0.252.0 |
permissions |
Sequence | Izin untuk diterapkan ke cakupan rahasia. Izin dikelola melalui cakupan rahasia ACL. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.252.0 |
secret_scope.keyvault_metadata
Type: Map
Metadata untuk cakupan rahasia yang didukung Azure Key Vault.
| Key | Type | Description |
|---|---|---|
resource_id |
String | ID sumber daya Azure dari Key Vault. |
dns_name |
String | Nama DNS Azure Key Vault. |
Examples
Contoh berikut mendefinisikan cakupan rahasia yang menggunakan backend penyimpanan kunci:
resources:
secret_scopes:
secret_scope_azure:
name: test-secrets-azure-backend
backend_type: 'AZURE_KEYVAULT'
keyvault_metadata:
resource_id: my_azure_keyvault_id
dns_name: my_azure_keyvault_dns_name
Contoh berikut menetapkan ACL kustom menggunakan cakupan dan izin rahasia:
resources:
secret_scopes:
my_secret_scope:
name: my_secret_scope
permissions:
- user_name: admins
level: WRITE
- user_name: users
level: READ
Untuk contoh bundel yang menunjukkan cara menentukan cakupan rahasia dan pekerjaan dengan tugas yang dibaca darinya dalam bundel, lihat bundle-contoh GitHub repositori.
sql_warehouse
Type: Map
Sumber daya gudang SQL memungkinkan Anda menentukan gudang SQL dalam bundel. Untuk informasi tentang gudang SQL, lihat pergudangan Data di Azure Databricks.
Ditambahkan di Databricks CLI versi 0.260.0
sql_warehouses:
<sql-warehouse-name>:
<sql-warehouse-field-name>: <sql-warehouse-field-value>
| Key | Type | Description |
|---|---|---|
auto_stop_mins |
Integer | Jumlah waktu dalam menit yang harus menganggur gudang SQL (misalnya, tanpa ada kueri yang berjalan), sebelum otomatis dimatikan. Nilai yang valid adalah 0, yang menunjukkan tidak ada autostop, atau lebih besar dari atau sama dengan 10. Defaultnya adalah 120. Ditambahkan di Databricks CLI versi 0.260.0 |
channel |
Map | Rincian saluran. Lihat saluran. Ditambahkan di Databricks CLI versi 0.260.0 |
cluster_size |
String | Ukuran kluster yang dialokasikan untuk gudang ini. Meningkatkan ukuran kluster Spark memungkinkan Anda menjalankan kueri yang lebih besar di dalamnya. Jika Anda ingin meningkatkan jumlah kueri bersamaan, atur max_num_clusters. Untuk nilai yang didukung, lihat cluster_size. Ditambahkan di Databricks CLI versi 0.260.0 |
creator_name |
String | Nama pengguna yang membuat gudang. Ditambahkan di Databricks CLI versi 0.260.0 |
enable_photon |
Boolean | Apakah gudang perlu menggunakan kluster yang dioptimalkan oleh Photon. Secara default diatur ke false. Ditambahkan di Databricks CLI versi 0.260.0 |
enable_serverless_compute |
Boolean | Apakah gudang harus menggunakan komputasi tanpa server. Ditambahkan di Databricks CLI versi 0.260.0 |
instance_profile_arn |
String | Deprecated. Profil instans yang digunakan untuk meneruskan peran IAM ke kluster. Ditambahkan di Databricks CLI versi 0.260.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
max_num_clusters |
Integer | Jumlah maksimum kluster yang akan dibuat autoscaler untuk menangani permintaan bersamaan. Nilai harus kurang dari atau sama dengan 30 dan lebih besar dari atau sama dengan min_num_clusters. Secara otomatis diatur ke min_clusters jika tidak diatur.Ditambahkan di Databricks CLI versi 0.260.0 |
min_num_clusters |
Integer | Jumlah minimum kluster yang tersedia yang akan dipertahankan untuk gudang SQL ini. Meningkatkan ini akan memastikan bahwa sejumlah besar kluster selalu berjalan dan oleh karena itu dapat mengurangi waktu awal dingin untuk permintaan baru. Ini mirip dengan core yang dicadangkan dan yang dapat dicabut di pengelola sumber daya. Nilai harus lebih besar dari 0 dan kurang dari atau sama dengan min(max_num_clusters, 30). Default ke 1. Ditambahkan di Databricks CLI versi 0.260.0 |
name |
String | Nama logis untuk kluster. Nama harus unik dalam organisasi dan kurang dari 100 karakter. Ditambahkan di Databricks CLI versi 0.260.0 |
permissions |
Sequence | Izin yang akan diterapkan ke gudang. Lihat izin. Ditambahkan di Databricks CLI versi 0.260.0 |
spot_instance_policy |
String | Perlukah menggunakan instans spot. Nilai yang valid adalah POLICY_UNSPECIFIED, COST_OPTIMIZED, RELIABILITY_OPTIMIZED. Defaultnya adalah COST_OPTIMIZED.Ditambahkan di Databricks CLI versi 0.260.0 |
tags |
Map | Sekumpulan tag kustom untuk gudang. Lihat sql_warehouse.tags. Ditambahkan di Databricks CLI versi 0.260.0 |
warehouse_type |
String | Jenis gudang. Nilai yang berlaku adalah PRO atau CLASSIC. Jika Anda ingin menggunakan komputasi tanpa server, atur bidang ini ke PRO dan atur juga bidang enable_serverless_compute ke true.Ditambahkan di Databricks CLI versi 0.260.0 |
sql_warehouse.channel
Type: Map
Konfigurasi saluran untuk gudang SQL.
| Key | Type | Description |
|---|---|---|
name |
String | Nama saluran. Nilai yang valid meliputi CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM. |
dbsql_version |
String | Versi DBSQL untuk saluran kustom. |
sql_warehouse.tags
Type: Map
Tag kustom untuk gudang SQL.
| Key | Type | Description |
|---|---|---|
custom_tags |
Sequence | Sekumpulan pasangan kunci-nilai yang mengidentifikasi tag pada semua sumber daya (misalnya, instans AWS dan volume EBS) yang terkait dengan gudang SQL ini. Jumlah tag harus kurang dari 45. |
Example
Contoh berikut mendefinisikan gudang SQL:
resources:
sql_warehouses:
my_sql_warehouse:
name: my_sql_warehouse
cluster_size: X-Large
enable_serverless_compute: true
max_num_clusters: 3
min_num_clusters: 1
auto_stop_mins: 60
warehouse_type: PRO
tags:
custom_tags:
- key: 'bizunit'
value: 'commercial'
- key: 'area'
value: 'marketing'
tabel_database_sinkronisasi
Type: Map
Sumber daya tabel database yang disinkronkan memungkinkan Anda menentukan tabel database Lakebase dalam bundel.
Untuk informasi tentang tabel database yang disinkronkan, lihat Lakebase Provisioned.
Ditambahkan dalam Databricks CLI versi 0.266.0
synced_database_tables:
<synced_database_table-name>:
<synced_database_table-field-name>: <synced_database_table-field-value>
| Key | Type | Description |
|---|---|---|
database_instance_name |
String | Nama instans database target. Ini diperlukan saat membuat tabel database yang disinkronkan di katalog standar. Ini bersifat opsional saat membuat tabel database yang disinkronkan di katalog terdaftar. Ditambahkan dalam Databricks CLI versi 0.266.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
logical_database_name |
String | Nama objek database Postgres target (database logis) untuk tabel ini. Ditambahkan dalam Databricks CLI versi 0.266.0 |
name |
String | Nama lengkap tabel, dalam formulir catalog.schema.table.Ditambahkan dalam Databricks CLI versi 0.266.0 |
spec |
Map | Spesifikasi tabel database. Lihat spesifikasi tabel database yang disinkronkan. Ditambahkan dalam Databricks CLI versi 0.266.0 |
synced_database_table.spec
Type: Map
Spesifikasi tabel database.
Ditambahkan dalam Databricks CLI versi 0.266.0
| Key | Type | Description |
|---|---|---|
create_database_objects_if_missing |
Boolean | Apakah akan membuat database logis tabel yang disinkronkan dan sumber daya skema jika belum ada. |
existing_pipeline_id |
String | ID untuk pipeline yang sudah ada. Jika ini diatur, tabel yang disinkronkan akan dikemas secara bin ke dalam alur yang telah direferensikan. Ini menghindari pembuatan alur baru dan memungkinkan berbagi komputasi yang ada. Dalam hal ini, scheduling_policy tabel yang sudah disinkronkan harus sesuai dengan kebijakan penjadwalan dari pipeline yang ada. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan. |
new_pipeline_spec |
Map | Spesifikasi untuk jalur baru. Lihat new_pipeline_spec. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan. |
primary_key_columns |
Sequence | Daftar nama kolom yang membentuk kunci utama. |
scheduling_policy |
String | Kebijakan penjadwalan untuk sinkronisasi. Nilai yang valid meliputi SNAPSHOT, CONTINUOUS, TRIGGERED. |
source_table_full_name |
String | Nama lengkap tabel sumber dalam format catalog.schema.table. |
timeseries_key |
String | Kunci deret waktu untuk menghilangkan duplikasi baris dengan kunci utama yang sama. |
synced_database_table.spec.new_pipeline_spec
Type: Map
Spesifikasi untuk alur baru yang digunakan oleh tabel database yang disinkronkan.
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | ID kebijakan anggaran yang akan ditetapkan pada alur yang baru dibuat. |
storage_catalog |
String | Katalog untuk alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus menjadi katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta. |
storage_schema |
String | Skema alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus berada di katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta. |
Examples
Contoh berikut menentukan tabel database yang disinkronkan dalam katalog database terkait:
resources:
database_instances:
my_instance:
name: my-instance
capacity: CU_1
database_catalogs:
my_catalog:
database_instance_name: my-instance
database_name: 'my_database'
name: my_catalog
create_database_if_not_exists: true
synced_database_tables:
my_synced_table:
name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'my_source_table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Contoh berikut menentukan tabel database yang disinkronkan di dalam katalog standar:
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.public.synced_table'
# database_instance_name is required for synced tables created in standard catalogs.
database_instance_name: 'my-database-instance'
# logical_database_name is required for synced tables created in standard catalogs:
logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
spec:
source_table_full_name: 'source_catalog.schema.table'
scheduling_policy: SNAPSHOT
primary_key_columns:
- my_pk_column
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'my_delta_catalog'
storage_schema: 'my_delta_schema'
Contoh ini membuat tabel database yang disinkronkan dan menyesuaikan jadwal alur untuk tabel tersebut. Ini mengasumsikan Anda sudah memiliki:
- Instans database bernama
my-database-instance - Katalog standar bernama
my_standard_catalog - Skema dalam katalog standar bernama
default - Tabel delta sumber bernama
source_delta.schema.customerdengan kunci primerc_custkey
resources:
synced_database_tables:
my_synced_table:
name: 'my_standard_catalog.default.my_synced_table'
database_instance_name: 'my-database-instance'
logical_database_name: 'test_db'
spec:
source_table_full_name: 'source_delta.schema.customer'
scheduling_policy: SNAPSHOT
primary_key_columns:
- c_custkey
create_database_objects_if_missing: true
new_pipeline_spec:
storage_catalog: 'source_delta'
storage_schema: 'schema'
jobs:
sync_pipeline_schedule_job:
name: sync_pipeline_schedule_job
description: 'Job to schedule synced database table pipeline.'
tasks:
- task_key: synced-table-pipeline
pipeline_task:
pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
schedule:
quartz_cron_expression: '0 0 0 * * ?'
vector_search_endpoint
Type: Map
Sumber daya vector_search_endpoint memungkinkan Anda menentukan titik akhir Pencarian AI dalam bundel. Untuk informasi tentang Pencarian AI, lihat Pencarian AI Databricks.
Note
Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan titik akhir pencarian vektor hanya didukung jika Anda menggunakan mesin penyebaran langsung.
Ditambahkan dalam Databricks CLI versi 0.298.0
vector_search_endpoints:
<vector_search_endpoint-name>:
<vector_search_endpoint-field-name>: <vector_search_endpoint-field-value>
| Key | Type | Description |
|---|---|---|
budget_policy_id |
String | ID kebijakan anggaran yang akan digunakan untuk titik akhir ini. Ditambahkan dalam Databricks CLI versi 0.298.0 |
endpoint_type |
String | Jenis titik akhir. Nilai yang berlaku adalah STORAGE_OPTIMIZED atau STANDARD.Ditambahkan dalam Databricks CLI versi 0.298.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.298.0 |
target_qps |
Integer | Kueri target per detik untuk titik akhir Pencarian AI. Ditambahkan dalam Databricks CLI versi 0.298.0 Ditambahkan dalam Databricks CLI versi 1.1.0 |
name |
String | Nama titik akhir Pencarian AI. Ditambahkan dalam Databricks CLI versi 0.298.0 |
permissions |
Sequence | Izin untuk diterapkan ke titik akhir Pencarian AI. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.298.0 |
Example
Contoh berikut mendefinisikan titik akhir Pencarian AI:
# databricks.yml
bundle:
name: vector-search-example
engine: direct # Vector Search requires the direct deployment engine
resources:
vector_search_endpoints:
my_vector_search_endpoint:
name: my_vector_search_endpoint
endpoint_type: STANDARD
vector_search_index
Type: Map
Sumber daya vector_search_index memungkinkan Anda menentukan indeks pencarian vektor dalam bundel. Untuk informasi tentang pencarian vektor, lihat Pencarian AI Databricks.
Ditambahkan dalam Databricks CLI versi 1.1.0
vector_search_indexes:
<vector_search_index-name>:
<vector_search_index-field-name>: <vector_search_index-field-value>
| Key | Type | Description |
|---|---|---|
delta_sync_index_spec |
Map | Spesifikasi untuk Indeks Sinkronisasi Delta. Diperlukan jika index_type adalah DELTA_SYNC. Lihat vector_search_index.delta_sync_index_spec.Ditambahkan dalam Databricks CLI versi 1.1.0 |
direct_access_index_spec |
Map | Spesifikasi untuk Indeks Akses Vektor Langsung. Diperlukan jika index_type adalah DIRECT_ACCESS. Lihat vector_search_index.direct_access_index_spec.Ditambahkan dalam Databricks CLI versi 1.1.0 |
endpoint_name |
String | Dibutuhkan. Nama titik akhir yang akan digunakan untuk melayani indeks. Ditambahkan dalam Databricks CLI versi 1.1.0 |
grants |
Sequence | Pemberian yang terkait dengan indeks pencarian vektor. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 1.1.0 |
index_subtype |
String | (Beta) Subjenis indeks. Nilai yang berlaku adalah HYBRID atau FULL_TEXT.
VECTOR tidak didukung.Ditambahkan dalam Databricks CLI versi 1.1.0 |
index_type |
String | Dibutuhkan. Jenis indeks. Nilai yang valid adalah:
|
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 1.1.0 |
name |
String | Dibutuhkan. Nama indeks. Ditambahkan dalam Databricks CLI versi 1.1.0 |
primary_key |
String | Dibutuhkan. Kunci utama indeks. Ditambahkan dalam Databricks CLI versi 1.1.0 |
vector_search_index.delta_sync_index_spec
Type: Map
Spesifikasi untuk Indeks Sinkronisasi Delta.
Ditambahkan dalam Databricks CLI versi 1.1.0
| Key | Type | Description |
|---|---|---|
columns_to_index |
Sequence | Optional. Alias untuk columns_to_sync. Pilih kolom yang akan disertakan dalam indeks vektor. Jika bidang ini kosong, semua kolom dari tabel sumber disertakan. Kolom kunci utama dan kolom sumber penyematan atau kolom vektor penyematan selalu disertakan. Hanya satu dari columns_to_sync atau columns_to_index yang dapat ditentukan. |
columns_to_sync |
Sequence | Optional. Pilih kolom yang akan disinkronkan dengan indeks vektor. Jika bidang ini kosong, semua kolom dari tabel sumber disinkronkan dengan indeks. Kolom kunci utama dan kolom sumber embedding atau kolom vektor embedding selalu disinkronisasi. |
embedding_source_columns |
Sequence | Kolom yang berisi sumber penyematan. |
embedding_vector_columns |
Sequence | Kolom yang berisi vektor penyematan. |
embedding_writeback_table |
String | Optional. Nama tabel Delta untuk menyinkronkan konten indeks vektor dan penyematan komputasi. |
pipeline_type |
String | Mode eksekusi alur. Nilai yang valid adalah:
|
source_table |
String | Nama tabel sumber. |
vector_search_index.direct_access_index_spec
Type: Map
Spesifikasi untuk Indeks Akses Vektor Langsung.
Ditambahkan dalam Databricks CLI versi 1.1.0
| Key | Type | Description |
|---|---|---|
embedding_source_columns |
Sequence | Kolom yang berisi sumber penyematan. Format harus array[double]. |
embedding_vector_columns |
Sequence | Kolom yang berisi vektor penyematan. Format harus array[double]. |
schema_json |
String | Skema indeks dalam format JSON. Jenis yang didukung adalah integer, , longfloat, double, boolean, string, date, timestamp. Jenis yang didukung untuk kolom vektor: array<float>, array<double>. |
Example
Contoh berikut mendefinisikan indeks pencarian vektor Sinkronisasi Delta:
resources:
vector_search_endpoints:
my_endpoint:
name: my-endpoint
endpoint_type: STANDARD
vector_search_indexes:
my_index:
name: main.default.my_index
endpoint_name: ${resources.vector_search_endpoints.my_endpoint.name}
primary_key: id
index_type: DELTA_SYNC
delta_sync_index_spec:
source_table: main.default.source
pipeline_type: TRIGGERED
grants:
- principal: data-engineers
privileges: [SELECT]
volume (Katalog Unity)
Type: Map
Volume didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.volumes.
Tipe sumber daya volume memungkinkan Anda menentukan serta membuat volume-volume Unity Catalog dalam sebuah bundel. Saat menyebarkan bundel dengan volume yang ditentukan, perhatikan bahwa:
- Volume tidak dapat direferensikan dalam
artifact_pathuntuk bundel hingga ada di ruang kerja. Oleh karena itu, jika Anda ingin menggunakan Bundel Otomatisasi Deklaratif untuk membuat volume, Anda harus terlebih dahulu menentukan volume dalam bundel, menyebarkannya untuk membuat volume, lalu mereferensikannya dalamartifact_pathpenyebaran berikutnya. - Volume-volume dalam bundel tidak diawali dengan awalan
dev_${workspace.current_user.short_name}ketika target penyebaran dikonfigurasi denganmode: development. Namun, Anda dapat mengonfigurasi awalan ini secara manual. Lihat preset kustom .
Ditambahkan dalam Databricks CLI versi 0.236.0
volumes:
<volume-name>:
<volume-field-name>: <volume-field-value>
| Key | Type | Description |
|---|---|---|
catalog_name |
String | Nama katalog skema dan volume. Ditambahkan dalam Databricks CLI versi 0.236.0 |
comment |
String | Komentar yang dilampirkan ke volume. Ditambahkan dalam Databricks CLI versi 0.236.0 |
grants |
Sequence | Hibah yang terkait dengan volume. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.236.0 |
lifecycle |
Map | Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0 |
name |
String | Nama volume. Ditambahkan dalam Databricks CLI versi 0.236.0 |
schema_name |
String | Nama skema tempat volume berada. Ditambahkan dalam Databricks CLI versi 0.236.0 |
storage_location |
String | Lokasi penyimpanan di cloud. Ditambahkan dalam Databricks CLI versi 0.236.0 |
volume_type |
String | Jenis volume, baik EXTERNAL atau MANAGED. Volume eksternal terletak di lokasi eksternal yang ditentukan. Volume terkelola terletak di lokasi default yang ditentukan oleh skema induk, atau katalog induk, atau metastore. Lihat Volume terkelola versus eksternal. |
Example
Contoh berikut membuat volume Katalog Unity dengan kunci my_volume_id:
resources:
volumes:
my_volume_id:
catalog_name: main
name: my_volume
schema_name: my_schema
Untuk contoh bundel yang menjalankan pekerjaan yang menulis ke file dalam volume Katalog Unity, lihat bundle-examples GitHub repositori.
Objek umum
Hibah
Type: Map
Mendefinisikan prinsipal dan hak istimewa yang akan diberikan kepada prinsipal tersebut. Untuk informasi selengkapnya tentang pemberian, lihat Tampilkan, berikan, dan cabut hak istimewa.
| Key | Type | Description |
|---|---|---|
principal |
String | Nama prinsipal yang akan diberikan hak istimewa. Ini bisa menjadi pengguna, grup, atau perwakilan layanan. |
privileges |
Sequence | Hak istimewa untuk diberikan kepada entitas yang ditentukan. Nilai yang valid bergantung pada jenis sumber daya (misalnya, , SELECT, MODIFY, CREATE, USAGEREAD_FILES, WRITE_FILES, EXECUTE, ALL_PRIVILEGES). |
Example
Contoh berikut mendefinisikan skema Unity Catalog dengan hibah:
resources:
schemas:
my_schema:
name: test-schema
grants:
- principal: users
privileges:
- SELECT
- principal: my_team
privileges:
- MANAGE
catalog_name: main
siklus hidup
Type: Map
Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan.
Ditambahkan dalam Databricks CLI versi 0.268.0
| Key | Type | Description |
|---|---|---|
prevent_destroy |
Boolean | Pengaturan siklus hidup untuk mencegah sumber daya dihancurkan. Ditambahkan dalam Databricks CLI versi 0.268.0 |
started |
Boolean | Pengaturan siklus hidup untuk menyebarkan sumber daya dalam mode mulai. Hanya didukung untuk aplikasi, kluster, dan sql_warehouses dalam mode penyebaran langsung. Ditambahkan di Databricks CLI versi 0.297.0 (aplikasi) Ditambahkan dalam Databricks CLI versi 1.1.0 (kluster) Ditambahkan dalam Databricks CLI versi 1.2.0 (sql_warehouses) |