Sumber daya Bundel Automation Deklaratif

Bundel Otomatisasi Deklaratif (sebelumnya dikenal sebagai Bundel Aset Databricks) memungkinkan Anda menentukan informasi tentang sumber daya Azure Databricks yang digunakan oleh bundel dalam pemetaan resources dalam konfigurasi bundel. Lihat referensi sumber daya.

Halaman ini menyediakan referensi konfigurasi untuk semua jenis sumber daya yang didukung untuk bundel dan menyediakan detail dan contoh untuk setiap jenis yang didukung. Untuk contoh tambahan, lihat contoh konfigurasi Bundel .

Skema JSON untuk bundel yang digunakan untuk memvalidasi konfigurasi YAML ada di repositori GitHub CLI Databricks.

Tip

Untuk menghasilkan YAML untuk sumber daya yang ada, gunakan perintah databricks bundle generate. Lihat databricks bundle generate.

Sumber daya yang didukung

Tabel berikut mencantumkan jenis sumber daya yang didukung untuk bundel (YAML dan Python, jika berlaku). Beberapa sumber daya dapat dibuat dengan menentukannya dalam bundel dan menyebarkan bundel, dan beberapa sumber daya hanya dapat dibuat dengan merujuk aset yang ada untuk disertakan dalam bundel.

Konfigurasi sumber daya mendefinisikan objek Databricks yang sesuai dengan objek Databricks REST API . Bidang permintaan buat objek REST API yang didukung, yang dinyatakan sebagai YAML, adalah kunci yang didukung sumber daya. Tautan ke dokumentasi untuk setiap objek terkait sumber daya ada dalam tabel di bawah ini.

Tip

Perintah databricks bundle validate mengembalikan peringatan jika properti sumber daya yang tidak diketahui ditemukan dalam file konfigurasi bundel.

Resource	dukungan Python	Objek REST API yang sesuai
siaga		Objek pemberitahuan
app		objek Aplikasi
katalog (Katalog Unity)		Objek katalog
cluster		objek Kluster
dashboard		objek Dasbor
database_catalog		Objek katalog database
database_instance		Objek instans database
experiment		objek eksperimen
external_location (Katalog Unity)		Objek lokasi eksternal
job	Pekerjaan	objek pekerjaan
model (warisan)		Model objek (warisan)
model_serving_endpoint		Model yang melayani objek titik akhir
pipeline	Pipelines	objek Alur
postgres_branch		Objek cabang Postgres
postgres_endpoint		Objek titik akhir komputasi Postgres
postgres_project		Objek proyek Postgres
quality_monitor		objek monitor kualitas
model_terdaftar (Katalog Unity)		objek model terdaftar
skema (Katalog Unity)	Skema	Skema objek
secret_scope		Objek cakupan rahasia
sql_warehouse		Objek gudang SQL
tabel_basis_data_sinkronisasi		Objek tabel database yang disinkronkan
volume (Katalog Unity)	Volume	objek Volume

siaga

Type: Map

Sumber daya pemberitahuan mendefinisikan pemberitahuan SQL (v2).

Ditambahkan dalam Databricks CLI versi 0.279.0

alerts:
  <alert-name>:
    <alert-field-name>: <alert-field-value>

Key	Type	Description
custom_description	String	Optional. Deskripsi kustom untuk pemberitahuan. Mendukung templat kumis. Ditambahkan dalam Databricks CLI versi 0.279.0
custom_summary	String	Optional. Ringkasan kustom untuk pemberitahuan. Mendukung templat kumis. Ditambahkan dalam Databricks CLI versi 0.279.0
display_name	String	Dibutuhkan. Nama tampilan pemberitahuan, misalnya, Example alert. Ditambahkan dalam Databricks CLI versi 0.279.0
evaluation	Map	Dibutuhkan. Konfigurasi evaluasi untuk peringatan. Lihat alert.evaluation. Ditambahkan dalam Databricks CLI versi 0.279.0
file_path	String	Jalur file lokal aset pemberitahuan. Ditambahkan dalam Databricks CLI versi 0.282.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.279.0
parent_path	String	Optional. Jalur ruang kerja dari folder yang berisi peringatan. Hanya dapat diatur ketika pembuatan, dan tidak dapat diperbarui. Contoh: /Users/someone@example.com. Ditambahkan dalam Databricks CLI versi 0.279.0
permissions	Sequence	Izin peringatan. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.279.0
query_text	String	Dibutuhkan. Teks kueri yang akan dijalankan, misalnya, SELECT 1. Ditambahkan dalam Databricks CLI versi 0.279.0
run_as	Map	Optional. Menentukan identitas yang akan digunakan untuk menjalankan pemberitahuan. Bidang ini memungkinkan Anda mengonfigurasi pemberitahuan untuk dijalankan sebagai pengguna atau perwakilan layanan tertentu. Lihat run_as. Untuk identitas pengguna: Atur user_name ke email pengguna ruang kerja aktif. Pengguna hanya dapat mengatur ini ke email mereka sendiri. Untuk entitas layanan: Tetapkan service_principal_name ke ID aplikasi. Memerlukan peran servicePrincipal/user. Jika tidak ditentukan, peringatan akan dijalankan sebagai pengguna yang mengajukan permintaan. Ditambahkan dalam Databricks CLI versi 0.279.0
schedule	Map	Dibutuhkan. Konfigurasi penjadwalan untuk peringatan. Lihat alert.schedule. Ditambahkan dalam Databricks CLI versi 0.279.0
warehouse_id	String	Dibutuhkan. ID gudang SQL yang dilampirkan ke pemberitahuan, misalnya, a7066a8ef796be84. Ditambahkan dalam Databricks CLI versi 0.279.0

penilaian.alert

Type: Map

Konfigurasi evaluasi untuk peringatan.

Key	Type	Description
comparison_operator	String	Operator yang digunakan untuk perbandingan dalam evaluasi peringatan.
empty_result_state	String	Status pemberitahuan jika hasilnya kosong. Hindari mengatur bidang ini ke UNKNOWN karena UNKNOWN status direncanakan tidak digunakan lagi.
notification	Map	Pengguna atau tujuan lain untuk memberi tahu saat pemberitahuan dipicu. Lihat alert.evaluation.notification.
source	Map	Kolom sumber dari hasil yang akan digunakan untuk mengevaluasi peringatan. Lihat alert.evaluation.source.
threshold	Map	Ambang batas yang digunakan untuk evaluasi pemberitahuan. Ini bisa berupa kolom atau nilai. Lihat alert.evaluation.threshold.

peringatan.evaluasi.pemberitahuan

Type: Map

Pengguna atau tujuan lain untuk memberi tahu saat pemberitahuan dipicu.

Key	Type	Description
notify_on_ok	Boolean	Optional. Apakah akan memberi tahu pelanggan langganan jika pemberitahuan kembali ke keadaan normal.
retrigger_seconds	Integer	Optional. Jumlah detik pemberitahuan menunggu setelah dipicu sebelum diizinkan untuk mengirim pemberitahuan lain. Jika diatur ke 0 atau dihilangkan, pemberitahuan tidak akan dikirim lebih lanjut setelah pemicu pertama. Mengatur nilai ini ke 1 memungkinkan alert mengirimkan notifikasi pada setiap evaluasi yang memenuhi kondisi, sehingga efektif selalu memicu ulang untuk tujuan pemberitahuan.
subscriptions	Sequence	Optional. Daftar langganan pemberitahuan yang tidak diurutkan. Lihat alert.evaluation.notification.subscriptions.

peringatan.evaluasi.notifikasi.langganan

Type: Sequence

Daftar langganan pemberitahuan yang tidak diurutkan.

Setiap item dalam daftar adalah AlertSubscription:

Key	Type	Description
destination_id	String	ID tujuan pemberitahuan.
user_email	String	Alamat email pengguna yang akan diberi tahu.

alerta.evaluasi.sumber

Type: Map

Sumber kolom dari hasil untuk digunakan dalam mengevaluasi peringatan.

Key	Type	Description
aggregation	String	Metode agregasi untuk diterapkan ke kolom sumber. Nilai yang valid adalah SUM, , COUNTCOUNT_DISTINCT, AVG, MEDIAN, MIN, , MAXSTDDEV
display	String	Nama tampilan untuk kolom sumber.
name	String	Nama kolom sumber dari hasil kueri.

peringatan.evaluasi.ambang

Type: Map

Ambang batas yang digunakan untuk evaluasi pemberitahuan, bisa berupa kolom atau nilai.

Key	Type	Description
column	Map	Referensi kolom untuk digunakan sebagai ambang batas. Lihat alert.evaluation.source.
value	Map	Nilai harfiah untuk digunakan sebagai ambang batas. Lihat alert.evaluation.threshold.value.

peringatan.evaluasi.ambang.nilai

Type: Map

Nilai harfiah untuk digunakan sebagai ambang batas. Tentukan salah satu jenis nilai berikut.

Key	Type	Description
bool_value	Boolean	Optional. Nilai Boolean untuk ambang batas, misalnya, true.
double_value	Double	Optional. Nilai numerik untuk ambang batas, misalnya, 1.25.
string_value	String	Optional. Nilai string untuk ambang batas, misalnya, test.

alert.schedule

Type: Map

Konfigurasi penjadwalan untuk peringatan.

Key	Type	Description
pause_status	String	Optional. Apakah jadwal ini dijeda atau tidak. Nilai yang valid: UNPAUSED, PAUSED. Standar: UNPAUSED.
quartz_cron_schedule	String	Dibutuhkan. Ekspresi cron menggunakan sintaks kuarsa yang menentukan jadwal untuk alur ini. Format kuarsa dijelaskan dalam format penjadwal kuarsa.
timezone_id	String	Dibutuhkan. Id zona waktu Java. Jadwal akan diselesaikan menggunakan zona waktu ini. Ini akan dikombinasikan dengan quartz_cron_schedule untuk menentukan jadwal. Lihat SET TIME ZONE untuk detailnya.

Examples

Contoh konfigurasi berikut mendefinisikan pemberitahuan dengan evaluasi sederhana:

resources:
  alerts:
    my_alert:
      display_name: my_alert
      evaluation:
        comparison_operator: EQUAL
        source:
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: select 2
      schedule:
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: Europe/Amsterdam
      warehouse_id: 799f096837fzzzz4

Contoh konfigurasi berikut menentukan pemberitahuan dengan izin yang mengevaluasi menggunakan agregasi dan mengirim pemberitahuan:

resources:
  alerts:
    my_alert:
      permissions:
        - level: CAN_MANAGE
          user_name: someone@example.com
      custom_summary: 'My alert'
      display_name: 'My alert'
      evaluation:
        comparison_operator: 'EQUAL'
        notification:
          notify_on_ok: false
          retrigger_seconds: 1
        source:
          aggregation: 'MAX'
          display: '1'
          name: '1'
        threshold:
          value:
            double_value: 2
      query_text: 'select 2'
      schedule:
        pause_status: 'UNPAUSED'
        quartz_cron_schedule: '44 19 */1 * * ?'
        timezone_id: 'Europe/Amsterdam'
      warehouse_id: 799f096837fzzzz4

aplikasi

Type: Map

Sumber daya aplikasi mendefinisikan aplikasi Databricks. Untuk informasi tentang Aplikasi Databricks, lihat Aplikasi Databricks.

Untuk menambahkan aplikasi, tentukan pengaturan untuk menentukan aplikasi, termasuk yang diperlukan source_code_path.

Tip

Anda dapat menginisialisasi bundel dengan aplikasi Streamlit Databricks menggunakan perintah berikut:

databricks bundle init https://github.com/databricks/bundle-examples --template-dir contrib/templates/streamlit-app

Ditambahkan dalam Databricks CLI versi 0.239.0

apps:
  <app-name>:
    <app-field-name>: <app-field-value>

Key	Type	Description
budget_policy_id	String	ID kebijakan anggaran untuk aplikasi. Ditambahkan dalam Databricks CLI versi 0.243.0
compute_size	String	Ukuran komputasi untuk aplikasi. Nilai yang valid adalah MEDIUM atau LARGE tetapi bergantung pada konfigurasi ruang kerja. Ditambahkan dalam Databricks CLI versi 0.273.0
config	Map	Perintah konfigurasi aplikasi dan variabel lingkungan. Lihat app.config. Ditambahkan dalam Databricks CLI versi 0.283.0
description	String	Deskripsi aplikasi. Ditambahkan dalam Databricks CLI versi 0.239.0
git_repository	Map	Konfigurasi repositori Git untuk penyebaran aplikasi. Ketika ditentukan, penyebaran dapat mereferensikan kode dari repositori ini dengan hanya memberikan referensi git (cabang, tag, atau penerapan). Lihat app.git_repository. Ditambahkan dalam Databricks CLI versi 0.290.0
git_source	Map	Konfigurasi sumber Git untuk penyebaran aplikasi. Menentukan referensi Git mana (cabang, tag, atau penerapan) yang akan digunakan saat menyebarkan aplikasi. Digunakan bersama dengan git_repository untuk menyebarkan kode langsung dari git. dalam source_code_pathgit_source menentukan jalur relatif ke kode aplikasi dalam repositori. Lihat app.git_source. Ditambahkan dalam Databricks CLI versi 0.290.0
lifecycle	Map	Perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama aplikasi. Nama hanya boleh berisi karakter alfanumerik huruf kecil dan tanda hubung. Ini harus unik dalam ruang kerja. Ditambahkan dalam Databricks CLI versi 0.239.0
permissions	Sequence	Izin aplikasi. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.239.0
resources	Sequence	Sumber daya komputasi aplikasi. Lihat app.resources. Ditambahkan dalam Databricks CLI versi 0.239.0
source_code_path	String	Jalur lokal ./app dari kode sumber aplikasi Databricks. Ditambahkan dalam Databricks CLI versi 0.239.0
telemetry_export_destinations	Sequence	Tujuan ekspor telemetri untuk aplikasi. Lihat app.telemetry_export_destinations. Ditambahkan dalam Databricks CLI versi 0.294.0
usage_policy_id	String	ID kebijakan penggunaan tanpa server yang akan digunakan untuk aplikasi ini. Ditambahkan dalam Databricks CLI versi 0.283.0
user_api_scopes	Sequence	Cakupan API pengguna. Ditambahkan dalam Databricks CLI versi 0.246.0

app.config

Perintah konfigurasi aplikasi dan variabel lingkungan. Lihat Mengonfigurasi eksekusi aplikasi Databricks dengan app.yaml.

Key	Type	Description
command	Sequence	Perintah untuk menjalankan aplikasi, misalnya ["streamlit", "run", "app.py"]
env	Sequence	Daftar name pasangan dan value yang menentukan variabel lingkungan aplikasi untuk diatur di lingkungan runtime aplikasi. Ini akan mengambil alih variabel lingkungan yang ditentukan dalam file app.yaml. Untuk informasi tentang variabel lingkungan aplikasi default, lihat Lingkungan Aplikasi Databricks. Variabel lingkungan tidak diatur hingga aplikasi dimulai.

app.git_repository

Type: Map

Konfigurasi repositori Git yang menentukan lokasi repositori.

Key	Type	Description
url	String	URL dari repositori Git.

app.git_source

Type: Map

Konfigurasi sumber Git untuk penyebaran aplikasi.

Key	Type	Description
branch	String	Cabang Git yang akan diperiksa.
commit	String	Sha komit Git yang akan diperiksa.
source_code_path	String	Jalur relatif ke kode sumber aplikasi dalam repositori Git. Jika tidak ditentukan, akar repositori digunakan.
tag	String	Tag Git yang akan diperiksa.

app.sumberdaya

Type: Sequence

Daftar sumber daya komputasi untuk aplikasi.

Setiap item dalam daftar adalah AppResource:

Key	Type	Description
app	Map	Nama dan izin aplikasi
description	String	Deskripsi sumber daya aplikasi.
database	Map	Pengaturan yang mengidentifikasi database Provisi Lakebase untuk digunakan. Lihat app.resources.database.
experiment	Map	Pengaturan yang mengidentifikasi eksperimen MLflow yang akan digunakan. Lihat app.resources.experiment.
genie_space	Map	Pengaturan yang mengidentifikasi Ruang Genie yang akan digunakan. Lihat app.resources.genie_space.
job	Map	Pengaturan yang mengidentifikasi sumber daya pekerjaan yang akan digunakan. Lihat app.resources.job.
name	String	Nama sumber daya aplikasi.
postgres	Map	Pengaturan yang mengidentifikasi database Lakebase Autoscaling untuk digunakan. Lihat app.resources.postgres.
secret	Map	Pengaturan yang mengidentifikasi sumber daya rahasia Azure Databricks untuk digunakan. Lihat app.resources.secret.
serving_endpoint	Map	Pengaturan yang mengidentifikasi model yang melayani sumber daya titik akhir untuk digunakan. Lihat app.resources.serving_endpoint.
sql_warehouse	Map	Pengaturan yang mengidentifikasi sumber daya gudang SQL untuk digunakan. Lihat app.resources.sql_warehouse.
uc_securable	Map	Pengaturan yang mengidentifikasi volume Katalog Unity untuk digunakan. Lihat app.resources.uc_securable.

aplikasi.sumberdaya.basisdata

Type: Map

Pengaturan yang mengidentifikasi database Lakebase untuk digunakan.

Key	Type	Description
database_name	String	Nama database.
instance_name	String	Nama instans database.
permission	String	Tingkat izin untuk database. Nilai yang valid adalah CAN_CONNECT_AND_CREATE.

app.resources.experiment

Type: Map

Pengaturan yang mengidentifikasi eksperimen MLflow yang akan digunakan.

Key	Type	Description
experiment_id	String	ID eksperimen MLflow.
permission	String	Tingkat izin untuk eksperimen. Nilai yang valid meliputi CAN_READ, CAN_EDIT, CAN_MANAGE.

app.resources.genie_space

Type: Map

Pengaturan yang mengidentifikasi Ruang Genie yang akan digunakan.

Key	Type	Description
name	String	Nama Genie Space.
permission	String	Tingkat izin untuk ruang kerja ini. Nilai yang valid meliputi CAN_VIEW, CAN_EDIT, CAN_MANAGE, CAN_RUN.
space_id	String	ID Genie Space, misalnya 550e8400-e29b-41d4-a716-999955440000.

app.resources.job

Type: Map

Pengaturan yang mengidentifikasi sumber daya pekerjaan yang akan digunakan.

Key	Type	Description
id	String	ID pekerjaan.
permission	String	Tingkat izin untuk pekerjaan tersebut. Nilai yang valid meliputi CAN_VIEW, CAN_MANAGE_RUN, CAN_MANAGE, IS_OWNER.

app.resources.postgres

Type: Map

Pengaturan yang mengidentifikasi database Lakebase Autoscaling untuk digunakan.

Key	Type	Description
branch	String	Nama cabang, misalnya, projects/proj-abc123/branches/branch-xyz789.
database	String	Nama instans database, misalnya, projects/proj-abc123/branches/branch-xyz789/databases/db-456.
permission	String	Tingkat izin untuk database. Nilai yang valid adalah CAN_CONNECT_AND_CREATE.

app.sumberdaya.rahasia

Type: Map

Pengaturan yang mengidentifikasi sumber daya rahasia Azure Databricks untuk digunakan.

Key	Type	Description
key	String	Kunci rahasia untuk memberikan izin.
permission	String	Tingkat izin untuk informasi rahasia. Nilai yang valid meliputi READ, WRITE, MANAGE.
scope	String	Nama ruang lingkup rahasia.

app.resources.titik_akhir_pelayanan

Type: Map

Pengaturan yang mengidentifikasi model yang melayani sumber daya titik akhir untuk digunakan.

Key	Type	Description
name	String	Nama titik akhir layanan.
permission	String	Tingkat izin untuk titik akhir layanan. Nilai yang valid meliputi CAN_QUERY, CAN_MANAGE, CAN_VIEW.

app.resources.sql_warehouse

Type: Map

Pengaturan yang mengidentifikasi gudang SQL untuk digunakan.

Key	Type	Description
id	String	ID gudang SQL.
permission	String	Tingkat izin untuk gudang SQL. Nilai yang valid meliputi CAN_USE, CAN_MANAGE, IS_OWNER.

app.sumberdaya.uc_securable

Type: Map

Pengaturan yang mengidentifikasi volume Katalog Unity untuk digunakan.

Key	Type	Description
permission	String	Tingkat izin untuk Katalog Unity yang dapat diamankan. Nilai yang berlaku adalah READ_VOLUME atau WRITE_VOLUME.
securable_full_name	String	Nama lengkap Katalog Unity yang dapat dijamin keamanannya dalam format catalog.schema.volume.
securable_type	String	Jenis objek dalam Unity Catalog yang dapat diamankan. Nilai yang valid adalah VOLUME.

app.telemetry_export_destinations

Type: Sequence

Daftar tujuan ekspor telemetri untuk aplikasi.

Ditambahkan dalam Databricks CLI versi 0.294.0

Setiap item dalam daftar adalah AppTelemetryExportDestination:

Key	Type	Description
unity_catalog	Map	Tujuan Katalog Unity untuk ekspor telemetri OTEL. Ditambahkan dalam Databricks CLI versi 0.294.0

Examples

Untuk tutorial yang membahas pembuatan bundel yang menentukan aplikasi, lihat Mengelola aplikasi Databricks menggunakan Bundel Otomatisasi Deklaratif.

Contoh berikut mendefinisikan aplikasi dasar:

resources:
  apps:
    hello_world_app:
      name: 'hello-world-app'
      source_code_path: . # This assumes the app source code is at the root of the project.
      description: 'A Databricks app'

Contoh berikut membuat aplikasi bernama my_app yang mengelola pekerjaan yang dibuat oleh bundel. Untuk contoh lengkapnya, lihat bundle-examples GitHub repositori.

resources:
  jobs:
    # Define a job in the bundle
    hello_world:
      name: hello_world
      tasks:
        - task_key: task
          spark_python_task:
            python_file: ../src/main.py
          environment_key: default

      environments:
        - environment_key: default
          spec:
            environment_version: '2'

  # Define an app that manages the job in the bundle
  apps:
    job_manager:
      name: 'job_manager_app'
      description: 'An app which manages a job created by this bundle'

      # The location of the source code for the app
      source_code_path: ../src/app

      # The resources in the bundle which this app has access to. This binds the resource in the app with the bundle resource.
      resources:
        - name: 'app-job'
          job:
            id: ${resources.jobs.hello_world.id}
            permission: 'CAN_MANAGE_RUN'

Konfigurasi yang sesuai app.yaml menentukan pengaturan untuk menjalankan aplikasi.

command:
  - flask
  - --app
  - app
  - run
  - --debug
env:
  - name: JOB_ID
    valueFrom: 'app-job'

Contoh berikut membuat aplikasi yang memiliki akses ke eksperimen MLflow yang dibuat oleh bundel:

resources:
  experiments:
    # Define an MLflow experiment in the bundle
    my_experiment:
      name: /Users/${workspace.current_user.userName}/my-app-experiment

  apps:
    my_ml_app:
      name: 'my-ml-app'
      description: 'An app with access to an MLflow experiment'
      source_code_path: ./app

      # Grant the app access to the MLflow experiment
      resources:
        - name: 'app-experiment'
          experiment:
            experiment_id: ${resources.experiments.my_experiment.id}
            permission: 'CAN_MANAGE'

Atau, contoh berikut menentukan aplikasi dengan konfigurasi kustom yang ditentukan dalam konfigurasi bundel:

resources:
  apps:
    my_app:
      name: my_app
      description: my_app_description
      source_code_path: ./app
      config:
        command: ['flask', '--app', 'app', 'run']
        env:
          - name: MY_ENV_VAR
            value: test_value
          - name: ANOTHER_VAR
            value: another_value

Contoh berikut mendefinisikan aplikasi dengan sumber daya Lakebase Autoscaling:

resources:
  apps:
    my_app:
      name: my-app
      source_code_path: .
      resources:
        - name: lakebase-db
          postgres:
            branch: projects/my-app/branches/production
            database: projects/my-app/branches/production/databases/db-xxxx-yyyyyyyy
            permission: CAN_CONNECT_AND_CREATE

catalogs

Type: Map

Sumber daya katalog memungkinkan Anda menentukan katalog (Unity Catalog) dalam bundel.

Note

Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan katalog hanya didukung jika Anda menggunakan mesin penyebaran langsung.

Ditambahkan dalam Databricks CLI versi 0.287.0

catalogs:
  <catalog-name>:
    <catalog-field-name>: <catalog-field-value>

Key	Type	Description
comment	String	Deskripsi teks bentuk bebas yang disediakan pengguna dari katalog. Ditambahkan dalam Databricks CLI versi 0.287.0
connection_name	String	Nama koneksi ke sumber data eksternal. Ditambahkan dalam Databricks CLI versi 0.287.0
grants	Sequence	Pemberian yang terkait dengan katalog. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.287.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0
name	String	Dibutuhkan. Nama dari katalog Ditambahkan dalam Databricks CLI versi 0.287.0
options	Objek	Peta properti kunci-nilai yang dilampirkan ke yang dapat diamankan. Ditambahkan dalam Databricks CLI versi 0.287.0
properties	Objek	Peta properti kunci-nilai yang dilampirkan ke yang dapat diamankan. Ditambahkan dalam Databricks CLI versi 0.287.0
provider_name	String	Nama penyedia berbagi delta. Katalog Berbagi Delta adalah katalog yang didasarkan pada berbagi Delta di server berbagi jarak jauh. Lihat Apa yang dimaksud dengan Delta Sharing?. Ditambahkan dalam Databricks CLI versi 0.287.0
share_name	String	Nama berbagi di bawah penyedia berbagi. Ditambahkan dalam Databricks CLI versi 0.287.0
storage_root	String	URL akar penyimpanan untuk tabel terkelola dalam katalog. Ditambahkan dalam Databricks CLI versi 0.287.0

Example

resources:
  catalogs:
    my_catalog:
      name: my_catalog
      comment: 'Catalog created by Declarative Automation Bundles'
      properties:
        purpose: 'Testing'
      grants:
        - principal: someone@example.com
          privileges:
            - USE_CATALOG
            - CREATE_SCHEMA

  schemas:
    my_schema:
      name: my_schema
      catalog_name: ${resources.catalogs.my_catalog.name}
      comment: 'Schema in custom catalog'

kluster

Type: Map

Sumber daya kluster mendefinisikan kluster.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

clusters:
  <cluster-name>:
    <cluster-field-name>: <cluster-field-value>

Key	Type	Description
apply_policy_default_values	Boolean	Ketika diatur ke true, nilai tetap dan default dari kebijakan akan digunakan untuk bidang yang dihilangkan. Ketika diatur ke false, hanya nilai tetap dari kebijakan yang akan diterapkan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
autoscale	Map	Parameter yang diperlukan untuk menskalakan kluster secara otomatis naik dan turun berdasarkan beban. Lihat skala otomatis. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
autotermination_minutes	Integer	Secara otomatis mengakhiri kluster setelah tidak aktif untuk waktu ini dalam hitung menit. Jika tidak diatur, kluster ini tidak akan dihentikan secara otomatis. Jika ditentukan, ambang batas harus antara 10 dan 10000 menit. Pengguna juga dapat mengatur nilai ini ke 0 untuk menonaktifkan penghentian otomatis secara eksplisit. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
aws_attributes	Map	Atribut yang terkait dengan kluster yang berjalan di Amazon Web Services. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat aws_attributes. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
azure_attributes	Map	Atribut yang terkait dengan kluster yang berjalan di Microsoft Azure. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat azure_attributes. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
cluster_log_conf	Map	Konfigurasi untuk mengirimkan log Spark ke tujuan penyimpanan jangka panjang. Lihat cluster_log_conf. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
cluster_name	String	Nama kluster yang diminta oleh pengguna. Ini tidak harus unik. Jika tidak ditentukan saat pembuatan, nama kluster akan menjadi string kosong. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
custom_tags	Map	Tag tambahan untuk sumber daya kluster. Databricks akan menandai semua sumber daya kluster (misalnya, instans AWS dan volume EBS) dengan tag ini selain default_tags. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
data_security_mode	String	Model tata kelola data yang akan digunakan saat mengakses data dari kluster. Nilai yang valid meliputi NONE, SINGLE_USER, USER_ISOLATION, LEGACY_SINGLE_USER, LEGACY_TABLE_ACL, LEGACY_PASSTHROUGH. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
docker_image	Map	Gambar docker kustom. Lihat docker_image. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
driver_instance_pool_id	String	ID opsional kumpulan instans tempat driver kluster berasal. Kluster kumpulan menggunakan kumpulan instans dengan id (instans*pool_id) jika kumpulan driver tidak ditetapkan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
driver_node_type_flexibility	Map	Konfigurasi jenis node fleksibel untuk node driver. Lihat cluster.driver_node_type_flexibility. Ditambahkan dalam Databricks CLI versi 0.285.0
driver_node_type_id	String	Jenis node dari driver Spark. Bidang ini bersifat opsional. Jika tidak diatur, jenis node driver diatur ke nilai node_type_id. Bidang ini, bersama dengan node_type_id, tidak boleh diatur jika virtual_cluster_size diatur. Jika , driver_node_type_id, node_type_iddan virtual_cluster_size ditentukan, driver_node_type_id dan node_type_id diutamakan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
enable_elastic_disk	Boolean	Autoscaling Local Storage: ketika diaktifkan, kluster ini akan secara dinamis memperoleh ruang disk tambahan ketika pekerja Spark-nya hampir kehabisan ruang disk. Fitur ini memerlukan izin AWS tertentu agar berfungsi dengan benar - lihat Panduan Pengguna untuk detail selengkapnya. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
enable_local_disk_encryption	Boolean	Apakah akan mengaktifkan LUKS pada disk lokal VM kluster. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
gcp_attributes	Map	Atribut yang terkait dengan kluster yang berjalan di Google Cloud Platform. Jika tidak ditentukan pada pembuatan kluster, sekumpulan nilai default akan digunakan. Lihat gcp_attributes. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
init_scripts	Sequence	Konfigurasi untuk penyimpanan skrip init. Sejumlah tujuan dapat ditentukan. Skrip dijalankan secara berurutan dalam urutan yang disediakan. Lihat init_scripts. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
instance_pool_id	String	ID opsional kumpulan instans tempat kluster berada. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
is_single_node	Boolean	Bidang ini hanya dapat digunakan ketika kind = CLASSIC_PREVIEW. Ketika diatur ke true, Databricks akan secara otomatis mengatur simpul tunggal terkait custom_tags, spark_conf, dan num_workers. Ditambahkan dalam Databricks CLI versi 0.237.0
kind	String	Jenis komputasi yang dijelaskan oleh spesifikasi komputasi ini. Ditambahkan dalam Databricks CLI versi 0.237.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
node_type_id	String	Bidang ini mengkodekan, melalui satu nilai, sumber daya yang tersedia untuk masing-masing node Spark di kluster ini. Misalnya, node Spark dapat disediakan dan dioptimalkan untuk beban kerja yang intensif memori atau komputasi. Daftar jenis node yang tersedia dapat diambil dengan menggunakan API Jenis node daftar. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
num_workers	Integer	Jumlah node pekerja yang seharusnya dimiliki oleh klaster ini. Kluster memiliki satu Driver Spark dan num_workers Eksekutor untuk total num_workers + 1 simpul Spark. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
permissions	Sequence	Izin kluster. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
policy_id	String	ID kebijakan kluster yang digunakan untuk membuat kluster jika berlaku. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
remote_disk_throughput	Integer	Throughput disk jarak jauh dalam byte per detik. Ditambahkan dalam Databricks CLI versi 0.257.0
runtime_engine	String	Menentukan mesin runtime kluster, baik STANDARD atau PHOTON. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
single_user_name	String	Nama pengguna tunggal jika data*security_mode adalah SINGLE_USER. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
spark_conf	Map	Objek yang berisi set pasangan kunci-nilai konfigurasi Spark opsional yang ditentukan pengguna. Pengguna juga dapat meneruskan serangkaian opsi JVM tambahan ke driver dan pelaksana melalui spark.driver.extraJavaOptions dan spark.executor.extraJavaOptions masing-masing. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
spark_env_vars	Map	Objek yang berisi set pasangan kunci-nilai variabel lingkungan opsional yang ditentukan pengguna. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
spark_version	String	Versi Spark dari kluster, misalnya 3.3.x-scala2.11. Daftar versi Spark yang tersedia dapat diambil dengan menggunakan API Daftar versi Spark yang tersedia. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
ssh_public_keys	Sequence	Konten kunci publik SSH yang akan ditambahkan ke setiap simpul Spark dalam kluster ini. Kunci privat yang sesuai dapat digunakan untuk masuk dengan nama ubuntu pengguna di port 2200. Hingga 10 kunci dapat ditentukan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
total_initial_remote_disk_size	Integer	Total ukuran disk jarak jauh awal dalam byte. Ditambahkan dalam Databricks CLI versi 0.257.0
use_ml_runtime	Boolean	Bidang ini hanya dapat digunakan ketika kind = CLASSIC_PREVIEW. effective_spark_version ditentukan oleh spark_version (Rilis Runtime Databricks), bidang use_ml_runtime ini, dan apakah node_type_id simpul GPU atau tidak. Ditambahkan dalam Databricks CLI versi 0.237.0
worker_node_type_flexibility	Map	Konfigurasi jenis node fleksibel untuk simpul pekerja. Lihat cluster.worker_node_type_flexibility. Ditambahkan dalam Databricks CLI versi 0.285.0
workload_type	Map	Atribut Kluster yang menunjukkan jenis beban kerja kluster. Lihat workload_type. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

cluster.autoscale

Type: Map

Parameter untuk menskalakan kluster secara otomatis ke atas dan ke bawah berdasarkan beban.

Key	Type	Description
min_workers	Integer	Jumlah minimum pekerja yang dapat dicapai kluster saat skala diturunkan karena kurangnya pemanfaatan. Ini juga merupakan jumlah awal pekerja yang akan dimiliki kluster setelah pembuatan.
max_workers	Integer	Jumlah maksimum pekerja yang dapat ditingkatkan skala klusternya ketika kelebihan beban. max_workers harus benar-benar lebih besar dari min_workers.

cluster.aws_attributes

Type: Map

Atribut yang terkait dengan kluster yang berjalan di Amazon Web Services.

Key	Type	Description
zone_id	String	Pengidentifikasi untuk zona ketersediaan/pusat data tempat kluster berada. String ini akan berupa bentuk seperti us-west-2a.
availability	String	Jenis ketersediaan yang digunakan untuk semua simpul berikutnya melewati simpul first_on_demand. Nilai yang valid adalah SPOT, ON_DEMAND, SPOT_WITH_FALLBACK.
spot_bid_price_percent	Integer	Harga maksimum untuk instans spot AWS, sebagai persentase dari harga sesuai permintaan jenis instans yang sesuai.
instance_profile_arn	String	Simpul untuk kluster ini hanya akan ditempatkan pada instans AWS yang memiliki profil instans tersebut.
first_on_demand	Integer	Node-node pertama first_on_demand dari kluster akan ditempatkan pada instans on-demand. Nilai ini harus lebih besar dari 0, untuk memastikan node driver kluster ditempatkan pada instans sesuai permintaan.
ebs_volume_type	String	Jenis volume EBS yang akan diluncurkan dengan kluster ini. Nilai yang valid adalah: GENERAL_PURPOSE_SSD atau THROUGHPUT_OPTIMIZED_HDD.
ebs_volume_count	Integer	Jumlah volume yang diluncurkan untuk setiap instance.
ebs_volume_size	Integer	Ukuran setiap volume EBS (dalam GiB) yang diluncurkan untuk setiap instance.
ebs_volume_iops	Integer	Jumlah IOPS per volume EBS gp3.
ebs_volume_throughput	Integer	Throughput dari volume EBS gp3, dalam MiB per detik.

cluster.azure_attributes

Type: Map

Atribut yang terkait dengan kluster yang berjalan di Microsoft Azure.

Key	Type	Description
first_on_demand	Integer	Node-node pertama first_on_demand dari kluster akan ditempatkan pada instans on-demand.
availability	String	Jenis ketersediaan yang digunakan untuk semua simpul berikutnya melewati simpul first_on_demand. Nilai yang valid adalah SPOT_AZURE, ON_DEMAND_AZURE, SPOT_WITH_FALLBACK_AZURE.
spot_bid_max_price	Number	Harga maksimum untuk instans spot Azure. Gunakan -1 untuk menentukan harga terendah.
log_analytics_info	Map	Konfigurasi untuk agen Azure Log Analytics. Lihat log_analytics_info.

cluster.azure_attributes.log_analytics_info

Type: Map

Konfigurasi untuk agen Azure Log Analytics.

Key	Type	Description
log_analytics_workspace_id	String	ID ruang kerja Azure Log Analytics.
log_analytics_primary_key	String	Kunci utama untuk ruang kerja Azure Log Analytics.

cluster.gcp_attributes

Type: Map

Atribut yang terkait dengan kluster yang berjalan di Google Cloud Platform.

Key	Type	Description
use_preemptible_executors	Boolean	Apakah akan menggunakan pelaksana yang dapat diduga sebelumnya. Eksekutor preemptible adalah instans GCE preemptible yang dapat diambil kembali oleh GCE kapan saja.
google_service_account	String	Akun layanan Google yang akan digunakan oleh instans VM kluster Databricks.
local_ssd_count	Integer	Jumlah SSD lokal yang akan dilampirkan ke setiap simpul dalam kluster. Nilai defaultnya adalah 0.
zone_id	String	Pengidentifikasi untuk zona ketersediaan/pusat data tempat kluster berada.
availability	String	Jenis ketersediaan yang digunakan untuk semua simpul. Nilai yang valid adalah PREEMPTIBLE_GCP, ON_DEMAND_GCP, PREEMPTIBLE_WITH_FALLBACK_GCP.
boot_disk_size	Integer	Ukuran disk boot dalam GB. Nilai biasanya berkisar antara 100 hingga 1000.

cluster.cluster_log_conf (konfigurasi log untuk cluster)

Konfigurasi untuk mengirimkan log Spark ke tujuan penyimpanan jangka panjang.

Key	Type	Description
dbfs	Map	Lokasi DBFS untuk pengiriman log kluster. Lihat dbfs.
s3	Map	Lokasi S3 untuk pengiriman log kluster. Lihat s3.
volumes	Map	Lokasi volume untuk pengiriman catatan kluster. Lihat volume.

cluster.cluster_log_conf.dbfs

Type: Map

Lokasi DBFS untuk pengiriman log kluster.

Key	Type	Description
destination	String	Jalur DBFS untuk pengiriman log kluster (misalnya, dbfs:/cluster-logs).

cluster.cluster_log_conf.s3

Type: Map

Lokasi S3 untuk pengiriman log kluster.

Key	Type	Description
destination	String	URI S3 untuk pengiriman log kluster (misalnya, s3://my-bucket/cluster-logs).
region	String	Wilayah AWS wadah S3.
endpoint	String	URL titik akhir S3 (opsional).
enable_encryption	Boolean	Apakah akan mengaktifkan enkripsi untuk log kluster.
encryption_type	String	Jenis enkripsi. Nilai yang valid meliputi SSE_S3, SSE_KMS.
kms_key	String	Kunci KMS ARN untuk enkripsi (saat menggunakan SSE_KMS).
canned_acl	String	ACL default untuk diterapkan ke log kluster.

cluster.cluster_log_conf.volumes

Type: Map

Lokasi volume untuk pengiriman catatan kluster.

Key	Type	Description
destination	String	Jalur volume untuk pengiriman log kluster (misalnya, /Volumes/catalog/schema/volume/cluster_log).

cluster.docker_image

Type: Map

Konfigurasi gambar Docker kustom.

Key	Type	Description
url	String	URL gambar Docker.
basic_auth	Map	Autentikasi dasar untuk repositori Docker. Lihat basic_auth.

cluster.docker_image.autentikasi_dasar

Type: Map

Autentikasi dasar untuk repositori Docker.

Key	Type	Description
username	String	Nama pengguna untuk autentikasi registri Docker.
password	String	Kata sandi untuk autentikasi registri Docker.

skrip_inisialisasi_klaster

Type: Map

Konfigurasi untuk penyimpanan skrip init. Setidaknya satu jenis lokasi harus ditentukan.

Key	Type	Description
dbfs	Map	Lokasi skrip inisialisasi DBFS. Lihat dbfs.
workspace	Map	Lokasi ruang kerja skrip init. Lihat ruang kerja .
s3	Map	Lokasi S3 skrip inisialisasi. Lihat s3.
abfss	Map	Lokasi skrip init ABFSS. Lihat abfss.
gcs	Map	Lokasi skrip inisialisasi di GCS. Lihat gcs.
volumes	Map	Lokasi UC Volumes skrip inisialisasi. Lihat volume.

cluster.init_scripts.dbfs

Type: Map

Lokasi skrip inisialisasi DBFS.

Key	Type	Description
destination	String	Jalur DBFS dari skrip init.

kluster.init_scripts.lingkungan_kerja

Type: Map

Lokasi ruang kerja skrip init.

Key	Type	Description
destination	String	Lokasi ruang kerja skrip inisialisasi.

cluster.init_scripts.s3

Type: Map

Lokasi S3 skrip inisialisasi.

Key	Type	Description
destination	String	URI S3 dari skrip init.
region	String	Wilayah AWS wadah S3.
endpoint	String	URL titik akhir S3 (opsional).

cluster.init_scripts.abfss

Type: Map

Lokasi skrip init ABFSS.

Key	Type	Description
destination	String	Jalur ABFSS dari skrip init.

cluster.init_scripts.gcs

Type: Map

Lokasi skrip inisialisasi di GCS.

Key	Type	Description
destination	String	Jalur GCS dari skrip init.

cluster.skrip_inisialisasi.volume

Type: Map

Lokasi volume skrip inisialisasi.

Key	Type	Description
destination	String	Jalur Volume UC dari skrip init.

cluster.driver_node_type_flexibility

Type: Map

Konfigurasi jenis node fleksibel untuk node driver.

Ditambahkan dalam Databricks CLI versi 0.285.0

Key	Type	Description
alternate_node_type_ids	Sequence	Daftar ID jenis node yang akan digunakan sebagai fallback ketika jenis node utama tidak tersedia. Ditambahkan dalam Databricks CLI versi 0.285.0

cluster.worker_node_type_flexibility

Type: Map

Konfigurasi jenis node fleksibel untuk simpul pekerja.

Ditambahkan dalam Databricks CLI versi 0.285.0

Key	Type	Description
alternate_node_type_ids	Sequence	Daftar ID jenis node yang akan digunakan sebagai fallback ketika jenis node utama tidak tersedia. Ditambahkan dalam Databricks CLI versi 0.285.0

cluster.tipe_beban_kerja

Type: Map

Atribut kluster memperlihatkan jenis beban kerja kluster.

Key	Type	Description
clients	Map	Menentukan jenis klien apa yang dapat menggunakan kluster. Lihat klien.

cluster.jenis_beban_kerja.klien

Type: Map

Jenis klien untuk beban kerja komputasi ini.

Key	Type	Description
jobs	Boolean	Apakah kluster dapat menjalankan pekerjaan.
notebooks	Boolean	Apakah kluster dapat menjalankan notebook.

Examples

Contoh berikut membuat kluster khusus (pengguna tunggal) untuk pengguna saat ini dengan Databricks Runtime 15.4 LTS dan kebijakan kluster:

resources:
  clusters:
    my_cluster:
      num_workers: 0
      node_type_id: 'i3.xlarge'
      driver_node_type_id: 'i3.xlarge'
      spark_version: '15.4.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'
      autotermination_minutes: 60
      enable_elastic_disk: true
      single_user_name: ${workspace.current_user.userName}
      policy_id: '000128DB309672CA'
      enable_local_disk_encryption: false
      data_security_mode: SINGLE_USER
      runtime_engine: STANDARD

Contoh ini membuat kluster my_cluster sederhana dan mengatur yang sebagai kluster yang akan digunakan untuk menjalankan buku catatan di my_job:

bundle:
  name: clusters

resources:
  clusters:
    my_cluster:
      num_workers: 2
      node_type_id: 'i3.xlarge'
      autoscale:
        min_workers: 2
        max_workers: 7
      spark_version: '13.3.x-scala2.12'
      spark_conf:
        'spark.executor.memory': '2g'

  jobs:
    my_job:
      tasks:
        - task_key: test_task
          notebook_task:
            notebook_path: './src/my_notebook.py'
          existing_cluster_id: ${resources.clusters.my_cluster.id}

papan kendali

Type: Map

Sumber daya dasbor memungkinkan Anda mengelola dasbor AI/BI dalam bundel. Untuk informasi tentang dasbor AI/BI, lihat dasbor .

Jika Anda menyebarkan bundel yang berisi dasbor dari lingkungan lokal Anda lalu menggunakan UI untuk memodifikasi dasbor tersebut, modifikasi yang dilakukan melalui UI tidak diterapkan ke file JSON dasbor di bundel lokal kecuali Anda secara eksplisit memperbaruinya menggunakan bundle generate. Anda dapat menggunakan opsi --watch untuk terus menjalankan polling dan mendapatkan perubahan pada dasbor. Lihat databricks bundle generate.

Selain itu, jika Anda mencoba menyebarkan bundel dari lingkungan lokal Anda yang berisi file JSON dasbor yang berbeda dari yang ada di ruang kerja jarak jauh, kesalahan akan terjadi. Untuk memaksakan penerapan dan menimpa dasbor di ruang kerja remote dengan dasbor lokal, gunakan opsi --force. Lihat databricks bundle deploy.

Ditambahkan dalam Databricks CLI versi 0.232.0

Note

Saat menggunakan Bundel Otomatisasi Deklaratif dengan dukungan Git dasbor, cegah dasbor duplikat dihasilkan dengan menambahkan pemetaan sinkronisasi untuk mengecualikan dasbor agar tidak disinkronkan sebagai file:

sync:
  exclude:
    - src/*.lvdash.json

dashboards:
  <dashboard-name>:
    <dashboard-field-name>: <dashboard-field-value>

Key	Type	Description
dataset_catalog	String	Nilai katalog default yang digunakan oleh semua himpunan data di dasbor jika tidak ditentukan lain dalam kueri. Misalnya konfigurasi yang mengatur bidang ini, lihat Katalog dasbor dan parameterisasi skema. Ditambahkan dalam Databricks CLI versi 0.283.0
dataset_schema	String	Nilai skema default yang digunakan oleh semua himpunan data di dasbor jika tidak ditentukan lain dalam kueri. Misalnya konfigurasi yang mengatur bidang ini, lihat Katalog dasbor dan parameterisasi skema. Ditambahkan dalam Databricks CLI versi 0.283.0
display_name	String	Nama tampilan dasbor. Ditambahkan dalam Databricks CLI versi 0.232.0
embed_credentials	Boolean	Apakah kredensial identitas penyebaran bundel digunakan untuk menjalankan kueri bagi semua pengguna dasbor. Jika diatur ke false, kredensial penampil digunakan. Nilai defaultnya adalah false. Ditambahkan dalam Databricks CLI versi 0.232.0
etag	String	Etag untuk dasbor. Dapat disediakan secara opsional pada pembaruan untuk memastikan bahwa dasbor belum dimodifikasi sejak bacaan terakhir. Ditambahkan dalam Databricks CLI versi 0.234.0
file_path	String	Jalur lokal aset dasbor, termasuk nama file. Dasbor yang diekspor selalu memiliki ekstensi .lvdash.json file. Ditambahkan dalam Databricks CLI versi 0.232.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup.
parent_path	String	Jalur ruang kerja folder yang berisi dasbor. Termasuk garis miring terkemuka dan tidak ada garis miring berikutnya. Ditambahkan dalam Databricks CLI versi 0.232.0
path	String	Jalur ruang kerja aset dasbor, termasuk nama aset. Ditambahkan dalam Databricks CLI versi 0.234.0
permissions	Sequence	Izin-izin dasbor. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.232.0
serialized_dashboard	Any	Konten dasbor dalam bentuk string berseri. Ditambahkan dalam Databricks CLI versi 0.232.0
warehouse_id	String	ID gudang yang digunakan untuk menjalankan dasbor. Ditambahkan dalam Databricks CLI versi 0.232.0

Example

Contoh berikut mencakup dan menerapkan dasbor sampel Analisis Perjalanan Taksi NYC ke ruang kerja Databricks.

resources:
  dashboards:
    nyc_taxi_trip_analysis:
      display_name: 'NYC Taxi Trip Analysis'
      file_path: ../src/nyc_taxi_trip_analysis.lvdash.json
      warehouse_id: ${var.warehouse_id}

database_catalog

Type: Map

Sumber daya katalog database memungkinkan Anda menentukan katalog database yang sesuai dengan instans database dalam bundel. Katalog database adalah database Lakebase yang terdaftar sebagai katalog Unity Catalog.

Untuk informasi tentang katalog database, lihat Membuat katalog.

Ditambahkan dalam Databricks CLI versi 0.265.0

database_catalogs:
  <database_catalog-name>:
    <database_catalog-field-name>: <database_catalog-field-value>

Key	Type	Description
create_database_if_not_exists	Boolean	Apakah akan membuat database jika tidak ada. Ditambahkan dalam Databricks CLI versi 0.265.0
database_instance_name	String	Nama instans yang menaungi database. Ditambahkan dalam Databricks CLI versi 0.265.0
database_name	String	Nama database (dalam instans) yang terkait dengan katalog. Ditambahkan dalam Databricks CLI versi 0.265.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya, termasuk perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.265.0
name	String	Nama katalog di Katalog Unity. Ditambahkan dalam Databricks CLI versi 0.265.0

Example

Contoh berikut mendefinisikan instans database dengan katalog database yang sesuai:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

database_instance

Type: Map

Sumber daya instans database memungkinkan Anda menentukan instans database dalam bundel. Instans database Lakebase mengelola penyimpanan dan sumber daya komputasi dan menyediakan titik akhir yang terhubung dengan pengguna.

Note

Instans database baru yang dibuat oleh database_instances sumber daya sekarang dibuat sebagai proyek Lakebase Autoscaling. Lihat Penskalaan otomatis secara default untuk detailnya. Untuk pekerjaan Lakebase baru, sebaiknya gunakan sumber daya sebagai gantinya postgres_projects .

Penting

Saat Anda menyebarkan bundel dengan instans database, instans segera mulai berjalan dan tunduk pada harga. Lihat Harga Lakebase.

Untuk informasi tentang instans database, lihat Apa itu instans database?.

Ditambahkan dalam Databricks CLI versi 0.265.0

database_instances:
  <database_instance-name>:
    <database_instance-field-name>: <database_instance-field-value>

Key	Type	Description
capacity	String	Sku instans. Nilai yang valid adalah CU_1, CU_2, CU_4, CU_8. Ditambahkan dalam Databricks CLI versi 0.265.0
custom_tags	Sequence	Daftar pasangan kunci-nilai yang menentukan tag kustom yang terkait dengan instans. Ditambahkan dalam Databricks CLI versi 0.273.0
enable_pg_native_login	Boolean	Apakah instans mengaktifkan login kata sandi asli PG. Secara default menjadi true. Ditambahkan dalam Databricks CLI versi 0.267.0
enable_readable_secondaries	Boolean	Apakah akan mengaktifkan sekunder untuk melayani lalu lintas baca-saja. Secara default menjadi false. Ditambahkan dalam Databricks CLI versi 0.265.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama instans. Ini adalah pengidentifikasi unik untuk instans. Ditambahkan dalam Databricks CLI versi 0.265.0
node_count	Integer	Jumlah simpul dalam instans, terdiri dari 1 primer dan 0 atau lebih sekunder. Default ke 1 primer dan 0 sekunder. Ditambahkan dalam Databricks CLI versi 0.265.0
parent_instance_ref	Map	Referensi instans induk. Ini hanya tersedia jika instans adalah instans anak. Lihat instans induk. Ditambahkan dalam Databricks CLI versi 0.265.0
permissions	Sequence	Izin instans database. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.265.0
retention_window_in_days	Integer	Jendela retensi untuk instans. Ini adalah jendela waktu dalam hari di mana data historis disimpan. Nilai defaultnya adalah 7 hari. Nilai yang valid adalah 2 hingga 35 hari. Ditambahkan dalam Databricks CLI versi 0.265.0
stopped	Boolean	Apakah instans dihentikan. Ditambahkan dalam Databricks CLI versi 0.265.0
usage_policy_id	String	Kebijakan penggunaan tanpa server yang diinginkan untuk dikaitkan dengan instans. Ditambahkan dalam Databricks CLI versi 0.273.0

database_instance.parent_instance_ref

Type: Map

Referensi instans induk. Ini hanya tersedia jika instans adalah instans anak.

Key	Type	Description
branch_time	String	Waktu cabang instans database ref. Untuk instans ref induk, ini adalah titik waktu pada instans induk tempat instans dibuat. Untuk instans referensi anak, ini adalah titik waktu pada instans dari mana instans anak tersebut dibuat.
lsn	String	LSN WAL yang ditentukan oleh pengguna dari instans database referensi.
name	String	Nama dari instans database ref.

Example

Contoh berikut mendefinisikan instans database dengan katalog database yang sesuai:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: ${resources.database_instances.my_instance.name}
      name: example_catalog
      database_name: my_database
      create_database_if_not_exists: true

Untuk contoh bundel yang menunjukkan cara menentukan instans database dan katalog database terkait, lihat bundle-examples GitHub repositori.

eksperimen

Type: Map

Sumber daya eksperimen memungkinkan Anda mendefinisikan eksperimen MLflow dalam satu bundel. Untuk informasi tentang eksperimen MLflow, lihat Mengatur eksekusi pelatihan dengan eksperimen MLflow.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

experiments:
  <experiment-name>:
    <experiment-field-name>: <experiment-field-value>

Key	Type	Description
artifact_location	String	Lokasi tempat artefak untuk eksperimen disimpan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama yang mudah dikenali untuk mengidentifikasi eksperimen. Nama eksperimen harus merupakan jalur absolut di ruang kerja Databricks, misalnya /Workspace/Users/someone@example.com/my_experiment. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
permissions	Sequence	Izin eksperimen tersebut. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
tags	Sequence	Pasangan kunci-nilai metadata tambahan. Lihat tag. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

Example

Contoh berikut mendefinisikan eksperimen yang dapat dilihat semua pengguna:

resources:
  experiments:
    experiment:
      name: /Workspace/Users/someone@example.com/my_experiment
      permissions:
        - level: CAN_READ
          group_name: users
      description: MLflow experiment used to track runs

external_location (Katalog Unity)

Type: Map

Sumber daya lokasi eksternal memungkinkan Anda menentukan lokasi eksternal (Unity Catalog) dalam bundel.

Note

Menggunakan Bundel Otomatisasi Deklaratif untuk menentukan lokasi eksternal hanya didukung jika Anda menggunakan mesin penyebaran langsung.

Ditambahkan dalam Databricks CLI versi 0.289.0

external_locations:
  <external-location-name>:
    <external-location-field-name>: <external-location-field-value>

Key	Type	Description
comment	String	Deskripsi teks bentuk bebas yang disediakan pengguna dari lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0
credential_name	String	Dibutuhkan. Nama kredensial penyimpanan yang digunakan dengan lokasi ini. Ditambahkan dalam Databricks CLI versi 0.289.0
enable_file_events	Boolean	Apakah akan mengaktifkan aktivitas berkas pada lokasi eksternal ini. Secara default menjadi true. Nilai aktual yang diterapkan mungkin berbeda karena default sisi server. Periksa effective_enable_file_events status efektif. Ditambahkan dalam Databricks CLI versi 0.289.0
encryption_details	Map	Opsi enkripsi yang berlaku untuk klien yang terhubung ke penyimpanan cloud. Lihat external_location.encryption_details. Ditambahkan dalam Databricks CLI versi 0.289.0
fallback	Boolean	Menunjukkan apakah mode fallback diaktifkan untuk lokasi eksternal ini. Ketika mode fallback diaktifkan, akses ke lokasi kembali ke kredensial kluster jika kredensial Katalog Unity tidak cukup. Ditambahkan dalam Databricks CLI versi 0.289.0
file_event_queue	Map	Pengaturan antrean peristiwa file untuk lokasi eksternal ini. Jika enable_file_events tidak false, kunci ini harus didefinisikan dan memiliki salah satu properti yang didokumentasikan. Lihat external_location.file_event_queue. Ditambahkan dalam Databricks CLI versi 0.289.0
grants	Sequence	Pemberian yang terkait dengan lokasi eksternal. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.289.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.289.0
name	String	Dibutuhkan. Nama lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0
read_only	Boolean	Menunjukkan apakah lokasi eksternal hanya dapat dibaca. Ditambahkan dalam Databricks CLI versi 0.289.0
skip_validation	Boolean	Mengabaikan validasi kredensial penyimpanan yang terkait dengan lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0
url	String	Dibutuhkan. Jalur URL ke lokasi eksternal. Ditambahkan dalam Databricks CLI versi 0.289.0

external_location.encryption_details

Type: Map

Opsi enkripsi yang berlaku untuk klien yang terhubung ke penyimpanan cloud.

Key	Type	Description
sse_encryption_details	Map	Properti enkripsi sisi server untuk klien yang berkomunikasi dengan Amazon S3.

external_location.file_event_queue

Type: Map

Pengaturan antrean peristiwa file untuk lokasi eksternal ini.

Key	Type	Description
managed_aqs	Map	Pengaturan Azure Queue Storage terkelola.
managed_pubsub	Map	Pengaturan Google Cloud Pub/Sub terkelola.
managed_sqs	Map	Pengaturan Amazon SQS terkelola.
provided_aqs	Map	Pengaturan Azure Queue Storage yang disediakan pengguna.
provided_pubsub	Map	Pengaturan Google Cloud Pub/Sub yang disediakan pengguna.
provided_sqs	Map	Pengaturan Amazon SQS yang disediakan pengguna.

Example

resources:
  external_locations:
    my_external_location:
      name: my_external_location
      url: 's3://my-bucket/my-path'
      credential_name: my_storage_credential
      comment: 'External location created by Databricks Asset Bundles'
      grants:
        - principal: someone@example.com
          privileges:
            - CREATE_EXTERNAL_TABLE
            - READ_FILES

pekerjaan

Type: Map

Pekerjaan didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.jobs.

Sumber daya pekerjaan memungkinkan Anda menentukan pekerjaan dan tugas yang sesuai dalam bundel Anda.

Untuk informasi tentang pekerjaan, lihat Pekerjaan Lakeflow. Untuk tutorial yang menggunakan templat Bundel Otomatisasi Deklaratif untuk membuat pekerjaan, lihat Mengembangkan pekerjaan dengan Bundel Otomatisasi Deklaratif.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

jobs:
  <job-name>:
    <job-field-name>: <job-field-value>

Key	Type	Description
budget_policy_id	String	Id kebijakan anggaran yang ditentukan pengguna untuk digunakan untuk pekerjaan ini. Jika tidak ditentukan, kebijakan anggaran default dapat diterapkan saat membuat atau memodifikasi pekerjaan. Lihat effective_budget_policy_id untuk kebijakan anggaran yang digunakan oleh tugas kerja ini. Ditambahkan dalam Databricks CLI versi 0.231.0
continuous	Map	Properti berkelanjutan opsional untuk pekerjaan ini. Properti kontinu akan memastikan bahwa selalu ada satu proses yang berlangsung. Hanya satu dari schedule dan continuous yang dapat digunakan. Lihat kontinu. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
deployment	Map	Informasi penyebaran untuk pekerjaan yang dikelola oleh sumber eksternal. Lihat penyebaran. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
description	String	Deskripsi opsional untuk pekerjaan tersebut. Panjang maksimum adalah 27700 karakter dalam pengodean UTF-8. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
email_notifications	Map	Sekumpulan alamat email opsional yang diberi tahu ketika eksekusi pekerjaan ini dimulai atau selesai serta ketika pekerjaan ini dihapus. Lihat email_notifications. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
environments	Sequence	Daftar spesifikasi lingkungan eksekusi tugas yang dapat dirujuk oleh tugas tanpa server dari pekerjaan ini. Diperlukan lingkungan untuk melaksanakan tugas tanpa server. Untuk tugas notebook tanpa server, lingkungan dapat diakses di panel lingkungan notebook. Untuk tugas tanpa server lainnya, lingkungan tugas harus ditentukan menggunakan environment_key dalam pengaturan tugas. Lihat lingkungan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
format	String	Deprecated. Format pekerjaan.
git_source	Map	Spesifikasi opsional untuk repositori Git jarak jauh yang berisi kode sumber yang digunakan oleh tugas. Lihat job.git_source. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru Penting: Bidang git_source dan bidang tugas source yang disetel ke GIT tidak disarankan untuk paket, karena jalur relatif lokal mungkin tidak menunjuk ke konten yang sama di repositori Git, dan paket tersebut mengharapkan bahwa tugas yang dijalankan memiliki konten yang sama dengan salinan lokal dari tempatnya dijalankan. Sebagai gantinya, kloning repositori secara lokal dan siapkan proyek bundel Anda dalam repositori ini, sehingga sumber tugas berada di dalam ruang kerja.
health	Map	Sekumpulan aturan kesehatan opsional yang dapat ditentukan untuk pekerjaan ini. Lihat kesehatan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
job_clusters	Sequence	Daftar spesifikasi kluster pekerjaan yang dapat dibagikan dan digunakan kembali oleh tugas pekerjaan ini. Lihat job_clusters. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
max_concurrent_runs	Integer	Jumlah maksimum eksekusi pekerjaan bersamaan yang diizinkan, jika diperlukan. Atur nilai ini jika Anda ingin dapat menjalankan beberapa eksekusi dari pekerjaan yang sama secara bersamaan.
name	String	Nama opsional untuk pekerjaan tersebut. Panjang maksimum adalah 4096 byte dalam pengodean UTF-8. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
notification_settings	Map	Pengaturan pemberitahuan opsional yang digunakan saat mengirim pemberitahuan ke masing-masing email_notifications dan webhook_notifications untuk pekerjaan ini. Lihat notification_settings. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
parameters	Sequence	Definisi parameter tingkat pekerjaan. Lihat job.parameters. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
performance_target	String	Mendefinisikan bagaimana performanya atau efisiensi biaya eksekusi pada serverless seharusnya. Ditambahkan dalam Databricks CLI versi 0.241.0
permissions	Sequence	Izin pekerjaan. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
queue	Map	Pengaturan antrean pekerjaan. Lihat antrean. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
run_as	Map	Pengaturan tulis-saja. Menentukan pengguna atau perwakilan layanan tempat pekerjaan berjalan. Jika tidak ditentukan, tugas dijalankan sebagai pengguna yang membuat tugas. Salah satu user_name atau service_principal_name harus ditentukan. Jika tidak, kesalahan akan muncul. Lihat run_as. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
schedule	Map	Jadwal periodik opsional untuk pekerjaan ini. Perilaku default adalah bahwa pekerjaan hanya berjalan ketika dipicu dengan mengklik "Jalankan Sekarang" di antarmuka pengguna Pekerjaan atau mengirim permintaan API ke runNow. Lihat jadwal. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
tags	Map	Peta tag yang terkait dengan pekerjaan. Ini diteruskan ke kluster sebagai tag kluster untuk kluster pekerjaan, dan tunduk pada batasan yang sama dengan tag kluster. Maksimal 25 tag dapat ditambahkan pada tugas. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
tasks	Sequence	Daftar spesifikasi tugas yang akan dijalankan oleh pekerjaan ini. Lihat Menambahkan tugas ke pekerjaan di Bundel Otomatisasi Deklaratif. Ditambahkan dalam Databricks CLI versi 0.237.0
timeout_seconds	Integer	Batas waktu opsional diterapkan untuk setiap eksekusi pekerjaan ini. Nilai 0 berarti tidak ada batas waktu. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
trigger	Map	Konfigurasi untuk memicu eksekusi saat kondisi tertentu terpenuhi. Lihat pemicu. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
usage_policy_id	String	ID kebijakan penggunaan tanpa server yang akan digunakan untuk pekerjaan ini. Ditambahkan dalam Databricks CLI versi 0.273.0
webhook_notifications	Map	Kumpulan ID pemberitahuan sistem untuk diberi tahu ketika eksekusi pekerjaan ini dimulai atau selesai. Lihat webhook_notifications. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

pekerjaan.berlanjut

Type: Map

Konfigurasi untuk eksekusi pekerjaan berkelanjutan.

Key	Type	Description
pause_status	String	Apakah pekerjaan berkelanjutan dijeda atau tidak. Nilai yang valid: PAUSED, UNPAUSED.
task_retry_mode	String	Menunjukkan bagaimana pekerjaan berkelanjutan menerapkan percobaan ulang tingkat tugas. Nilai yang berlaku adalah NEVER atau ON_FAILURE. Secara default menjadi NEVER.

penyebaran.pekerjaan

Type: Map

Informasi penyebaran untuk pekerjaan yang dikelola oleh sumber eksternal.

Key	Type	Description
kind	String	Jenis implementasi. Contohnya, BUNDLE.
metadata_file_path	String	Jalur ke file metadata untuk penyebaran.

pekerjaan.notifikasi_email

Type: Map

Pengaturan pemberitahuan email untuk pelaksanaan tugas.

Key	Type	Description
on_start	Sequence	Daftar alamat email yang akan diberi tahu ketika proses dimulai.
on_success	Sequence	Daftar alamat email yang akan diberi tahu saat eksekusi berhasil.
on_failure	Sequence	Daftar alamat email untuk mendapat pemberitahuan saat eksekusi gagal.
on_duration_warning_threshold_exceeded	Sequence	Daftar alamat email yang akan diberi tahu saat durasi eksekusi melebihi ambang batas peringatan.
no_alert_for_skipped_runs	Boolean	Apakah akan mengelewatkan pengiriman notifikasi untuk pemrosesan yang dilewati.
on_streaming_backlog_exceeded	Sequence	Daftar alamat email untuk diberi tahu ketika ambang batas backlog streaming terlampaui untuk aliran apa pun. Ambang batas backlog streaming dapat diatur di health bidang menggunakan metrik berikut: STREAMING_BACKLOG_BYTES, , STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSatau STREAMING_BACKLOG_FILES. Pemberitahuan didasarkan pada rata-rata 10 menit dari metrik ini. Jika masalah berlanjut, pemberitahuan akan dihentikan setiap 30 menit.

pekerjaan.lingkungan

Type: Sequence

Daftar spesifikasi lingkungan eksekusi tugas yang dapat dirujuk oleh tugas tanpa server dari suatu pekerjaan.

Setiap item dalam daftar adalah JobEnvironment:

Key	Type	Description
environment_key	String	Kunci lingkungan. Ini harus unik dalam pekerjaan.
spec	Map	Entitas yang mewakili lingkungan tanpa server. Lihat job.environments.spec.

job.environments.spec

Type: Map

Entitas yang mewakili lingkungan tanpa server.

Key	Type	Description
client	String	Deprecated. Versi klien.
dependencies	Sequence	Daftar dependensi pip, seperti yang didukung oleh versi pip yang ada di lingkungan ini.
environment_version	String	Dibutuhkan. Versi sistem yang digunakan oleh lingkungan. Setiap versi dilengkapi dengan versi Python tertentu dan satu set paket Python. Versinya adalah string, yang terdiri dari bilangan bulat.

job.git_source

Type: Map

Konfigurasi repositori Git untuk kode sumber pekerjaan.

Key	Type	Description
git_branch	String	Nama cabang yang akan diperiksa dan digunakan oleh pekerjaan ini. Bidang ini tidak dapat ditentukan bersama dengan git_tag atau git_commit.
git_commit	String	Komitmen untuk diperiksa dan digunakan oleh tugas ini. Bidang ini tidak dapat ditentukan bersama dengan git_branch atau git_tag.
git_provider	String	Pengidentifikasi unik layanan yang digunakan untuk menghosting repositori Git. Nilainya tidak sensitif terhadap penggunaan huruf besar/kecil. Nilai yang valid adalah gitHub, , bitbucketCloudgitLab, azureDevOpsServices, gitHubEnterprise, bitbucketServer, gitLabEnterpriseEdition.
git_snapshot	Map	Status baca-saja dari repositori jarak jauh pada saat pekerjaan dijalankan. Bidang ini hanya disertakan pada pelaksanaan pekerjaan. Lihat git_snapshot.
git_tag	String	Nama tag yang akan dicek keluar dan digunakan oleh pekerjaan ini. Bidang ini tidak dapat ditentukan bersama dengan git_branch atau git_commit.
git_url	String	URL repositori yang akan dikloning oleh pekerjaan ini.
sparse_checkout	Map	Konfigurasi cek keluar jarang untuk repositori Git. Lihat job.git_source.sparse_checkout. Ditambahkan dalam Databricks CLI versi 0.290.0

job.git_source.sparse_checkout

Type: Map

Konfigurasi cek keluar jarang untuk repositori Git.

Ditambahkan dalam Databricks CLI versi 0.290.0

Key	Type	Description
patterns	Sequence	Daftar pola yang akan disertakan untuk checkout jarang. Ditambahkan dalam Databricks CLI versi 0.290.0

job.git_source.git_snapshot

Type: Map

Rekam jepret informasi penerapan baca-saja.

Key	Type	Description
used_commit	String	Commit yang digunakan untuk mengeksekusi run. Jika git_branch ditentukan, ini menunjuk ke HEAD cabang pada saat eksekusi; jika git_tag ditentukan, ini menunjuk ke commit yang ditunjuk oleh tag.

job.kesehatan

Type: Map

Konfigurasi pemantauan kesehatan untuk pekerjaan tersebut.

Key	Type	Description
rules	Sequence	Daftar aturan kesehatan pekerjaan. Setiap aturan berisi metric dan op (operator) dan value. Lihat job.health.rules.

aturan.kesehatan.pekerjaan

Type: Sequence

Daftar aturan kesehatan pekerjaan.

Setiap item dalam daftar adalah JobHealthRule:

Key	Type	Description
metric	String	Menentukan metrik kesehatan yang sedang dievaluasi untuk aturan kesehatan tertentu. RUN_DURATION_SECONDS: Total waktu yang diharapkan untuk eksekusi dalam detik. STREAMING_BACKLOG_BYTES: Perkiraan byte maksimum data yang menunggu untuk dikonsumsi di semua stream. Metrik ini sedang dalam Pratinjau Umum. STREAMING_BACKLOG_RECORDS: Perkiraan lag offset maksimum di semua aliran. Metrik ini sedang dalam Pratinjau Umum. STREAMING_BACKLOG_SECONDS: Perkiraan penundaan konsumen maksimum di semua aliran. Metrik ini sedang dalam Pratinjau Umum. STREAMING_BACKLOG_FILES: Perkiraan jumlah maksimum file yang belum selesai di semua stream. Metrik ini sedang dalam Pratinjau Umum.
op	String	Menentukan operator yang digunakan untuk membandingkan nilai metrik kesehatan dengan ambang yang ditentukan.
value	Integer	Menentukan nilai ambang batas yang harus dipatuhi metrik kesehatan untuk memenuhi aturan kesehatan.

job.job_clusters

Type: Sequence

Daftar spesifikasi kluster pekerjaan yang dapat dibagikan dan digunakan kembali oleh tugas pekerjaan ini. Pustaka tidak dapat dideklarasikan dalam kluster pekerjaan bersama. Anda harus mendeklarasikan pustaka dependen dalam pengaturan tugas.

Setiap item dalam daftar adalah JobCluster:

Key	Type	Description
job_cluster_key	String	Nama unik untuk kluster pekerjaan. Bidang ini diperlukan dan harus unik dalam pekerjaan. JobTaskSettings dapat merujuk ke bidang ini untuk menentukan kluster mana yang akan diluncurkan untuk eksekusi tugas.
new_cluster	Map	Jika new_cluster, deskripsi kluster yang dibuat untuk setiap tugas. Lihat kluster.

pekerjaan.pengaturan_notifikasi

Type: Map

Pengaturan pemberitahuan yang berlaku untuk semua pemberitahuan untuk pekerjaan tersebut.

Key	Type	Description
no_alert_for_skipped_runs	Boolean	Apakah akan mengelewatkan pengiriman notifikasi untuk pemrosesan yang dilewati.
no_alert_for_canceled_runs	Boolean	Apakah akan melewatkan pengiriman notifikasi untuk eksekusi yang dibatalkan.

job.parameters

Type: Sequence

Daftar definisi parameter pekerjaan.

Setiap item dalam daftar adalah JobParameter:

Key	Type	Description
default	String	Dibutuhkan. Nilai default parameter, misalnya, "pengguna".
name	String	Dibutuhkan. Nama parameter yang ditentukan, misalnya, "table". Nilai yang valid hanya berisi karakter alfanumerik, _, -, dan ..

antrian.pekerjaan

Type: Map

Pengaturan antrean untuk pekerjaan tersebut.

Key	Type	Description
enabled	Boolean	Apakah akan mengaktifkan pengantrean untuk tugas tersebut.

pekerjaan.jadwal

Type: Map

Konfigurasi penjadwalan untuk eksekusi pekerjaan berkala.

Key	Type	Description
quartz_cron_expression	String	Ekspresi Cron menggunakan sintaks Quartz yang menentukan kapan tugas dijalankan. Misalnya, 0 0 9 * * ? menjalankan pekerjaan setiap hari pada pukul 09.00 UTC.
timezone_id	String	Zona waktu untuk jadwal. Misalnya, America/Los_Angeles atau UTC.
pause_status	String	Apakah jadwal dijeda atau tidak. Nilai yang valid: PAUSED, UNPAUSED.

pekerjaan.pemicu

Type: Map

Konfigurasi pemicu untuk eksekusi pekerjaan berbasis peristiwa.

Key	Type	Description
file_arrival	Map	Pemicu berdasarkan kedatangan file. Lihat file_arrival.
table	Map	Pemicu berdasarkan tabel. Lihat tabel.
table_update	Map	Pemicu berdasarkan pembaruan tabel data. Lihat table_update.
periodic	Map	Pemicu berkala. Lihat berkala.

tugas.pemicu.kedatangan_berkas

Type: Map

Konfigurasi pemicu berdasarkan kedatangan file.

Key	Type	Description
url	String	Jalur berkas untuk memantau berkas baru.
min_time_between_triggers_seconds	Integer	Waktu minimum dalam detik antara peristiwa pemicu.
wait_after_last_change_seconds	Integer	Waktu tunggu dalam detik setelah file terakhir berubah sebelum memicu.

pekerjaan.pemicu.tabel

Type: Map

Konfigurasi pemicu berdasarkan tabel.

Key	Type	Description
table_names	Sequence	Daftar nama tabel yang akan dipantau.
condition	String	Kondisi SQL yang harus dipenuhi untuk memicu pekerjaan.

pekerjaan.pemicu.pembaruan_tabel

Type: Map

Konfigurasi pemicu berdasarkan pembaruan tabel.

Key	Type	Description
table_names	Sequence	Daftar nama tabel yang akan dipantau pembaruannya.
condition	String	Kondisi SQL yang harus dipenuhi untuk memicu pekerjaan.
wait_after_last_change_seconds	Integer	Waktu tunggu dalam detik setelah pembaruan tabel terakhir sebelum memicu.

pekerjaan.pemicu.berkala

Type: Map

Konfigurasi pemicu berkala.

Key	Type	Description
interval	Integer	Nilai interval untuk pemicu berkala.
unit	String	Satuan waktu untuk interval. Nilai yang valid: HOURS, DAYS, WEEKS.

pekerjaan.notifikasi_webhook

Type: Map

Pengaturan pemberitahuan webhook untuk pemrosesan pekerjaan.

Key	Type	Description
on_start	Sequence	Daftar ID pemberitahuan webhook yang akan diinformasikan saat operasi dimulai.
on_success	Sequence	Daftar ID pemberitahuan webhook untuk notifikasi saat eksekusi berhasil.
on_failure	Sequence	Daftar ID pemberitahuan webhook untuk memberikan pemberitahuan ketika eksekusi gagal.
on_duration_warning_threshold_exceeded	Sequence	Daftar ID pemberitahuan webhook untuk diberi tahu ketika durasi eksekusi melebihi ambang batas peringatan.
on_streaming_backlog_exceeded	Sequence	Daftar ID pemberitahuan sistem untuk dipanggil ketika ambang batas backlog streaming terlampaui untuk aliran apa pun. Ambang batas backlog streaming dapat diatur di health bidang menggunakan metrik berikut: STREAMING_BACKLOG_BYTES, , STREAMING_BACKLOG_RECORDS, STREAMING_BACKLOG_SECONDSatau STREAMING_BACKLOG_FILES. Pemberitahuan didasarkan pada rata-rata 10 menit dari metrik ini. Jika masalah berlanjut, pemberitahuan akan dihentikan setiap 30 menit. Maksimal 3 tujuan dapat ditentukan.

Examples

Contoh berikut mendefinisikan pekerjaan dengan kunci sumber daya hello-job dengan satu tugas buku catatan:

resources:
  jobs:
    hello-job:
      name: hello-job
      tasks:
        - task_key: hello-task
          notebook_task:
            notebook_path: ./hello.py

Contoh berikut mendefinisikan pekerjaan dengan buku catatan SQL:

resources:
  jobs:
    job_with_sql_notebook:
      name: 'Job to demonstrate using a SQL notebook with a SQL warehouse'
      tasks:
        - task_key: notebook
          notebook_task:
            notebook_path: ./select.sql
            warehouse_id: 799f096837fzzzz4

Untuk contoh konfigurasi pekerjaan tambahan, lihat Konfigurasi pekerjaan.

Untuk informasi tentang menentukan tugas pekerjaan dan mengubah pengaturan pekerjaan, lihat:

• Menambahkan tugas ke pekerjaan di Bundel Otomatisasi Deklaratif
• Penggantian pengaturan tugas

model (warisan)

Type: Map

Sumber daya model memungkinkan Anda menentukan model lama dalam bentuk bundel. Databricks menyarankan Anda untuk menggunakan model yang terdaftar di Unity Catalog sebagai gantinya.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

titik_akhir_penyajian_model

Type: Map

Sumber daya model_serving_endpoint memungkinkan Anda menentukan model yang melayani titik akhir. Lihat Kelola titik akhir penyajian model.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

model_serving_endpoints:
  <model_serving_endpoint-name>:
    <model_serving_endpoint-field-name>: <model_serving_endpoint-field-value>

Key	Type	Description
ai_gateway	Map	Konfigurasi Gateway AI untuk titik akhir penyajian. CATATAN: Hanya model eksternal dan titik akhir throughput yang disediakan yang saat ini didukung. Lihat ai_gateway. Ditambahkan dalam Databricks CLI versi 0.230.0
budget_policy_id	String	ID kebijakan anggaran yang akan digunakan untuk titik akhir ini. Ditambahkan dalam Databricks CLI versi 0.244.0
config	Map	Konfigurasi inti dari titik akhir penyajian. Lihat konfigurasi. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
description	String	Deskripsi untuk titik akhir penyajian. Ditambahkan di Databricks CLI versi 0.260.0
email_notifications	Map	Konfigurasi pemberitahuan email untuk titik akhir penyajian. Lihat email_notifications. Ditambahkan dalam Databricks CLI versi 0.264.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama titik akhir layanan. Bidang ini diperlukan dan harus unik di seluruh ruang kerja Databricks. Nama titik akhir dapat terdiri dari karakter alfanumerik, tanda hubung, dan garis bawah. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
permissions	Sequence	Model yang melayani izin titik akhir. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
rate_limits	Sequence	Deprecated. Batas tarif yang akan diterapkan ke titik akhir penyajian. Gunakan AI Gateway untuk mengelola batas tarif. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
route_optimized	Boolean	Aktifkan pengoptimalan rute untuk titik akhir penyajian. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
tags	Sequence	Tag yang akan dilampirkan ke titik akhir penyajian dan secara otomatis disebarluaskan ke log penagihan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

model_serving_endpoint.email_notifications

Type: Map

Konfigurasi pemberitahuan email untuk titik akhir penyajian.

Key	Type	Description
on_update_failure	Sequence	Daftar alamat email yang akan diberi tahu ketika titik akhir gagal memperbarui konfigurasi atau statusnya.
on_update_success	Sequence	Daftar alamat email yang akan diberi tahu ketika titik akhir berhasil memperbarui konfigurasi atau statusnya.

model_serving_endpoint.ai_gateway

Type: Map

Konfigurasi Gateway AI untuk titik akhir penyajian.

Key	Type	Description
fallback_config	Map	Konfigurasi untuk fallback lalu lintas yang mundur otomatis ke entitas lain yang dilayani jika permintaan ke entitas yang dilayani gagal dengan kode kesalahan tertentu, untuk meningkatkan ketersediaan. Lihat fallback_config.
guardrails	Map	Konfigurasi penjaga keselamatan. Lihat pagar pembatas.
inference_table_config	Map	Konfigurasi untuk pencatatan inferensi ke tabel Katalog Unity. Lihat inference_table_config.
rate_limits	Sequence	Konfigurasi batas kecepatan.
usage_tracking_config	Map	Konfigurasi untuk melacak penggunaan. Lihat usage_tracking_config.

model_serving_endpoint.ai_gateway.fallback_config

Type: Map

Konfigurasi untuk fallback lalu lintas yang melakukan fallback otomatis ke entitas lain yang dilayani jika permintaan gagal dengan kode kesalahan tertentu.

Key	Type	Description
enabled	Boolean	Apakah fallback diaktifkan untuk titik akhir ini.

model_serving_endpoint.gateway_ai.pembatas_guarda

Type: Map

Konfigurasi batasan gateway AI.

Key	Type	Description
input	Map	Konfigurasi pagar pembatas input dengan bidang seperti safety, pii.
output	Map	Konfigurasi pagar pembatas output dengan bidang seperti safety, pii.
invalid_keywords	Sequence	Daftar kata kunci yang akan diblokir.

model_serving_endpoint.ai_gateway.inference_table_config

Type: Map

Konfigurasi untuk pencatatan inferensi ke tabel Katalog Unity.

Key	Type	Description
catalog_name	String	Nama katalog di Katalog Unity.
schema_name	String	Nama skema di Katalog Unity.
table_name_prefix	String	Awalan untuk nama tabel inferensi.
enabled	Boolean	Apakah pengelogan tabel inferensi diaktifkan.

model_serving_endpoint.ai_gateway.konfigurasi_pelacakan_penggunaan

Type: Map

Pengaturan gateway AI untuk pemantauan penggunaan.

Key	Type	Description
enabled	Boolean	Apakah pelacakan penggunaan diaktifkan.

model_serving_endpoint.config

Type: Map

Konfigurasi inti titik akhir layanan.

Key	Type	Description
served_entities	Sequence	Daftar entitas yang dilayani untuk titik akhir yang akan dilayani. Setiap entitas yang dilayani berisi bidang seperti entity_name, , entity_versionworkload_size, scale_to_zero_enabled, workload_type, environment_vars.
served_models	Sequence	(Tidak digunakan lagi: gunakan served_entities sebagai gantinya) Daftar model yang dilayani agar titik akhir berfungsi.
traffic_config	Map	Konfigurasi lalu lintas yang menentukan bagaimana panggilan ke endpoint layanan akan dirutekan. Lihat traffic_config.
auto_capture_config	Map	Konfigurasi untuk Tabel Inferensi yang secara otomatis mencatat permintaan dan respons ke Katalog Unity. Lihat auto_capture_config.

model_serving_endpoint.config.pengaturan_lalu_lintas

Type: Map

Konfigurasi lalu lintas yang menentukan bagaimana panggilan ke endpoint layanan akan dirutekan.

Key	Type	Description
routes	Sequence	Daftar rute untuk distribusi lalu lintas. Setiap rute berisi served_model_name dan traffic_percentage.

endpoint_penyajian_model.konfigurasi.auto_capture_config

Type: Map

Konfigurasi untuk Tabel Inferensi yang secara otomatis mencatat permintaan dan respons ke Katalog Unity.

Key	Type	Description
catalog_name	String	Nama katalog di Katalog Unity.
schema_name	String	Nama skema di Katalog Unity.
table_name_prefix	String	Awalan untuk nama tabel inferensi.
enabled	Boolean	Apakah pengelogan tabel inferensi diaktifkan.

Example

Contoh berikut mendefinisikan model Unity Catalog yang melayani titik akhir:

resources:
  model_serving_endpoints:
    uc_model_serving_endpoint:
      name: 'uc-model-endpoint'
      config:
        served_entities:
          - entity_name: 'myCatalog.mySchema.my-ads-model'
            entity_version: '10'
            workload_size: 'Small'
            scale_to_zero_enabled: 'true'
        traffic_config:
          routes:
            - served_model_name: 'my-ads-model-10'
              traffic_percentage: '100'
      tags:
        - key: 'team'
          value: 'data science'

pipeline

Type: Map

Alur didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.pipelines.

Sumber daya pipeline memungkinkan Anda membuat pipeline. Untuk informasi tentang alur, lihat Alur Deklaratif Lakeflow Spark. Untuk tutorial yang menggunakan templat Bundel Otomatisasi Deklaratif untuk membuat alur, lihat Mengembangkan alur dengan Bundel Otomatisasi Deklaratif.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

pipelines:
  <pipeline-name>:
    <pipeline-field-name>: <pipeline-field-value>

Key	Type	Description
allow_duplicate_names	Boolean	Jika "false", penyebaran akan gagal jika nama bertentangan dengan pipeline lain. Ditambahkan dalam Databricks CLI versi 0.261.0
budget_policy_id	String	Kebijakan anggaran pipa ini. Ditambahkan dalam Databricks CLI versi 0.230.0
catalog	String	Katalog di Unity Catalog untuk menerbitkan data dari alur ini ke. Jika target ditentukan, tabel dalam pipeline ini diterbitkan ke dalam skema target di dalam catalog (misalnya, catalog.target.table). Jika target tidak ditentukan, tidak ada data yang diterbitkan ke Katalog Unity. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
channel	String	Saluran Rilis Alur Deklaratif Lakeflow Spark yang menentukan versi Alur Deklaratif Lakeflow Spark mana yang akan digunakan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
clusters	Sequence	Pengaturan kluster untuk penyebaran alur ini. Lihat kluster. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
configuration	Map	Konfigurasi untuk eksekusi alur ini. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
continuous	Boolean	Apakah alur berkelanjutan atau dipicu. Ini menggantikan trigger. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
deployment	Map	Jenis penyebaran alur ini. Lihat penyebaran. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
development	Boolean	Apakah alur dalam mode pengembangan. Secara default diatur ke false. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
dry_run	Boolean	Apakah alur adalah alur dry run.
edition	String	Edisi produk pipa. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
environment	Map	Spesifikasi lingkungan untuk alur ini digunakan untuk menginstal dependensi pada komputasi tanpa server. Lihat lingkungan. Kunci ini hanya didukung di Databricks CLI versi 0.258 ke atas. Ditambahkan dalam Databricks CLI versi 0.257.0
event_log	Map	Konfigurasi log peristiwa untuk alur ini. Lihat event_log. Ditambahkan dalam Databricks CLI versi 0.246.0
filters	Map	Filter yang menentukan paket alur mana yang akan disertakan dalam grafik yang disebarkan. Lihat filter. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
gateway_definition	Map	Konfigurasi untuk alur gateway. Pengaturan ini tidak dapat digunakan dengan ingestion_definition setelan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
id	String	Pengidentifikasi unik untuk saluran ini. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
ingestion_definition	Map	Konfigurasi untuk alur penyerapan terkelola. Pengaturan ini tidak dapat digunakan dengan pengaturan libraries, schema, target, atau catalog. Lihat ingestion_definition. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
libraries	Sequence	Daftar library atau kode yang dibutuhkan untuk penyebaran ini. Lihat pipeline.libraries. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama yang mudah diingat untuk alur ini. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
notifications	Sequence	Pengaturan pemberitahuan untuk alur ini. Lihat pemberitahuan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
permissions	Sequence	Izin alur. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
photon	Boolean	Apakah Photon diaktifkan untuk alur ini. Kunci ini diabaikan jika serverless diatur ke true. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
restart_window	Map	Menentukan jendela hidupkan ulang untuk alur ini. Alur dapat dimulai ulang dalam jendela ini tanpa tertinggal.
root_path	String	Jalur akar untuk alur ini. Ini digunakan sebagai direktori akar saat mengedit alur di antarmuka pengguna Databricks dan ditambahkan ke sys.path saat menjalankan sumber Python selama eksekusi alur. Ditambahkan di Databricks CLI versi 0.253.0
run_as	Map	Identitas yang digunakan alur kerja. Jika tidak ditentukan, alur berjalan sebagai pengguna yang membuat alur. Hanya user_name atau service_principal_name dapat ditentukan. Jika keduanya ditentukan, kesalahan akan muncul. Lihat run_as. Ditambahkan dalam Databricks CLI versi 0.241.0
schema	String	Skema default (database) tempat tabel dibaca atau diterbitkan. Ditambahkan dalam Databricks CLI versi 0.230.0
serverless	Boolean	Apakah komputasi tanpa server diaktifkan untuk alur ini. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
storage	String	Direktori akar DBFS untuk menyimpan titik pemeriksaan dan tabel. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
tags	Map	Peta tag yang terkait dengan pipa. Ini diteruskan ke kluster sebagai tag kluster, dan karenanya tunduk pada batasan yang sama. Maksimal 25 tag dapat ditambahkan ke alur. Ditambahkan dalam Databricks CLI versi 0.256.0
target	String	Skema target (database) untuk menambah tabel pada pipeline ini. Tepat salah satu dari schema atau target harus ditentukan. Untuk menerbitkan ke Katalog Unity, juga tentukan catalog. Bidang warisan ini tidak lagi digunakan untuk pembuatan alur kerja dan digantikan dengan bidang schema. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
usage_policy_id	String	ID kebijakan penggunaan tanpa server yang akan digunakan untuk alur ini. Ditambahkan dalam Databricks CLI versi 0.273.0

pipeline.penyebaran

Type: Map

Konfigurasi jenis penyebaran untuk alur.

Key	Type	Description
kind	String	Jenis implementasi. Contohnya, BUNDLE.
metadata_file_path	String	Jalur ke file metadata untuk penyebaran.

pipeline.lingkungan

Type: Map

Spesifikasi lingkungan untuk menginstal dependensi pada komputasi tanpa server.

Key	Type	Description
dependencies	Sequence	Daftar dependensi pip, seperti yang didukung oleh versi pip di lingkungan ini. Setiap dependensi adalah baris dalam file persyaratan pip.

pipeline.event_log

Type: Map

Konfigurasi log peristiwa untuk alur.

Key	Type	Description
catalog	String	Katalog Unity yang menerbitkan log peristiwa.
name	String	Nama log peristiwa diterbitkan di Katalog Unity.
schema	String	Skema Katalog Unity tempat log kejadian diterbitkan.

saluran.penyaring

Type: Map

Filter yang menentukan paket alur mana yang akan disertakan dalam grafik yang disebarkan.

Key	Type	Description
include	Sequence	Daftar nama paket yang akan disertakan.
exclude	Sequence	Daftar nama paket yang akan dikecualikan.

pipeline.ingestion_definition

Type: Map

Konfigurasi untuk alur penyerapan terkelola. Pengaturan ini tidak dapat digunakan dengan pengaturan libraries, schema, target, atau catalog.

Key	Type	Description
connection_name	String	Nama koneksi yang akan digunakan untuk penyerapan.
full_refresh_window	Map	(Opsional) Jendela yang menentukan serangkaian rentang waktu untuk kueri rekam jepret di CDC.
ingestion_gateway_id	String	ID gateway penyerapan.
objects	Sequence	Dibutuhkan. Pengaturan yang menentukan tabel yang akan direplikasi dan tujuan untuk tabel yang direplikasi. Setiap objek dapat berupa SchemaSpec, TableSpec, atau ReportSpec.
source_type	String	Diperlukan saat menggunakan source_configurations. Menentukan jenis konektor (misalnya, POSTGRESQL, MYSQL).
source_configurations	Sequence	Parameter konfigurasi sumber pada tingkat katalog. Saat menggunakan bidang ini, Anda juga harus menentukan source_type. Lihat source_configurations.
table_configuration	Map	Konfigurasi untuk tabel penyerapan. Lihat table_configuration.

SchemaSpec

Type: Map

Spesifikasi objek skema untuk menyerap semua tabel dari skema.

Key	Type	Description
source_schema	String	Nama skema sumber untuk diserap.
destination_catalog	String	Nama tujuan katalog di Unity Catalog.
destination_schema	String	Nama skema tujuan di Unity Catalog.
table_configuration	Map	Konfigurasi untuk diterapkan ke semua tabel dalam skema ini. Silakan lihat pipeline.ingestion_definition.table_configuration.

TableSpec

Type: Map

Spesifikasi objek tabel untuk menyerap tabel tertentu.

Key	Type	Description
source_schema	String	Nama skema sumber yang berisi tabel.
source_table	String	Nama tabel sumber yang akan dimasukkan.
destination_catalog	String	Nama tujuan katalog di Unity Catalog.
destination_schema	String	Nama skema tujuan di Unity Catalog.
destination_table	String	Nama tabel tujuan di Katalog Unity.
table_configuration	Map	Konfigurasi untuk tabel khusus ini. Silakan lihat pipeline.ingestion_definition.table_configuration.

SpesifikasiLaporan

Type: Map

Melaporkan spesifikasi objek untuk menyerap laporan analitik.

Key	Type	Description
source_url	String	URL laporan sumber.
source_report	String	Nama atau pengidentifikasi laporan sumber.
destination_catalog	String	Nama tujuan katalog di Unity Catalog.
destination_schema	String	Nama skema tujuan di Unity Catalog.
destination_table	String	Nama tabel tujuan untuk data laporan.
table_configuration	Map	Konfigurasi untuk tabel laporan. Silakan lihat pipeline.ingestion_definition.table_configuration.

pipeline.ingestion_definition.source_configurations

Type: Sequence

Konfigurasi untuk sumber. Setiap elemen dalam urutan adalah Peta yang berisi konfigurasi tingkat katalog.

Key	Type	Description
catalog	Map	Parameter konfigurasi sumber pada tingkat katalog. Lihat katalog.

pipeline.ingestion_definition.source_configurations.catalog

Type: Map

Parameter konfigurasi sumber pada tingkat katalog

Key	Type	Description
postgres	Map	Parameter konfigurasi tingkat katalog khusus Postgres. Berisi satu slot_config kunci yang mewakili Map konfigurasi slot Postgres yang akan digunakan untuk replikasi logis.
source_catalog	String	Nama katalog sumber.

pipeline.definisi_pemasukan.konfigurasi_tabel

Type: Map

Opsi konfigurasi untuk tabel penyerapan.

Key	Type	Description
exclude_columns	Sequence	Daftar nama kolom yang akan dikecualikan untuk pengambilan data. Ketika tidak ditentukan, include_columns sepenuhnya mengontrol kolom apa yang akan diserap. Ketika ditentukan, semua kolom lainnya, termasuk yang di masa depan, akan secara otomatis disertakan untuk pemrosesan. Bidang ini saling eksklusif dengan include_columns.
include_columns	Sequence	Daftar nama kolom yang akan disertakan untuk penyerapan. Ketika tidak ditentukan, semua kolom kecuali kolom di exclude_columns akan disertakan. Kolom mendatang akan disertakan secara otomatis. Ketika ditentukan, semua kolom lain di masa mendatang akan secara otomatis dikecualikan dari penyerapan. Bidang ini saling eksklusif dengan exclude_columns.
primary_keys	Sequence	Daftar nama kolom yang akan digunakan sebagai kunci utama untuk tabel.
sequence_by	Sequence	Nama kolom menentukan urutan logis peristiwa dalam data sumber. Alur Deklaratif Spark menggunakan urutan ini untuk menangani peristiwa perubahan yang tiba tidak berurutan.

perpustakaan saluran

Type: Sequence

Menentukan daftar pustaka atau kode yang diperlukan oleh alur ini.

Setiap item dalam daftar adalah definisi:

Key	Type	Description
file	Map	Jalur ke file yang menentukan alur dan disimpan di Databricks Repositori. Lihat pipeline.libraries.file.
glob	Map	Bidang terpadu untuk menyertakan kode sumber. Setiap entri dapat berupa jalur buku catatan, jalur file, atau jalur folder yang berakhir /**. Bidang ini tidak dapat digunakan bersama dengan notebook atau file. Lihat pipeline.libraries.glob.
notebook	Map	Jalur ke notebook yang menentukan alur dan disimpan di ruang kerja Databricks. Lihat pipeline.libraries.notebook.
whl	String	Bidang ini tidak digunakan lagi

pipeline.libraries.file

Type: Map

Jalur ke file yang menentukan alur dan disimpan dalam Repositori Databricks.

Key	Type	Description
path	String	Jalur absolut kode sumber.

pipeline.libraries.glob

Type: Map

Bidang terpadu untuk menyertakan kode sumber. Setiap entri dapat berupa jalur buku catatan, jalur file, atau jalur folder yang berakhir /**. Bidang ini tidak dapat digunakan bersama dengan notebook atau file.

Key	Type	Description
include	String	Kode sumber yang akan disertakan untuk alur

jalur.perpustakaan.buku catatan

Type: Map

Jalur ke notebook yang menentukan alur dan disimpan di ruang kerja Databricks.

Key	Type	Description
path	String	Jalur absolut kode sumber.

pipeline.notifications

Type: Sequence

Pengaturan pemberitahuan untuk alur ini. Setiap item dalam urutan adalah konfigurasi pemberitahuan.

Key	Type	Description
alerts	Sequence	Daftar pemberitahuan yang memicu pemberitahuan. Nilai yang valid meliputi on-update-success, on-update-failure, on-update-fatal-failure, on-flow-failure.
email_recipients	Sequence	Daftar alamat email untuk diberi tahu saat pemberitahuan yang dikonfigurasi dipicu.

Example

Contoh berikut mendefinisikan alur dengan kunci sumber daya hello-pipeline:

resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      clusters:
        - label: default
          num_workers: 1
      development: true
      continuous: false
      channel: CURRENT
      edition: CORE
      photon: false
      libraries:
        - notebook:
            path: ./pipeline.py

Untuk contoh konfigurasi alur tambahan, lihat Konfigurasi alur.

postgres_branch

Type:Map

Sumber daya cabang Postgres memungkinkan Anda menentukan cabang Lakebase dalam bundel. Anda juga harus menentukan proyek Postgres dan titik akhir komputasi yang sesuai.

Ditambahkan dalam Databricks CLI versi 0.287.0

postgres_branches:
  <postgres_branch-name>:
    <postgres_branch-field-name>: <postgres_branches-field-value>

Key	Type	Description
branch_id	String	ID yang digunakan untuk Cabang. Ini menjadi komponen akhir dari nama sumber daya cabang. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, development menjadi projects/my-app/branches/development. Ditambahkan dalam Databricks CLI versi 0.287.0
expire_time	String	Tanda waktu kedaluwarsa absolut. Ketika diatur, cabang akan kedaluwarsa saat ini. Ditambahkan dalam Databricks CLI versi 0.287.0
is_protected	Boolean	Ketika diatur ke true, melindungi cabang dari penghapusan dan reset. Titik akhir komputasi terkait dan proyek tidak dapat dihapus saat cabang dilindungi. Ditambahkan dalam Databricks CLI versi 0.287.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0
no_expiry	Boolean	Nonaktifkan kedaluwarsa secara eksplisit. Ketika diatur ke true, cabang tidak akan kedaluwarsa. Jika diatur ke false, permintaan tidak valid; berikan ttl atau expire_time sebagai gantinya. Ditambahkan dalam Databricks CLI versi 0.287.0
parent	String	Proyek tempat cabang ini akan dibuat. Format: projects/{project_id} Ditambahkan dalam Databricks CLI versi 0.287.0
source_branch	String	Nama cabang sumber tempat cabang ini dibuat (silsilah data untuk pemulihan titik waktu). Jika tidak ditentukan, default ke cabang default proyek. Format: projects/{project_id}/branches/{branch_id} Ditambahkan dalam Databricks CLI versi 0.287.0
source_branch_lsn	String	Nomor Urutan Log (LSN) pada cabang sumber tempat cabang ini dibuat. Ditambahkan dalam Databricks CLI versi 0.287.0
source_branch_time	String	Titik waktu pada cabang sumber tempat cabang ini dibuat. Ditambahkan dalam Databricks CLI versi 0.287.0
ttl	String	Durasi waktu hidup relatif. Ketika diatur, cabang akan kedaluwarsa pada creation_time + ttl. Ditambahkan dalam Databricks CLI versi 0.287.0

Example

Lihat contoh postgres_projects.

postgres_endpoint

Type: Map

Sumber daya postgres_endpoints memungkinkan Anda menentukan titik akhir komputasi Lakebase dalam bundel. Anda juga harus menentukan proyek Lakebase dan cabang Lakebase yang sesuai.

Ditambahkan dalam Databricks CLI versi 0.287.0

postgres_endpoints:
  <postgres_endpoint-name>:
    <postgres_endpoint-field-name>: <postgres_endpoint-field-value>

Key	Type	Description
autoscaling_limit_max_cu	Number	Jumlah maksimum Unit Komputasi. Nilai minimum adalah 0,5. Ditambahkan dalam Databricks CLI versi 0.287.0
autoscaling_limit_min_cu	Number	Jumlah minimum Unit Komputasi. Nilai minimum adalah 0,5. Ditambahkan dalam Databricks CLI versi 0.287.0
disabled	Boolean	Apakah akan membatasi koneksi ke titik akhir komputasi. Mengaktifkan opsi ini menjadwalkan operasi komputasi yang ditangguhkan. Titik akhir komputasi yang dinonaktifkan tidak dapat diaktifkan oleh koneksi atau tindakan konsol. Ditambahkan dalam Databricks CLI versi 0.287.0
endpoint_id	String	ID yang digunakan untuk Titik Akhir. Ini menjadi komponen akhir dari nama sumber daya titik akhir. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, primary menjadi projects/my-app/branches/development/endpoints/primary. Ditambahkan dalam Databricks CLI versi 0.287.0
endpoint_type	String	Jenis titik akhir. Cabang hanya dapat memiliki satu titik akhir READ_WRITE. Nilai yang mungkin: ENDPOINT_TYPE_READ_WRITE, ENDPOINT_TYPE_READ_ONLY. Ditambahkan dalam Databricks CLI versi 0.287.0
group	Map	Konfigurasi grup titik akhir. Lihat postgres_endpoint.group.
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0
no_suspension	Boolean	Ketika diatur ke true, secara eksplisit menonaktifkan penangguhan otomatis (tidak pernah ditangguhkan). Harus diatur ke true ketika disediakan. Ditambahkan dalam Databricks CLI versi 0.287.0
parent	String	Cabang tempat Titik Akhir ini akan dibuat. Format: projects/{project_id}/branches/{branch_id} Ditambahkan dalam Databricks CLI versi 0.287.0
settings	Map	Kumpulan pengaturan untuk titik akhir komputasi. Ditambahkan dalam Databricks CLI versi 0.287.0
suspend_timeout_duration	String	Durasi tidak aktif setelah titik akhir komputasi ditangguhkan secara otomatis. Jika ditentukan harus antara 60-an dan 604800s (1 menit hingga 1 minggu). Ditambahkan dalam Databricks CLI versi 0.287.0

postgres_endpoint.group

Type: Map

Konfigurasi grup titik akhir.

Key	Type	Description
enable_readable_secondaries	Boolean	Apakah akan memperbolehkan koneksi baca-saja ke titik akhir baca-tulis. Hanya relevan untuk titik akhir baca-tulis di mana group.max > 1.
max	Integer	Dibutuhkan. Jumlah maksimum komputasi dalam grup titik akhir. Saat ini, ini harus sama dengan min. Atur ke 1 untuk titik akhir komputasi tunggal, untuk menonaktifkan Ketersediaan Tinggi (HA). Untuk menangguhkan semua komputasi secara manual dalam grup titik akhir, atur disabled ke true pada titik akhir.
min	Integer	Dibutuhkan. Jumlah minimum komputasi dalam grup titik akhir. Saat ini, ini harus sama dengan max. Ini harus lebih besar dari atau sama dengan 1.

Example

Lihat contoh postgres_projects.

postgres_project

Type: Map

Sumber daya proyek Postgres memungkinkan Anda menentukan proyek database Postgres Autoscaling Lakebase dalam bundel. Anda juga harus menentukan cabang Postgres dan titik akhir komputasi yang sesuai.

Ditambahkan dalam Databricks CLI versi 0.287.0

postgres_projects:
  <postgres_project-name>:
    <postgres_project-field-name>: <postgres_project-field-value>

Key	Type	Description
budget_policy_id	String	ID kebijakan anggaran untuk proyek ini.
custom_tags	Sequence	Tag kustom untuk proyek ini. Lihat postgres_project.custom_tags.
default_branch	String	Cabang default untuk proyek, dalam format projects/{project_id}/branches/{branch_id}.
default_endpoint_settings	Map	Kumpulan pengaturan untuk titik akhir komputasi. Lihat postgres_project.default_endpoint_settings. Ditambahkan dalam Databricks CLI versi 0.287.0
display_name	String	Nama proyek yang dapat dibaca manusia. Panjangnya harus antara 1 dan 256 karakter. Ditambahkan dalam Databricks CLI versi 0.287.0
enable_pg_native_login	Boolean	Apakah akan mengaktifkan login Postgres asli untuk proyek. Ditambahkan dalam Databricks CLI versi 0.294.0
history_retention_duration	String	Jumlah detik untuk mempertahankan riwayat bersama untuk pemulihan titik waktu untuk semua cabang dalam proyek ini. Nilai harus antara 0-an dan 2592000s (hingga 30 hari). Ditambahkan dalam Databricks CLI versi 0.287.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.287.0
permissions	Sequence	Izin untuk proyek Postgres. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.292.0
pg_version	Integer	Nomor versi Postgres utama. Versi yang didukung adalah 16 dan 17. Ditambahkan dalam Databricks CLI versi 0.287.0
project_id	String	ID yang digunakan untuk Project. Ini menjadi komponen akhir dari nama sumber daya proyek. ID diperlukan dan panjangnya harus 1-63 karakter, dimulai dengan huruf kecil, dan hanya berisi huruf kecil, angka, dan tanda hubung. Misalnya, my-app menjadi projects/my-app. Ditambahkan dalam Databricks CLI versi 0.287.0

Contoh

resources:
  postgres_projects:
    my_db:
      project_id: test-prod-app
      display_name: 'Production Database'
      pg_version: 17

  postgres_branches:
    main:
      parent: ${resources.postgres_projects.my_db.id}
      branch_id: main
      is_protected: false
      no_expiry: true

  postgres_endpoints:
    primary:
      parent: ${resources.postgres_branches.main.id}
      endpoint_id: primary
      endpoint_type: ENDPOINT_TYPE_READ_WRITE
      autoscaling_limit_min_cu: 0.5
      autoscaling_limit_max_cu: 4

postgres_project.custom_tags

Type: Sequence

Daftar tag kustom untuk proyek.

Key	Type	Description
key	String	Kunci tag kustom.
value	String	Nilai tag kustom.

postgres_project.default_endpoint_settings

Type: Map

Key	Type	Description
autoscaling_limit_max_cu	Number	Jumlah maksimum Unit Komputasi. Nilai minimum adalah 0,5.
autoscaling_limit_min_cu	Number	Jumlah minimum Unit Komputasi. Nilai minimum adalah 0,5.
no_suspension	Boolean	Ketika diatur ke true, secara eksplisit menonaktifkan penangguhan otomatis (tidak pernah ditangguhkan). Harus diatur ke true ketika disediakan.
pg_settings	Map	Representasi mentah pengaturan Postgres.
suspend_timeout_duration	String	Durasi tidak aktif setelah titik akhir komputasi ditangguhkan secara otomatis. Jika ditentukan harus antara 60-an dan 604800s (1 menit hingga 1 minggu).

pemantau_kualitas (Katalog Unity)

Type: Map

Sumber daya quality_monitor memungkinkan Anda untuk mendefinisikan sebuah monitor tabel dalam Unity Catalog. Untuk informasi tentang pemantauan, lihat Pembuatan profil data.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

quality_monitors:
  <quality_monitor-name>:
    <quality_monitor-field-name>: <quality_monitor-field-value>

Key	Type	Description
assets_dir	String	Direktori untuk menyimpan aset pemantauan (misalnya dasbor, tabel metrik). Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
baseline_table_name	String	Nama tabel garis besar tempat metrik penyimpangan dihitung. Kolom dalam tabel yang dipantau juga harus ada dalam tabel garis besar. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
custom_metrics	Sequence	Metrik kustom untuk dihitung pada tabel yang dipantau. Ini dapat berupa metrik agregat, metrik turunan (dari metrik agregat yang sudah dihitung), atau metrik penyimpangan (membandingkan metrik di seluruh jendela waktu). Lihat custom_metrics. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
inference_log	Map	Konfigurasi untuk memantau log inferensi. Lihat inference_log. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
latest_monitor_failure_msg	String	Pesan kesalahan terbaru untuk kegagalan pemantauan. Ini adalah bidang baca-saja yang diisi saat monitor gagal. Ditambahkan dalam Databricks CLI versi 0.264.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
notifications	Map	Pengaturan pemberitahuan untuk monitor. Lihat pemberitahuan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
output_schema_name	String	Skema tempat tabel metrik output dibuat. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
schedule	Map	Jadwal untuk memperbarui dan menyegarkan tabel metrik secara otomatis. Lihat jadwal. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
skip_builtin_dashboard	Boolean	Apakah akan melewati pembuatan dasbor default yang meringkas metrik kualitas data. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
slicing_exprs	Sequence	Daftar ekspresi kolom untuk mengiris data untuk analisis yang ditargetkan. Data dikelompokkan menurut setiap ekspresi secara independen, menghasilkan bagian tersendiri untuk setiap predikat dan pelengkapnya. Untuk kolom kardinalitas tinggi, hanya 100 nilai unik teratas berdasarkan frekuensi yang akan menghasilkan irisan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
snapshot	Map	Konfigurasi untuk memantau tabel rekam jepret. Lihat rekam jepret. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
table_name	String	Nama lengkap tabel. Ditambahkan dalam Databricks CLI versi 0.235.0
time_series	Map	Konfigurasi untuk memantau tabel rangkaian waktu. Lihat time_series. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
warehouse_id	String	Argumen opsional untuk menentukan gudang untuk pembuatan dasbor. Jika tidak ditentukan, gudang pertama yang sedang berjalan akan digunakan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

monitor_kualitas.metode_kustom

Type: Sequence

Daftar definisi metrik kustom.

Setiap item dalam daftar adalah CustomMetric:

Key	Type	Description
definition	String	Templat Jinja untuk ekspresi SQL yang menentukan cara menghitung metrik. Lihat membuat definisi metrik.
input_columns	Sequence	Daftar nama kolom dalam tabel input yang harus dihitung metriknya. Dapat digunakan :table untuk menunjukkan bahwa metrik membutuhkan informasi dari beberapa kolom.
name	String	Nama metrik dalam tabel output.
output_data_type	String	Jenis keluaran dari metrik kustom.
type	String	Hanya bisa menjadi salah satu dari CUSTOM_METRIC_TYPE_AGGREGATE, CUSTOM_METRIC_TYPE_DERIVED, atau CUSTOM_METRIC_TYPE_DRIFT. CUSTOM_METRIC_TYPE_AGGREGATE dan CUSTOM_METRIC_TYPE_DERIVED metrik dihitung pada satu tabel, sedangkan CUSTOM_METRIC_TYPE_DRIFT metrik membandingkan di antara tabel dasar dan tabel input, atau di antara dua rentang waktu berturut-turut. CUSTOM_METRIC_TYPE_AGGREGATE: hanya bergantung pada kolom yang ada di tabel Anda CUSTOM_METRIC_TYPE_DERIVED: bergantung pada metrik agregat yang telah dihitung sebelumnya CUSTOM_METRIC_TYPE_DRIFT: bergantung pada metrik agregat atau turunan yang dihitung sebelumnya

pemantau_kualitas.log_inferensi

Type: Map

Konfigurasi untuk memantau log inferensi.

Key	Type	Description
granularities	Sequence	Granularitas waktu untuk mengumpulkan log inferensi (misalnya, ["1 day"]).
model_id_col	String	Nama kolom yang berisi ID model.
prediction_col	String	Nama kolom yang berisi prediksi.
timestamp_col	String	Nama kolom yang berisi tanda waktu.
problem_type	String	Jenis masalah pembelajaran mesin. Nilai yang valid meliputi PROBLEM_TYPE_CLASSIFICATION, PROBLEM_TYPE_REGRESSION.
label_col	String	Nama kolom yang berisi label (kebenaran dasar).
prediction_proba_col	String	Nama kolom yang berisi probabilitas prediksi.

kualitas_monitor.pemberitahuan

Type: Map

Pengaturan notifikasi untuk monitor.

Key	Type	Description
on_failure	Map	Pengaturan pemberitahuan saat monitor gagal. Lihat on_failure.
on_new_classification_tag_detected	Map	Pengaturan pemberitahuan saat tag klasifikasi baru terdeteksi. Silakan lihat on_new_classification_tag_detected.

quality_monitor.notifications.on_failure (digunakan untuk menentukan peringatan saat terjadi kesalahan)

Type: Map

Pengaturan pemberitahuan saat monitor gagal.

Key	Type	Description
email_addresses	Sequence	Daftar alamat email untuk diberi tahu tentang kegagalan pemantauan.

pemantau_kualitas.notifikasi.saat_tag_klasifikasi_baru_terdeteksi

Type: Map

Pengaturan pemberitahuan saat tag klasifikasi baru terdeteksi.

Key	Type	Description
email_addresses	Sequence	Daftar alamat email yang akan diberi tahu saat tag klasifikasi baru terdeteksi.

pengawasan_kualitas.jadwal

Type: Map

Jadwalkan untuk memperbarui dan menyegarkan tabel metrik secara otomatis.

Key	Type	Description
quartz_cron_expression	String	Ekspresi Cron menggunakan sintaks Quartz. Misalnya, 0 0 8 * * ? berjalan setiap hari pada pukul 08.00 pagi.
timezone_id	String	Zona waktu untuk jadwal (misalnya, UTC, America/Los_Angeles).
pause_status	String	Apakah jadwal sedang dijeda? Nilai yang valid: PAUSED, UNPAUSED.

monitor_kualitas.cuplikan

Type: Map

Konfigurasi untuk memantau tabel rekam jepret.

pemantauan_kualitas.serial_waktu

Konfigurasi untuk memantau tabel rangkaian waktu.

Key	Type	Description
granularities	Sequence	Granularitas waktu untuk menggabungkan data rangkaian waktu (misalnya, ["30 minutes"]).
timestamp_col	String	Nama kolom yang berisi tanda waktu.

Examples

Contoh berikut menentukan monitor kualitas untuk InferenceLog, TimeSeries, dan tipe profil Snapshot.

# InferenceLog profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 day]
        model_id_col: model_id
        prediction_col: prediction
        label_col: price
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# TimeSeries profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      time_series:
        granularities: [30 minutes]
        timestamp_col: timestamp
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

# Snapshot profile type
resources:
  quality_monitors:
    my_quality_monitor:
      table_name: dev.mlops_schema.predictions
      output_schema_name: ${bundle.target}.mlops_schema
      assets_dir: /Workspace/Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      snapshot: {}
      schedule:
        quartz_cron_expression: 0 0 8 * * ? # Run Every day at 8am
        timezone_id: UTC

Contoh berikut mengonfigurasi monitor kualitas dan pekerjaan pelatihan ulang model yang sesuai berdasarkan pemantauan:

# Quality monitoring workflow
resources:
  quality_monitors:
    mlops_quality_monitor:
      table_name: ${bundle.target}.mlops_demo.predictions
      output_schema_name: ${bundle.target}.mlops_demo
      assets_dir: /Users/${workspace.current_user.userName}/databricks_lakehouse_monitoring
      inference_log:
        granularities: [1 hour]
        model_id_col: model_version
        prediction_col: prediction
        label_col: fare_amount
        problem_type: PROBLEM_TYPE_REGRESSION
        timestamp_col: inference_timestamp
      schedule:
        quartz_cron_expression: 57 0 14 * * ? # refresh monitoring metrics every day at 7 am PT
        timezone_id: UTC
  jobs:
    retraining_job:
      name: ${bundle.target}-mlops_demo-monitoring-retraining-job
      tasks:
        - task_key: monitored_metric_violation_check
          notebook_task:
            notebook_path: ../monitoring/notebooks/MonitoredMetricViolationCheck.py
            base_parameters:
              env: ${bundle.target}
              table_name_under_monitor: ${bundle.target}.mlops_demo.predictions
              metric_to_monitor: r2_score
              metric_violation_threshold: 0.7
              num_evaluation_windows: 24
              num_violation_windows: 5 # 5 out of the past 24 windows have metrics lower than threshold

        - task_key: is_metric_violated
          depends_on:
            - task_key: monitored_metric_violation_check
          condition_task:
            op: EQUAL_TO
            left: '{{tasks.monitored_metric_violation_check.values.is_metric_violated}}'
            right: 'true'

        - task_key: trigger_retraining
          depends_on:
            - task_key: is_metric_violated
              outcome: 'true'
          run_job_task:
            job_id: ${resources.jobs.model_training_job.id}

      schedule:
        quartz_cron_expression: '0 0 15 * * ?' # daily at 8 am PDT
        timezone_id: UTC

      # To get notifications, provide a list of emails to the on_failure argument.
      #
      #  email_notifications:
      #    on_failure:
      #      - someone@example.com

model_terdaftar (Katalog Unity)

Type: Map

Sumber daya model terdaftar memungkinkan Anda menentukan model di Unity Catalog. Untuk informasi mengenai model terdaftardi Unity Catalog , lihat Mengelola siklus hidup model di Unity Catalog.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

registered_models:
  <registered_model-name>:
    <registered_model-field-name>: <registered_model-field-value>

Key	Type	Description
aliases	Sequence	Daftar alias yang terkait dengan model terdaftar. Lihat registered_model.alias. Ditambahkan dalam Databricks CLI versi 0.273.0
browse_only	Boolean	Menunjukkan apakah prinsipal hanya dapat mengambil metadata untuk objek terkait melalui hak istimewa BROWSE ketika include_browse diaktifkan dalam permintaan. Ditambahkan dalam Databricks CLI versi 0.273.0
catalog_name	String	Nama katalog tempat skema dan model terdaftar berada. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
comment	String	Komentar yang dilampirkan pada model yang terdaftar. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
created_at	Integer	Tanda waktu pembuatan model terdaftar dalam milidetik sejak zaman Unix. Ditambahkan dalam Databricks CLI versi 0.273.0
created_by	String	Pengidentifikasi pengguna yang membuat model terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0
full_name	String	Nama berjenjang tiga (sepenuhnya memenuhi syarat) dari model yang terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0
grants	Sequence	Hibah yang terkait dengan model terdaftar. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
metastore_id	String	Pengidentifikasi unik metastore. Ditambahkan dalam Databricks CLI versi 0.273.0
name	String	Nama model terdaftar. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
owner	String	Identifikasi pengguna yang memiliki model yang terdaftar. Ditambahkan dalam Databricks CLI versi 0.273.0
schema_name	String	Nama skema tempat model terdaftar berada. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
storage_location	String	Lokasi penyimpanan di cloud tempat file data versi model disimpan. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
updated_at	String	Tanda waktu pembaruan terakhir dari model terdaftar dalam milidetik sejak epoch Unix. Ditambahkan dalam Databricks CLI versi 0.273.0
updated_by	String	Pengidentifikasi pengguna yang memperbarui model terdaftar terakhir kali. Ditambahkan dalam Databricks CLI versi 0.273.0

registered_model.alias

Type: Sequence

Daftar alias yang terkait dengan model terdaftar.

Setiap item dalam daftar adalah Alias:

Key	Type	Description
alias_name	String	Nama alias, misalnya 'champion' atau 'latest_stable'
catalog_name	String	Nama katalog yang berisi versi model
id	String	Pengidentifikasi unik dari alias
model_name	String	Nama model terdaftar induk dari versi model, relatif terhadap skema induk
schema_name	String	Nama skema yang berisi versi model, relatif terhadap katalog induk
version_num	Integer	Nomor versi bilangan bulat dari versi model yang ditunjukkan alias ini.

Example

Contoh berikut mendefinisikan model terdaftar di Unity Catalog:

resources:
  registered_models:
    model:
      name: my_model
      catalog_name: ${bundle.target}
      schema_name: mlops_schema
      comment: Registered model in Unity Catalog for ${bundle.target} deployment target
      grants:
        - privileges:
            - EXECUTE
          principal: account users

skema (Katalog Unity)

Type: Map

Skema didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.schemas.

Jenis sumber daya skema dapat memungkinkan Anda menentukan skema Unity Catalog untuk tabel dan aset lainnya dalam alur kerja dan jalur pemrosesan yang dibuat sebagai bagian dari suatu bundel. Skema, berbeda dari jenis sumber daya lainnya, memiliki batasan berikut:

• Pemilik sumber daya skema selalu menjadi pengguna penyebaran, dan tidak dapat diubah. Jika run_as ditentukan dalam bundel, elemen tersebut akan diabaikan oleh operasi pada skema.
• Hanya bidang yang didukung oleh API pembuatan objek Skema yang sesuai yang tersedia untuk sumber daya skema. Misalnya, enable_predictive_optimization tidak didukung karena hanya tersedia di API pembaruan .

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

schemas:
  <schema-name>:
    <schema-field-name>: <schema-field-value>

Key	Type	Description
catalog_name	String	Nama katalog induk. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
comment	String	Deskripsi teks bentuk bebas yang disediakan pengguna. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
grants	Sequence	Hibah yang terkait dengan skema. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama skema, relatif terhadap katalog induk. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
properties	Map	Daftar properti kunci-nilai yang terhubung dengan skema. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru
storage_root	String	URL akar penyimpanan untuk tabel terkelola dalam skema. Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

Examples

Contoh berikut mendefinisikan alur dengan kunci my_pipeline sumber daya yang membuat skema Katalog Unity dengan kunci my_schema sebagai target. Contoh ini menggunakan substitusi.

resources:
  pipelines:
    my_pipeline:
      name: test-pipeline
      libraries:
        - notebook:
            path: ../src/nb.ipynb
        - file:
            path: ../src/range.sql
      development: true
      catalog: ${resources.schemas.my_schema.catalog_name}
      target: ${resources.schemas.my_schema.id}

  schemas:
    my_schema:
      name: test-schema
      catalog_name: main
      comment: This schema was created by Declarative Automation Bundles.

Pemetaan pemberian hibah tingkat atas tidak didukung oleh Bundel Otomatisasi Deklaratif, jadi jika Anda ingin mengatur pemberian untuk skema, tentukan hibah untuk skema dalam schemas pemetaan. Untuk informasi selengkapnya tentang pemberian, lihat Tampilkan, berikan, dan cabut hak istimewa.

Contoh berikut mendefinisikan skema Unity Catalog dengan hibah:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

ruang_lingkup_rahasia

Type: Map

Sumber daya secret_scope memungkinkan Anda menentukan cakupan rahasia dalam satu paket. Untuk informasi tentang cakupan rahasia, lihat Manajemen rahasia.

Ditambahkan dalam Databricks CLI versi 0.252.0

secret_scopes:
  <secret_scope-name>:
    <secret_scope-field-name>: <secret_scope-field-value>

Key	Type	Description
backend_type	String	Jenis backend yang akan digunakan untuk membuat cakupan. Jika tidak ditentukan, ini default ke DATABRICKS. Ditambahkan dalam Databricks CLI versi 0.252.0
keyvault_metadata	Map	Metadata untuk cakupan rahasia jika backend_type adalah AZURE_KEYVAULT. Lihat keyvault_metadata. Ditambahkan dalam Databricks CLI versi 0.252.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama cakupan yang diminta oleh pengguna. Nama cakupan bersifat unik. Ditambahkan dalam Databricks CLI versi 0.252.0
permissions	Sequence	Izin untuk diterapkan ke cakupan rahasia. Izin dikelola melalui cakupan rahasia ACL. Lihat izin. Ditambahkan dalam Databricks CLI versi 0.252.0

secret_scope.keyvault_metadata

Type: Map

Metadata untuk cakupan rahasia yang didukung Azure Key Vault.

Key	Type	Description
resource_id	String	ID sumber daya Azure dari Key Vault.
dns_name	String	Nama DNS Azure Key Vault.

Examples

Contoh berikut mendefinisikan cakupan rahasia yang menggunakan backend penyimpanan kunci:

resources:
  secret_scopes:
    secret_scope_azure:
      name: test-secrets-azure-backend
      backend_type: 'AZURE_KEYVAULT'
      keyvault_metadata:
        resource_id: my_azure_keyvault_id
        dns_name: my_azure_keyvault_dns_name

Contoh berikut menetapkan ACL kustom menggunakan cakupan dan izin rahasia:

resources:
  secret_scopes:
    my_secret_scope:
      name: my_secret_scope
      permissions:
        - user_name: admins
          level: WRITE
        - user_name: users
          level: READ

Untuk contoh bundel yang menunjukkan cara menentukan cakupan rahasia dan pekerjaan dengan tugas yang dibaca darinya dalam bundel, lihat bundle-contoh GitHub repositori.

sql_warehouse

Type: Map

Sumber daya gudang SQL memungkinkan Anda menentukan gudang SQL dalam bundel. Untuk informasi tentang gudang SQL, lihat pergudangan Data di Azure Databricks.

Ditambahkan di Databricks CLI versi 0.260.0

sql_warehouses:
  <sql-warehouse-name>:
    <sql-warehouse-field-name>: <sql-warehouse-field-value>

Key	Type	Description
auto_stop_mins	Integer	Jumlah waktu dalam menit yang harus menganggur gudang SQL (misalnya, tanpa ada kueri yang berjalan), sebelum otomatis dimatikan. Nilai yang valid adalah 0, yang menunjukkan tidak ada autostop, atau lebih besar dari atau sama dengan 10. Defaultnya adalah 120. Ditambahkan di Databricks CLI versi 0.260.0
channel	Map	Rincian saluran. Lihat saluran. Ditambahkan di Databricks CLI versi 0.260.0
cluster_size	String	Ukuran kluster yang dialokasikan untuk gudang ini. Meningkatkan ukuran kluster Spark memungkinkan Anda menjalankan kueri yang lebih besar di dalamnya. Jika Anda ingin meningkatkan jumlah kueri bersamaan, atur max_num_clusters. Untuk nilai yang didukung, lihat cluster_size. Ditambahkan di Databricks CLI versi 0.260.0
creator_name	String	Nama pengguna yang membuat gudang. Ditambahkan di Databricks CLI versi 0.260.0
enable_photon	Boolean	Apakah gudang perlu menggunakan kluster yang dioptimalkan oleh Photon. Secara default diatur ke false. Ditambahkan di Databricks CLI versi 0.260.0
enable_serverless_compute	Boolean	Apakah gudang harus menggunakan komputasi tanpa server. Ditambahkan di Databricks CLI versi 0.260.0
instance_profile_arn	String	Deprecated. Profil instans yang digunakan untuk meneruskan peran IAM ke kluster. Ditambahkan di Databricks CLI versi 0.260.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
max_num_clusters	Integer	Jumlah maksimum kluster yang akan dibuat autoscaler untuk menangani permintaan bersamaan. Nilai harus kurang dari atau sama dengan 30 dan lebih besar dari atau sama dengan min_num_clusters. Secara otomatis diatur ke min_clusters jika tidak diatur. Ditambahkan di Databricks CLI versi 0.260.0
min_num_clusters	Integer	Jumlah minimum kluster yang tersedia yang akan dipertahankan untuk gudang SQL ini. Meningkatkan ini akan memastikan bahwa sejumlah besar kluster selalu berjalan dan oleh karena itu dapat mengurangi waktu awal dingin untuk permintaan baru. Ini mirip dengan core yang dicadangkan dan yang dapat dicabut di pengelola sumber daya. Nilai harus lebih besar dari 0 dan kurang dari atau sama dengan min(max_num_clusters, 30). Default ke 1. Ditambahkan di Databricks CLI versi 0.260.0
name	String	Nama logis untuk kluster. Nama harus unik dalam organisasi dan kurang dari 100 karakter. Ditambahkan di Databricks CLI versi 0.260.0
permissions	Sequence	Izin yang akan diterapkan ke gudang. Lihat izin. Ditambahkan di Databricks CLI versi 0.260.0
spot_instance_policy	String	Perlukah menggunakan instans spot. Nilai yang valid adalah POLICY_UNSPECIFIED, COST_OPTIMIZED, RELIABILITY_OPTIMIZED. Defaultnya adalah COST_OPTIMIZED. Ditambahkan di Databricks CLI versi 0.260.0
tags	Map	Sekumpulan tag kustom untuk gudang. Lihat sql_warehouse.tags. Ditambahkan di Databricks CLI versi 0.260.0
warehouse_type	String	Jenis gudang, PRO atau CLASSIC. Jika Anda ingin menggunakan komputasi tanpa server, atur bidang ini ke PRO dan atur juga bidang enable_serverless_compute ke true. Ditambahkan di Databricks CLI versi 0.260.0

sql_warehouse.channel

Type: Map

Konfigurasi saluran untuk gudang SQL.

Key	Type	Description
name	String	Nama saluran. Nilai yang valid meliputi CHANNEL_NAME_CURRENT, CHANNEL_NAME_PREVIEW, CHANNEL_NAME_CUSTOM.
dbsql_version	String	Versi DBSQL untuk saluran kustom.

sql_warehouse.tags

Type: Map

Tag kustom untuk gudang SQL.

Key	Type	Description
custom_tags	Sequence	Sekumpulan pasangan kunci-nilai yang mengidentifikasi tag pada semua sumber daya (misalnya, instans AWS dan volume EBS) yang terkait dengan gudang SQL ini. Jumlah tag harus kurang dari 45.

Example

Contoh berikut mendefinisikan gudang SQL:

resources:
  sql_warehouses:
    my_sql_warehouse:
      name: my_sql_warehouse
      cluster_size: X-Large
      enable_serverless_compute: true
      max_num_clusters: 3
      min_num_clusters: 1
      auto_stop_mins: 60
      warehouse_type: PRO
      tags:
        custom_tags:
          - key: 'bizunit'
            value: 'commercial'
          - key: 'area'
            value: 'marketing'

tabel_database_sinkronisasi

Type: Map

Sumber daya tabel database yang disinkronkan memungkinkan Anda menentukan tabel database Lakebase dalam bundel.

Untuk informasi tentang tabel database yang disinkronkan, lihat Apa itu instans database?.

Ditambahkan dalam Databricks CLI versi 0.266.0

synced_database_tables:
  <synced_database_table-name>:
    <synced_database_table-field-name>: <synced_database_table-field-value>

Key	Type	Description
database_instance_name	String	Nama instans database target. Ini diperlukan saat membuat tabel database yang disinkronkan di katalog standar. Ini bersifat opsional saat membuat tabel database yang disinkronkan di katalog terdaftar. Ditambahkan dalam Databricks CLI versi 0.266.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
logical_database_name	String	Nama objek database Postgres target (database logis) untuk tabel ini. Ditambahkan dalam Databricks CLI versi 0.266.0
name	String	Nama lengkap tabel, dalam formulir catalog.schema.table. Ditambahkan dalam Databricks CLI versi 0.266.0
spec	Map	Spesifikasi tabel database. Lihat spesifikasi tabel database yang disinkronkan. Ditambahkan dalam Databricks CLI versi 0.266.0

synced_database_table.spec

Type: Map

Spesifikasi tabel database.

Ditambahkan dalam Databricks CLI versi 0.266.0

Key	Type	Description
create_database_objects_if_missing	Boolean	Apakah akan membuat database logis tabel yang disinkronkan dan sumber daya skema jika belum ada.
existing_pipeline_id	String	ID untuk pipeline yang sudah ada. Jika ini diatur, tabel yang disinkronkan akan dikemas secara bin ke dalam alur yang telah direferensikan. Ini menghindari pembuatan alur baru dan memungkinkan berbagi komputasi yang ada. Dalam hal ini, scheduling_policy tabel yang sudah disinkronkan harus sesuai dengan kebijakan penjadwalan dari pipeline yang ada. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan.
new_pipeline_spec	Map	Spesifikasi untuk jalur baru. Lihat new_pipeline_spec. Paling banyak salah satu dari existing_pipeline_id dan new_pipeline_spec harus didefinisikan.
primary_key_columns	Sequence	Daftar nama kolom yang membentuk kunci utama.
scheduling_policy	String	Kebijakan penjadwalan untuk sinkronisasi. Nilai yang valid meliputi SNAPSHOT, CONTINUOUS, TRIGGERED.
source_table_full_name	String	Nama lengkap tabel sumber dalam format catalog.schema.table.
timeseries_key	String	Kunci deret waktu untuk menghilangkan duplikasi baris dengan kunci utama yang sama.

synced_database_table.spec.new_pipeline_spec

Type: Map

Spesifikasi untuk alur baru yang digunakan oleh tabel database yang disinkronkan.

Key	Type	Description
budget_policy_id	String	ID kebijakan anggaran yang akan ditetapkan pada alur yang baru dibuat.
storage_catalog	String	Katalog untuk alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus menjadi katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta.
storage_schema	String	Skema alur untuk menyimpan file perantara, seperti titik pemeriksaan dan log peristiwa. Ini harus berada di katalog standar di mana pengguna memiliki izin untuk membuat tabel Delta.

Examples

Contoh berikut menentukan tabel database yang disinkronkan dalam katalog database terkait:

resources:
  database_instances:
    my_instance:
      name: my-instance
      capacity: CU_1
  database_catalogs:
    my_catalog:
      database_instance_name: my-instance
      database_name: 'my_database'
      name: my_catalog
      create_database_if_not_exists: true
  synced_database_tables:
    my_synced_table:
      name: ${resources.database_catalogs.my_catalog.name}.${resources.database_catalogs.my_catalog.database_name}.my_destination_table
      database_instance_name: ${resources.database_catalogs.my_catalog.database_instance_name}
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'my_source_table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Contoh berikut menentukan tabel database yang disinkronkan di dalam katalog standar:

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.public.synced_table'
      # database_instance_name is required for synced tables created in standard catalogs.
      database_instance_name: 'my-database-instance'
      # logical_database_name is required for synced tables created in standard catalogs:
      logical_database_name: ${resources.database_catalogs.my_catalog.database_name}
      spec:
        source_table_full_name: 'source_catalog.schema.table'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - my_pk_column
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'my_delta_catalog'
          storage_schema: 'my_delta_schema'

Contoh ini membuat tabel database yang disinkronkan dan menyesuaikan jadwal alur untuk tabel tersebut. Ini mengasumsikan Anda sudah memiliki:

• Instans database bernama my-database-instance
• Katalog standar bernama my_standard_catalog
• Skema dalam katalog standar bernama default
• Tabel delta sumber bernama source_delta.schema.customer dengan kunci primer c_custkey

resources:
  synced_database_tables:
    my_synced_table:
      name: 'my_standard_catalog.default.my_synced_table'
      database_instance_name: 'my-database-instance'
      logical_database_name: 'test_db'
      spec:
        source_table_full_name: 'source_delta.schema.customer'
        scheduling_policy: SNAPSHOT
        primary_key_columns:
          - c_custkey
        create_database_objects_if_missing: true
        new_pipeline_spec:
          storage_catalog: 'source_delta'
          storage_schema: 'schema'

  jobs:
    sync_pipeline_schedule_job:
      name: sync_pipeline_schedule_job
      description: 'Job to schedule synced database table pipeline.'
      tasks:
        - task_key: synced-table-pipeline
          pipeline_task:
            pipeline_id: ${resources.synced_database_tables.my_synced_table.data_synchronization_status.pipeline_id}
      schedule:
        quartz_cron_expression: '0 0 0 * * ?'

volume (Katalog Unity)

Type: Map

Volume didukung di Python untuk Bundel Otomatisasi Deklaratif. Lihat databricks.bundles.volumes.

Tipe sumber daya volume memungkinkan Anda menentukan serta membuat volume-volume Unity Catalog dalam sebuah bundel. Saat menyebarkan bundel dengan volume yang ditentukan, perhatikan bahwa:

• Volume tidak dapat direferensikan dalam artifact_path untuk bundel hingga ada di ruang kerja. Oleh karena itu, jika Anda ingin menggunakan Bundel Otomatisasi Deklaratif untuk membuat volume, Anda harus terlebih dahulu menentukan volume dalam bundel, menyebarkannya untuk membuat volume, lalu mereferensikannya dalam artifact_path penyebaran berikutnya.
• Volume-volume dalam bundel tidak diawali dengan awalan dev_${workspace.current_user.short_name} ketika target penyebaran dikonfigurasi dengan mode: development. Namun, Anda dapat mengonfigurasi awalan ini secara manual. Lihat preset kustom .

Ditambahkan dalam Databricks CLI versi 0.236.0

volumes:
  <volume-name>:
    <volume-field-name>: <volume-field-value>

Key	Type	Description
catalog_name	String	Nama katalog skema dan volume. Ditambahkan dalam Databricks CLI versi 0.236.0
comment	String	Komentar yang dilampirkan ke volume. Ditambahkan dalam Databricks CLI versi 0.236.0
grants	Sequence	Hibah yang terkait dengan volume. Lihat pemberian. Ditambahkan dalam Databricks CLI versi 0.236.0
lifecycle	Map	Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan. Lihat siklus hidup. Ditambahkan dalam Databricks CLI versi 0.268.0
name	String	Nama volume. Ditambahkan dalam Databricks CLI versi 0.236.0
schema_name	String	Nama skema tempat volume berada. Ditambahkan dalam Databricks CLI versi 0.236.0
storage_location	String	Lokasi penyimpanan di cloud. Ditambahkan dalam Databricks CLI versi 0.236.0
volume_type	String	Jenis volume, baik EXTERNAL atau MANAGED. Volume eksternal terletak di lokasi eksternal yang ditentukan. Volume terkelola terletak di lokasi default yang ditentukan oleh skema induk, atau katalog induk, atau metastore. Lihat Volume terkelola versus eksternal.

Example

Contoh berikut membuat volume Katalog Unity dengan kunci my_volume_id:

resources:
  volumes:
    my_volume_id:
      catalog_name: main
      name: my_volume
      schema_name: my_schema

Untuk contoh bundel yang menjalankan pekerjaan yang menulis ke file dalam volume Katalog Unity, lihat bundle-examples GitHub repositori.

Objek umum

Hibah

Type: Map

Mendefinisikan prinsipal dan hak istimewa yang akan diberikan kepada prinsipal tersebut. Untuk informasi selengkapnya tentang pemberian, lihat Tampilkan, berikan, dan cabut hak istimewa.

Ditambahkan dalam Databricks CLI versi 0.229.0 atau yang lebih baru

Key	Type	Description
principal	String	Nama prinsipal yang akan diberikan hak istimewa. Ini bisa menjadi pengguna, grup, atau perwakilan layanan.
privileges	Sequence	Hak istimewa untuk diberikan kepada entitas yang ditentukan. Nilai yang valid bergantung pada jenis sumber daya (misalnya, , SELECT, MODIFY, CREATE, USAGEREAD_FILES, WRITE_FILES, EXECUTE, ALL_PRIVILEGES).

Example

Contoh berikut mendefinisikan skema Unity Catalog dengan hibah:

resources:
  schemas:
    my_schema:
      name: test-schema
      grants:
        - principal: users
          privileges:
            - SELECT
        - principal: my_team
          privileges:
            - CAN_MANAGE
      catalog_name: main

siklus hidup

Type: Map

Berisi pengaturan siklus hidup untuk sumber daya. Ini mengontrol perilaku sumber daya saat disebarkan atau dihancurkan.

Ditambahkan dalam Databricks CLI versi 0.268.0

Key	Type	Description
prevent_destroy	Boolean	Pengaturan siklus hidup untuk mencegah sumber daya dihancurkan. Ditambahkan dalam Databricks CLI versi 0.268.0
started	Boolean	Pengaturan siklus hidup untuk menyebarkan sumber daya dalam mode mulai. Hanya didukung untuk aplikasi, kluster, dan sql_warehouses dalam mode penyebaran langsung. Ditambahkan dalam Databricks CLI versi 0.297.0