grup perintah pipelines

Note

Informasi ini berlaku untuk Databricks CLI versi 0.205 ke atas. Databricks CLI ada di Pratinjau Publik.

Penggunaan Databricks CLI tunduk pada Lisensi Databricks dan Pemberitahuan Privasi Databricks, termasuk ketentuan Data Penggunaan apa pun.

pipelines Grup perintah dalam Databricks CLI berisi dua set fungsionalitas. Set pertama memungkinkan Anda mengelola proyek alur dan alur kerjanya. Set kedua memungkinkan Anda membuat, mengedit, menghapus, memulai, dan melihat detail tentang objek alur di Databricks.

Untuk informasi tentang alur, lihat Alur Deklaratif Lakeflow Spark.

Mengelola proyek alur

Perintah berikut memungkinkan Anda mengelola alur dalam proyek. Proyek alur adalah bundel yang dapat berisi satu atau beberapa objek alur.

penyebaran alur databricks

Sebarkan alur dengan mengunggah semua file yang ditentukan dalam proyek ke ruang kerja target, dan membuat atau memperbarui alur yang ditentukan di ruang kerja.

Penting

Untuk menjalankan perintah ini, file Bundel databricks.yml Aset Databricks harus berada di akar direktori proyek. Untuk tutorial yang membuat proyek alur, lalu menyebarkan dan menjalankan alur, lihat Mengembangkan Alur Deklaratif Lakeflow Spark dengan Bundel Aset Databricks.

databricks pipelines deploy [flags]

Arguments

None

Opsi

--auto-approve

    Lewati persetujuan interaktif yang mungkin diperlukan untuk penyebaran

--fail-on-active-runs

    Gagal jika ada pipeline yang berjalan dalam proses deploy

--force-lock

    Paksa akuisisi kunci penyebaran. Opsi ini menonaktifkan mekanisme yang mencegah penyebaran bersamaan berinteraksi satu sama lain. Ini hanya boleh digunakan jika penyebaran sebelumnya mengalami crash atau terganggu dan meninggalkan file kunci kedaluarsa.

Bendera global

alur databricks dihancurkan

Menghancurkan proyek pipa.

databricks pipelines destroy [flags]

Arguments

None

Opsi

--auto-approve

    Lewati persetujuan interaktif untuk menghapus alur

--force-lock

    Paksa akuisisi kunci penyebaran. Opsi ini menonaktifkan mekanisme yang mencegah penyebaran bersamaan berinteraksi satu sama lain. Ini hanya boleh digunakan jika penyebaran sebelumnya mengalami crash atau terganggu dan meninggalkan file kunci kedaluarsa.

Bendera global

pipeline databricks dry-run

Memvalidasi kebenaran grafik alur, yang diidentifikasi oleh KEY. Tidak mewujudkan atau menerbitkan himpunan data apa pun.

databricks pipelines dry-run [flags] [KEY]

Arguments

KEY

    Nama unik jalur pemrosesan yang akan dilakukan dry run, sebagaimana didefinisikan dalam file YAML-nya. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

Opsi

--no-wait

    Jangan tunggu hingga proses selesai

--restart

    Mulai ulang proses jika sudah berjalan

Bendera global

alur databricks dihasilkan

Buat konfigurasi untuk alur Spark yang ada.

Perintah ini mencari spark-pipeline.yml file atau *.spark-pipeline.yml dalam direktori yang ditentukan dan menghasilkan file konfigurasi baru *.pipeline.yml di resources folder proyek yang menentukan alur. Jika ada beberapa spark-pipeline.yml file, tentukan jalur lengkap ke file tertentu *.spark-pipeline.yml .

databricks pipelines generate [flags]

Note

Untuk membuat konfigurasi untuk pipeline yang ada di ruang kerja Databricks, lihat databricks bundle generate pipeline dan membuat konfigurasi untuk job atau pipeline yang ada menggunakan Databricks CLI.

Opsi

--existing-pipeline-dir

    Jalur ke direktori pipeline yang ada di src (misalnya, src/my_pipeline).

--force

    Timpa file konfigurasi alur yang ada.

Bendera global

Examples

Contoh berikut melihat di direktori saat ini dan membaca src/my_pipeline/spark-pipeline.yml, lalu membuat file konfigurasi resources/my_pipeline.pipeline.yml yang menetapkan pipeline.

databricks pipelines generate --existing-pipeline-dir src/my_pipeline

riwayat alur databricks

Ambil riwayat sebelumnya untuk pipeline yang diidentifikasi oleh KEY.

databricks pipelines history [flags] [KEY]

Arguments

KEY

    Nama unik alur, seperti yang didefinisikan dalam file YAML-nya. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

Opsi

--end-time string

    Saring pembaruan sebelum waktu ini (format: 2025-01-15T10:30:00Z)

--start-time string

    Menyaring pembaruan setelah waktu ini (format: 2025-01-15T10:30:00Z)

Bendera global

Inisialisasi alur databricks

Menginisialisasi proyek alur baru.

Untuk tutorial yang memandu pembuatan, penyebaran, dan menjalankan proyek alur menggunakan Databricks CLI, lihat Mengembangkan Alur Deklaratif Lakeflow Spark dengan Bundel Aset Databricks.

databricks pipelines init [flags]

Arguments

None

Opsi

--config-file string

    File JSON yang berisi pasangan nilai kunci parameter input yang diperlukan untuk inisialisasi templat

--output-dir string

    Direktori untuk menulis templat yang diinisialisasi ke

Bendera global

Catatan pipeline Databricks

Ambil event untuk alur yang diidentifikasi oleh KEY. Secara default, perintah ini menunjukkan peristiwa dari pembaruan terbaru pipa saluran.

databricks pipelines logs [flags] [KEY]

Arguments

KEY

    Nama unik alur, seperti yang didefinisikan dalam file YAML-nya. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

Opsi

--end-time string

    Filter untuk peristiwa yang sebelum waktu akhir ini (format: 2025-01-15T10:30:00Z)

--event-type strings

    Memfilter peristiwa menurut daftar jenis peristiwa

--level strings

    Memfilter peristiwa menurut daftar tingkat log (INFO, , WARN, ERRORMETRICS)

-n, --number int

    Jumlah peristiwa yang akan dikembalikan

--start-time string

    Filter untuk peristiwa yang setelah waktu mulai ini (format: 2025-01-15T10:30:00Z)

--update-id string

    Memfilter peristiwa menurut ID pembaruan. Jika tidak disediakan, menggunakan ID pembaruan terbaru

Bendera global

Examples

databricks pipelines logs pipeline-name --update-id update-1 -n 10

databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z

alur databricks terbuka

Buka alur di browser, diidentifikasi oleh KEY.

databricks pipelines open [flags] [KEY]

Arguments

KEY

    Nama unik alur yang akan dibuka, seperti yang didefinisikan dalam file YAML-nya. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

Opsi

--force-pull

    Lewati cache lokal dan muat status dari ruang kerja jarak jauh

Bendera global

alur databricks berjalan

Jalankan alur yang diidentifikasi oleh KEY. Menyegarkan semua tabel dalam alur kerja kecuali ditentukan lain.

Penting

Untuk menjalankan perintah ini, file Bundel databricks.yml Aset Databricks harus berada di akar direktori proyek dan alur harus sudah disebarkan. Untuk tutorial yang membuat proyek alur, lalu menyebarkan dan menjalankan alur, lihat Mengembangkan Alur Deklaratif Lakeflow Spark dengan Bundel Aset Databricks.

databricks pipelines run [flags] [KEY]

Arguments

KEY

    Nama unik alur yang akan dijalankan, seperti yang didefinisikan dalam file YAML-nya. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

Opsi

--full-refresh strings

    Daftar tabel yang akan direset dan dikomparteksi ulang

--full-refresh-all

    Melakukan reset dan komputasi ulang grafik lengkap

--no-wait

    Jangan tunggu hingga proses selesai

--refresh strings

    Daftar tabel yang akan dijalankan

--restart

    Mulai ulang proses jika sudah berjalan

Bendera global

alur databricks berhenti

Hentikan alur jika sedang berjalan, diidentifikasi oleh KEY atau PIPELINE_ID. Jika tidak ada pembaruan aktif untuk pipa, permintaan ini adalah no-op.

databricks pipelines stop [KEY|PIPELINE_ID] [flags]

Arguments

KEY

    Nama unik pipeline yang akan dihentikan, seperti yang didefinisikan dalam file YAML pipeline tersebut. Jika hanya ada satu alur dalam proyek, KEY bersifat opsional dan alur dipilih secara otomatis.

PIPELINE_ID

    UUID alur untuk dihentikan.

Opsi

--no-wait

    jangan menunggu untuk mencapai status IDLE

--timeout duration

    jumlah waktu maksimum untuk mencapai status IDLE (default 20m0s)

Bendera global

Mengelola objek alur

Perintah berikut memungkinkan Anda mengelola objek alur di Databricks. Objek alur adalah satu alur dalam proyek.

Buat alur Databricks

Buat alur pemrosesan data baru berdasarkan konfigurasi yang diminta. Jika berhasil, perintah ini mengembalikan ID alur baru.

databricks pipelines create [flags]

Arguments

None

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan.

Bendera global

Hapus jalur Databricks

Menghapus alur.

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur yang akan dihapus.

Opsi

Bendera global

alur databricks mendapatkan

Dapatkan alur.

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mendapatkan.

Opsi

Bendera global

pembaruan-pipeline databricks

Dapatkan pembaruan dari alur aktif.

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    ID pipa.

UPDATE_ID

    ID pembaruan.

Opsi

Bendera global

daftar-peristiwa-alur-databricks

Memperoleh event untuk jalur pemrosesan.

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Rangkaian proses untuk mengambil kejadian sistem.

Opsi

--filter string

    Kriteria untuk memilih subset hasil, yang dinyatakan menggunakan sintaks seperti SQL.

--max-results int

    Jumlah maksimum entri untuk dikembalikan dalam satu halaman.

--page-token string

    Token halaman dikembalikan oleh pemanggilan sebelumnya.

Bendera global

daftar.pipeline.databricks

Daftar pipeline yang didefinisikan dalam sistem Delta Live Tables.

databricks pipelines list-pipelines [flags]

Arguments

None

Opsi

--filter string

    Pilih subset hasil berdasarkan kriteria yang ditentukan.

--max-results int

    Jumlah maksimum entri untuk dikembalikan dalam satu halaman.

--page-token string

    Token halaman dikembalikan oleh pemanggilan sebelumnya.

Bendera global

databricks pipelines daftar-pembaruan

Mencantumkan pembaruan untuk alur aktif.

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mengembalikan pembaruan.

Opsi

--max-results int

    Jumlah maksimum entri untuk dikembalikan dalam satu halaman.

--page-token string

    Token halaman dikembalikan oleh pemanggilan sebelumnya.

--until-update-id string

    Jika ada, mengembalikan pembaruan hingga dan menyertakan update_id ini.

Bendera global

mulai memperbarui alur databricks

Mulai pembaruan baru untuk pipeline. Jika sudah ada pembaruan aktif untuk alur, permintaan akan gagal dan pembaruan aktif akan tetap berjalan.

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk memulai pembaruan.

Opsi

--cause StartUpdateCause

    Nilai yang didukung: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]

--full-refresh

    Jika true, pembaruan ini akan mereset semua tabel sebelum berjalan.

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan.

--validate-only

    Jika true, pembaruan ini hanya memvalidasi kebenaran kode sumber alur tetapi tidak mewujudkan atau menerbitkan himpunan data apa pun.

Bendera global

pembaruan alur databricks

Perbarui alur dengan konfigurasi yang disediakan.

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Pengidentifikasi unik untuk saluran ini.

Opsi

--allow-duplicate-names

    Jika "false", penyebaran akan gagal jika namanya berubah dan berkonflik dengan nama pipeline lain.

--budget-policy-id string

    Kebijakan anggaran pipa ini.

--catalog string

    Katalog di Unity Catalog untuk menerbitkan data dari alur ini ke.

--channel string

    Saluran rilis Lakeflow Spark Declarative Pipelines yang menentukan versi mana yang akan digunakan.

--continuous

    Apakah alur berkelanjutan atau dipicu.

--development

    Apakah alur dalam mode pengembangan.

--edition string

    Edisi produk rangkaian.

--expected-last-modified int

    Jika ada, waktu terakhir pengaturan pipeline dimodifikasi sebelum pengeditan.

--id string

    Pengidentifikasi unik untuk saluran ini.

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan.

--name string

    Pengidentifikasi ramah untuk alur ini.

--photon

    Apakah Photon diaktifkan untuk alur ini.

--pipeline-id string

    Pengidentifikasi unik untuk saluran ini.

--schema string

    Skema default (database) tempat tabel dibaca atau diterbitkan.

--serverless

    Apakah komputasi tanpa server diaktifkan untuk alur ini.

--storage string

    Direktori akar DBFS untuk menyimpan titik pemeriksaan dan tabel.

--target string

    Skema target (database) untuk menambah tabel pada pipeline ini.

Bendera global

alur databricks mendapatkan tingkat izin

Mendapatkan tingkat izin alur.

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mendapatkan atau mengelola izin.

Opsi

Bendera global

databricks pipelines get-permissions (mendapatkan-permission)

Mendapatkan izin alur. Pipeline dapat mewarisi izin dari objek induknya.

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mendapatkan atau mengelola izin.

Opsi

Bendera global

atur-permission pipeline Databricks

Atur izin pipeline.

Mengatur izin pada objek, menggantikan izin yang ada jika ada. Menghapus semua izin langsung jika tidak ada yang ditentukan. Objek dapat mewarisi izin dari objek akarnya.

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mendapatkan atau mengelola izin.

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan.

Bendera global

pembaruan izin alur kerja databricks

Perbarui izin pada alur. Pipeline dapat mewarisi izin dari objek induknya.

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    Alur untuk mendapatkan atau mengelola izin.

Opsi

--json JSON

    String JSON sebaris atau @path ke file JSON dengan isi permintaan.

Bendera global

Bendera dunia

--debug

  Apakah debug logging ingin diaktifkan?

-h atau --help

    Tampilkan bantuan untuk Databricks CLI atau grup perintah terkait atau perintah terkait.

--log-file tali

    String yang mewakili file yang akan digunakan untuk menulis log output. Jika bendera ini tidak ditentukan, maka defaultnya adalah menulis log output ke stderr.

--log-format Format

    Jenis format log, text atau json. Nilai defaultnya adalah text.

--log-level tali

    Untaian yang menggambarkan tingkat format log. Jika tidak ditentukan, maka tingkat format log akan dinonaktifkan.

-o, --output jenis

    Jenis output perintah, text atau json. Nilai defaultnya adalah text.

-p, --profile tali

    Nama profil dalam file ~/.databrickscfg yang digunakan untuk menjalankan perintah. Jika bendera ini tidak ditentukan maka jika ada, profil bernama DEFAULT digunakan.

--progress-format Format

    Format untuk menampilkan log kemajuan: default, , append, inplaceatau json

-t, --target tali

    Jika berlaku, target bundel yang akan digunakan