Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
grup perintah
Note
Informasi ini berlaku untuk Databricks CLI versi 0.205 ke atas. Databricks CLI ada di Pratinjau Umum.
Penggunaan Databricks CLI tunduk pada Lisensi Databricks dan Pemberitahuan Privasi Databricks, termasuk ketentuan Data Penggunaan apa pun.
clusters Grup perintah dalam Databricks CLI memungkinkan Anda membuat, memulai, mengedit, mencantumkan, mengakhiri, dan menghapus kluster.
Kluster Databricks adalah sekumpulan sumber daya dan konfigurasi komputasi tempat Anda menjalankan beban kerja rekayasa data, ilmu data, dan analitik data, seperti alur ETL produksi, analitik streaming, analitik ad-hoc, dan pembelajaran mesin. Lihat Gambaran umum komputasi klasik.
Important
Databricks menyimpan informasi konfigurasi kluster untuk kluster yang dihentikan selama 30 hari. Untuk mempertahankan konfigurasi kluster serbaguna meskipun sudah dihentikan selama lebih dari 30 hari, seorang administrator dapat menyematkan kluster ke dalam daftar kluster.
Ubah pemilik kluster Databricks
Ubah pemilik kluster. Anda harus menjadi admin dan kluster harus dihentikan untuk melakukan operasi ini. ID aplikasi principal layanan dapat disediakan sebagai argumen untuk owner_username.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
ID kluster.
OWNER_USERNAME
Pemilik baru cluster_id setelah RPC ini.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
membuat kluster Databricks
Membuat kluster baru. Perintah ini mendapatkan instans baru dari penyedia cloud jika diperlukan. Perintah ini asinkron; cluster_id yang dikembalikan dapat digunakan untuk melakukan polling status kluster. Setelah perintah ini selesai dijalankan, kluster akan berada dalam status TERTUNDA. Kluster dapat digunakan setelah memasuki status BERJALAN. Databricks mungkin tidak dapat memperoleh beberapa simpul yang diminta, karena keterbatasan penyedia cloud (batas akun, harga spot, dll.) atau masalah jaringan sementara.
Jika Databricks memperoleh setidaknya 85% simpul sesuai permintaan yang diminta, pembuatan kluster akan berhasil. Jika tidak, kluster berakhir dengan pesan kesalahan informatif.
Daripada menulis definisi JSON kluster dari awal, Databricks merekomendasikan untuk menyelesaikan UI pembuatan komputasi dan kemudian menyalin definisi JSON yang dihasilkan dari UI.
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
Versi Spark dari kluster, misalnya, 13.3.x-scala2.12. Daftar versi Spark yang tersedia dapat diambil dengan menggunakan API Daftar versi Spark yang tersedia .
Opsi
--apply-policy-default-values
Ketika diatur ke true, nilai tetap dan nilai default dari kebijakan akan digunakan untuk bidang yang dihilangkan.
--autotermination-minutes int
Secara otomatis mengakhiri kluster setelah tidak aktif untuk waktu ini dalam hitung menit.
--cluster-name string
Nama kluster yang diminta oleh pengguna.
--data-security-mode DataSecurityMode
Mode keamanan data memutuskan model tata kelola data apa yang akan digunakan saat mengakses data dari kluster. Nilai yang didukung: DATA_SECURITY_MODE_AUTO, , DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER,USER_ISOLATION
--driver-instance-pool-id string
ID opsional kumpulan instans tempat driver kluster berasal.
--driver-node-type-id string
Jenis node dari driver Spark.
--enable-elastic-disk
Autoscaling Local Storage: ketika diaktifkan, kluster ini akan secara dinamis memperoleh ruang disk tambahan ketika pekerja Spark-nya hampir kehabisan ruang disk.
--enable-local-disk-encryption
Apakah akan mengaktifkan LUKS pada disk lokal VM kluster.
--instance-pool-id string
ID opsional kumpulan instans tempat kluster berada.
--is-single-node
Bidang ini hanya dapat digunakan ketika jenis = CLASSIC_PREVIEW.
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--kind Kind
Jenis komputasi yang dijelaskan oleh spesifikasi komputasi ini. Nilai yang didukung: CLASSIC_PREVIEW
--no-wait
Jangan menunggu hingga mencapai status BERJALAN
--node-type-id string
Bidang ini mengkodekan, melalui satu nilai, sumber daya yang tersedia untuk masing-masing node Spark di kluster ini.
--num-workers int
Jumlah node pekerja yang seharusnya dimiliki oleh klaster ini.
--policy-id string
ID kebijakan kluster yang digunakan untuk membuat kluster jika berlaku.
--runtime-engine RuntimeEngine
Menentukan mesin runtime kluster, baik standar atau Photon. Nilai yang didukung: NULL, PHOTON, STANDARD
--single-user-name string
Nama pengguna tunggal jika data_security_mode adalah SINGLE_USER.
--timeout duration
jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
--use-ml-runtime
Bidang ini hanya dapat digunakan ketika jenis = CLASSIC_PREVIEW.
penghapusan kluster databricks
Hentikan kluster dengan ID yang ditentukan. Kluster dihapus secara asinkron. Setelah penghentian selesai, kluster berada dalam keadaan TERMINATED. Jika kluster sudah dalam status TERMINATING atau TERMINATED , tidak ada yang terjadi.
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan diterminasi.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--no-wait
Jangan menunggu untuk mencapai TERMINATED status
--timeout duration
Jumlah maksimum waktu untuk mencapai TERMINATED status (default 20m0s)
Edit kluster Databricks
Perbarui konfigurasi kluster agar sesuai dengan atribut dan ukuran yang disediakan. Kluster dapat diperbarui jika dalam status BERJALAN atau DIHENTIKAN.
Jika kluster diperbarui saat dalam status BERJALAN, kluster dimulai ulang sehingga atribut baru dapat berlaku.
Jika sebuah kluster diperbarui saat dalam status DIHENTIKAN, kluster tersebut tetap DIHENTIKAN. Saat berikutnya dimulai menggunakan API kluster/start, atribut baru berlaku. Setiap upaya untuk memperbarui kluster dalam status lain ditolak dengan kode kesalahan INVALID_STATE.
Kluster yang dibuat oleh layanan Pekerjaan Databricks tidak dapat diedit.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
ID dari kluster
SPARK_VERSION
Versi Spark dari kluster, misalnya, 13.3.x-scala2.12. Daftar versi Spark yang tersedia dapat diambil dengan menggunakan API Daftar versi Spark yang tersedia .
Opsi
--apply-policy-default-values
Gunakan nilai tetap dan default dari kebijakan untuk bidang yang dihilangkan.
--autotermination-minutes int
Hentikan kluster secara otomatis setelah tidak aktif selama waktu yang ditentukan dalam satuan menit.
--cluster-name string
Nama kluster yang diminta oleh pengguna.
--data-security-mode DataSecurityMode
Mode keamanan data memutuskan model tata kelola data apa yang akan digunakan saat mengakses data dari kluster. Nilai yang didukung: DATA_SECURITY_MODE_AUTO, , DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
ID opsional kumpulan instans tempat driver kluster berasal.
--driver-node-type-id string
Jenis node dari driver Spark.
--enable-elastic-disk
Autoscaling Local Storage: ketika diaktifkan, kluster ini akan secara dinamis memperoleh ruang disk tambahan ketika pekerja Spark-nya hampir kehabisan ruang disk.
--enable-local-disk-encryption
Apakah akan mengaktifkan LUKS pada disk lokal VM kluster.
--instance-pool-id string
ID opsional kumpulan instans tempat kluster berada.
--is-single-node
Bidang ini hanya dapat digunakan ketika jenis = CLASSIC_PREVIEW.
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--kind Kind
Jenis komputasi yang dijelaskan oleh spesifikasi komputasi ini. Nilai yang didukung: CLASSIC_PREVIEW
--no-wait
jangan menunggu untuk mencapai status BERJALAN
--node-type-id string
Bidang ini mengkodekan, melalui satu nilai, sumber daya yang tersedia untuk masing-masing node Spark di kluster ini.
--num-workers int
Jumlah node pekerja yang seharusnya dimiliki oleh klaster ini.
--policy-id string
ID kebijakan kluster yang digunakan untuk membuat kluster jika berlaku.
--runtime-engine RuntimeEngine
Menentukan mesin runtime kluster, baik standar atau Photon. Nilai yang didukung: NULL, PHOTON, STANDARD
--single-user-name string
Nama pengguna tunggal jika data_security_mode adalah SINGLE_USER.
--timeout duration
jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
--use-ml-runtime
Bidang ini hanya dapat digunakan ketika jenis = CLASSIC_PREVIEW.
kejadian kluster Databricks
Mencantumkan peristiwa tentang aktivitas kluster. API ini menggunakan sistem pagination. Jika ada lebih banyak peristiwa untuk dibaca, respons mencakup semua parameter yang diperlukan untuk meminta halaman peristiwa berikutnya.
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID kluster untuk mengambil peristiwa yang terkait.
Opsi
--end-time int
Waktu akhir dalam epoch milidetik.
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--limit int
Tidak digunakan lagi: gunakan page_token dalam kombinasi dengan page_size sebagai gantinya.
--offset int
Tidak digunakan lagi: gunakan page_token dalam kombinasi dengan page_size sebagai gantinya.
--order GetEventsOrder
Urutan untuk mencantumkan acara di dalamnya. Nilai yang didukung: ASC, DESC
--page-size int
Jumlah maksimum peristiwa yang akan disertakan dalam halaman peristiwa.
--page-token string
Gunakan next_page_token atau prev_page_token yang dikembalikan dari permintaan sebelumnya untuk menampilkan halaman event berikutnya atau sebelumnya.
--start-time int
Waktu mulai dalam milidetik epoch.
mendapatkan informasi kluster databricks
Mendapatkan informasi untuk kluster berdasarkan pengidentifikasiannya. Kluster dapat dijelaskan saat berjalan, atau hingga 60 hari setelah dihentikan.
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan diambil informasinya.
Opsi
daftar kluster databricks
Daftarkan informasi tentang semua kluster yang disematkan dan aktif, serta semua kluster yang dihentikan dalam 30 hari terakhir. Kluster yang dihentikan sebelum periode ini tidak disertakan.
databricks clusters list [flags]
Arguments
None
Opsi
--cluster-sources []string
Memfilter kluster menurut sumber
--cluster-states []string
Memfilter kluster menurut status
--is-pinned
Memfilter kluster menurut status yang disematkan
--page-size int
Gunakan bidang ini untuk menentukan jumlah maksimum hasil yang akan dikembalikan oleh server.
--page-token string
Gunakan next_page_token atau prev_page_token yang dikembalikan dari permintaan sebelumnya untuk mencantumkan halaman kluster berikutnya atau sebelumnya masing-masing.
--policy-id string
Memfilter kluster menurut id kebijakan
kluster databricks daftar-tipe-node
Mencantumkan jenis simpul Spark yang didukung. Jenis node ini dapat digunakan untuk meluncurkan kluster.
databricks clusters list-node-types [flags]
Arguments
None
Opsi
zona daftar kluster databricks
Cantumkan zona ketersediaan tempat kluster dapat dibuat (Misalnya, us-west-2a). Zona ini dapat digunakan untuk meluncurkan kluster.
databricks clusters list-zones [flags]
Arguments
None
Opsi
Databricks kluster menghapus secara permanen
Hapus kluster secara permanen. Kluster ini dihentikan dan sumber daya dihapus secara asinkron.
Selain itu, pengguna tidak akan lagi melihat kluster yang dihapus secara permanen dalam daftar kluster, dan pengguna API tidak dapat lagi melakukan tindakan apa pun pada kluster yang dihapus secara permanen.
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan dihapus.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
pin kluster databricks
Sematkan kluster untuk memastikan bahwa kluster akan selalu dikembalikan oleh LISTClusters API. Menyematkan kluster yang sudah disematkan tidak akan berpengaruh. API ini hanya dapat dipanggil oleh admin ruang kerja.
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID kluster.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
mengubah ukuran kluster databricks
Mengubah ukuran kluster agar memiliki jumlah pekerja yang diinginkan. Ini akan gagal kecuali kluster dalam status BERJALAN.
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan diubah ukurannya.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--no-wait
Jangan menunggu hingga mencapai status BERJALAN
--num-workers int
Jumlah node pekerja yang seharusnya dimiliki oleh klaster ini.
--timeout duration
Jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
menghidupkan ulang kluster databricks
Mulai ulang kluster dengan ID yang ditentukan. Jika saat ini kluster tidak dalam status BERJALAN, maka tidak akan ada yang terjadi.
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan dimulai.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--no-wait
Jangan menunggu hingga mencapai status BERJALAN
--restart-user string
Pengguna yang memulai ulang kluster.
--timeout duration
Jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
kluster databricks versi spark
Mencantumkan versi Spark yang tersedia. Versi ini dapat digunakan untuk meluncurkan kluster.
databricks clusters spark-versions [flags]
Arguments
None
Opsi
kluster Databricks diaktifkan
Mulai kluster yang telah dihentikan dengan ID yang ditentukan. Ini berfungsi mirip dengan createCluster kecuali: - Id kluster dan atribut sebelumnya dipertahankan. - Kluster dimulai dengan ukuran kluster terakhir yang ditentukan. - Jika kluster sebelumnya adalah kluster penskalaan otomatis, kluster saat ini dimulai dengan jumlah minimum simpul. - Jika kluster saat ini tidak dalam status DIHENTIKAN, tidak ada yang terjadi. Kluster yang diluncurkan untuk menjalankan tugas tidak dapat dimulai.
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang akan dimulai.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--no-wait
Jangan menunggu hingga mencapai status BERJALAN
--timeout duration
Jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
melepas pin kluster databricks
Lepaskan kluster untuk memungkinkan kluster tersebut dihapus dari API ListClusters di masa mendatang. Melepas sematan dari kluster yang memang tidak disematkan tidak akan berdampak apa-apa. API ini hanya dapat dipanggil oleh admin ruang kerja.
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID kluster.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
kluster databricks diperbarui
Perbarui konfigurasi kluster agar sesuai dengan sekumpulan atribut dan ukuran parsial. Menunjukkan bidang mana yang akan diperbarui menggunakan bidang update_mask di isi permintaan. Kluster dapat diperbarui jika dalam status BERJALAN atau DIHENTIKAN. Jika kluster diperbarui saat dalam status BERJALAN, kluster akan dimulai ulang sehingga atribut baru dapat berlaku. Jika kluster diperbarui saat dalam status DIHENTIKAN, kluster akan tetap DIHENTIKAN. Atribut yang diperbarui akan berlaku saat kluster berikutnya dimulai menggunakan API mulai kluster. Upaya untuk memperbarui kluster dalam status lain akan ditolak dengan kode kesalahan INVALID_STATE. Kluster yang dibuat oleh layanan Pekerjaan Databricks tidak dapat diperbarui.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
ID kluster.
UPDATE_MASK
Digunakan untuk menentukan atribut kluster dan bidang ukuran mana yang akan diperbarui. Lihat https://google.aip.dev/161 untuk detail selengkapnya. Masker bidang harus berupa string tunggal, dengan beberapa bidang dipisahkan oleh koma (tanpa spasi). Jalur bidang relatif terhadap objek sumber daya, menggunakan titik (.) untuk menavigasi sub-bidang (misalnya, author.given_name). Spesifikasi elemen secara berurutan atau bidang peta tidak diizinkan, karena hanya seluruh bidang koleksi yang dapat ditentukan. Nama bidang harus sama persis dengan nama bidang sumber daya. Pemetaan bidang _ menunjukkan penggantian penuh. Disarankan untuk selalu secara eksplisit mencantumkan bidang yang diperbarui dan menghindari penggunaan _ wildcard, karena dapat menyebabkan hasil yang tidak diinginkan jika API berubah di masa mendatang.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
--no-wait
Jangan menunggu hingga mencapai status BERJALAN
--timeout duration
Jumlah waktu maksimum untuk mencapai status BERJALAN (default 20m0s)
kluster databricks mengakses tingkatan izin
Dapatkan tingkat izin kluster.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang izin aksesnya ingin diperoleh atau dikelola.
Opsi
izin kluster databricks
Mendapatkan izin kluster. Kluster dapat mewarisi izin dari objek akarnya.
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang izin aksesnya ingin diperoleh atau dikelola.
Opsi
kluster databricks mengatur izin
Atur izin kluster, ganti izin yang ada jika ada. Menghapus semua izin langsung jika tidak ada yang ditentukan. Objek dapat mewarisi izin dari objek akarnya.
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang izin aksesnya ingin diperoleh atau dikelola.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
izin pembaruan kluster databricks
Perbarui izin pada kluster. Kluster dapat mewarisi izin dari objek akarnya.
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Kluster yang izin aksesnya ingin diperoleh atau dikelola.
Opsi
--json JSON
String JSON sebaris atau @path ke file JSON dengan isi permintaan
Bendera global
--debug
Apakah akan mengaktifkan pengelogan debug.
-h atau --help
Tampilkan bantuan untuk Databricks CLI atau grup perintah terkait atau perintah terkait.
--log-file tali
String yang mewakili file untuk menulis log output. Jika bendera ini tidak ditentukan, maka defaultnya adalah menulis log output ke stderr.
--log-format Format
Jenis format log, text atau json. Nilai defaultnya adalah text.
--log-level tali
Untaian yang menggambarkan tingkat format log. Jika tidak ditentukan, maka tingkat format log akan dinonaktifkan.
-o, --output jenis
Jenis output perintah, text atau json. Nilai defaultnya adalah text.
-p, --profile tali
Nama profil dalam file yang ~/.databrickscfg akan digunakan untuk menjalankan perintah. Jika bendera ini tidak ditentukan maka jika ada, profil bernama DEFAULT digunakan.
--progress-format Format
Format untuk menampilkan log kemajuan: default, , append, inplaceatau json
-t, --target tali
Jika berlaku, target bundel yang akan digunakan