Membuat dan mengelola kebijakan komputasi

Artikel ini menjelaskan cara membuat dan mengelola kebijakan di ruang kerja Anda. Untuk informasi tentang menulis definisi kebijakan, lihat Referensi kebijakan komputasi.

Catatan

Kebijakan memerlukan paket Premium.

Apa itu kebijakan komputasi?

Kebijakan adalah alat yang dapat digunakan oleh admin ruang kerja untuk membatasi izin pembuatan komputasi pengguna atau grup berdasarkan sekumpulan aturan kebijakan.

Kebijakan memberikan manfaat berikut:

• Batasi pengguna untuk membuat kluster dengan pengaturan yang ditentukan.
• Batasi pengguna untuk membuat sejumlah kluster tertentu.
• Sederhanakan antarmuka pengguna dan aktifkan lebih banyak pengguna untuk membuat kluster mereka sendiri (dengan memperbaiki dan menyembunyikan beberapa nilai).
• Kontrol biaya dengan membatasi biaya maksimum per kluster (dengan menetapkan batas pada atribut yang nilainya berkontribusi pada harga per jam).
• Wajibkan instalasi pustaka berskala kluster.

Buat kebijakan

Catatan

Instruksi ini menggunakan antarmuka pengguna kebijakan, yang memungkinkan Anda mengonfigurasi definisi kebijakan menggunakan menu dropdown dan elemen UI lainnya. Anda juga dapat mengedit definisi kebijakan lengkap sebagai JSON. Untuk informasi selengkapnya, lihat Mengonfigurasi definisi kebijakan menggunakan elemen UI.

Untuk membuat kebijakan:

1. Klik Compute di bilah samping.
2. Klik tab Kebijakan .
3. Klik Buat kebijakan.
4. Beri nama kebijakan. Nama kebijakan tidak memedulikan penggunaan huruf besar dan kecil.
5. Secara opsional, pilih keluarga kebijakan dari menu dropdown Family. Ini menentukan templat yang Anda gunakan untuk membangun kebijakan.
6. Masukkan Deskripsi kebijakan. Ini membantu orang lain mengetahui tujuan kebijakan.
7. Di bawah Opsi tingkat lanjut, Anda dapat menentukan jenis kluster, sumber daya komputasi maks per pengguna, dan DBA maks per jam.
8. Di tab Definisi , tambahkan definisi baru atau edit definisi yang diwariskan. Tambahkan aturan JSON di bagian Opsi tingkat lanjut , atau klik tombol Edit definisi sebagai JSON untuk mengedit seluruh definisi kebijakan sebagai JSON.
9. Di bagian Tag , tentukan aturan sekeliling tag kustom
10. Di tab Pustaka, tambahkan pustaka yang cakupannya khusus untuk komputasi yang ingin Anda instal kebijakannya pada lingkungan komputasi. Lihat Menambahkan pustaka ke kebijakan.
11. Klik Buat.

Untuk memperbarui izin kebijakan, buka halaman gambaran umum kebijakan dan klik Lihat semua izin untuk membuka modal izin.

Gunakan kumpulan kebijakan

Saat membuat kebijakan, Anda dapat memilih untuk menggunakan kelompok kebijakan. Keluarga kebijakan adalah templat kebijakan yang disediakan Azure Databricks dengan aturan yang telah diisi sebelumnya, yang dirancang untuk mengatasi kasus penggunaan komputasi umum.

Saat menggunakan kelompok kebijakan, aturan untuk kebijakan Anda akan diwarisi dari kelompok kebijakan. Setelah memilih keluarga kebijakan, Anda dapat membuat kebijakan apa adanya, atau memilih untuk menambahkan aturan atau mengambil alih aturan yang diberikan. Untuk informasi selengkapnya tentang keluarga kebijakan, lihat Kebijakan bawaan dan keluarga kebijakan.

Menambahkan pustaka ke kebijakan

Anda dapat menambahkan pustaka ke kebijakan sehingga pustaka diinstal secara otomatis pada sumber daya komputasi. Anda dapat menambahkan maksimum 500 pustaka ke kebijakan.

Catatan

Anda mungkin sebelumnya telah menambahkan pustaka ruang lingkup komputasi menggunakan skrip inisialisasi. Databricks merekomendasikan penggunaan kebijakan komputasi alih-alih skrip init untuk menginstal pustaka.

Untuk menambahkan pustaka ke kebijakan Anda:

1. Di bagian bawah halaman Buat Kebijakan, klik tab Pustaka.

2. Klik Tambahkan pustaka.

3. Pilih salah satu opsi Sumber Pustaka , lalu ikuti instruksi seperti yang diuraikan di bawah ini:

   Sumber pustaka	Petunjuk
   Workspace	Pilih file ruang kerja atau unggah file Whl, zipped wheelhouse (dengan *.wheelhouse.whl ekstensi), JAR, ZIP, tar, atau requirements.txt. Lihat Menginstal pustaka dari file ruang kerja
   Volume	Pilih file Whl, JAR, atau requirements.txt dari volume. Lihat Menginstal pustaka dari volume.
   Jalur File/ADLS	Pilih jenis pustaka dan berikan URI lengkap ke objek pustaka (misalnya: abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Lihat menginstal pustaka dari penyimpanan objek.
   PyPI	Masukkan nama paket PyPI. Lihat paket PyPI.
   Maven	Tentukan koordinat Maven. Lihat Maven atau Spark package.
   CRAN	Masukkan nama paket. Lihat paket CRAN.
   DBFS (Tidak digunakan lagi)	Muat file JAR atau Whl ke akar DBFS. Ini tidak digunakan lagi dan bukan pola yang direkomendasikan.

4. Klik Tambahkan.

Pengaruh penambahan pustaka ke kebijakan

Jika Anda menambahkan perpustakaan dalam kebijakan:

• Pengguna tidak dapat menginstal atau menghapus instalan pustaka cakupan komputasi pada komputasi yang menggunakan kebijakan ini.
• Pustaka yang dikonfigurasi melalui UI, REST API, atau CLI pada komputasi yang sudah ada dihapus saat komputasi dimulai ulang berikutnya.
• Pustaka dependensi untuk tugas yang menggunakan kebijakan ini dalam sumber daya komputasi pekerjaan dinonaktifkan.

Izin kebijakan

Secara default, admin ruang kerja memiliki izin pada semua kebijakan. Pengguna non-admin harus diberikan izin pada kebijakan untuk mengaksesnya.

Jika pengguna memiliki izin pembuatan kluster yang tidak dibatasi, mereka juga akan memiliki akses ke kebijakan Tidak Dibatasi . Ini memungkinkan mereka untuk membuat sumber daya komputasi yang dapat dikonfigurasi sepenuhnya.

Jika pengguna tidak memiliki akses ke kebijakan apa pun, dropdown kebijakan tidak ditampilkan di antarmuka pengguna mereka.

Membatasi jumlah sumber daya komputasi per pengguna

Izin kebijakan memungkinkan Anda mengatur jumlah maksimum sumber daya komputasi per pengguna. Ini menentukan berapa banyak sumber daya yang dapat dibuat pengguna menggunakan kebijakan tersebut. Jika pengguna melebihi batas, operasi akan gagal.

Untuk membatasi jumlah sumber daya yang dapat dibuat pengguna menggunakan kebijakan, masukkan nilai ke dalam pengaturan Sumber daya komputasi maks per pengguna di bawah Opsi tingkat lanjut.

Catatan

Azure Databricks tidak secara proaktif mengakhiri sumber daya untuk mempertahankan batas. Jika pengguna memiliki tiga sumber daya komputasi yang berjalan dengan kebijakan dan admin ruang kerja mengurangi batas menjadi satu, ketiga sumber daya akan terus berjalan. Sumber daya tambahan harus dihentikan secara manual untuk mematuhi batas.

Mengelola kebijakan

Setelah membuat kebijakan, Anda dapat mengedit, mengkloning, dan menghapusnya.

Anda juga dapat memantau adopsi kebijakan dengan melihat sumber daya komputasi yang menggunakan kebijakan. Dari halaman Kebijakan , klik kebijakan yang ingin Anda tampilkan. Lalu klik tab Compute atau Jobs untuk melihat daftar sumber daya yang menggunakan kebijakan tersebut.

Mengedit kebijakan

Anda mungkin ingin mengedit kebijakan untuk memperbarui izinnya atau definisinya. Untuk mengedit kebijakan, pilih kebijakan dari halaman Kebijakan lalu klik Edit.

Setelah Anda memperbarui definisi kebijakan, sumber daya komputasi yang dibuat menggunakan kebijakan tersebut tidak diperbarui secara otomatis dengan definisi kebijakan baru. Anda dapat memilih untuk memperbarui semua atau beberapa sumber daya komputasi ini menggunakan penegakan kepatuhan kebijakan. Lihat Menerapkan kepatuhan kebijakan.

Mengkloning kebijakan

Anda juga dapat menggunakan fitur kloning untuk membuat kebijakan baru dari kebijakan yang ada. Buka kebijakan yang ingin Anda kloning lalu klik menu kebab dan pilih tombol Kloning . Lalu ubah nilai bidang apa pun yang ingin Anda ubah dan klik Buat.

Menghapus kebijakan

Pilih kebijakan dari halaman Kebijakan lalu klik menu kebab dan pilih Hapus. Saat ditanya apakah Anda yakin ingin menghapus kebijakan, klik Hapus lagi.

Komputasi apa pun yang diatur oleh kebijakan yang dihapus masih dapat berjalan, tetapi tidak dapat diedit kecuali pengguna memiliki izin pembuatan kluster yang tidak dibatasi.

Menerapkan kepatuhan kebijakan

Setelah Anda mengedit kebijakan, sumber daya komputasi yang dibuat menggunakan kebijakan tersebut tidak diperbarui secara otomatis untuk mematuhi aturan kebijakan baru. Untuk melihat daftar sumber daya komputasi yang diatur oleh kebijakan, klik kebijakan tersebut di antarmuka pengguna (UI) untuk melihat komputasi serbaguna dan pekerjaan yang menggunakan kebijakan tersebut.

Daftar ini juga akan memberi tahu Anda jika ada sumber daya komputasi yang tidak mematuhi definisi kebijakan saat ini.

Untuk memperbarui sumber daya komputasi agar mematuhi kebijakan:

1. Dari halaman Kebijakan , klik kebijakan yang telah Anda perbarui.

2. Lihat bagian Semua tujuan atau Pekerjaan untuk melihat daftar sumber daya atau pekerjaan yang menggunakan kebijakan. Kolom Kepatuhan memberi tahu Anda sumber daya mana yang mematuhi definisi kebijakan saat ini.

3. Klik Terapkan semua untuk memperbarui semua sumber daya komputasi dalam daftar yang tidak sesuai. Anda juga dapat memperbarui sumber daya komputasi satu per satu dengan mengklik tombol Terapkan di baris sumber daya.

4. Untuk komputasi semua tujuan, pilih cara menerapkan pembaruan:

   • Terapkan pada mulai ulang berikutnya (default): Menjadwalkan pembaruan konfigurasi untuk diterapkan lain kali komputasi dihentikan atau dimulai ulang. Menjalankan beban kerja tidak terganggu. Hanya admin ruang kerja yang dapat menjadwalkan atau membatalkan penegakan yang ditangguhkan.
   • Mulai ulang dan terapkan: Segera mulai ulang komputasi dan terapkan konfigurasi yang diperbarui.

   Komputasi job selalu langsung diterapkan, karena penerapannya tidak mengharuskan job run yang sedang berjalan untuk dihentikan.

5. Klik Tertibkan untuk membuat pembaruan. Setelah operasi penegakan selesai, Anda diberi ringkasan perubahan yang dibuat.

6. Klik Selesai.

Catatan

Saat Anda menerapkan kepatuhan kebijakan, atribut jenis array seperti skrip init dicocokkan dengan posisi indeks. Jika kebijakan menentukan nilai pada posisi tertentu, nilai yang ada pada posisi tersebut akan diganti. Nilai yang diganti tidak dipindahkan ke posisi lain dalam array. Untuk mempratinjau perubahan sebelum diberlakukan, klik Terapkan di samping sumber daya individual untuk melihat bagaimana atributnya akan diperbarui.

Membatalkan penegakan terjadwal

Admin ruang kerja dapat membatalkan penegakan tertunda yang tertunda pada komputasi semua tujuan:

• Untuk membatalkan semua penerapan yang tertunda untuk kebijakan, klik Batalkan semua penerapan di halaman detail kebijakan.
• Untuk membatalkan penegakan tertunda untuk satu sumber daya komputasi, buka menu kebab pada sumber daya komputasi tersebut dan pilih Batalkan penegakan tertunda.

Saat penerapan tertunda dijadwalkan untuk sumber daya komputasi, halaman detail komputasi menyertakan label Pembaruan dijadwalkan pada mulai ulang berikutnya. Admin ruang kerja dapat membatalkan penerapan yang tertunda dari halaman ini dengan mengeklik kemudian memilih Batalkan penerapan yang tertunda.

Menerapkan kepatuhan dari halaman detail komputasi

Resource komputasi serbaguna yang tidak sesuai menyertakan label Tidak sesuai di UI detail komputasi. Pengguna dengan izin CAN MANAGE pada sumber daya komputasi dapat menjadwalkan penegakan dari halaman ini dengan mengeklik kemudian memilih Perbaiki kepatuhan.

Tambahkan komputasi ke kebijakan

Catatan

Anda harus menjadi admin ruang kerja untuk menambahkan komputasi ke kebijakan.

Anda dapat menerapkan kebijakan ke banyak sumber daya komputasi serbaguna yang ada sekaligus dari halaman detail kebijakan tersebut. Menggunakan fitur ini menetapkan kebijakan ke setiap sumber daya komputasi yang dipilih dan memperbarui konfigurasi setiap komputasi agar sesuai dengan kebijakan.

Untuk menambahkan komputasi ke kebijakan, klik menu kebab, lalu pilih Tambahkan komputasi ke kebijakan.

Ini membuka mod Add compute to policy , yang membimbing Anda melalui tiga langkah.

Pilih komputasi

Pilih sumber daya komputasi serbaguna yang akan ditambahkan ke kebijakan. Daftar ini mendukung pencarian, penyaringan, dan paginasi, dan pilihan Anda tetap menjadi halaman dan filter Anda. Anda hanya dapat memilih sumber daya komputasi jika dalam status Berjalan atau Dihentikan dan belum menggunakan kebijakan.

Pilih setidaknya satu sumber daya komputasi, lalu klik Pratinjau perubahan.

Pratinjau perubahan

Langkah Pratinjau merangkum perubahan sebelum sesuatu diterapkan:

• Compute selected dan Will be updated menunjukkan berapa banyak sumber daya komputasi yang Anda pilih dan berapa banyak yang akan berubah. Jika ada pratinjau yang gagal, Tidak dapat dipratinjau menunjukkan jumlahnya.
• Field yang akan berubah menampilkan setiap field konfigurasi yang akan berubah, nilai barunya, dan sumber daya komputasi yang terdampak. Jika tidak ada perubahan yang diperlukan, langkah akan menunjukkan Tidak ada perubahan konfigurasi.

Warning

Jika Anda memilih komputasi yang sedang berjalan, menerapkan kebijakan akan memulai ulang komputasi agar kebijakan dapat berlaku. Langkah Pratinjau memperingatkan berapa banyak sumber daya komputasi yang berjalan akan di-restart. Tidak ada opsi untuk melewati restart.

Untuk melanjutkan, klik Terapkan kebijakan. Untuk mengubah pilihan Anda, klik Kembali.

Menerapkan kebijakan

Langkah Terapkan menerapkan kebijakan ke setiap sumber daya komputasi yang dipilih dan menampilkan bilah progres. Setelah selesai, ringkasan melaporkan berapa banyak sumber daya komputasi yang Dipilih, Dicoba, Berhasil, dan Gagal.

Jika semua sumber daya komputasi berhasil diperbarui, langkah tersebut menampilkan konfirmasi Kebijakan diterapkan. Jika ada yang gagal, bagian Kegagalan akan mencantumkan komputasi yang terdampak dan mengelompokkan kesalahan berdasarkan alasan, seperti konflik edit saat sumber daya komputasi dimodifikasi selama operasi, atau izin yang tidak memadai.

Klik Selesai untuk menutup modal.