Membuat dan mengelola kebijakan komputasi

Artikel ini menjelaskan cara membuat dan mengelola kebijakan di ruang kerja Anda. Untuk informasi tentang menulis definisi kebijakan, lihat Referensi kebijakan komputasi.

Catatan

Kebijakan memerlukan paket Premium.

Apa itu kebijakan komputasi?

Kebijakan adalah alat yang dapat digunakan oleh admin ruang kerja untuk membatasi izin pembuatan komputasi pengguna atau grup berdasarkan sekumpulan aturan kebijakan.

Kebijakan memberikan manfaat berikut:

• Batasi pengguna untuk membuat kluster dengan pengaturan yang ditentukan.
• Batasi pengguna untuk membuat sejumlah kluster tertentu.
• Sederhanakan antarmuka pengguna dan aktifkan lebih banyak pengguna untuk membuat kluster mereka sendiri (dengan memperbaiki dan menyembunyikan beberapa nilai).
• Kontrol biaya dengan membatasi biaya maksimum per kluster (dengan menetapkan batas pada atribut yang nilainya berkontribusi pada harga per jam).
• Wajibkan instalasi pustaka berskala kluster.

Buat kebijakan

Catatan

Instruksi ini menggunakan antarmuka pengguna kebijakan, yang memungkinkan Anda mengonfigurasi definisi kebijakan menggunakan menu dropdown dan elemen UI lainnya. Anda juga dapat mengedit definisi kebijakan lengkap sebagai JSON. Untuk informasi selengkapnya, lihat Mengonfigurasi definisi kebijakan menggunakan elemen UI.

Untuk membuat kebijakan:

1. Klik Compute di bilah samping.
2. Klik tab Kebijakan .
3. Klik Buat kebijakan.
4. Beri nama kebijakan. Nama kebijakan tidak memedulikan penggunaan huruf besar dan kecil.
5. Secara opsional, pilih keluarga kebijakan dari menu dropdown Family. Ini menentukan templat yang Anda gunakan untuk membangun kebijakan.
6. Masukkan Deskripsi kebijakan. Ini membantu orang lain mengetahui tujuan kebijakan.
7. Di bawah Opsi tingkat lanjut, Anda dapat menentukan jenis kluster, sumber daya komputasi maks per pengguna, dan DBA maks per jam.
8. Di tab Definisi , tambahkan definisi baru atau edit definisi yang diwariskan. Tambahkan aturan JSON di bagian Opsi tingkat lanjut , atau klik tombol Edit definisi sebagai JSON untuk mengedit seluruh definisi kebijakan sebagai JSON.
9. Di bagian Tag , tentukan aturan sekeliling tag kustom
10. Di tab Pustaka, tambahkan pustaka yang cakupannya khusus untuk komputasi yang ingin Anda instal kebijakannya pada lingkungan komputasi. Lihat Menambahkan pustaka ke kebijakan.
11. Klik Buat.

Untuk memperbarui izin kebijakan, buka halaman gambaran umum kebijakan dan klik Lihat semua izin untuk membuka modal izin.

Gunakan kumpulan kebijakan

Saat membuat kebijakan, Anda dapat memilih untuk menggunakan kelompok kebijakan. Keluarga kebijakan adalah templat kebijakan yang disediakan Azure Databricks dengan aturan yang telah diisi sebelumnya, yang dirancang untuk mengatasi kasus penggunaan komputasi umum.

Saat menggunakan kelompok kebijakan, aturan untuk kebijakan Anda akan diwarisi dari kelompok kebijakan. Setelah memilih keluarga kebijakan, Anda dapat membuat kebijakan apa adanya, atau memilih untuk menambahkan aturan atau mengambil alih aturan yang diberikan. Untuk informasi selengkapnya tentang keluarga kebijakan, lihat Kebijakan bawaan dan keluarga kebijakan.

Menambahkan pustaka ke kebijakan

Anda dapat menambahkan pustaka ke kebijakan sehingga pustaka diinstal secara otomatis pada sumber daya komputasi. Anda dapat menambahkan maksimum 500 pustaka ke kebijakan.

Catatan

Anda mungkin sebelumnya telah menambahkan pustaka ruang lingkup komputasi menggunakan skrip inisialisasi. Databricks merekomendasikan penggunaan kebijakan komputasi alih-alih skrip init untuk menginstal pustaka.

Untuk menambahkan pustaka ke kebijakan Anda:

1. Di bagian bawah halaman Buat Kebijakan, klik tab Pustaka.

2. Klik Tambahkan pustaka.

3. Pilih salah satu opsi Sumber Pustaka , lalu ikuti instruksi seperti yang diuraikan di bawah ini:

   Sumber pustaka	Petunjuk
   Workspace	Pilih file ruang kerja atau unggah file Whl, zipped wheelhouse (dengan *.wheelhouse.whl ekstensi), JAR, ZIP, tar, atau requirements.txt. Lihat Menginstal pustaka dari file ruang kerja
   Volume	Pilih file Whl, JAR, atau requirements.txt dari volume. Lihat Menginstal pustaka dari volume.
   Jalur File/ADLS	Pilih jenis pustaka dan berikan URI lengkap ke objek pustaka (misalnya: abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Lihat menginstal pustaka dari penyimpanan objek.
   PyPI	Masukkan nama paket PyPI. Lihat paket PyPI.
   Maven	Tentukan koordinat Maven. Lihat Maven atau Spark package.
   CRAN	Masukkan nama paket. Lihat paket CRAN.
   DBFS (Tidak digunakan lagi)	Muat file JAR atau Whl ke akar DBFS. Ini tidak digunakan lagi dan bukan pola yang direkomendasikan.

4. Klik Tambahkan.

Pengaruh penambahan pustaka ke kebijakan

Jika Anda menambahkan perpustakaan dalam kebijakan:

• Pengguna tidak dapat menginstal atau menghapus instalan pustaka cakupan komputasi pada komputasi yang menggunakan kebijakan ini.
• Pustaka yang dikonfigurasi melalui UI, REST API, atau CLI pada komputasi yang sudah ada dihapus saat komputasi dimulai ulang berikutnya.
• Pustaka dependensi untuk tugas yang menggunakan kebijakan ini dalam sumber daya komputasi pekerjaan dinonaktifkan.

Izin kebijakan

Secara default, admin ruang kerja memiliki izin pada semua kebijakan. Pengguna non-admin harus diberikan izin pada kebijakan untuk mengaksesnya.

Jika pengguna memiliki izin pembuatan kluster yang tidak dibatasi, mereka juga akan memiliki akses ke kebijakan Tidak Dibatasi . Ini memungkinkan mereka untuk membuat sumber daya komputasi yang dapat dikonfigurasi sepenuhnya.

Jika pengguna tidak memiliki akses ke kebijakan apa pun, dropdown kebijakan tidak ditampilkan di antarmuka pengguna mereka.

Membatasi jumlah sumber daya komputasi per pengguna

Izin kebijakan memungkinkan Anda mengatur jumlah maksimum sumber daya komputasi per pengguna. Ini menentukan berapa banyak sumber daya yang dapat dibuat pengguna menggunakan kebijakan tersebut. Jika pengguna melebihi batas, operasi akan gagal.

Untuk membatasi jumlah sumber daya yang dapat dibuat pengguna menggunakan kebijakan, masukkan nilai ke dalam pengaturan Sumber daya komputasi maks per pengguna di bawah Opsi tingkat lanjut.

Catatan

Azure Databricks tidak secara proaktif mengakhiri sumber daya untuk mempertahankan batas. Jika pengguna memiliki tiga sumber daya komputasi yang berjalan dengan kebijakan dan admin ruang kerja mengurangi batas menjadi satu, ketiga sumber daya akan terus berjalan. Sumber daya tambahan harus dihentikan secara manual untuk mematuhi batas.

Mengelola kebijakan

Setelah membuat kebijakan, Anda dapat mengedit, mengkloning, dan menghapusnya.

Anda juga dapat memantau adopsi kebijakan dengan melihat sumber daya komputasi yang menggunakan kebijakan. Dari halaman Kebijakan , klik kebijakan yang ingin Anda tampilkan. Lalu klik tab Compute atau Jobs untuk melihat daftar sumber daya yang menggunakan kebijakan tersebut.

Mengedit kebijakan

Anda mungkin ingin mengedit kebijakan untuk memperbarui izinnya atau definisinya. Untuk mengedit kebijakan, pilih kebijakan dari halaman Kebijakan lalu klik Edit.

Setelah Anda memperbarui definisi kebijakan, sumber daya komputasi yang dibuat menggunakan kebijakan tersebut tidak diperbarui secara otomatis dengan definisi kebijakan baru. Anda dapat memilih untuk memperbarui semua atau beberapa sumber daya komputasi ini menggunakan penegakan kepatuhan kebijakan. Lihat Menerapkan kepatuhan kebijakan.

Mengkloning kebijakan

Anda juga dapat menggunakan fitur kloning untuk membuat kebijakan baru dari kebijakan yang ada. Buka kebijakan yang ingin Anda kloning lalu klik menu kebab dan pilih tombol Kloning . Lalu ubah nilai bidang apa pun yang ingin Anda ubah dan klik Buat.

Menghapus kebijakan

Pilih kebijakan dari halaman Kebijakan lalu klik menu kebab dan pilih Hapus. Saat ditanya apakah Anda yakin ingin menghapus kebijakan, klik Hapus lagi.

Komputasi apa pun yang diatur oleh kebijakan yang dihapus masih dapat berjalan, tetapi tidak dapat diedit kecuali pengguna memiliki izin pembuatan kluster yang tidak dibatasi.

Menerapkan kepatuhan kebijakan

Setelah Anda mengedit kebijakan, sumber daya komputasi yang dibuat menggunakan kebijakan tersebut tidak diperbarui secara otomatis untuk mematuhi aturan kebijakan baru. Untuk melihat daftar sumber daya komputasi yang diatur oleh kebijakan, klik kebijakan di UI lalu klik tab Semua tujuan untuk melihat komputasi semua tujuan terkait atau tab Pekerjaan untuk melihat daftar pekerjaan yang berjalan pada komputasi yang diatur oleh kebijakan.

Daftar ini juga akan memberi tahu Anda jika ada sumber daya komputasi yang tidak mematuhi definisi kebijakan saat ini.

Untuk memperbarui sumber daya komputasi agar mematuhi kebijakan:

1. Dari halaman Kebijakan , klik kebijakan yang telah Anda perbarui.
2. Klik tab Semua tujuan atau Pekerjaan untuk melihat daftar sumber daya atau pekerjaan yang menggunakan kebijakan. Kolom Kepatuhan memberi tahu Anda sumber daya mana yang mematuhi definisi kebijakan saat ini.
3. Klik Perbaiki semua untuk memperbarui semua sumber daya pemrosesan dalam daftar yang tidak memenuhi syarat. Anda juga dapat memperbarui sumber daya komputasi satu per satu dengan mengklik tombol Perbaiki di baris sumber daya.
4. (Opsional) Jika Anda ingin memberlakukan kebijakan pada komputasi yang sedang berjalan, centang kotak Terapkan kluster yang sedang berjalan. Ini segera memulai ulang sumber daya komputasi yang sedang berjalan.
5. Klik Tertibkan untuk membuat pembaruan. Setelah operasi penegakan selesai, Anda diberi ringkasan perubahan yang dibuat.
6. Klik Selesai.

Catatan

Saat Anda menerapkan kepatuhan kebijakan, atribut jenis array seperti skrip init dicocokkan dengan posisi indeks. Jika kebijakan menentukan nilai pada posisi tertentu, nilai yang ada pada posisi tersebut akan diganti. Nilai yang diganti tidak dipindahkan ke posisi lain dalam array. Untuk mempratinjau perubahan sebelum diberlakukan, klik Perbaiki di samping sumber daya individual untuk melihat bagaimana atributnya akan diperbarui.

Selain itu, sumber daya komputasi serbaguna yang tidak mematuhi mencantumkan label Di luar kepatuhan dalam UI detail komputasi mereka. Pengguna dengan izin CAN MANAGE pada sumber daya komputasi dapat memberlakukan kepatuhan dari halaman ini dengan mengklik Lainnya lalu Memperbaiki kepatuhan.