Kelola komputasi tanpa server

Halaman ini menjelaskan cara mengelola akses ke komputasi serverless dan cara menerapkan batas rate serverless. Admin workspace mengatur komputasi serverless menggunakan objek komputasi serverless bawaan. Objek komputasi tanpa server adalah jenis sumber daya yang menentukan batas izin untuk beban kerja tanpa server. Ruang kerja Anda secara otomatis mendapatkan dua objek komputasi default:

• Komputasi Interaktif Bawaan: Mengatur akses ke notebook dan Databricks Connect.
• Komputasi Otomatis Bawaan: Mengatur akses ke job dan pipeline deklaratif Spark di Lakeflow.

Secara default, semua pengguna ruang kerja memiliki Dapat Digunakan pada kedua objek, sehingga beban kerja yang ada terus berjalan tanpa perubahan apa pun. Admin ruang kerja dapat menghapus pengguna atau grup dari objek untuk membatasi akses. Pengguna yang kehilangan akses akan melihat opsi komputasi Tanpa Server sebagai tidak tersedia di permukaan produk mereka.

Mengelola akses ke komputasi tanpa server

Untuk mengontrol siapa yang memiliki akses ke komputasi tanpa server, admin ruang kerja dapat mengedit izin pada objek Komputasi Interaktif Default dan Komputasi Otomatis Default . Admin ruang kerja memiliki izin Dapat Mengelola secara default, tetapi mereka dapat memberikan izin kepada pengguna mana pun. Objek komputasi default ini tidak dapat diganti nama atau dihapus.

Setiap objek komputasi tanpa server mendukung dua tingkat izin:

Persetujuan	Memungkinkan Anda untuk
Dapat Menggunakan	Jalankan beban kerja pada komputasi ini
Dapat Mengelola	Jalankan beban kerja pada komputasi ini dan edit izin komputasi

Anda juga dapat mengelola izin untuk objek komputasi serverless secara programatik menggunakan Account Access Control API.

Batasi akses ke interaktif nirserver

Untuk membatasi siapa yang dapat menggunakan serverless untuk notebook dan Databricks Connect:

1. Klik Compute di bilah sisi ruang kerja.
2. Di tab Serverless, klik di samping Komputasi Interaktif Bawaan, lalu klik Edit izin akses.
3. Hapus grup Semua Pengguna , atau grup yang menyertakan semua pengguna ruang kerja.
4. Tambahkan hanya pengguna, grup, atau perwakilan layanan tertentu yang ingin Anda otorisasi.

Jika Anda mencabut izin serverless interaktif pengguna, notebook yang sudah terhubung ke serverless akan gagal terhubung saat pengguna menjalankan sel, dan pengguna tidak akan lagi melihat opsi Serverless sebagai opsi yang tersedia di pemilih komputasi notebook. Jika mereka mencoba menjalankan Databricks Connect, permintaan koneksi akan gagal dengan kesalahan yang menyatakan bahwa pengguna tidak memiliki akses ke serverless.

Membatasi akses ke pekerjaan dan alur tanpa server

Untuk membatasi siapa yang dapat menggunakan tanpa server dalam pekerjaan dan alur:

1. Klik Compute di bilah sisi ruang kerja.
2. Di tab Serverless, klik di samping Komputasi Otomatis Default, lalu klik Edit izin.
3. Hapus grup Semua Pengguna , atau grup yang menyertakan semua pengguna ruang kerja.
4. Tambahkan hanya pengguna, grup, atau perwakilan layanan tertentu yang ingin Anda otorisasi.

Jika Anda mencabut izin otomatis serverless milik pengguna, semua job atau pipeline milik pengguna yang sudah ada dan berjalan di serverless akan gagal dijalankan. Pengguna akan melihat pesan kesalahan jika mereka mencoba menjalankan pekerjaan tanpa server.

Sebelum Anda mencabut akses pengguna ke Default Automated Compute, audit pekerjaan dan alur mana yang dimiliki pengguna yang terpengaruh. Kueri berikut mengidentifikasi beban kerja tanpa server terbaru untuk pengguna tertentu:

SELECT *
FROM system.billing.usage
WHERE usage_date >= date_add(now(), -30)
  AND billing_origin_product IN ('JOBS', 'DLT')
  AND identity_metadata.run_as = '<user_email>';

Periksa kolom usage_metadata untuk melihat sumber daya yang terdampak, seperti ID pekerjaan dan ID pipeline.

Mengaudit penggunaan tanpa server

Catatan penagihan serverless mencakup kolom serverless_compute_id di usage_metadata. Gunakan ini untuk melacak objek komputasi tempat beban kerja dijalankan:

SELECT
  usage_metadata.serverless_compute_id,
  identity_metadata.run_as,
  SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE billing_origin_product IN ('JOBS', 'DLT', 'INTERACTIVE')
  AND usage_metadata.serverless_compute_id IS NOT NULL
  AND usage_date >= date_add(now(), -30)
GROUP BY 1, 2
ORDER BY 3 DESC;

Fitur kontrol akses komputasi serverless yang didukung

Fitur-fitur berikut terintegrasi dengan kontrol akses komputasi serverless.

Interaktif (Komputasi Interaktif Default)

• Notebook dan notebook GPU nirserver
• Databricks Connect

Otomatis (Komputasi Otomatis Bawaan)

• Pekerjaan dan pekerjaan GPU tanpa server
• Alur Deklaratif Spark di Lakeflow

Fitur kontrol akses komputasi serverless yang tidak didukung

Fitur-fitur berikut tidak terintegrasi dengan kontrol akses komputasi serverless:

• Databricks SQL (DBSQL)
• Inferensi batch (ai_query())
• Model Serving
• Titik akhir throughput yang disediakan Foundation Model API
• Lakebase
• Aplikasi Databricks
• Evaluasi Agen dan data sintetis
• Pengindeksan pencarian vektor
• Pengoptimalan Prediktif
• Pemantauan Lakehouse
• Kontrol akses yang rinci pada komputasi khusus. Akses ke komputasi khusus menentukan apakah pengguna dapat menggunakan kontrol akses yang rinci.

Untuk fitur apa pun yang tidak tercantum di sini, hubungi tim akun Azure Databricks Anda untuk menanyakan statusnya.

Keterbatasan kontrol akses tanpa server

Important

Jika terjadi gangguan layanan, pemeriksaan akses mungkin gagal dibuka, dan pengguna yang seharusnya ditolak akses mungkin dapat memulai beban kerja serverless. Fitur ini dimaksudkan untuk membantu mengatur akses ke komputasi serverless. Jangan gunakan fitur ini untuk memastikan batas pengeluaran absolut pada jumlah akhir yang ditagihkan. Azure Databricks tidak bertanggung jawab atas biaya yang ditimbulkan oleh beban kerja yang berjalan selama peristiwa tersebut.

• Anda tidak dapat mengganti nama atau menghapus objek komputasi default.
• Pekerjaan atau alur yang sudah dikonfigurasi untuk berjalan di lingkungan tanpa server akan gagal bagi pengguna mana pun yang kehilangan akses Can Use ke Komputasi Otomatis Bawaan. Tinjau beban kerja aktif sebelum Anda menghapus akses pengguna.
• Komputasi latar belakang (tugas yang dimulai oleh sistem) dikecualikan dari kontrol akses komputasi nirserver.

Tetapkan batas laju pada komputasi serverless

Important

Batas tarif ada di Private Preview. Untuk bergabung dengan pratinjau ini, hubungi tim akun Azure Databricks Anda. Setelah bergabung dengan pratinjau, admin workspace dapat mengaktifkannya dari halaman Pratinjau menggunakan pengaturan Serverless Compute Rate Limit .

Batas tarif membatasi seberapa banyak yang dapat dibelanjakan oleh beban kerja terotomatisasi dengan membatasi hingga sejauh mana beban kerja tersebut dapat menskalakan secara otomatis. Admin workspace dapat membuat objek komputasi otomatis khusus dan menetapkan batas laju untuk masing-masing. Ketika beban kerja berjalan pada objek komputasi yang memiliki batas laju, autoscaler serverless tidak akan meningkatkan skala eksekutor Spark untuk beban kerja tersebut melebihi ukuran yang ditetapkan untuk objek tersebut.

Batas tarif hanya berlaku untuk beban kerja otomatis (pekerjaan dan Spark Declarative Pipelines di Lakeflow). Beban kerja interaktif (notebook dan Databricks Connect) tidak dikenai pembatasan laju.

Batas laju dinyatakan dalam ukuran. Setiap ukuran sesuai dengan batas perkiraan jumlah DBU yang dapat digunakan oleh beban kerja per jam. Batas laju hanya membatasi penskalaan otomatis eksekutor Spark. Ini tidak membatasi komponen lain dalam beban kerja, seperti driver, VM REPL, GPU, atau materialized view dan penyegaran tabel streaming.

Batas batas tarif berlaku per beban kerja. Setiap pekerjaan dan setiap pipeline yang menggunakan objek komputasi dibatasi secara independen. Dua pekerjaan yang menggunakan objek komputasi yang sama masing-masing menerima batas penuh. Dalam satu job, batas maksimum tersebut digunakan bersama oleh semua task dalam job itu.

Persyaratan batas tarif

• Untuk membuat dan mengelola objek komputasi serverless, Anda harus menjadi admin workspace atau pengguna dengan pembuatan klaster tanpa batas.
• Batas laju serverless memerlukan Azure Databricks Runtime 17.3.1 atau yang lebih tinggi. Pekerjaan menggunakan runtime terbaru secara otomatis. Untuk Spark Declarative Pipelines di Lakeflow, pilih untuk menjalankan runtime saluran pratinjau.

Buat komputasi serverless dengan batas laju

1. Klik Compute di bilah sisi ruang kerja.
2. Di tab Serverless, klik Buat komputasi tanpa server.
3. Masukkan nama.
4. Untuk Ukuran, pilih batas laju yang akan diterapkan, dari Kecil hingga 2X-Besar. Biarkan tetap pada Default untuk menggunakan batas default ruang kerja Anda.
5. Klik Buat.

Objek komputasi baru muncul di tab Serverless dengan tipe Otomatis. Untuk memungkinkan pengguna menjalankan beban kerja di dalamnya, berikan mereka Dapat Menggunakan atau Dapat Kelola seperti yang dijelaskan dalam Kelola akses ke komputasi serverless. Anda tidak dapat mengedit ukuran objek komputasi default.

Ukuran batas laju

Setiap ukuran sesuai dengan batas perkiraan DBU per jam:

Size	Batas perkiraan
Kecil	~60 DBU per jam
Medium	~120 DBU per jam
Besar	~240 DBU per jam
X-Besar	~480 DBU per jam
2X ukuran besar	~960 DBU per jam

Batas ini adalah ambang terarah. Penggunaan aktual dapat berfluktuasi di sekitarnya karena variabilitas bawaan infrastruktur serverless.

Memilih Default akan menerapkan batas default workspace Anda: Medium untuk workspace tingkat premium, atau Large untuk workspace tingkat perusahaan. Ini sesuai dengan batas maksimum autoscaling default yang ada untuk beban kerja otomatis tanpa server.

Jalankan beban kerja pada komputasi terbatas laju

Pengguna dengan Can Use pada objek komputasi dapat memilihnya saat mengonfigurasi pekerjaan atau pipeline. Beban kerja kemudian berjalan di bawah batas laju komputasi. Jika beban kerja tidak menentukan objek komputasi, beban tersebut kembali ke Default Automated Compute di workspace Anda. Jika pengguna tidak memiliki akses ke default tersebut, beban kerja gagal dijalankan.

• Jobs: Pilih objek komputasi serverless pada tingkat job, baik di pengaturan Compute job di UI atau dengan merujuk ID komputasi di Jobs API. Untuk menyalin ID, buka objek komputasi di tab Serverless dan klik Salin compute ID.
• Spark Declarative Pipelines di Lakeflow: Pilih objek komputasi otomatis sebagai komputasi nirserver bagi pipeline di editor Lakeflow.

Ketika batas laju membatasi beban kerja, Anda dapat melihat dampaknya dalam riwayat kueri beban kerja, atau untuk pipeline, di antarmuka Lakeflow.

Batasan batas tarif

• Batas laju hanya membatasi penskalaan otomatis eksekutor Spark. Komponen biaya lain, seperti driver, VM REPL, GPU, dan penyegaran tampilan termaterialisasi atau tabel streaming, tidak dibatasi.
• Batas DBU-per-jam untuk setiap ukuran adalah perkiraan. Penggunaan aktual dapat melebihi target karena fluktuasi kecil pada batas yang diterapkan dan variabilitas yang melekat pada infrastruktur serverless.
• Beban kerja pada ukuran 2X-Large mungkin berkinerja di bawah ekspektasi karena ukuran klaster fisik dibatasi pada 256 eksekutor. Jika dua atau lebih beban kerja 2X-Large dijadwalkan pada klaster runtime yang sama, masing-masing mungkin mencapai kinerja yang kurang dari yang diharapkan.
• Karena detail implementasi penagihan, beban kerja yang sama dapat menyebabkan penggunaan DBU yang berbeda dengan ukuran batas tarif yang berbeda.
• Anda tidak dapat menetapkan batas laju pada objek komputasi default.