Konfigurasikan repositori paket default

Penting

Mengonfigurasi repositori paket Python default umumnya tersedia untuk notebook dan pekerjaan tanpa server. Untuk alur Lakeflow dan untuk komputasi klasik yang dibuat melalui UI dan API, alur tersebut ada di Pratinjau Umum. Untuk Aplikasi Databricks, aplikasi tersebut berada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur-fitur ini dari halaman Pratinjau dengan mengaktifkan pratinjau berikut:

  • Repositori paket Python bawaan di Alur Deklaratif Spark (Pratinjau Publik)
  • Repositori paket Python default dalam kluster yang dibuat melalui API (Pratinjau Umum)
  • Repositori paket Python default dalam kluster yang dibuat melalui UI (Pratinjau Umum)
  • Mengaktifkan Konfigurasi Repositori Ruang Kerja untuk Aplikasi Databricks (Beta)

Admin ruang kerja dapat mengonfigurasi repositori paket privat atau terautentikasi dalam ruang kerja sebagai repositori paket default untuk notebook, pekerjaan, alur Lakeflow, dan Aplikasi Databricks. Python repositori berlaku untuk semua beban kerja ini, tetapi registri npm hanya berlaku untuk Aplikasi Databricks.

Jika ruang kerja dikonfigurasi dengan repositori paket default, pengguna di ruang kerja dapat menginstal paket dari repositori internal tanpa secara eksplisit menentukan index-url atau extra-index-url nilai untuk Python, atau registri untuk npm. Jika nilai-nilai ini ditentukan dalam kode, di buku catatan, atau dalam file aplikasi app.yaml , nilai tersebut lebih diutamakan daripada default ruang kerja. Lihat Menggunakan repositori paket default tingkat ruang kerja untuk cara kerja prioritas untuk Aplikasi Databricks.

Konfigurasi ini memanfaatkan rahasia Databricks untuk menyimpan dan mengelola URL dan kredensial repositori dengan aman. Admin ruang kerja dapat mengonfigurasi penyiapan menggunakan halaman pengaturan admin ruang kerja atau menggunakan cakupan rahasia yang telah ditentukan sebelumnya dan perintah rahasia Databricks CLI atau REST API.

Menyiapkan dependensi default untuk ruang kerja

Admin ruang kerja dapat menambahkan atau menghapus repositori paket default menggunakan halaman pengaturan admin ruang kerja.

  1. Sebagai administrator ruang kerja, masuk ke ruang kerja Databricks.
  2. Klik nama pengguna Anda di bilah atas ruang kerja Databricks dan pilih Pengaturan .
  3. Klik pada tab Komputasi.
  4. Di samping Repositori Paket Default, klik Kelola.
  5. (Opsional) Menambahkan atau menghapus URL indeks Python, URL indeks tambahan, sertifikat SSL kustom, atau konfigurasi registri npm.
  6. Klik Simpan untuk menyimpan perubahan.

Catatan

Modifikasi atau penghapusan pada rahasia diterapkan secara berbeda tergantung pada jenis beban kerja. Untuk buku catatan dan pekerjaan tanpa server, perubahan diterapkan setelah memasang ulang sumber daya komputasi ke buku catatan atau menjalankan ulang pekerjaan. Untuk notebook dan pekerjaan klasik, perubahan diterapkan setelah sumber daya komputasi dimulai ulang. Untuk alur Lakeflow, perubahan diterapkan ke eksekusi alur baru. Untuk Aplikasi Databricks, perubahan diterapkan saat aplikasi dibuat dan disebarkan di lain waktu.

Menyiapkan menggunakan CLI rahasia atau REST API

Untuk mengonfigurasi repositori paket default menggunakan CLI atau REST API, buat cakupan rahasia yang telah ditentukan dan konfigurasikan izin akses, lalu tambahkan rahasia repositori paket.

Nama cakupan rahasia yang telah ditentukan sebelumnya

Administrator ruang kerja dapat mengatur URL indeks pip default, URL indeks tambahan, sertifikat SSL, dan konfigurasi npm, bersama dengan token dan rahasia autentikasi, dalam cakupan rahasia yang ditunjuk di bawah kunci yang telah ditentukan sebelumnya:

  • Nama cakupan rahasia: databricks-package-management
  • Kunci rahasia untuk url indeks: pip-index-url
  • Kunci rahasia untuk url indeks ekstra: pip-extra-index-urls
  • Kunci rahasia untuk konten sertifikasi SSL: pip-cert
  • Kunci rahasia untuk konfigurasi npm: npm-rc (Hanya Aplikasi Databricks)

Buat lingkup rahasia

Cakupan rahasia dapat dibuat menggunakan perintah Databricks CLI secrets atau REST API . Setelah membuat cakupan rahasia, konfigurasikan daftar kontrol akses untuk memberi semua pengguna ruang kerja akses baca. Ini memastikan bahwa repositori tetap aman dan tidak dapat diubah oleh pengguna individu. Cakupan rahasia harus menggunakan nama cakupan rahasia yang sudah ditentukan sebelumnya databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Tambahkan rahasia repositori paket

Tambahkan detail repositori paket menggunakan nama kunci rahasia yang telah ditentukan sebelumnya. Python repositori berlaku untuk notebook, pekerjaan, alur Lakeflow, dan Aplikasi Databricks, tetapi registri npm hanya berlaku untuk Aplikasi Databricks.

Python

Tambahkan detail repositori paket Python menggunakan nama kunci rahasia yang telah ditentukan sebelumnya, dengan ketiga bidang bersifat opsional.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Catatan

Jika repositori Anda memerlukan autentikasi, gunakan salah satu format berikut untuk URL indeks:

  • Nama pengguna dan kata sandi: https://<username>:<password>@<index_url>
  • Token: https://<token>@<index_url>

Node.js

Untuk Databricks Apps, Anda juga dapat mengonfigurasi registri npm default sehingga aplikasi menginstal paket Node.js, termasuk paket privat, dari registri yang dikonfigurasi ruang kerja. Simpan konten file lengkap .npmrc , termasuk URL registri dan token autentikasi apa pun, di npm-rc bawah kunci rahasia:

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Saat aplikasi di ruang kerja dibuat, Azure Databricks menulis konten ini ke file aplikasi.npmrc. Untuk cara kerja prioritas dan cara menggantinya untuk aplikasi tertentu, lihat paketNode.js.

Mengubah atau menghapus rahasia repositori paket

Untuk mengubah rahasia repositori paket, gunakan put-secret perintah . Untuk menghapus rahasia repositori paket, gunakan delete-secret seperti yang ditunjukkan di bawah ini:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management
  • Last updated on