Pustaka kluster

Pustaka kluster dapat digunakan oleh semua buku catatan dan pekerjaan yang berjalan pada kluster. Artikel ini merinci menggunakan UI Instal pustaka di ruang kerja Azure Databricks.

Catatan

Jika Anda membuat komputasi menggunakan kebijakan yang memberlakukan penginstalan pustaka, Anda tidak dapat menginstal atau menghapus instalasi pustaka pada komputasi Anda. Admin ruang kerja mengontrol semua manajemen pustaka di tingkat kebijakan.

Anda dapat menginstal pustaka ke kluster menggunakan pendekatan berikut:

• Pasang pustaka untuk digunakan hanya dengan kluster tertentu.

• Instal pustaka dengan REST API. Lihat API Pustaka.

• Instal pustaka dengan Databricks CLI. Lihat Apa itu Databricks CLI?.

• Instal pustaka menggunakan Terraform. Lihat Penyedia dan databricks_library Databricks Terraform.

• Instal pustaka dengan membuat kluster dengan kebijakan yang menentukan penginstalan pustaka. Lihat Menambahkan pustaka ke kebijakan.

• (Tidak disarankan) Instal pustaka menggunakan skrip init yang berjalan pada waktu pembuatan kluster. Lihat Menginstal pustaka dengan skrip init (warisan).

Memasang pustaka pada kluster

Untuk memasang perpustakaan pada kluster:

1. Klik Hitung di bilah sisi.
2. Klik nama kluster.
3. Klik tab Pustaka.
4. Klik Instal Baru.
5. Dialog Instal pustaka ditampilkan.
6. Pilih salah satu opsi Sumber Pustaka, selesaikan instruksi yang muncul, lalu klik Instal.

Penting

Pustaka dapat diinstal dari DBFS saat menggunakan Databricks Runtime 14.3 LTS dan di bawahnya. Namun, setiap pengguna ruang kerja dapat memodifikasi file pustaka yang disimpan di DBFS. Untuk meningkatkan keamanan pustaka di ruang kerja Azure Databricks, menyimpan file pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default di Databricks Runtime 15.0 ke atas. Lihat Menyimpan pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default.

Sebagai gantinya, Databricks merekomendasikan untuk mengunggah semua pustaka, termasuk pustaka Python, file JAR, dan konektor Spark, ke file ruang kerja atau volume Katalog Unity, atau menggunakan repositori paket pustaka. Jika beban kerja Anda tidak mendukung pola ini, Anda juga dapat menggunakan pustaka yang disimpan di penyimpanan objek cloud.

Tidak semua mode akses kluster mendukung semua konfigurasi pustaka. Lihat Pustaka cakupan kluster.

Sumber pustaka	Petunjuk
Workspace	Pilih file ruang kerja atau unggah file Whl, zipped wheelhouse, JAR, ZIP, tar, atau requirements.txt. Lihat Menginstal pustaka dari file ruang kerja
Volume	Pilih file Whl, JAR, atau requirements.txt dari volume. Lihat Menginstal pustaka dari volume.
Jalur File/ADLS	Pilih jenis pustaka dan berikan URI lengkap ke objek pustaka (misalnya: /Workspace/path/to/library.whl, , /Volumes/path/to/library.whlatau abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Lihat Menginstal pustaka dari penyimpanan objek.
PyPI	Masukkan nama paket PyPI. Lihat paket PyPI.
Maven	Tentukan koordinat Maven. Lihat paket Maven atau Spark.
CRAN	Masukkan nama paket. Lihat paket CRAN.
DBFS (Tidak disarankan)	Muat file JAR atau Whl ke akar DBFS. Ini tidak disarankan, karena file yang disimpan di DBFS dapat dimodifikasi oleh pengguna ruang kerja mana pun.

Saat Anda memasang pustaka di kluster, buku catatan yang sudah terpasang ke kluster tersebut tidak akan langsung melihat pustaka baru. Anda harus melepaskan terlebih dahulu dan kemudian memasang kembali buku catatan ke kluster.

Menginstal pustaka menggunakan kebijakan

Jika Anda membuat kluster menggunakan kebijakan yang memberlakukan penginstalan pustaka, pustaka yang ditentukan secara otomatis diinstal pada kluster Anda. Anda tidak dapat menginstal pustaka tambahan atau menghapus instalan pustaka apa pun.

Admin ruang kerja dapat menambahkan pustaka ke kebijakan, memungkinkan mereka mengelola dan menerapkan penginstalan pustaka pada semua komputasi yang menggunakan kebijakan. Untuk petunjuk admin, lihat Menambahkan pustaka ke kebijakan.

Menghapus instalan pustaka dari kluster

Catatan

Saat Anda menghapus instalan pustaka dari kluster, pustaka akan dihapus hanya saat Anda memulai ulang kluster. Hingga Anda memulai ulang kluster, status pustaka yang dihapus muncul sebagai Hapus instalan mulai ulang yang tertunda.

Untuk menghapus instalasi pustaka, Anda dapat menggunakan antarmuka pengguna kluster:

1. Klik Hitung di bilah sisi.
2. Klik nama kluster.
3. Klik tab Pustaka.
4. Pilih kotak centang di samping kluster tempat Anda ingin menghapus instalan pustaka, klik Hapus instalan, lalu Konfirmasi. Status berubah menjadi Hapus Instalan hidupkan ulang yang tertunda.

Klik Mulai ulang dan Konfirmasi untuk menghapus instalan pustaka. Pustaka dihapus dari tab Pustaka kluster.

Melihat pustaka yang dipasang pada kluster

1. Klik Hitung di bilah sisi.
2. Klik nama kluster.
3. Klik tab Pustaka. Untuk setiap pustaka, tab menampilkan nama dan versi, ketik, status penginstalan, dan, jika diunggah, file sumber.

Memperbarui pustaka yang dipasang kluster

Untuk memperbarui pustaka yang dipasang kluster, hapus instalan versi lama pustaka dan pasang versi baru.

Catatan

Requirements.txt file tidak memerlukan penghapusan instalan dan mulai ulang. Jika Anda telah memodifikasi konten file requirements.txt, Anda cukup menginstalnya kembali untuk memperbarui konten file yang diinstal.