Pustaka kluster
Pustaka kluster dapat digunakan oleh semua buku catatan dan pekerjaan yang berjalan pada kluster. Artikel ini merinci menggunakan UI Instal pustaka di ruang kerja Azure Databricks.
Catatan
Jika Anda membuat komputasi menggunakan kebijakan yang memberlakukan penginstalan pustaka, Anda tidak dapat menginstal atau menghapus instalasi pustaka pada komputasi Anda. Admin ruang kerja mengontrol semua manajemen pustaka di tingkat kebijakan.
Anda dapat menginstal pustaka ke kluster menggunakan pendekatan berikut:
Pasang pustaka untuk digunakan hanya dengan kluster tertentu.
Instal pustaka dengan REST API. Lihat API Pustaka.
Instal pustaka dengan Databricks CLI. Lihat Apa itu Databricks CLI?.
Instal pustaka menggunakan Terraform. Lihat Penyedia dan databricks_library Databricks Terraform.
Instal pustaka dengan membuat kluster dengan kebijakan yang menentukan penginstalan pustaka. Lihat Menambahkan pustaka ke kebijakan.
(Tidak disarankan) Instal pustaka menggunakan skrip init yang berjalan pada waktu pembuatan kluster. Lihat Menginstal pustaka dengan skrip init (warisan).
Memasang pustaka pada kluster
Untuk memasang perpustakaan pada kluster:
- Klik Komputasi
di bilah samping. - Klik nama kluster.
- Klik tab Pustaka.
- Klik Instal Baru.
- Dialog Instal pustaka ditampilkan.
- Pilih salah satu opsi Sumber Pustaka, selesaikan instruksi yang muncul, lalu klik Instal.
Penting
Pustaka dapat diinstal dari DBFS saat menggunakan Databricks Runtime 14.3 LTS dan di bawahnya. Namun, setiap pengguna ruang kerja dapat memodifikasi file pustaka yang disimpan di DBFS. Untuk meningkatkan keamanan pustaka di ruang kerja Azure Databricks, menyimpan file pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default di Databricks Runtime 15.1 ke atas. Lihat Menyimpan pustaka di akar DBFS tidak digunakan lagi dan dinonaktifkan secara default.
Sebagai gantinya, Databricks merekomendasikan untuk mengunggah semua pustaka, termasuk pustaka Python, file JAR, dan konektor Spark, ke file ruang kerja atau volume Katalog Unity, atau menggunakan repositori paket pustaka. Jika beban kerja Anda tidak mendukung pola ini, Anda juga dapat menggunakan pustaka yang disimpan di penyimpanan objek cloud.
Tidak semua mode akses kluster mendukung semua konfigurasi pustaka. Lihat Pustaka cakupan kluster.
| Sumber pustaka | Petunjuk |
|---|---|
| Workspace | Pilih file ruang kerja atau unggah file Whl, zipped wheelhouse, JAR, ZIP, tar, atau requirements.txt. Lihat Menginstal pustaka dari file ruang kerja |
| Volume | Pilih file Whl, JAR, atau requirements.txt dari volume. Lihat Menginstal pustaka dari volume. |
| Jalur File/ADLS | Pilih jenis pustaka dan berikan URI lengkap ke objek pustaka (misalnya: /Workspace/path/to/library.whl, , /Volumes/path/to/library.whlatau abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Lihat Menginstal pustaka dari penyimpanan objek. |
| PyPI | Masukkan nama paket PyPI. Lihat paket PyPI. |
| Maven | Tentukan koordinat Maven. Lihat paket Maven atau Spark. |
| CRAN | Masukkan nama paket. Lihat paket CRAN. |
| DBFS (Tidak disarankan) | Muat file JAR atau Whl ke akar DBFS. Ini tidak disarankan, karena file yang disimpan di DBFS dapat dimodifikasi oleh pengguna ruang kerja mana pun. |
Saat Anda memasang pustaka di kluster, buku catatan yang sudah terpasang ke kluster tersebut tidak akan langsung melihat pustaka baru. Anda harus melepaskan terlebih dahulu dan kemudian memasang kembali buku catatan ke kluster.
Catatan
Pustaka yang membutuhkan waktu lebih dari 2 jam untuk diinstal akan ditandai sebagai gagal.
Menginstal pustaka menggunakan kebijakan
Jika Anda membuat kluster menggunakan kebijakan yang memberlakukan penginstalan pustaka, pustaka yang ditentukan secara otomatis diinstal pada kluster Anda. Anda tidak dapat menginstal pustaka tambahan atau menghapus instalan pustaka apa pun.
Admin ruang kerja dapat menambahkan pustaka ke kebijakan, memungkinkan mereka mengelola dan menerapkan penginstalan pustaka pada semua komputasi yang menggunakan kebijakan. Untuk petunjuk admin, lihat Menambahkan pustaka ke kebijakan.
Menghapus instalan pustaka dari kluster
Catatan
Saat Anda menghapus instalan pustaka dari kluster, pustaka akan dihapus hanya saat Anda memulai ulang kluster. Hingga Anda memulai ulang kluster, status pustaka yang dihapus muncul sebagai Hapus instalan mulai ulang yang tertunda.
Untuk menghapus instalasi pustaka, Anda dapat menggunakan antarmuka pengguna kluster:
- Klik Komputasi di bilah samping.
- Klik nama kluster.
- Klik tab Pustaka.
- Pilih kotak centang di samping kluster tempat Anda ingin menghapus instalan pustaka, klik Hapus instalan, lalu Konfirmasi. Status berubah menjadi Hapus Instalan hidupkan ulang yang tertunda.
Klik Mulai ulang dan Konfirmasi untuk menghapus instalan pustaka. Pustaka dihapus dari tab Pustaka kluster.
Melihat pustaka yang dipasang pada kluster
- Klik Komputasi di bilah samping.
- Klik nama kluster.
- Klik tab Pustaka. Untuk setiap pustaka, tab menampilkan nama dan versi, ketik, status penginstalan, dan, jika diunggah, file sumber.
Memperbarui pustaka yang dipasang kluster
Untuk memperbarui pustaka yang dipasang kluster, hapus instalan versi lama pustaka dan pasang versi baru.
Catatan
Requirements.txt file tidak memerlukan penghapusan instalan dan mulai ulang. Jika Anda telah memodifikasi konten file requirements.txt, Anda cukup menginstalnya kembali untuk memperbarui konten file yang diinstal.