Bagikan melalui

Manajemen pustaka di Spark

  • Artikel

Penting

Azure HDInsight di AKS dihentikan pada 31 Januari 2025. Pelajari lebih lanjut dengan pengumuman ini.

Anda perlu memigrasikan beban kerja Anda untuk Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian beban kerja Anda yang mendadak.

Penting

Fitur ini saat ini dalam pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure menyertakan lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk mendapatkan pembaruan terbaru tentang Komunitas Azure HDInsight.

Tujuan Manajemen Pustaka adalah untuk membuat kode sumber terbuka atau kustom tersedia untuk buku catatan dan pekerjaan yang berjalan di kluster Anda. Anda dapat mengunggah pustaka Python dari repositori PyPI. Artikel ini berfokus pada pengelolaan pustaka di antarmuka pengguna kluster. Azure HDInsight di AKS sudah menyertakan banyak pustaka umum dalam kluster. Untuk melihat pustaka mana yang disertakan dalam HDI pada kluster AKS, tinjau halaman manajemen pustaka.

Menginstal pustaka

Anda dapat menginstal pustaka dalam dua mode:

  • Terpasang dalam kluster
  • Cakupan buku catatan

Kluster Terinstal

Semua notebook yang berjalan pada kluster dapat menggunakan perpustakaan kluster. Anda dapat menginstal pustaka kluster langsung dari repositori publik seperti PyPi. Unggah dari repositori Maven dan unggah pustaka kustom dari penyimpanan cloud ada dalam rencana pengembangan produk.

Cuplikan layar memperlihatkan halaman manajer pustaka yang terinstal di kluster.

Cakupan dalam buku catatan

Pustaka yang dikhususkan untuk buku catatan, tersedia untuk Python dan Scala, yang memungkinkan Anda menginstal pustaka dan menciptakan lingkungan yang khusus untuk sesi buku catatan. Perpustakaan ini tidak memengaruhi buku catatan lain yang berjalan pada cluster yang sama. Perpustakaan cakupan buku catatan tidak bertahan dan perlu diinstal ulang setiap kali sesi dimulai.

Nota

Gunakan pustaka dengan cakupan buku catatan saat Anda memerlukan lingkungan kustom untuk buku catatan tertentu.

Mode Penginstalan Pustaka

PyPI: Ambil pustaka dari repositori PyPI sumber terbuka dengan menyebutkan nama dan versi pustaka di UI penginstalan.

Menampilkan pustaka yang terinstal

  1. Dari halaman Gambaran Umum, navigasikan ke Manajer Pustaka.

    Cuplikan layar memperlihatkan halaman manajer pustaka.

  2. Dari Pengelola Kluster Spark, klik Manajer Pustaka.

  3. Anda dapat melihat daftar pustaka yang terinstal dari sini.

    Cuplikan layar memperlihatkan cara menampilkan pustaka yang terinstal.

Menambahkan widget pustaka

PyPI

  1. Dari tab PyPI, masukkan Nama Paket dan Versi Paket ..

  2. Klik Pasang.

    Cuplikan layar memperlihatkan cara menginstal PyPI.

Menghapus instalasi Pustaka

Jika Anda memutuskan untuk tidak menggunakan pustaka lagi, maka Anda dapat dengan mudah menghapus paket pustaka melalui tombol hapus instalan di halaman manajemen pustaka.

  1. Pilih dan klik nama pustaka

    Cuplikan layar memperlihatkan cara memilih pustaka.

  2. Klik Uninstall pada widget

    Cuplikan layar memperlihatkan cara menghapus instalasi pustaka.

    Nota

    • Paket yang diinstal dari jupyter notebook hanya dapat dihapus dari Jupyter Notebook.
    • Paket yang diinstal dari pengelola pustaka hanya dapat dihapus instalannya dari pengelola pustaka.
    • Untuk memutakhirkan pustaka/paket, hapus instalan versi pustaka saat ini dan instal ulang versi pustaka yang diperlukan.
    • Penginstalan pustaka dari Jupyter Notebook tergantung pada sesi. Ini tidak persisten.
    • Menginstal paket berat mungkin memakan waktu karena ukuran dan kompleksitasnya.