Bagikan melalui

Manajemen pustaka di Spark

  • Artikel

Catatan

Kami akan menghentikan Azure HDInsight di AKS pada 31 Januari 2025. Sebelum 31 Januari 2025, Anda harus memigrasikan beban kerja anda ke Microsoft Fabric atau produk Azure yang setara untuk menghindari penghentian tiba-tiba beban kerja Anda. Kluster yang tersisa pada langganan Anda akan dihentikan dan dihapus dari host.

Hanya dukungan dasar yang akan tersedia hingga tanggal penghentian.

Penting

Fitur ini masih dalam mode pratinjau. Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure mencakup lebih banyak persyaratan hukum yang berlaku untuk fitur Azure yang dalam versi beta, dalam pratinjau, atau belum dirilis ke ketersediaan umum. Untuk informasi tentang pratinjau khusus ini, lihat Azure HDInsight pada informasi pratinjau AKS. Untuk pertanyaan atau saran fitur, kirimkan permintaan di AskHDInsight dengan detail dan ikuti kami untuk pembaruan lebih lanjut di Komunitas Azure HDInsight.

Tujuan Manajemen Pustaka adalah untuk membuat kode sumber terbuka atau kustom tersedia untuk buku catatan dan pekerjaan yang berjalan di kluster Anda. Anda dapat mengunggah pustaka Python dari repositori PyPI. Artikel ini berfokus pada pengelolaan pustaka di antarmuka pengguna kluster. Azure HDInsight di AKS sudah menyertakan banyak pustaka umum dalam kluster. Untuk melihat pustaka mana yang disertakan dalam HDI pada kluster AKS, tinjau halaman manajemen pustaka.

Menginstal pustaka

Anda dapat menginstal pustaka dalam dua mode:

  • Terinstal kluster
  • Cakupan buku catatan

Kluster Terinstal

Semua buku catatan yang berjalan pada kluster dapat menggunakan pustaka kluster. Anda dapat menginstal pustaka kluster langsung dari repositori publik seperti PyPi. Unggah dari repositori Maven, unggah pustaka kustom dari penyimpanan cloud ada di peta strategi.

Cuplikan layar memperlihatkan halaman manajer pustaka terinstal kluster.

Cakupan buku catatan

Pustaka dengan cakupan buku catatan, tersedia untuk Python dan Scala, yang memungkinkan Anda menginstal pustaka dan membuat lingkungan yang dicakup ke sesi buku catatan. Pustaka ini tidak memengaruhi buku catatan lain yang berjalan pada kluster yang sama. Pustaka dengan cakupan buku catatan tidak bertahan dan harus diinstal ulang untuk setiap sesi.

Catatan

Gunakan pustaka yang tercakup di buku catatan saat Anda memerlukan lingkungan kustom untuk buku catatan tertentu.

Mode Penginstalan Pustaka

PyPI: Ambil pustaka dari repositori PyPI sumber terbuka dengan menyebutkan nama dan versi pustaka di UI penginstalan.

Menampilkan pustaka yang terinstal

  1. Dari halaman Gambaran Umum, navigasikan ke Manajer Pustaka.

    Cuplikan layar memperlihatkan halaman manajer pustaka.

  2. Dari Pengelola Kluster Spark, klik Manajer Pustaka.

  3. Anda dapat melihat daftar pustaka yang terinstal dari sini.

    Cuplikan layar memperlihatkan cara menampilkan pustaka yang terinstal.

Menambahkan widget pustaka

PyPI

  1. Dari tab PyPI , masukkan Nama Paket dan Versi Paket..

  2. Klik Pasang.

    Cuplikan layar memperlihatkan cara menginstal PyPI.

Menghapus instalasi Pustaka

Jika Anda memutuskan untuk tidak menggunakan pustaka lagi, maka Anda dapat dengan mudah menghapus paket pustaka melalui tombol hapus instalan di halaman manajemen pustaka.

  1. Pilih dan klik nama pustaka

    Cuplikan layar memperlihatkan cara memilih pustaka.

  2. Klik Hapus instalan di widget

    Cuplikan layar memperlihatkan cara menghapus instalasi pustaka.

    Catatan

    • Paket yang diinstal dari jupyter notebook hanya dapat dihapus dari Jupyter Notebook.
    • Paket yang diinstal dari pengelola pustaka hanya dapat dihapus instalannya dari pengelola pustaka.
    • Untuk memutakhirkan pustaka/paket, hapus instalan versi pustaka saat ini dan instal ulang versi pustaka yang diperlukan.
    • Penginstalan pustaka dari jupyter notebook khusus untuk sesi. Ini tidak persisten.
    • Menginstal paket berat mungkin memakan waktu karena ukuran dan kompleksitasnya.