Mengelola pustaka di lingkungan Fabric

Microsoft Fabric lingkungan menyediakan konfigurasi yang fleksibel untuk menjalankan pekerjaan Spark. Pustaka menyediakan kode yang dapat digunakan kembali untuk notebook dan definisi kerja Spark. Selain pustaka bawaan yang dilengkapi dengan setiap runtime Spark, Anda dapat menginstal pustaka publik dan kustom di lingkungan Fabric.

Catatan

Navigasi ke ruang kerja tempat lingkungan Anda berada, pilih lingkungan dan opsi manajemen pustaka Anda terletak di panel navigasi kiri. Jika Anda tidak memiliki lingkungan yang dibuat, lihat Buat, konfigurasikan, dan gunakan lingkungan di Fabric.

Pustaka bawaan

Dalam Fabric, setiap versi runtime dilengkapi dengan sekumpulan pustaka bawaan yang dioptimalkan untuk performa, kompatibilitas, dan keamanan di Python, R, Java, dan Scala. Halaman Pustaka bawaan di lingkungan memungkinkan Anda menelusuri dan mencari pustaka yang telah diinstal sebelumnya ini berdasarkan runtime yang dipilih.

Pustaka ini diinstal secara default di setiap lingkungan dan tidak dapat diubah. Mereka akan tersedia jika Anda menjalankan notebook atau definisi pekerjaan Spark di lingkungan ini.

Untuk melihat daftar paket yang telah diinstal sebelumnya dan versinya untuk setiap runtime, lihat runtime Apache Spark dalam Fabric.

Catatan

Pendekatan per buku catatan seperti folder Sumber Daya buku catatan dan perintah penginstalan sebaris (misalnya, %pip install atau %conda install dalam sel kode) bersifat manual, cakupan sesi, atau cakupan buku catatan, dan tidak terpengaruh oleh penerbitan lingkungan. Gunakan mereka untuk penambahan pustaka satu kali secara cepat selama pengembangan interaktif.

Penting

Fabric mendukung berbagai cara untuk mengelola paket. Untuk pilihan lain dan praktik terbaik, lihat Kelola pustaka Apache Spark di Fabric. Jika ruang kerja Anda menggunakan fitur jaringan seperti Perlindungan akses keluar Ruang Kerja atau VNet Terkelola, akses ke repositori publik seperti PyPI diblokir. Untuk panduan, lihat Kelola pustaka dengan akses jaringan terbatas di Fabric. Jika versi pustaka bawaan tidak memenuhi kebutuhan Anda, Anda dapat mengambil alihnya dengan menentukan versi yang diinginkan di bagian repositori eksternal atau dengan mengunggah paket kustom Anda sendiri.

Repositori eksternal

Anda dapat menambahkan pustaka dari repositori publik seperti PyPI, Conda dan Maven, atau dari repositori privat. Opsi mode sumber dan penerbitan berbeda tergantung pada jenis repositori. Saat menambahkan pustaka, Anda memilih mode terbitkan (Penuh atau Cepat). Untuk detail tentang cara kerja setiap mode, lihat Memilih mode publikasi untuk pustaka.

Menambahkan pustaka dari repositori Python publik

Repositori publik memungkinkan Anda menginstal paket dari PyPI atau Conda.

1. Di tab Repositori eksternal , pilih Tambahkan pustaka.

2. Pilih Tambahkan pustaka dari repositori publik.

3. Pilih sumber (PyPI atau Conda).

4. Masukkan nama pustaka di kotak pencarian. Saat Anda mengetik, kotak pencarian menyarankan pustaka populer, tetapi daftarnya terbatas. Jika Anda tidak melihat pustaka Anda, silakan masukkan nama lengkapnya.

   

   Jika nama pustaka ditemukan, Anda akan melihat versi yang tersedia.

5. Pilih versi lalu simpan dan terbitkan lingkungan Anda.

Menambahkan pustaka dari Maven

Fabric mendukung penginstalan pustaka langsung dari repositori Maven. Untuk melakukan ini, buat file POM yang mencantumkan dependensi Maven yang ingin Anda instal, dan unggah ke Lingkungan.

1. Di tab Repositori eksternal , pilih Impor pom.xml.

2. Pilih file pom.xml dari direktori lokal Anda.

Catatan

• Mengimpor pom.xml hanya didukung di Spark 4.0 dan yang lebih baru.
• Mengimpor pom.xml hanya didukung dalam mode Penuh. Dalam mode ini, Fabric melakukan resolusi dependensi dan deteksi konflik untuk paket Maven. Jika ada pustaka yang tidak kompatibel dengan runtime, Anda akan melihat pesan kesalahan setelah penerbitan.
• Mengimpor pom.xml tidak didukung di ruang kerja dengan Perlindungan Akses Keluar diaktifkan. Di ruang kerja ini, unduh pustaka yang diperlukan dari Maven dan unggah sebagai pustaka kustom sebagai gantinya.

Menambahkan pustaka dari repositori privat

Repositori privat memungkinkan Anda menginstal paket menggunakan pip atau conda.

1. Di tab Repositori eksternal , pilih Tambahkan pustaka.

2. Pilih Tambahkan pustaka dari repositori privat.

3. Pilih sumber (pip atau conda).

4. Masukkan nama dan versi pustaka. Pastikan Anda memasukkan nama dan versi pustaka secara akurat, karena mencari pustaka di repositori privat saat Anda mengetik tidak didukung. Informasi paket yang salah menyebabkan penerbitan gagal.

Menambahkan pustaka dari Umpan Artefak Azure

Azure Artifact Feeds dapat dibatasi pada proyek (privat) atau organisasi (publik). Fabric mendukung kedua cakupan. Terlepas dari visibilitas umpan di Azure DevOps, Fabric selalu terhubung melalui koneksi Data Factory yang diautentikasi, jadi Anda perlu menyiapkan koneksi bahkan untuk umpan publik.

Catatan

Menginstal pustaka dari Azure Artefak Feed didukung di Spark 3.5. Ini tidak didukung di ruang kerja dengan Private Link atau perlindungan akses keluar diaktifkan.

Siapkan koneksi untuk Umpan Artefak Azure Anda

Lingkungan tidak menyimpan kredensial secara langsung. Sebagai gantinya, Anda membuat koneksi melalui Konektor Data Factory dan mereferensikannya dengan ID koneksi dalam file YML. Pelajari lebih lanjut tentang Azure Artifact Feed.

1. Pilih ikon roda gigi Settings di sudut kanan atas portal Fabric, lalu pilih Kelola koneksi dan gateway.

   

2. Buat koneksi baru. Pilih + Baru lalu pilih Cloud sebagai tipe dan pilih Azure Umpan Artefak (Pratinjau) sebagai tipe koneksi.

   

3. Masukkan URL umpan dalam salah satu formulir ini:

   https://pkgs.dev.azure.com/{organization}/{project}/_packaging/{feed}/pypi/simple/
   https://{organization}.pkgs.visualstudio.com/{project}/_packaging/{feed}/pypi/simple/
   

4. Memberikan akses pada umpan melalui token akses pribadi (PAT) atau melalui identitas ruang kerja

   • Untuk mode token PAT, buat PAT (di ADO → Pengaturan Pengguna → Token Akses Pribadi) dengan cakupan Packaging: Read. Tambahkan pengguna pemilik PAT ke umpan dengan peran Pembaca Umpan di bawah Pengaturan → Umpan → Izin.
   • Untuk mode identitas ruang kerja , admin ruang kerja mengaktifkan Identitas Ruang Kerja di pengaturan Ruang Kerja → Identitas ruang kerja → + Identitas ruang kerja. Di umpan ADO, temukan pengaturan Umpan → Izin → Tambahkan pengguna/grup, tambahkan identitas ruang kerja (bernama sama dengan ruang kerja) dengan setidaknya peran Pembaca Umpan .

5. Pilih Izinkan Artefak Code-First seperti Notebook untuk mengakses koneksi ini (Pratinjau).

   

6. Pilih Buat untuk menyimpan koneksi. Anda akan melihatnya dalam daftar koneksi.

7. Catat ID koneksi setelah pembuatan. Anda membutuhkannya di langkah berikutnya.

Menyiapkan dan mengunggah file YML

Buat file YML yang mencantumkan paket yang ingin Anda instal dan referensikan ID koneksi alih-alih URL umpan dan kredensial. Fabric menggunakan ID koneksi untuk mengautentikasi dan menarik paket dari umpan Anda pada waktu penerbitan.

Konfigurasi pip standar mereferensikan URL umpan dan kredensial secara langsung:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

Untuk Fabric, ganti URL dengan ID koneksi yang Anda rekam sebelumnya:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Unggah file YML langsung ke lingkungan, atau beralihlah ke tampilan editor YML dan tempel konten. Saat Anda menerbitkan lingkungan, Fabric membaca paket dari umpan Anda dan menyimpannya. Jika Anda memperbarui paket di Feed Artefak Azure, publikasikan ulang lingkungan untuk memperbarui ke versi terbaru.

Catatan

• Dalam tampilan Daftar, Anda bisa menambahkan, menghapus, atau mengedit pustaka dari koneksi umpan yang sudah ada. Untuk menambahkan, menghapus, atau mengedit koneksi umpan itu sendiri, beralihlah ke tampilan editor YML dan perbarui file YML secara langsung.
• Anda dapat menentukan beberapa umpan dalam file YML. Fabric mencarinya dalam urutan yang tercantum hingga paket ditemukan. Repositori publik seperti PyPI dan Conda dicari terakhir secara otomatis, bahkan jika repositori tersebut tidak disertakan dalam file YML.
• Jika paket dalam file YML tidak dapat ditemukan di salah satu umpan yang tercantum, penerbitan gagal. Periksa kembali nama dan versi paket sebelum menerbitkan.

Mengelola pustaka eksternal

Setelah menambahkan pustaka eksternal, Anda dapat mengelolanya dari bagian Repositori eksternal .

• Filter – Gunakan nama paket sebagai kata kunci untuk memfilter daftar pustaka eksternal.
• Pembaruan – Pilih pustaka untuk memperbarui nama, versi, atau jenis sumbernya dalam tampilan Daftar. Dalam tampilan editor YML, Anda juga dapat memperbarui ID koneksi Azure Artifacts Feed.
• Hapus – Arahkan kursor ke baris pustaka untuk melihat opsi Hapus , atau pilih beberapa pustaka lalu pilih Hapus. Anda juga dapat menghapus pustaka dengan menggunakan tampilan editor YML.
• Lihat dependensi – Arahkan mouse ke atas pustaka repositori publik dan pilih Tampilkan Dependensi untuk mengambil pohon dependensinya. Informasi dependensi tidak tersedia untuk pustaka privat atau pustaka dari Umpan Artefak Azure.
• Ekspor ke .yml – Ekspor daftar pustaka eksternal lengkap ke .yml file dan unduh ke direktori lokal Anda.

Perpustakaan khusus

Pustaka kustom merujuk ke kode yang dibuat oleh Anda atau organisasi Anda. Fabric mendukung file pustaka kustom dalam format .whl, .py, .jar, dan .tar.gz. Seperti halnya pustaka eksternal, Anda memilih mode terbitkan (Penuh atau Cepat) saat mengunggah paket kustom. Untuk detailnya, lihat Memilih mode publikasi untuk pustaka.

Catatan

Fabric hanya mendukung file .tar.gz untuk bahasa R. Gunakan format file .whl dan .py untuk bahasa Python.

Gunakan tombol Unggah dan Unduh di halaman Pustaka kustom untuk menambahkan pustaka dari direktori lokal Anda atau unduh secara lokal.

Untuk menghapus pustaka, arahkan mouse ke barisnya dan pilih ikon sampah, atau pilih beberapa pustaka lalu pilih Hapus.

Pilih mode publikasi untuk pustaka

Saat menambahkan pustaka eksternal atau kustom, Anda memilih mode terbitkan. Mode penuh tersedia untuk semua sumber pustaka dan jenis beban kerja. Mode cepat tersedia untuk repositori publik dan sebagian besar format pustaka kustom, tetapi hanya saat menjalankan buku catatan.

Tabel berikut ini memperlihatkan mode penerbitan mana yang didukung setiap sumber pustaka.

Sumber pustaka	Mode penuh	Mode cepat
Repositori publik (PyPI/Conda)	Yes	Yes
Repositori pribadi (pip/conda)	Yes	No
Repositori Artefak Azure	Yes	No
Kustom .whl, .py, .tar.gz	Yes	Yes
Kustom .jar	Yes	No

Pilih mode yang tepat untuk kebutuhan Anda

Gunakan kompleksitas dependensi dan jenis beban kerja untuk memutuskan mode mana yang sesuai.

• Mode penuh menyelesaikan dependensi, memvalidasi kompatibilitas, dan membuat rekam jepret pustaka yang stabil selama penerbitan. Rekam jepret tersebut disebarkan saat sesi baru dimulai. Terbaik untuk set dependensi yang lebih besar (misalnya, lebih dari 10 paket), beban kerja produksi, dan alur. Publikasikan biasanya membutuhkan waktu 3 hingga 6 menit; startup sesi menambahkan 1 hingga 3 menit untuk penyebaran dependensi, tergantung pada ukuran dependensi. Untuk mempertahankan rekam jepret yang stabil sambil mencapai waktu mulai sesi sekitar 5 detik, gunakan mode Full bersama dengan kumpulan live kustom.
• Mode cepat melewati pemrosesan dependensi selama penerbitan dan sebagai gantinya menginstal paket pada saat startup sesi notebook. Terbaik untuk set dependensi yang lebih ringan, iterasi cepat, dan eksperimen tahap awal. Publikasi selesai dalam waktu sekitar 5 detik; penginstalan pustaka terjadi pada awal sesi.

Anda dapat mencampur mode selama pengembangan. Pola umumnya adalah melakukan iterasi dalam mode cepat, lalu memindahkan dependensi yang divalidasi ke mode penuh untuk rekam jepret produksi yang stabil. Anda juga dapat menjaga snapshot mode penuh yang ada tetap tidak berubah dan menambahkan paket pengujian baru dalam mode cepat — snapshot mode penuh disebarkan terlebih dahulu, lalu paket mode cepat diinstal di atasnya.

Batasan dan perilaku modus

Ingatlah batasan ini saat bekerja dengan mode publikasi.

• Mode cepat hanya berfungsi dengan notebook, bukan definisi pekerjaan Spark.
• Untuk memindahkan pustaka kustom antar mode, unduh file, hapus dari mode saat ini, lalu unggah ke mode target. Transfer langsung antar mode tidak didukung.
• Log penginstalan tidak muncul di buku catatan. Gunakan Pemantauan (Tingkat 2) untuk melacak kemajuan dan pemecahan masalah.
• Ketika kedua mode berisi paket, rekam jepret mode penuh berlaku terlebih dahulu. Paket modus cepat diinstal di atas dan menggantikan paket modus penuh dengan nama yang sama.
• Saat paket duplikat ada di seluruh mode, versi mode cepat mengambil alih versi Mode penuh hanya untuk sesi buku catatan saat ini. Memulai sesi baru pertama-tama menerapkan ulang snapshot Mode Full, kemudian Paket Mode Quick diinstal di atasnya.
• Paket-paket mode cepat diinstal ketika sel kode pertama dari bahasa tersebut dijalankan. Misalnya, paket Python diinstal saat sel Python pertama berjalan, dan paket R diinstal saat sel R pertama berjalan.

Konten terkait

• Buat, konfigurasikan, dan gunakan lingkungan di Fabric
• Kelola pustaka Apache Spark di Fabric