Mengelola pustaka Python di Microsoft Fabric

  • Artikel

Pustaka menyediakan kode yang dapat digunakan kembali yang mungkin ingin Anda sertakan dalam program atau proyek Anda. Setiap ruang kerja dilengkapi dengan sekumpulan pustaka yang telah diinstal sebelumnya yang tersedia dalam run-time Spark dan tersedia untuk digunakan segera dalam definisi kerja notebook atau Spark. Kami menyebutnya sebagai pustaka bawaan. Namun, Anda mungkin menemukan bahwa Anda perlu menyertakan pustaka tambahan untuk skenario pembelajaran mesin Anda. Dokumen ini menjelaskan bagaimana Anda dapat menggunakan Microsoft Fabric untuk menginstal pustaka Python untuk alur kerja ilmu data Anda.

Pustaka Python di Microsoft Fabric

Dalam Fabric, ada 2 metode untuk menambahkan pustaka Python tambahan.

  • Pustaka umpan: Pustaka umpan mengacu pada pustaka yang berada di sumber atau repositori publik. Saat ini kami mendukung pustaka umpan Python dari PyPI dan Conda, seseorang dapat menentukan sumbernya di portal Manajemen Pustaka.

  • Pustaka kustom: Pustaka kustom adalah kode yang dibuat oleh Anda atau organisasi Anda. .whl dan .jar dapat dikelola melalui portal Manajemen Pustaka.

Anda dapat mempelajari selengkapnya tentang umpan dan pustaka kustom dengan masuk ke kelola pustaka dalam dokumentasi Fabric.

Menginstal pustaka ruang kerja

Pustaka tingkat ruang kerja memungkinkan ilmuwan data untuk menstandarkan kumpulan pustaka dan versi di semua pengguna di ruang kerja mereka. Pengaturan pustaka ruang kerja menentukan lingkungan kerja untuk seluruh ruang kerja. Pustaka yang diinstal pada tingkat ruang kerja tersedia untuk semua notebook dan definisi kerja Spark di bawah ruang kerja tersebut. Karena pustaka ini tersedia di seluruh sesi, yang terbaik adalah menggunakan pustaka ruang kerja saat Anda ingin menyiapkan lingkungan bersama untuk semua sesi di ruang kerja.

Penting

Hanya admin Ruang Kerja yang memiliki akses untuk memperbarui pengaturan tingkat Ruang Kerja.

Anda dapat menggunakan pengaturan ruang kerja untuk menginstal umpan Python dan pustaka kustom. Untuk mempelajari lebih lanjut, Anda dapat mengunjungi mengelola pustaka di Fabric.

Menggunakan pengaturan ruang kerja untuk mengelola pustaka umpan

Dalam beberapa kasus, Anda mungkin ingin menginstal pustaka umpan Python tertentu sebelumnya dari PyPI atau Conda di semua sesi buku catatan Anda. Untuk melakukan ini, Anda dapat menavigasi ke ruang kerja Anda dan mengelola pustaka ini melalui pengaturan ruang kerja Python.

Dari pengaturan Ruang Kerja, Anda bisa melakukan hal berikut:

  • Lihat dan cari pustaka umpan: Daftar pustaka yang diinstal muncul saat Anda membuka panel manajemen pustaka. Dari tampilan ini, Anda dapat melihat nama pustaka, versi, dan dependensi terkait. Anda juga dapat mencari untuk menemukan pustaka dengan cepat dari daftar ini.
  • Menambahkan pustaka umpan baru: Anda dapat menambahkan pustaka umpan Python baru dari PyPI atau Conda. Setelah sumber penginstalan dipilih, Anda dapat memilih tombol + dan baris baru muncul. Untuk menambahkan pustaka, Anda perlu memberikan nama pustaka dan, secara opsional, tentukan eversion ke di baris berikutnya. Untuk mengunggah daftar pustaka secara bersamaan, Anda dapat mengunggah file yang .yml berisi dependensi yang diperlukan.

Menggunakan pengaturan ruang kerja untuk mengelola pustaka kustom

Dengan menggunakan pengaturan Ruang Kerja, Anda juga bisa membuat file Python .whl kustom tersedia untuk semua buku catatan di ruang kerja Anda. Setelah perubahan disimpan, Fabric akan menginstal pustaka kustom Anda dan dependensi terkaitnya.

Penginstalan dalam baris

Saat mengembangkan model pembelajaran mesin atau melakukan analisis data ad-hoc, Anda mungkin perlu menginstal pustaka dengan cepat untuk sesi Apache Spark Anda. Untuk melakukan ini, Anda dapat menggunakan kemampuan penginstalan sebaris untuk memulai pustaka baru dengan cepat.

Catatan

Penginstalan dalam baris hanya memengaruhi sesi buku catatan saat ini. Ini berarti sesi baru tidak akan menyertakan paket yang diinstal di sesi sebelumnya.

Sebaiknya tempatkan semua perintah sebaris yang menambahkan, menghapus, atau memperbarui paket Python di sel pertama Notebook Anda. Perubahan paket Python akan efektif setelah Anda memulai ulang interpreter Python. Variabel yang ditentukan sebelum menjalankan sel perintah akan hilang.

Menginstal pustaka umpan Python dalam buku catatan

%pip Perintah di Microsoft Fabric setara dengan perintah pip yang umum digunakan di banyak alur kerja ilmu data. Bagian berikut ini memperlihatkan contoh bagaimana Anda bisa menggunakan %pip perintah untuk menginstal pustaka umpan langsung ke buku catatan Anda.

  1. Jalankan perintah berikut dalam sel kode Notebook untuk menginstal pustaka altair dan vega_datasets:

    %conda install altair          # install latest version through conda command
%conda install vega_datasets   # install latest version through conda command

    Log dalam output sel menunjukkan hasil penginstalan.

  2. Impor paket dan himpunan data dengan menjalankan kode berikut di sel Notebook lain:

    import altair as alt
from vega_datasets import data

Catatan

Ketika menginstal pustaka Python baru, perintah %conda install biasanya membutuhkan lebih banyak waktu daripada %pip install karena akan memeriksa dependensi lengkap untuk mendeteksi konflik. Anda mungkin ingin menggunakan penginstalan %conda ketika Anda ingin menghindari potensi masalah. Gunakan penginstalan %pip ketika Anda yakin tentang pustaka yang coba Anda instal tidak bertentangan dengan pustaka yang telah diinstal sebelumnya di lingkungan runtime.

Tip

Semua perintah in-line Python yang tersedia dan klarifikasinya dapat ditemukan: %pip commands dan %conda commands

Mengelola pustaka Python kustom melalui penginstalan in-line

Dalam beberapa kasus, Anda mungkin memiliki pustaka kustom yang ingin Anda instal dengan cepat untuk sesi buku catatan. Untuk melakukan ini, Anda dapat mengunggah pustaka Python kustom Anda ke folder File Lakehouse yang dilampirkan buku catatan Anda.

Untuk melakukan ini:

  1. Navigasi ke Lakehouse Anda dan pilih ... pada folder File .

  2. Kemudian, unggah Python jar atau wheel pustaka kustom Anda.

  3. Setelah mengunggah file, Anda bisa menggunakan perintah berikut untuk menginstal pustaka kustom ke sesi buku catatan Anda:

    # install the .whl through pip command
%pip install /lakehouse/default/Files/wheel_file_name.whl

Langkah berikutnya