Mengelola dependensi Python untuk alur

Pipeline Lakeflow mendukung dependensi eksternal dalam pipeline Anda. Databricks merekomendasikan penggunaan salah satu dari dua pola untuk menginstal paket Python:

1. Gunakan pengaturan Lingkungan untuk menambahkan paket ke lingkungan alur untuk semua file sumber dalam alur.
2. Impor modul atau pustaka dari kode sumber yang disimpan dalam file ruang kerja. Lihat Mengimpor modul Python dari folder Git atau file ruang kerja.

Pipeline yang menggunakan komputasi klasik juga mendukung skrip init dengan cakupan kluster. alur Lakeflow tanpa server tidak mendukung skrip init. Dalam semua kasus, Databricks merekomendasikan penggunaan pengaturan Lingkungan daripada skrip init, karena dependensi eksternal, terutama skrip init, meningkatkan risiko masalah dengan peningkatan runtime. Jika pemrosesan Anda memerlukan skrip init, otomatiskan pengujian alur Anda untuk mendeteksi masalah lebih awal, dan Databricks merekomendasikan peningkatan frekuensi pengujian Anda.

Penting

Karena pustaka JVM tidak didukung dalam alur, jangan gunakan skrip init untuk menginstal pustaka JVM. Namun, Anda dapat menginstal jenis pustaka lain, seperti pustaka Python, dengan skrip init.

pustaka Python

Untuk menentukan pustaka Python eksternal, edit lingkungan kerja untuk pipeline Anda.

1. Dari editor alur, klik Pengaturan.
2. Di bawah Lingkungan Pipeline, pilih Edit lingkungan.
3. Klik Tambahkan dependensi.
4. Ketik nama dependensi. Databricks merekomendasikan mempertahankan versi pustaka. Misalnya, untuk menambahkan dependensi pada simplejson versi 3.19, ketik simplejson==3.19.*.

Anda juga dapat menginstal paket roda Python dari volume Unity Catalog, dengan menentukan jalurnya, seperti /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

Note

Pipeline tidak mendukung memulai ulang proses Python secara manual menggunakan dbutils.library.restartPython(). Deklarasikan semua dependensi Python melalui pengaturan Lingkungan daripada menginstal atau memuat ulang pada runtime. Menggunakan pengaturan Lingkungan juga memungkinkan alur menggunakan kembali pustaka yang di-cache di seluruh eksekusi alih-alih menginstalnya kembali pada setiap proses.

Versi lingkungan

Secara default, versi bahasa Python dan kumpulan pustaka yang telah diinstal sebelumnya yang tersedia untuk alur Anda berasal dari versi saluran Databricks Runtime saat ini. Lihat Catatan rilis alur Lakeflow dan proses peningkatan rilis untuk versi saat ini dan daftar paket per runtime.

Penting

Fitur ini ada di Beta. Admin ruang kerja dapat mengontrol akses ke fitur ini dari halaman Pratinjau . Lihat Kelola Pratinjau Azure Databricks.

Untuk menetapkan versi bahasa Python dan kumpulan pustaka prainstal secara terpisah dari pemutakhiran Databricks Runtime, konfigurasikan versi lingkungan pada pipeline. Saat versi lingkungan diatur, peningkatan Databricks Runtime tidak mengubah versi bahasa Python atau versi pustaka yang telah diinstal sebelumnya, dan dependensi eksternal apa pun yang Anda tambahkan melalui pengaturan Environment dilapisi di atas basis ini. Lihat Mengonfigurasi versi lingkungan untuk pipeline.

Dukungan pustaka Scala dan Java

Tidak, alur hanya mendukung SQL dan Python. Anda tidak dapat menggunakan pustaka JVM dalam pipeline. Menginstal pustaka JVM menyebabkan perilaku yang tidak dapat diprediksi, dan dapat rusak dengan rilis alur Lakeflow di masa mendatang. Jika pipeline Anda menggunakan skrip inisialisasi, Anda juga harus memastikan bahwa pustaka JVM tidak diinstal oleh skrip tersebut.