Bagikan melalui

Mengelola dependensi Python untuk alur Tabel Langsung Delta

  • Artikel

Tabel Langsung Delta mendukung dependensi eksternal di alur Anda. Databricks merekomendasikan penggunaan salah satu dari dua pola untuk menginstal paket Python:

  1. %pip install Gunakan perintah untuk menginstal paket untuk semua file sumber dalam alur.
  2. Impor modul atau pustaka dari kode sumber yang disimpan dalam file ruang kerja. Lihat Mengimpor modul Python dari folder Git atau file ruang kerja.

Tabel Langsung Delta juga mendukung penggunaan skrip init global dan cakupan kluster. Namun, dependensi eksternal ini, terutama skrip init, meningkatkan risiko masalah dengan peningkatan runtime. Untuk mengurangi risiko ini, minimalkan menggunakan skrip init di alur Anda. Jika pemrosesan Anda memerlukan skrip init, otomatiskan pengujian alur Anda untuk mendeteksi masalah lebih awal. Jika Anda menggunakan skrip init, Databricks merekomendasikan untuk meningkatkan frekuensi pengujian Anda.

Penting

Karena pustaka JVM tidak didukung dalam alur Delta Live Tables, jangan gunakan skrip init untuk menginstal pustaka JVM. Namun, Anda dapat menginstal jenis pustaka lain, seperti pustaka Python, dengan skrip init.

Pustaka Python

Untuk menentukan pustaka Python eksternal, gunakan perintah magic %pip install. Saat pembaruan dimulai, Delta Live Tables menjalankan semua sel yang berisi perintah %pip install sebelum menjalankan definisi tabel apa pun. Setiap buku catatan Python yang disertakan dalam alur berbagi lingkungan pustaka dan memiliki akses ke semua pustaka yang diinstal.

Penting

  • %pip install perintah harus berada di sel terpisah di bagian atas buku catatan alur Delta Live Tables Anda. Jangan sertakan kode lain dalam sel yang berisi %pip install perintah.
  • Karena setiap buku catatan dalam alur berbagi lingkungan pustaka, Anda tidak dapat menentukan versi pustaka yang berbeda dalam satu alur. Jika pemrosesan Anda memerlukan versi pustaka yang berbeda, Anda harus menentukannya dalam alur yang berbeda.

Contoh berikut menginstal numpy pustaka dan membuatnya tersedia secara global untuk buku catatan Python apa pun di alur:

%pip install simplejson

Untuk menginstal paket roda Python, tambahkan jalur roda Python ke %pip install perintah . Paket roda Python yang diinstal tersedia untuk semua tabel dalam alur. Contoh berikut menginstal file roda Python bernama dltfns-1.0-py3-none-any.whl dari direktori /dbfs/dlt/DBFS :

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

Lihat Menginstal paket roda Python dengan %pip.

Bisakah saya menggunakan pustaka Scala atau Java dalam alur Tabel Langsung Delta?

Tidak, Tabel Langsung Delta hanya mendukung SQL dan Python. Anda tidak dapat menggunakan pustaka JVM dalam alur. Menginstal pustaka JVM akan menyebabkan perilaku yang tidak dapat diprediksi, dan dapat terputus dengan rilis Tabel Langsung Delta di masa mendatang. Jika alur Anda menggunakan skrip init, Anda juga harus memastikan bahwa pustaka JVM tidak diinstal oleh skrip.