Bagikan melalui

Mulai ulang proses Python di Azure Databricks

  • Artikel

Anda dapat memulai ulang proses Python secara terprogram di Azure Databricks untuk memastikan bahwa pustaka yang diinstal atau ditingkatkan secara lokal berfungsi dengan benar di kernel Python untuk SparkSession Anda saat ini.

Saat memulai ulang proses Python, Anda kehilangan informasi status Python. Databricks merekomendasikan untuk menginstal semua pustaka yang tercakup sesi di awal buku catatan dan berjalan dbutils.library.restartPython() untuk membersihkan proses Python sebelum melanjutkan.

Anda dapat menggunakan proses ini di notebook interaktif atau untuk tugas Python yang dijadwalkan dengan pekerjaan.

Apa itu dbutils.library.restartPython?

Fungsi pembantu dbutils.library.restartPython() adalah cara yang disarankan untuk memulai ulang proses Python di buku catatan Databricks.

Catatan

Sebagian besar fungsi dalam dbutils.library submodul tidak digunakan lagi. Databricks sangat merekomendasikan penggunaan %pip untuk mengelola semua penginstalan pustaka yang terlingkup buku catatan. Lihat Pustaka Python cakupan buku catatan.

Kapan Anda harus memulai ulang proses Python Anda?

Adalah ide yang baik untuk memulai ulang proses Python Anda kapan saja Anda melakukan penginstalan lokal yang mencakup salah satu hal berikut:

  • Menentukan versi paket yang disertakan dalam Databricks Runtime.
  • Menginstal versi kustom paket yang disertakan dalam Databricks Runtime.
  • Memperbarui pustaka secara eksplisit ke versi terbaru menggunakan %pip install <library-name> --upgrade.
  • Mengonfigurasi lingkungan kustom dari file lokal requirements.txt .
  • Menginstal pustaka yang memerlukan perubahan versi pustaka dependen yang disertakan dalam Databricks Runtime.