Bagikan melalui

Menggunakan Jupyter Notebook klasik dengan Databricks Connect untuk Python

  • Artikel

Catatan

Artikel ini membahas Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas.

Artikel ini membahas cara menggunakan Databricks Connect untuk Python dengan Jupyter Notebook klasik. Databricks Connect memungkinkan Anda menyambungkan server notebook, IDEs, dan aplikasi kustom populer lainnya ke kluster Azure Databricks. Lihat Apa itu Databricks Connect?.

Catatan

Sebelum mulai menggunakan Databricks Connect, Anda harus menyiapkan klien Databricks Connect.

Untuk menggunakan Databricks Connect dengan Jupyter Notebook klasik dan Python, ikuti instruksi berikut.

  1. Untuk menginstal Jupyter Notebook klasik, dengan lingkungan virtual Python Anda diaktifkan, jalankan perintah berikut dari terminal atau Prompt Perintah Anda:

    pip3 install notebook

  2. Untuk memulai Jupyter Notebook klasik di browser web Anda, jalankan perintah berikut dari lingkungan virtual Python yang diaktifkan:

    jupyter notebook

    Jika Jupyter Notebook klasik tidak muncul di browser web Anda, salin URL yang dimulai dengan localhost atau 127.0.0.1 dari lingkungan virtual Anda, dan masukkan di bilah alamat browser web Anda.

  3. Buat buku catatan baru: di Jupyter Notebook klasik, pada tab File , klik Python 3 Baru > (ipykernel).

  4. Di sel pertama buku catatan, masukkan kode contoh atau kode Anda sendiri. Jika Anda menggunakan kode Anda sendiri, minimal Anda harus menginisialisasi DatabricksSession seperti yang ditunjukkan dalam kode contoh.

  5. Untuk menjalankan buku catatan, klik Jalankan Semua Sel>. Semua kode Python berjalan secara lokal, sementara semua kode PySpark yang melibatkan operasi DataFrame berjalan pada kluster di ruang kerja Azure Databricks jarak jauh dan respons eksekusi dikirim kembali ke pemanggil lokal.

  6. Untuk men-debug buku catatan, tambahkan baris kode berikut di awal buku catatan Anda:

    from IPython.core.debugger import set_trace

    Lalu panggil set_trace() untuk memasukkan pernyataan debug pada saat itu eksekusi notebook. Semua kode Python di-debug secara lokal, sementara semua kode PySpark terus berjalan pada kluster di ruang kerja Azure Databricks jarak jauh. Kode mesin Spark inti tidak dapat di-debug langsung dari klien.

  7. Untuk mematikan Jupyter Notebook klasik, klik Tutup File > dan Hentikan. Jika proses Jupyter Notebook klasik masih berjalan di terminal atau Prompt Perintah Anda, hentikan proses ini dengan menekan Ctrl + c lalu masukkan y untuk mengonfirmasi.