Bagikan melalui

Tutorial: Menjalankan kode dari PyCharm pada komputasi klasik

Nota

Artikel ini berlaku untuk Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas.

Databricks Connect memungkinkan Anda menghubungkan perangkat lunak pengembangan yang populer seperti PyCharm, server notebook, dan aplikasi kustom lainnya ke komputasi Azure Databricks. Lihat Apa itu Databricks Connect?.

Artikel ini menunjukkan cara memulai Databricks Connect for Python dengan cepat menggunakan PyCharm. Anda akan membuat proyek di PyCharm, menginstal Databricks Connect untuk Databricks Runtime 13.3 LTS ke atas, dan menjalankan kode sederhana pada komputasi klasik di ruang kerja Databricks Anda dari PyCharm.

Persyaratan

Untuk menyelesaikan tutorial ini, Anda harus memenuhi persyaratan berikut:

  • Ruang kerja, lingkungan lokal, dan komputasi Anda memenuhi persyaratan untuk Databricks Connect for Python. Lihat Persyaratan penggunaan Databricks Connect.
  • Anda telah menginstal PyCharm . Tutorial ini diuji dengan PyCharm Community Edition 2023.3.5. Jika Anda menggunakan versi atau edisi PyCharm yang berbeda, instruksi berikut mungkin bervariasi.
  • Jika Anda menggunakan komputasi klasik, Anda akan memerlukan ID kluster. Untuk mendapatkan ID kluster Anda, di ruang kerja Anda, klik Komputasi di bar samping, lalu klik nama kluster Anda. Di bilah alamat browser web Anda, salin string karakter antara clusters dan configuration di URL.

Langkah 1: Mengonfigurasi autentikasi Azure Databricks

Tutorial ini menggunakan autentikasi pengguna-ke-mesin (U2M) Azure Databricks OAuth dan profil konfigurasi Azure Databricks untuk mengautentikasi ke ruang kerja Azure Databricks Anda. Untuk menggunakan jenis autentikasi yang berbeda, lihat Mengonfigurasi properti koneksi.

Mengonfigurasi autentikasi OAuth U2M memerlukan Databricks CLI. Untuk informasi tentang menginstal Databricks CLI, lihat Menginstal atau memperbarui Databricks CLI.

Mulai autentikasi OAuth U2M, sebagai berikut:

  1. Gunakan Databricks CLI untuk memulai manajemen token OAuth secara lokal dengan menjalankan perintah berikut untuk setiap ruang kerja target.

    Dalam perintah berikut, ganti <workspace-url> dengan URL per ruang kerja Azure Databricks Anda, misalnya https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Petunjuk / Saran

    Untuk menggunakan komputasi tanpa server dengan Databricks Connect, lihat Mengonfigurasi koneksi ke komputasi tanpa server.

  2. Databricks CLI meminta Anda untuk menyimpan informasi yang Anda masukkan sebagai profil konfigurasi Azure Databricks. Tekan Enter untuk menerima nama profil yang disarankan, atau masukkan nama profil baru atau yang sudah ada. Profil yang sudah ada dengan nama yang sama akan digantikan dengan informasi yang Anda masukkan. Anda dapat menggunakan profil untuk mengalihkan konteks autentikasi dengan cepat di beberapa ruang kerja.

    Untuk mendapatkan daftar profil yang ada, di terminal atau prompt perintah terpisah, gunakan Databricks CLI untuk menjalankan perintah databricks auth profiles. Untuk melihat pengaturan profil tertentu yang sudah ada, jalankan perintah databricks auth env --profile <profile-name>.

  3. Di browser web Anda, selesaikan instruksi di layar untuk masuk ke ruang kerja Azure Databricks Anda.

  4. Dalam daftar kluster yang tersedia yang muncul di terminal atau prompt perintah Anda, gunakan tombol panah atas dan panah bawah Anda untuk memilih kluster Azure Databricks target di ruang kerja Anda, lalu tekan Enter. Anda juga dapat mengetik bagian mana pun dari nama tampilan kluster untuk memfilter daftar kluster yang tersedia.

  5. Untuk melihat nilai token OAuth profil saat ini dan tanda waktu kedaluwarsa token yang akan datang, jalankan salah satu perintah berikut:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Jika Anda memiliki beberapa profil dengan nilai yang sama --host , Anda mungkin perlu menentukan --host opsi dan -p bersama-sama untuk membantu Databricks CLI menemukan informasi token OAuth yang cocok dengan benar.

Langkah 2: Membuat proyek

  1. Mulai PyCharm.
  2. Pada menu utama, klik File > Proyek Baru.
  3. Dalam dialog Proyek Baru, klik Python Murni.
  4. Untuk Lokasi, klik ikon folder, dan selesaikan petunjuk arah di layar untuk menentukan jalur ke proyek Python baru Anda.
  5. Biarkan dipilih Buat skrip selamat datang main.py.
  6. Untuk Tipe Interpreter, klik Proyek venv.
  7. Perluas versi Python, dan gunakan ikon folder atau daftar drop-down untuk menentukan jalur ke penerjemah Python dari persyaratan sebelumnya.
  8. Klik Buat.

Membuat proyek PyCharm

Langkah 3: Tambahkan paket Databricks Connect

  1. Pada menu utama PyCharm, klik Tampilkan > Alat Windows > Python Packages.
  2. Dalam kotak pencarian, masukkan databricks-connect.
  3. Di daftar repositori PyPI, klik databricks-connect.
  4. Di daftar drop-down terbaru panel hasil, pilih versi yang cocok dengan versi Databricks Runtime kluster Anda. Misalnya, jika kluster Anda menginstal Databricks Runtime 14.3, pilih 14.3.1.
  5. Klik Instal paket.
  6. Setelah paket diinstal, Anda dapat menutup jendela Paket Python.

Menginstal paket Databricks Connect

Langkah 4: Tambahkan kode

  1. Di jendela Alat proyek, klik kanan folder akar proyek, dan klik File Python Baru>.

  2. Masukkan main.py dan klik dua kali file Python.

  3. Masukkan kode berikut ke dalam file lalu simpan file, tergantung pada nama profil konfigurasi Anda.

    Jika profil konfigurasi Anda dari Langkah 1 diberi nama DEFAULT, masukkan kode berikut ke dalam file, lalu simpan file:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Jika profil konfigurasi Anda dari Langkah 1 tidak bernama DEFAULT, masukkan kode berikut ke dalam file sebagai gantinya. Ganti tempat penampung <profile-name> dengan nama profil konfigurasi Anda dari Langkah 1, lalu simpan file:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Langkah 5: Jalankan kode

  1. Mulai kluster target di ruang kerja Azure Databricks jarak jauh Anda.
  2. Setelah kluster dimulai, pada menu utama, klik >.
  3. Di jendela alat Run (Tampilkan > Alat Windows > Run), di panel utama tab Jalankan, 5 baris pertama ditampilkan.

Langkah 6: Debug kode

  1. Dengan kluster yang masih berjalan, dalam kode sebelumnya, klik gutter di samping df.show(5) untuk mengatur titik henti.
  2. Pada menu utama, klik Jalankan > Debug 'main'.
  3. Di jendela alat Debug (Lihat > Alat Windows > Debug), di panel Variabel tab Debugger, perluas simpul variabel df dan spark untuk menelusuri informasi tentang kode df dan spark variabel.
  4. Di bilah samping jendela alat Debug , klik ikon panah hijau (Lanjutkan Program).
  5. Di panel Konsol tab Debugger, 5 baris samples.nyctaxi.trips pertama muncul.

Debug proyek PyCharm

  • Last updated on