Tutorial: Jalankan Python pada cluster dan sebagai pekerjaan menggunakan ekstensi Databricks IDE

Tutorial ini membimbing Anda melalui pengaturan ekstensi Databricks IDE, lalu menjalankan Python di cluster Azure Databricks dan sebagai pekerjaan Azure Databricks di workspace jarak jauh Anda. Lihat ekstensi Databricks IDE.

Persyaratan

Tutorial ini mengharuskan:

• Anda telah menginstal ekstensi IDE Databricks. Lihat Instal ekstensi Databricks IDE.
• Anda memiliki kluster Azure Databricks jarak jauh untuk digunakan. Catat nama kluster. Untuk melihat kluster yang tersedia, di bilah sisi ruang kerja Azure Databricks Anda, klik Compute. Lihat Komputasi.

Langkah 1: Buat proyek Databricks baru

Dalam langkah ini, Anda membuat proyek Databricks baru dan mengonfigurasi koneksi dengan ruang kerja Azure Databricks jarak jauh Anda.

1. Luncurkan Visual Studio Code, lalu klik File > Buka Folder dan buka beberapa folder kosong di komputer pengembangan lokal Anda.
2. Di bilah samping, klik ikon logo Databricks . Ini membuka ekstensi Databricks.
3. Dalam tampilan Konfigurasi, klik Buat konfigurasi.
4. Palet Perintah dibuka untuk mengonfigurasi ruang kerja Databricks Anda. Untuk Host Databricks, masukkan atau pilih URL per ruang kerja Anda, misalnya https://adb-1234567890123456.7.azuredatabricks.net.
5. Pilih profil autentikasi untuk proyek. Lihat Atur otorisasi untuk ekstensi Databricks IDE.

Langkah 2: Tambahkan informasi kluster ke ekstensi Databricks dan mulai kluster

1. Dengan tampilan Konfigurasi sudah terbuka, klik Pilih kluster atau klik ikon gigi (Konfigurasikan kluster).

   

2. Pada Palet Perintah, pilih nama kluster yang Anda buat sebelumnya.

3. Klik ikon putar (Mulai Kluster) jika belum dimulai.

Langkah 3: Membuat dan menjalankan kode Python

1. Buat file kode Python lokal: di bilah samping, klik ikon folder (Explorer).

2. Pada menu utama, klik File > File Baru dan pilih file Python. Beri nama file demo.py dan simpan ke akar proyek.

3. Tambahkan kode berikut ke file lalu simpan. Kode ini membuat dan menampilkan konten PySpark DataFrame dasar:

   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   
   spark = SparkSession.builder.getOrCreate()
   
   schema = StructType([
      StructField('CustomerID', IntegerType(), False),
      StructField('FirstName',  StringType(),  False),
      StructField('LastName',   StringType(),  False)
   ])
   
   data = [
      [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
      [ 1001, 'Joost',   'van Brunswijk' ],
      [ 1002, 'Stan',    'Bokenkamp' ]
   ]
   
   customers = spark.createDataFrame(data, schema)
   customers.show()
   

   # +----------+---------+-------------------+
   # |CustomerID|FirstName|           LastName|
   # +----------+---------+-------------------+
   # |      1000|  Mathijs|Oosterhout-Rijntjes|
   # |      1001|    Joost|      van Brunswijk|
   # |      1002|     Stan|          Bokenkamp|
   # +----------+---------+-------------------+
   

4. Klik ikon Jalankan di Databricks di samping daftar tab editor, lalu klik Unggah dan Jalankan File. Output muncul di tampilan Konsol Debug.

   

   Atau, dalam tampilan Explorer, klik kanan pada file demo.py, lalu klik Jalankan pada Databricks>Unggah dan Jalankan File.

   

Langkah 4: Jalankan kode sebagai pekerjaan

Untuk menjalankan demo.py sebagai pekerjaan, klik ikon Jalankan di Databricks di samping daftar tab editor, lalu klik Jalankan File sebagai Alur Kerja. Output muncul di tab editor terpisah yang berada di sebelah editor file demo.py.

Atau, klik kanan demo.py file di panel Explorer, lalu pilih Run on Databricks> dan Run File as Workflow.

Langkah berikutnya

Sekarang setelah Anda berhasil menggunakan ekstensi Databricks IDE untuk mengunggah file Python lokal dan menjalankannya secara remote, Anda juga dapat:

• Jelajahi sumber daya dan variabel Bundel Otomatisasi Deklaratif menggunakan antarmuka pengguna ekstensi. Lihat fitur Bundle dan Explorer.
• Jalankan atau debug kode Python dengan Databricks Connect. Lihat Kode debug menggunakan Databricks Connect untuk ekstensi Databricks IDE.
• Jalankan file atau buku catatan sebagai pekerjaan Azure Databricks. Lihat Jalankan file pada cluster atau file atau notebook sebagai pekerjaan di Azure Databricks menggunakan ekstensi IDE Databricks.
• Jalankan pengujian dengan pytest. Lihat Jalankan tes Python menggunakan ekstensi Databricks IDE.