Menjalankan file pada kluster atau file atau buku catatan sebagai pekerjaan di Azure Databricks menggunakan ekstensi Databricks untuk Visual Studio Code

Ekstensi Databricks untuk Visual Studio Code memungkinkan Anda menjalankan kode Python pada kluster atau kode atau notebook Python, R, Scala, atau SQL sebagai pekerjaan di Azure Databricks.

Informasi ini mengasumsikan bahwa Anda telah menginstal dan menyiapkan ekstensi Databricks untuk Visual Studio Code. Lihat Menginstal ekstensi Databricks untuk Visual Studio Code.

Catatan

Untuk men-debug kode atau buku catatan dari dalam Visual Studio Code, gunakan Databricks Connect. Lihat Kode debug menggunakan Databricks Connect untuk ekstensi Databricks untuk Visual Studio Code dan Menjalankan dan men-debug sel notebook dengan Databricks Connect menggunakan ekstensi Databricks untuk Visual Studio Code.

Menjalankan file Python pada kluster

Catatan

Fitur ini tidak tersedia saat menggunakan komputasi tanpa server.

Untuk menjalankan file Python pada kluster Azure Databricks menggunakan ekstensi Databricks untuk Visual Studio Code, pastikan ekstensi dan proyek Anda sudah terbuka:

1. Buka file Python yang ingin Anda jalankan pada kluster.

2. Lakukan salah satu hal berikut ini:

   • Di bilah judul editor file, klik ikon Jalankan di Databricks , lalu klik Unggah dan Jalankan File.

     

   • Di tampilan Penjelajah (Lihat > Penjelajah), klik kanan file, lalu pilih Jalankan di Databricks>Unggah dan Jalankan File dari menu konteks.

     

File berjalan pada kluster, dan output tersedia di Konsol Debug (Lihat > Konsol Debug).

Menjalankan file Python sebagai pekerjaan

Untuk menjalankan file Python sebagai tugas Azure Databricks menggunakan ekstensi Databricks untuk Visual Studio Code, dengan ekstensi dan proyek Anda sudah terbuka:

1. Buka file Python yang ingin Anda jalankan sebagai pekerjaan.

2. Lakukan salah satu hal berikut ini:

   • Di bilah judul editor file, klik ikon Jalankan pada Databricks , lalu klik Jalankan File sebagai Alur Kerja.

     

   • Dalam tampilan Penjelajah (Lihat > Penjelajah), klik kanan file, lalu pilih Jalankan di Databricks>Jalankan File sebagai Alur Kerja dari menu konteks.

     

Tab editor baru muncul, berjudul Databricks Job Run. File dijalankan sebagai tugas di ruang kerja, dan output apa pun ditampilkan di area Output tab editor baru.

Untuk melihat informasi tentang pekerjaan yang dijalankan, klik tautan ID Eksekusi tugas di tab editor Databricks Job Run baru. Ruang kerja Anda terbuka dan detail eksekusi pekerjaan ditampilkan di ruang kerja.

Menjalankan notebook Python, R, Scala, atau SQL sebagai tugas

Untuk menjalankan notebook sebagai tugas di Azure Databricks menggunakan ekstensi Databricks untuk Visual Studio Code, setelah ekstensi dan proyek Anda dibuka:

1. Buka buku catatan yang ingin Anda jalankan sebagai pekerjaan.

   Petunjuk / Saran

   Untuk mengubah file Python, R, Scala, atau SQL menjadi buku catatan Azure Databricks, tambahkan komentar # Databricks notebook source ke awal file, dan tambahkan komentar # COMMAND ---------- sebelum setiap sel. Untuk informasi selengkapnya, lihat Mengonversi file ke buku catatan.

   

2. Lakukan salah satu hal berikut ini:

   • Di bilah judul editor file buku catatan, klik ikon Jalankan di Databricks , lalu klik Jalankan File sebagai Alur Kerja.

   Catatan

   Jika Jalankan di Databricks sebagai Alur Kerja tidak tersedia, lihat Buat konfigurasi eksekusi kustom.

   • Dalam tampilan Penjelajah (Lihat > Penjelajah), klik kanan file buku catatan, lalu pilih Jalankan di Databricks> dari menu konteks.

Tab editor baru muncul, berjudul Databricks Job Run. Buku catatan berjalan sebagai pekerjaan di ruang kerja. Buku catatan dan outputnya ditampilkan di area Output tab editor baru.

Untuk melihat informasi tentang pekerjaan yang dijalankan, klik tautan ID Eksekusi tugas di tab editor Eksekusi Pekerjaan Databricks . Ruang kerja Anda terbuka dan detail eksekusi pekerjaan ditampilkan di ruang kerja.

Membuat konfigurasi eksekusi kustom

Konfigurasi eksekusi kustom untuk ekstensi Databricks untuk Visual Studio Code memungkinkan Anda meneruskan argumen kustom ke pekerjaan atau buku catatan, atau membuat pengaturan eksekusi yang berbeda untuk file yang berbeda.

Untuk membuat konfigurasi eksekusi kustom, klik Jalankan > Tambahkan Konfigurasi dari menu utama di Visual Studio Code. Kemudian pilih Databricks untuk konfigurasi eksekusi berbasis kluster atau Databricks: Alur kerja untuk konfigurasi eksekusi berbasis pekerjaan.

Misalnya, konfigurasi eksekusi kustom berikut memodifikasi perintah Jalankan File sebagai Alur Kerja untuk meneruskan argumen --prod ke alur kerja:

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Petunjuk / Saran

Tambahkan "databricks": true ke konfigurasi Anda "type": "python" jika Anda ingin menggunakan konfigurasi Python tetapi manfaatkan autentikasi Databricks Connect yang merupakan bagian dari penyiapan ekstensi.

Dengan menggunakan konfigurasi eksekusi kustom, Anda juga dapat meneruskan argumen baris perintah dan menjalankan kode dengan menekan F5. Untuk informasi selengkapnya, lihat Meluncurkan konfigurasi dalam dokumentasi Visual Studio Code.