Jalankan file di cluster atau file atau notebook sebagai pekerjaan di Azure Databricks menggunakan ekstensi Databricks IDE

Ekstensi Databricks IDE memungkinkan Anda menjalankan kode Python Anda di sebuah cluster atau kode atau notebook Python, R, Scala, atau SQL sebagai pekerjaan di Azure Databricks.

Informasi ini mengasumsikan bahwa Anda sudah menginstal dan mengatur ekstensi IDE Databricks. Lihat Instal ekstensi Databricks IDE.

Catatan

Untuk men-debug kode atau buku catatan dari dalam Visual Studio Code, gunakan Databricks Connect. Lihat Debug kode menggunakan Databricks Connect untuk ekstensi Databricks IDE dan Jalankan serta debug sel notebook dengan Databricks Connect menggunakan ekstensi Databricks IDE.

Menjalankan file Python pada kluster

Catatan

Fitur ini tidak tersedia saat menggunakan komputasi tanpa server.

Untuk menjalankan file Python pada klaster Azure Databricks menggunakan ekstensi Databricks IDE, dengan ekstensi dan proyek Anda terbuka:

  1. Buka file Python yang ingin Anda jalankan pada kluster.
  2. Lakukan salah satu hal berikut ini:

    • Di bilah judul editor file, klik ikon Jalankan di Databricks , lalu klik Unggah dan Jalankan File.

      Unggah dan jalankan file dari ikon

    • Di tampilan Penjelajah (Lihat > Penjelajah), klik kanan file, lalu pilih Jalankan di Databricks>Unggah dan Jalankan File dari menu konteks.

      Mengunggah dan menjalankan file dari menu konteks

File berjalan pada kluster, dan output tersedia di Konsol Debug (Lihat > Konsol Debug).

Menjalankan file Python sebagai pekerjaan

Untuk menjalankan file Python sebagai pekerjaan Azure Databricks menggunakan ekstensi Databricks IDE, dengan ekstensi dan proyek Anda terbuka:

  1. Buka file Python yang ingin Anda jalankan sebagai pekerjaan.
  2. Lakukan salah satu hal berikut ini:

    • Di bilah judul editor file, klik ikon Jalankan pada Databricks , lalu klik Jalankan File sebagai Alur Kerja.

      Jalankan file sebagai alur kerja dari ikon

    • Dalam tampilan Penjelajah (Lihat > Penjelajah), klik kanan file, lalu pilih Jalankan di Databricks>Jalankan File sebagai Alur Kerja dari menu konteks.

      Jalankan file sebagai alur kerja dari menu konteks

Tab editor baru muncul, berjudul Databricks Job Run. File dijalankan sebagai tugas di ruang kerja, dan output apa pun ditampilkan di area Output tab editor baru.

Untuk melihat informasi tentang pekerjaan yang dijalankan, klik tautan ID Eksekusi tugas di tab editor Databricks Job Run baru. Ruang kerja Anda terbuka dan detail eksekusi pekerjaan ditampilkan di ruang kerja.

Menjalankan notebook Python, R, Scala, atau SQL sebagai tugas

Untuk menjalankan notebook sebagai pekerjaan Azure Databricks menggunakan ekstensi Databricks IDE, dengan ekstensi dan proyek Anda terbuka:

  1. Buka buku catatan yang ingin Anda jalankan sebagai pekerjaan.

    Petunjuk / Saran

    Untuk mengubah file Python, R, Scala, atau SQL menjadi buku catatan Azure Databricks, tambahkan komentar # Databricks notebook source ke awal file, dan tambahkan komentar # COMMAND ---------- sebelum setiap sel. Untuk informasi selengkapnya, lihat Mengonversi file ke buku catatan.

    File kode Python yang diformat sebagai notebook Databricks1

  2. Lakukan salah satu hal berikut ini:

    • Di bilah judul editor file buku catatan, klik ikon Jalankan di Databricks , lalu klik Jalankan File sebagai Alur Kerja.

      Catatan

      Jika Jalankan di Databricks sebagai Alur Kerja tidak tersedia, lihat Buat konfigurasi eksekusi kustom.

    • Dalam tampilan Penjelajah (Lihat > Penjelajah), klik kanan file buku catatan, lalu pilih Jalankan di Databricks> dari menu konteks.

Tab editor baru muncul, berjudul Databricks Job Run. Buku catatan berjalan sebagai pekerjaan di ruang kerja. Buku catatan dan outputnya ditampilkan di area Output tab editor baru.

Untuk melihat informasi tentang pekerjaan yang dijalankan, klik tautan ID Eksekusi tugas di tab editor Eksekusi Pekerjaan Databricks . Ruang kerja Anda terbuka dan detail eksekusi pekerjaan ditampilkan di ruang kerja.

Membuat konfigurasi eksekusi kustom

Konfigurasi run kustom untuk ekstensi Databricks IDE memungkinkan Anda mengirimkan argumen kustom ke job atau notebook, atau membuat pengaturan run berbeda untuk file yang berbeda. Untuk informasi selengkapnya, lihat Meluncurkan konfigurasi dalam dokumentasi Visual Studio Code.

Untuk membuat konfigurasi eksekusi kustom, klik Jalankan > Tambahkan Konfigurasi dari menu utama di Visual Studio Code. Kemudian pilih Databricks untuk konfigurasi eksekusi berbasis kluster atau Databricks: Alur kerja untuk konfigurasi eksekusi berbasis pekerjaan.

Misalnya, konfigurasi eksekusi kustom berikut memodifikasi perintah Jalankan File sebagai Alur Kerja untuk meneruskan argumen --prod ke alur kerja:

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Petunjuk / Saran

Tambahkan "databricks": true ke konfigurasi Anda "type": "python" jika Anda ingin menggunakan konfigurasi Python dan memanfaatkan autentikasi Databricks Connect yang merupakan bagian dari penyiapan ekstensi.

  • Last updated on