Fitur bundle dan explorer

Ekstensi Databricks IDE menyediakan fitur tambahan dalam Visual Studio Code yang memungkinkan Anda mendefinisikan, menerbarkan, dan menjalankan Bundel Otomasi Deklaratif, serta menjelajahi file workspace dan katalog Unity Catalog.

Untuk menginstal ekstensi Databricks IDE, lihat Instal ekstensi Databricks IDE.

Dukungan Bundel Otomatisasi Deklaratif dalam proyek

Ekstensi Databricks IDE menambahkan fitur-fitur berikut untuk proyek Deklaratif Automation Bundles Anda:

• Autentikasi dan konfigurasi Bundel Otomatisasi Deklaratif Anda yang mudah melalui UI Visual Studio Code, termasuk pilihan profil AuthType . Lihat Atur otorisasi untuk ekstensi Databricks IDE.
• Selector Target di ekstensi Databricks untuk dengan cepat beralih antar lingkungan target bundle. Lihat Ubah ruang kerja target penyebaran.
• Opsi Override Jobs cluster in bundle pada ekstensi untuk memudahkan override cluster.
• Tampilan Bundles Resource Explorer , yang memungkinkan Anda menelusuri sumber daya bundel menggunakan UI Visual Studio Code, menyebarkan sumber daya Bundel Aset Databricks lokal Anda ke ruang kerja Azure Databricks jarak jauh Anda dengan satu klik, dan langsung membuka sumber daya yang disebarkan di ruang kerja Anda dari Visual Studio Code. Lihat Bundle Resource Explorer.
• Tampilan Variabel Bundel, yang memungkinkan Anda menelusuri dan mengedit variabel bundel menggunakan UI Visual Studio Code. Lihat Variabel Bundel.

Bundel Resource Explorer

Tampilan Bundle Resource Explorer dalam ekstensi Databricks IDE menggunakan definisi sumber daya dalam konfigurasi bundle proyek untuk menampilkan sumber daya, termasuk dataset pipeline dan skemanya. Ini juga memungkinkan Anda untuk menyebarkan dan menjalankan sumber daya, memvalidasi dan melakukan pembaruan parsial pipeline, melihat peristiwa dan diagnostik eksekusi pipeline, serta menavigasi ke sumber daya di ruang kerja Azure Databricks jarak jauh Anda. Untuk informasi tentang sumber daya konfigurasi bundel, lihat sumber daya.

Misalnya, diberikan definisi pekerjaan sederhana:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

Tampilan Bundel Resource Explorer dalam ekstensi menampilkan sumber daya tugas notebook:

Menyebarkan dan menjalankan tugas

Untuk menyebarkan bundel, klik ikon cloud (Sebarkan bundel).

Untuk menjalankan pekerjaan, di tampilan Bundle Resource Explorer, pilih nama pekerjaan dengan nama My Notebook Job dalam contoh ini. Selanjutnya klik ikon putar (Sebarkan bundel dan jalankan sumber daya).

Untuk melihat pekerjaan yang sedang berjalan, dalam tampilan Bundel Resource Explorer , perluas nama pekerjaan, klik Jalankan Status, lalu klik ikon tautan (Buka tautan eksternal).

Memvalidasi dan mendiagnosis masalah alur

Untuk sebuah alur kerja, Anda dapat memicu validasi dan pembaruan parsial dengan memilih alur kerja tersebut, lalu pilih ikon centang (Sebarkan bundel dan validasi alur kerja). Peristiwa dalam proses ditampilkan, dan kegagalan apa pun yang terjadi dapat didiagnosis dalam panel MASALAH Visual Studio Code.

Variabel Bundel

Tampilan Bundle Variables View pada ekstensi Databricks IDE menampilkan variabel kustom dan pengaturan terkait yang didefinisikan dalam konfigurasi bundle Anda. Anda juga dapat menentukan variabel secara langsung menggunakan Tampilan Variabel Bundel. Nilai-nilai ini menggantikan yang diatur dalam file konfigurasi bundel. Untuk informasi tentang variabel kustom, lihat Variabel kustom.

Misalnya, Bundle Variables View dalam ekstensi akan menampilkan hal berikut:

Untuk variabel my_custom_var yang ditentukan dalam konfigurasi bundel ini:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

Sistem File Ruang Kerja

Tampilan Workspace File System pada panel ekstensi Databricks IDE memungkinkan Anda melihat dan membuka file workspace Databricks Anda langsung di Visual Studio Code atau Cursor. Klik buku catatan untuk membukanya di Databricks. Anda juga dapat membuat file atau folder, atau mengunggah file ke ruang kerja Anda dari IDE menggunakan kontrol di panel ekstensi.

Katalog Unity

Tampilan Unity Catalog pada panel ekstensi Databricks IDE menampilkan katalog Databricks Anda. Gunakan kontrol dalam tampilan ekstensi ini untuk membuka katalog, skema, atau aset data lainnya di Databricks.