Mengembangkan Bundel Otomatisasi Deklaratif

Artikel ini menjelaskan pengembangan dan siklus hidup Bundel Otomatisasi Deklaratif. Untuk informasi umum tentang bundel, lihat Apa itu Bundel Otomatisasi Deklaratif?.

Siklus hidup bundel

Untuk memahami cara menggunakan bundel secara efektif, Anda perlu memahami siklus hidup dasar bundel:

  1. Kerangka bundel dibuat berdasarkan proyek.
  2. Proyek bundel ini dikembangkan secara lokal. Bundel berisi file konfigurasi yang menentukan pengaturan infrastruktur dan ruang kerja seperti target penyebaran, pengaturan untuk sumber daya Databricks seperti pekerjaan dan alur, serta file sumber dan artefak lainnya.
  3. Proyek bundel telah divalidasi. Validasi memverifikasi pengaturan dan definisi sumber daya dalam konfigurasi bundel terhadap skema objek yang sesuai untuk memastikan bundel dapat disebarkan ke Databricks.
  4. Bundel disebarkan ke ruang kerja target. Umumnya bundel pertama kali disebarkan ke ruang kerja dev pribadi pengguna untuk pengujian. Setelah pengujian paket selesai, paket dapat disebarkan ke staging, lalu ke target produksi.
  5. Sumber daya alur kerja yang ditentukan dalam bundel yang disebarkan dapat dijalankan. Misalnya, Anda dapat menjalankan tugas.
  6. Jika bundel tidak lagi digunakan, ia dapat dihancurkan secara permanen.

Anda menggunakan perintah bundel Databricks CLI untuk membuat, memvalidasi, menyebarkan, menjalankan, dan menghancurkan bundel, seperti yang dijelaskan di bagian berikut.

Langkah 1: Membuat bundel

Ada tiga cara untuk mulai membuat bundel:

  1. Gunakan templat bundel default.
  2. Gunakan templat bundel kustom.
  3. Buat bundel secara manual.

Menggunakan templat bundel default

Untuk menggunakan templat bundel default Azure Databricks untuk membuat bundel pemula yang kemudian dapat Anda sesuaikan lebih lanjut, gunakan Databricks CLI versi 0.218.0 atau lebih tinggi untuk menjalankan bundle init perintah, yang memungkinkan Anda memilih dari daftar templat yang tersedia. Lihat databricks bundle init.

databricks bundle init

Anda dapat melihat sumber untuk templat bundel default di repositori publik GitHub databricks/cli dan databricks/mlops-stacks .

Langsung ke Langkah 2: Mengisi file konfigurasi bundel.

Menggunakan templat bundel kustom

Untuk menggunakan templat bundel selain templat bundel default Azure Databricks, Anda harus mengetahui jalur lokal atau URL ke lokasi templat bundel jarak jauh. Gunakan Databricks CLI versi 0.218.0 atau lebih tinggi untuk menjalankan bundle init perintah sebagai berikut:

databricks bundle init <project-template-local-path-or-url>

Untuk informasi selengkapnya tentang perintah ini, lihat Templat proyek Bundel Otomatisasi Deklaratif. Untuk informasi tentang templat bundel tertentu, lihat dokumentasi penyedia templat bundel.

Langsung ke Langkah 2: Mengisi file konfigurasi bundel.

Membuat bundel secara manual

Untuk membuat bundel secara manual alih-alih menggunakan templat bundel, buat direktori proyek di komputer lokal Anda, atau repositori kosong dengan penyedia Git pihak ketiga.

Di direktori atau repositori Anda, buat satu atau beberapa file konfigurasi bundel sebagai input. File-file ini dinyatakan dalam format YAML. Harus ada minimal satu (dan hanya satu) file konfigurasi bundel bernama databricks.yml. File konfigurasi bundel tambahan harus disebutkan dalam pemetaan include pada file databricks.yml.

Untuk membuat file YAML dengan lebih mudah dan cepat yang sesuai dengan sintaks konfigurasi bundel, Anda dapat menggunakan alat seperti Visual Studio Code, PyCharm Professional, atau IntelliJ IDEA Ultimate yang menyediakan dukungan untuk file YAML dan file skema JSON, sebagai berikut:

Visual Studio Code

  1. Tambahkan dukungan server bahasa YAML ke Visual Studio Code, misalnya dengan menginstal ekstensi YAML dari Marketplace Visual Studio Code.

  2. Buat file skema JSON konfigurasi bundel menggunakan Databricks CLI versi 0.218.0 atau lebih tinggi untuk menjalankan bundle schemaperintah dan mengalihkan output ke file JSON. Misalnya, buat file bernama bundle_config_schema.json dalam direktori saat ini, sebagai berikut:

    databricks bundle schema > bundle_config_schema.json

  3. Gunakan Visual Studio Code untuk membuat atau membuka file konfigurasi bundel dalam direktori saat ini. File ini harus diberi nama databricks.yml.

  4. Tambahkan komentar berikut ke awal file konfigurasi bundel Anda:

    # yaml-language-server: $schema=bundle_config_schema.json

    Catatan

    Di komentar sebelumnya, jika file skema JSON konfigurasi bundel Anda berada di jalur yang berbeda, ganti bundle_config_schema.json dengan jalur lengkap ke file skema Anda.

  5. Gunakan fitur server bahasa YAML yang Anda tambahkan sebelumnya. Untuk informasi selengkapnya, lihat dokumentasi server bahasa YAML Anda.

PyCharm Professional

  1. Buat file skema JSON konfigurasi bundel dengan menggunakan Databricks CLI versi 0.218.0 atau lebih tinggi untuk menjalankan bundle schemaperintah dan mengalihkan output ke file JSON. Misalnya, buat file bernama bundle_config_schema.json dalam direktori saat ini, sebagai berikut:

    databricks bundle schema > bundle_config_schema.json

  2. Konfigurasikan PyCharm untuk mengenali file skema JSON konfigurasi bundel, lalu selesaikan pemetaan skema JSON, dengan mengikuti instruksi dalam Mengonfigurasi skema JSON kustom.

  3. Gunakan PyCharm untuk membuat atau membuka file konfigurasi bundel. File ini harus diberi nama databricks.yml. Saat Anda mengetik, PyCharm memeriksa sintaks dan pemformatan skema JSON dan menyediakan petunjuk penyelesaian kode.

IntelliJ IDEA Ultimate

  1. Buat file skema JSON konfigurasi bundel dengan menggunakan Databricks CLI versi 0.218.0 atau lebih tinggi untuk menjalankan bundle schemaperintah dan mengalihkan output ke file JSON. Misalnya, buat file bernama bundle_config_schema.json dalam direktori saat ini, sebagai berikut:

    databricks bundle schema > bundle_config_schema.json

  2. Konfigurasikan IntelliJ IDEA untuk mengenali file skema JSON konfigurasi bundel, lalu selesaikan pemetaan skema JSON, dengan mengikuti instruksi dalam Mengonfigurasi skema JSON kustom.

  3. Gunakan IntelliJ IDEA untuk membuat atau membuka file konfigurasi bundel. File ini harus diberi nama databricks.yml. Saat Anda mengetik, IntelliJ IDEA memeriksa sintaks dan pemformatan skema JSON dan memberikan petunjuk penyelesaian kode.

Langkah 2: Mengisi file konfigurasi bundel

File konfigurasi bundel menentukan alur kerja Azure Databricks Anda dengan menentukan pengaturan seperti detail ruang kerja, nama artefak, lokasi file, detail pekerjaan, dan detail alur. Biasanya konfigurasi bundel juga berisi target pengembangan, uji coba, dan penyebaran produksi. Untuk referensi konfigurasi bundel lengkap, lihat Referensi konfigurasi.

Anda dapat menggunakan bundle generate perintah untuk membuat otomatis konfigurasi bundel untuk sumber daya yang ada di ruang kerja, lalu menggunakan bundle deployment bind untuk menautkan konfigurasi bundel ke sumber daya di ruang kerja agar tetap sinkron. Lihat hasil bundel databricks dan pengikatan penyebaran bundel databricks.

Langkah 3: Memvalidasi file konfigurasi bundel

Sebelum menyebarkan artefak atau menjalankan pekerjaan atau alur, Anda harus memverifikasi bahwa definisi dalam file konfigurasi bundel Anda valid. Untuk melakukan ini, jalankan bundle validate perintah dari direktori akar proyek bundel. Lihat databricks bundle validate.

databricks bundle validate

Jika validasi berhasil, ringkasan identitas bundel dan pesan konfirmasi dikembalikan. Untuk menghasilkan skema, gunakan databricks bundle schema perintah . Lihat skema bundel databricks.

Langkah 4: Menyebarkan bundel

Sebelum Anda menyebarkan bundel, pastikan file ruang kerja telah diaktifkan di ruang kerja jarak jauh. Lihat Apa itu file ruang kerja?.

Untuk menyebarkan bundel ke ruang kerja jarak jauh, jalankan bundle deploy perintah dari akar bundel seperti yang dijelaskan dalam databricks bundle deploy. Databricks CLI disebarkan ke ruang kerja target yang dideklarasikan dalam file konfigurasi bundel. Lihat sasaran.

databricks bundle deploy

Identitas unik bundel ditentukan oleh nama, target, dan identitas penyebarnya. Jika atribut ini identik di berbagai bundel, penyebaran bundel ini akan mengganggu satu sama lain. Lihat databricks bundle deploy untuk informasi lebih lanjut.

Petunjuk / Saran

Anda dapat menjalankan databricks bundle perintah di luar root bundel dengan mengatur BUNDLE_ROOT variabel lingkungan. Jika variabel lingkungan ini tidak disetel, databricks bundle perintah akan mencoba menemukan akar bundel dengan mencari pada direktori kerja saat ini.

Langkah 5: Jalankan bundel

Untuk menjalankan job atau pipeline tertentu, jalankan perintah bundle run dari root bundel, dengan menentukan kunci job atau pipeline yang dideklarasikan dalam file konfigurasi bundel, seperti yang dijelaskan dalam databricks bundle run. Kunci sumber daya adalah elemen tingkat atas dari blok YAML sumber daya. Jika Anda tidak menentukan pekerjaan atau kunci alur, Anda diminta untuk memilih sumber daya untuk dijalankan dari daftar sumber daya yang tersedia. -t Jika opsi tidak ditentukan, target default seperti yang dinyatakan dalam file konfigurasi bundel digunakan. Misalnya, untuk menjalankan pekerjaan dengan kunci hello_job dalam konteks target default:

databricks bundle run hello_job

Untuk menjalankan pekerjaan dengan kunci hello_job dalam konteks target yang dideklarasikan dengan nama dev:

databricks bundle run -t dev hello_job

Langkah 6: Hancurkan bundel

Peringatan

Menghancurkan bundel secara permanen akan menghapus pekerjaan, pipeline, dan artefak yang sebelumnya disebarkan dalam bundel tersebut. Tindakan ini tidak dapat diurungkan.

Jika Anda sudah selesai dengan bundel dan ingin menghapus pekerjaan, jalur, dan artefak yang telah disebarkan sebelumnya, jalankan perintah bundle destroy dari direktori root bundel. Perintah ini menghapus semua pekerjaan, alur, dan artefak yang disebarkan sebelumnya yang ditentukan dalam file konfigurasi bundel. Untuk informasi lebih lanjut, lihat databricks bundle destroy.

databricks bundle destroy

Secara default, Anda diminta untuk mengonfirmasi penghapusan permanen pekerjaan, alur, dan artefak yang disebarkan sebelumnya. Untuk melewati perintah ini dan melakukan penghapusan permanen otomatis, tambahkan --auto-approve opsi ke bundle destroy perintah .

  • Last updated on