Menambahkan sumber daya Pekerjaan Lakeflow ke aplikasi Databricks

Tambahkan Lakeflow Jobs sebagai sumber daya untuk Aplikasi Databricks sehingga aplikasi Anda dapat memicu, memantau, dan mengelola otomatisasi alur kerja. Pekerjaan Lakeflow menyediakan orkestrasi untuk beban kerja pemrosesan data, memungkinkan Anda mengoordinasikan dan menjalankan beberapa tugas sebagai bagian dari alur kerja yang lebih besar dalam aplikasi Anda.

Menambahkan sumber daya pekerjaan

Sebelum Anda menambahkan pekerjaan sebagai sumber daya, tinjau prasyarat sumber daya aplikasi.

1. Saat Anda membuat atau mengedit aplikasi, navigasikan ke langkah Konfigurasikan .
2. Di bagian Sumber daya aplikasi , klik + Tambahkan sumber daya.
3. Pilih Pekerjaan sebagai jenis sumber daya.
4. Pilih Tugas Lakeflow dari tugas yang tersedia di ruang kerja Anda.
5. Pilih tingkat izin yang sesuai untuk aplikasi Anda:
   • Dapat melihat: Memberikan izin aplikasi untuk melihat detail pekerjaan, riwayat eksekusi, dan status. Gunakan ini untuk aplikasi khusus pemantauan.
   • Dapat mengelola eksekusi: Memberikan izin aplikasi untuk memicu dan membatalkan eksekusi pekerjaan.
   • Dapat mengelola: Memberikan akses administratif penuh aplikasi ke pekerjaan, termasuk mengedit konfigurasi pekerjaan, tugas, dan penjadwalan.
6. (Opsional) Tentukan kunci sumber daya kustom, yaitu cara Anda mereferensikan pekerjaan di konfigurasi aplikasi Anda. Kunci defaultnya adalah job.

Saat Anda menambahkan sumber daya pekerjaan, perwakilan layanan aplikasi mendapatkan izin yang ditentukan pada pekerjaan yang dipilih, sehingga aplikasi Anda dapat berinteraksi dengan alur kerja berdasarkan tingkat akses yang diberikan.

Variabel lingkungan

Saat Anda menerapkan aplikasi dengan sumber daya Lakeflow Jobs, Azure Databricks mengekspos ID pekerjaan melalui variabel lingkungan yang dapat Anda referensikan menggunakan bidang valueFrom.

Untuk informasi selengkapnya, lihat Menggunakan variabel lingkungan untuk mengakses sumber daya.

Menghapus sumber daya pekerjaan

Saat Anda menghapus sumber daya Lakeflow Jobs dari aplikasi, perwakilan layanan aplikasi kehilangan akses ke pekerjaan tersebut. Pekerjaan itu sendiri tetap tidak berubah dan terus tersedia untuk pengguna dan aplikasi lain yang memiliki izin yang sesuai.

Setiap pekerjaan yang sedang berlangsung yang dimulai oleh aplikasi terus selesai, tetapi aplikasi tidak dapat lagi memicu eksekusi baru atau mengakses detail pekerjaan.

Praktik terbaik

Pertimbangkan hal berikut saat Anda bekerja dengan sumber daya Pekerjaan Lakeflow:

• Berikan izin minimal. Gunakan Can view untuk memantau aplikasi, Can manage run untuk orkestrasi alur kerja, dan Can manage hanya saat aplikasi Anda perlu memodifikasi konfigurasi pekerjaan.
• Terapkan penanganan kesalahan yang tepat dan coba lagi logika di aplikasi Anda saat memicu eksekusi pekerjaan, karena pekerjaan mungkin gagal karena kendala sumber daya atau masalah data.
• Pertimbangkan dependensi antara aplikasi Anda dan alur kerja pekerjaan. Mengomunikasikan kegagalan pekerjaan penting kepada pengguna aplikasi Anda.
• Gunakan parameter pekerjaan untuk membuat alur kerja Anda dapat dikonfigurasi dan digunakan kembali di berbagai lingkungan aplikasi.