Menyebarkan aplikasi Databricks

Setelah Anda membuat dan mengembangkan aplikasi Azure Databricks, sebarkan untuk membuatnya dapat diakses di ruang kerja Azure Databricks. Penyebaran membangun aplikasi Anda, menginstal dependensi, dan menjalankannya menggunakan konfigurasi yang ditentukan dalam file proyek Anda. Anda dapat menyebarkan aplikasi menggunakan UI Azure Databricks atau Databricks CLI.

Nota

Jika Anda membuat aplikasi dari templat, Azure Databricks menyebarkannya secara otomatis saat Anda pertama kali membuatnya. Namun, Anda masih dapat menyebarkannya kembali nanti setelah membuat perubahan. Lihat Membuat aplikasi Databricks dari templat.

Logika penyebaran

Aplikasi Databricks mendukung penyebaran aplikasi yang menggunakan Python, Node.js, atau kombinasi keduanya. Ini memungkinkan arsitektur fleksibel, seperti frontend Node.js dengan backend Python.

Selama penyebaran, proses build memeriksa package.json file di akar direktori aplikasi Anda untuk menentukan apakah Node.js digunakan. Jika ada, ini termasuk langkah-langkah build khusus Node bersama langkah-langkah Python. Logika penyebaran mengikuti pola ini:

Jika package.json ada:

1. Jalankan npm install
2. Jalankan pip install -r requirements.txt (jika ada)
3. Jalankan npm run build (jika build skrip ditentukan dalam package.json)
4. Jalankan perintah yang ditentukan dalam app.yaml, atau npm run start jika tidak ada perintah yang ditentukan

Nota

Jika tidak ada perintah yang ditentukan dalam app.yaml, Azure Databricks menjalankan npm run start, bahkan jika aplikasi menyertakan kode Python. Untuk menjalankan proses Python dan Node.js, tentukan skrip kustom start yang menggunakan alat seperti concurrently untuk meluncurkan keduanya. Misalnya: concurrently "npm run start:node" "python my_app.py".

Jika package.json tidak ada:

1. Jalankan pip install -r requirements.txt (jika ada)
2. Jalankan perintah yang ditentukan dalam app.yaml, atau python <my-app>.py jika tidak ada perintah yang ditentukan

Bersiap untuk penyebaran

Sebelum menyebarkan aplikasi, verifikasi bahwa proyek Anda menyertakan komponen yang diperlukan:

• Skrip utama - File titik masuk Anda, seperti app.py atau app.js.
• File opsional app.yaml - Jika aplikasi Anda memerlukan perintah kustom atau variabel lingkungan, sertakan app.yaml file untuk mengonfigurasi eksekusi. Lihat Mengonfigurasi eksekusi aplikasi Databricks dengan app.yaml.
• Dependensi - Pastikan semua dependensi tersedia. Lihat Mengelola dependensi untuk aplikasi Databricks.
• Nilai rahasia atau lingkungan - Jika Anda menggunakan env bagian di , verifikasi bahwa rahasia yang direferensikan app.yamlatau sumber eksternal dikonfigurasi dan dapat diakses dengan benar. Lihat Menambahkan sumber daya ke aplikasi Databricks.

Selain itu, pastikan perwakilan layanan aplikasi memiliki akses ke folder kode sumber.

Pilih sumber penyebaran

Anda dapat menyebarkan aplikasi Databricks dari sumber berikut:

• Folder ruang kerja - Unggah file aplikasi ke folder ruang kerja dan sebarkan dari sana. Ini adalah metode penyebaran standar.
• Repositori Git - Konfigurasikan repositori Git untuk aplikasi dan sebarkan secara langsung tanpa mengunggah file ke ruang kerja. Aplikasi membaca kode dari konfigurasi referensi Git (cabang, tag, atau komit) setiap kali Anda melakukan penyebaran. Semua penyedia Git utama didukung, termasuk GitHub, GitLab, dan Bitbucket. Untuk daftar lengkap penyedia yang didukung, lihat Menyambungkan penyedia Git Anda ke Databricks.

Anda dapat beralih antara ruang kerja dan sumber Git untuk aplikasi yang sama kapan saja.

Menyebarkan aplikasi

Bagian berikut menjelaskan cara menyebarkan dari folder ruang kerja atau langsung dari repositori Git.

Menerapkan dari folder di ruang kerja

Databricks Antarmuka Pengguna

Untuk menyebarkan aplikasi dari antarmuka pengguna Azure Databricks:

1. Unggah file aplikasi ke ruang kerja Azure Databricks Anda. Untuk petunjuknya, lihat Mengimpor file.
2. Klik Komputasi di bilah samping.
3. Buka tab Aplikasi dan klik tautan ke aplikasi Anda di kolom Nama .
4. Klik Sebarkan dan pilih folder di ruang kerja tempat Anda mengunggah file aplikasi.
5. Klik Pilih, lalu Sebarkan.
6. Tinjau konfigurasi dan klik Sebarkan.

Databricks CLI (antarmuka baris perintah)

Untuk menyebarkan aplikasi menggunakan CLI:

1. Buka terminal dan navigasikan ke direktori yang berisi file aplikasi Anda.

2. Unggah file aplikasi Anda ke ruang kerja Azure Databricks menggunakan sync perintah . Ganti jalur dengan lokasi ruang kerja tempat Anda ingin mengunggah file.

   databricks sync --watch . /Workspace/Users/my-email@org.com/my-app
   

   --watch Bendera membuat proses sinkronisasi tetap berjalan dan secara otomatis mengunggah perubahan saat Anda memodifikasi file secara lokal. Untuk mengecualikan file atau direktori tertentu agar tidak disinkronkan, tambahkan ke .gitignore file di direktori aplikasi lokal Anda. File umum yang harus dikecualikan adalah node_modules/, .env, __pycache__/, .DS_Store, dan file data besar atau artefak build.

3. Verifikasi unggahan dengan melihat file di ruang kerja Anda. Klik Workspace IconRuang Kerja di bar samping dan navigasikan ke direktori yang Anda buat untuk aplikasi Anda.

4. Sebarkan aplikasi dengan menjalankan perintah berikut. Ganti nama aplikasi dan jalur kode sumber dengan nilai Anda.

   databricks apps deploy my-app-name \
      --source-code-path /Workspace/Users/my-email@org.com/my-app
   

   CLI menampilkan kemajuan penyebaran dan mengonfirmasi kapan aplikasi berjalan.

Menyebarkan dari repositori Git

Penting

Fitur ini ada di Beta. Jika admin menonaktifkan fitur, aplikasi yang ada yang disebarkan dari Git terus berjalan, tetapi Anda tidak dapat menyebarkan ulang atau memulai ulang fitur tersebut hingga Anda mengaktifkan kembali pratinjau atau menghapus repositori dari aplikasi.

Untuk menyebarkan aplikasi dari repositori Git, tambahkan repositori di tingkat aplikasi, lalu tentukan referensi Git saat Anda menyebarkannya. Repositori Git Anda harus berisi file aplikasi, termasuk app.yaml, dependensi, dan titik masuk. Semua penyedia Git utama didukung, termasuk GitHub, GitLab, dan Bitbucket.

Untuk mengonfigurasi dan menyebarkan aplikasi dari Git:

1. Unggah file aplikasi Anda ke repositori Git.
2. Dari ruang kerja Azure Databricks Anda, klik Komputasi di bar samping.
3. Buka tab Aplikasi dan pilih aplikasi yang sudah ada untuk diedit atau klik Buat aplikasi.
4. Di langkah Konfigurasikan repositori Git , masukkan URL repositori Git (misalnya, https://github.com/org/repo) dan pilih penyedia Git.
5. Klik Buat aplikasi atau Simpan untuk kembali ke halaman detail aplikasi.
6. Untuk repositori privat, perwakilan layanan aplikasi harus memiliki kredensial Git yang dikonfigurasi. Pada halaman detail aplikasi, klik Konfigurasikan kredensial Git. Atau, edit aplikasi dan tambahkan kredensial di langkah Konfigurasikan repositori Git . Anda harus memiliki CAN MANAGE izin di aplikasi untuk menambahkan kredensial Git. Untuk petunjuk untuk setiap penyedia, lihat Menyambungkan penyedia Git Anda ke Databricks.

Penting

Untuk keamanan, Azure Databricks menghapus semua kredensial Git yang terkait dengan prinsipal layanan aplikasi saat Anda mengubah sumber penerapan (dari Git ke lingkungan kerja atau sebaliknya) atau saat Anda mengubah repositori Git. Mengubah hanya referensi Git tidak menghapus kredensial. Setelah mengubah sumber penyebaran atau repositori, Anda harus mengonfigurasi ulang kredensial Git untuk disebarkan dari Git lagi.

Nota

Pembuat aplikasi secara otomatis menerima CAN MANAGE izin pada objek utama layanan hanya jika fitur Beta untuk penyebaran Git diaktifkan. Jika Anda membuat aplikasi saat fitur dinonaktifkan, Anda mungkin tidak memiliki izin untuk menambahkan kredensial Git.

Perwakilan layanan mendukung satu kredensial Git per penyedia. Memperbarui kredensial, seperti melalui konsol akun, menggantikan kredensial yang ada dari penyedia tersebut dan berdampak pada semua aplikasi yang menggunakan perwakilan layanan tersebut dengan penyedia tersebut.

Kemudian, sebarkan aplikasi:

1. Pada halaman detail aplikasi, klik Sebarkan.
2. Pilih Dari Git.
3. Untuk referensi Git, masukkan nama cabang, tag, atau commit SHA (misalnya, main, v1.0.0, atau hash commit).
4. Untuk Jenis referensi, tentukan tipe referensi, seperti cabang, tag, atau commit.
5. Klik Sebarkan.

Untuk referensi cabang atau tag, Azure Databricks melakukan penerapan dari komit terbaru dari cabang atau tag tersebut. Untuk referensi SHA commit, Azure Databricks selalu menyebarkan commit tertentu tersebut. Jika kredensial Git perwakilan layanan tidak valid atau kedaluwarsa, penyebaran gagal.

Perilaku pasca-penyebaran

Setelah penyebaran selesai, Azure Databricks memulai aplikasi Anda berdasarkan command yang ditentukan dalam app.yaml file Anda atau secara default menjalankan python app.py. Halaman detail aplikasi menampilkan status saat ini dan menyediakan akses ke log, riwayat penyebaran, dan informasi lingkungan.

Untuk melihat output aplikasi yang disebarkan, klik tautan aplikasi.

Buka tab Log untuk penelusuran kesalahan dan pemantauan runtime. Lihat Pengelogan dan Pemantauan untuk Aplikasi Databricks.

Memperbarui atau menyebarkan ulang aplikasi

Sebarkan ulang aplikasi Anda setelah membuat perubahan pada kode atau konfigurasi sumber. Proses penyebaran ulang menerapkan pembaruan terbaru Anda tanpa harus membangun ulang aplikasi. Anda dapat menyebarkan ulang dari ruang kerja atau repositori Git kapan saja.

Melakukan penyebaran ulang dari folder ruang kerja

Untuk menyebarkan ulang dari folder ruang kerja:

1. Perbarui file aplikasi Anda di folder ruang kerja.
2. Pilih aplikasi dan klik Sebarkan.
3. Jika jalur kode sumber berubah atau Anda beralih dari sumber Git, klik panah di samping Sebarkan dan pilih Sebarkan menggunakan sumber lain.

Menyebarkan ulang dari repositori Git

Untuk menyebarkan ulang dari repositori Git:

1. Dorong perubahan Anda ke repositori Git.
2. Di ruang kerja Azure Databricks Anda, pilih aplikasi Anda dan klik Sebarkan.
3. Jika referensi Git berubah atau Anda beralih dari sumber ruang kerja, klik panah di samping Sebarkan dan pilih Sebarkan menggunakan sumber lain.

Untuk mengubah repositori atau kredensial Git, edit konfigurasi aplikasi. Menghapus repositori Git dari aplikasi memberlakukan penyebaran dari ruang kerja.

Penting

Mengubah repositori Git atau beralih antara sumber penyebaran (Git dan ruang kerja) akan menghapus semua kredensial Git untuk prinsipal layanan aplikasi. Anda harus mengonfigurasi ulang kredensial sebelum menyebarkan dari Git lagi.

Memecahkan masalah penyebaran

Jika aplikasi Anda gagal disebarkan atau tidak berjalan seperti yang diharapkan, coba langkah-langkah pemecahan masalah berikut:

• Periksa log untuk pesan kesalahan atau output runtime.
• Validasi app.yaml sintaks dan pengaturan.
• Verifikasi bahwa rahasia dan variabel lingkungan di bagian env diselesaikan secara tepat.
• Konfirmasikan bahwa semua dependensi yang diperlukan disertakan atau diinstal.

Untuk penyebaran repositori Git:

• Untuk repositori privat, pastikan perwakilan layanan aplikasi sudah memiliki kredensial Git yang dikonfigurasi.
• Pastikan URL repositori Git sudah benar.
• Verifikasi referensi Git (cabang, tag, atau komit) ada di repositori.

Langkah selanjutnya

• Pengelogan dan Pemantauan untuk Aplikasi Databricks
• Mengonfigurasi izin untuk aplikasi Databricks
• Mengonfigurasi eksekusi aplikasi Databricks dengan app.yaml