Menambahkan model yang melayani sumber daya titik akhir ke aplikasi Databricks

Tambahkan model yang melayani titik akhir sebagai sumber daya Databricks Apps sehingga aplikasi Anda dapat mengkueri model pembelajaran mesin untuk inferensi. Titik akhir penyajian model mengelola prediksi model dan menyediakan antarmuka yang konsisten untuk mengakses model yang di-deploy.

Menambahkan model yang melayani sumber daya titik akhir

Sebelum Anda menambahkan model yang melayani titik akhir sebagai sumber daya, tinjau prasyarat sumber daya aplikasi.

1. Saat Anda membuat atau mengedit aplikasi, navigasikan ke langkah Konfigurasikan .
2. Di bagian Sumber daya aplikasi , klik + Tambahkan sumber daya.
3. Pilih Melayani titik akhir sebagai jenis sumber daya.
4. Pilih titik akhir penyajian model dari titik akhir yang tersedia di ruang kerja Anda.
5. Pilih tingkat izin yang sesuai untuk aplikasi Anda:
   • Dapat melihat: Lihat metadata titik akhir, termasuk nama model, versi, dan konfigurasi beban kerja. Tidak dapat mengirim permintaan inferensi.
   • Bisa mengkueri: Kirim permintaan inferensi dan lihat metadata. Gunakan ini untuk sebagian besar aplikasi yang memerlukan prediksi model.
   • Dapat mengelola: Kontrol administratif penuh termasuk menampilkan, mengedit, mengkueri, menghapus, dan mengelola izin.
6. (Opsional) Tentukan kunci sumber daya kustom, yaitu cara Anda mereferensikan model yang melayani titik akhir di konfigurasi aplikasi Anda. Kunci defaultnya adalah serving-endpoint.

Nota

Model yang melayani titik akhir harus dalam status READY untuk memproses permintaan inferensi dari aplikasi Anda.

Variabel lingkungan

Saat Anda menyebarkan aplikasi dengan sumber daya titik akhir penyajian model, Azure Databricks mengekspos nama titik akhir penyajian melalui variabel lingkungan yang dapat Anda referensikan menggunakan bidang valueFrom.

Contohnya:

SERVING_ENDPOINT=<your-serving-endpoint-name>

Untuk informasi selengkapnya, lihat Menggunakan variabel lingkungan untuk mengakses sumber daya.

Menghapus sumber daya titik akhir penyajian model

Saat Anda menghapus model yang melayani sumber daya titik akhir dari aplikasi, perwakilan layanan aplikasi kehilangan akses ke titik akhir. Model yang melayani titik akhir itu sendiri tetap tidak berubah dan terus tersedia untuk pengguna dan aplikasi lain yang memiliki izin yang sesuai.

Praktik terbaik

Pertimbangkan hal berikut saat Anda bekerja dengan model yang melayani sumber daya titik akhir:

• Berikan izin minimal. Gunakan Can view untuk akses paling sedikit atau Can query untuk sebagian besar aplikasi yang perlu mengirim permintaan inferensi, kecuali aplikasi Anda secara khusus perlu melakukan tugas administratif pada titik akhir.
• Hindari kueri yang berjalan lama jika memungkinkan, karena permintaan inferensi dapat kehabisan waktu.
• Periksa status titik akhir sebelum mengirim permintaan. Endpoint harus dalam status READY untuk memproses kueri.
• Pertimbangkan untuk membatasi tingkat permintaan inferensi Anda untuk menghindari kewalahan titik akhir, terutama selama periode lalu lintas tinggi.