Menyebarkan alur untuk inferensi real-time

Penting

Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Setelah Anda membangun alur perintah dan mengujinya dengan benar, Anda mungkin ingin menyebarkannya sebagai titik akhir online. Penyebaran dihosting dalam titik akhir, dan dapat menerima data dari klien dan mengirim respons kembali secara real-time.

Anda dapat memanggil titik akhir untuk inferensi real-time untuk obrolan, salinan, atau aplikasi AI generatif lainnya. Alur prompt mendukung penyebaran titik akhir dari alur, atau dari eksekusi pengujian massal.

Dalam artikel ini, Anda mempelajari cara menyebarkan alur sebagai titik akhir online terkelola untuk inferensi real time. Langkah-langkah yang Anda ambil adalah:

• Uji alur Anda dan siapkan untuk penyebaran.
• Buat penyebaran online.
• Berikan izin ke titik akhir.
• Uji titik akhir.
• Gunakan titik akhir.

Prasyarat

Untuk menyebarkan alur perintah sebagai titik akhir online, Anda memerlukan:

• Langganan Azure. Jika Anda tidak memilikinya, buat akun gratis sebelum memulai.
• Proyek Azure AI Studio.

Catatan

Titik akhir online terkelola hanya mendukung jaringan virtual terkelola. Jika hub Anda berada di vnet kustom, Anda perlu mencoba opsi penyebaran lain, seperti menyebarkan ke platform lain seperti Docker.

Membuat penyebaran online

Sekarang setelah Anda membangun alur dan mengujinya dengan benar, saatnya untuk membuat titik akhir online Anda untuk inferensi real-time.

Ikuti langkah-langkah di bawah ini untuk menyebarkan alur perintah sebagai titik akhir online di Azure AI Studio.

1. Siapkan alur prompt untuk penyebaran. Jika Anda tidak memilikinya, lihat cara membuat alur perintah.

2. Opsional: Pilih Obrolan untuk menguji apakah alur berfungsi dengan benar. Menguji alur Anda sebelum penyebaran disarankan praktik terbaik.

3. Pilih Sebarkan pada editor alur.

   

4. Berikan informasi yang diminta pada halaman Pengaturan Dasar di wizard penyebaran.

   

5. Pilih Tinjau + Buat untuk meninjau pengaturan dan membuat penyebaran. Jika tidak, Anda dapat memilih Berikutnya untuk melanjutkan ke halaman pengaturan tingkat lanjut.

6. Pilih Buat untuk menyebarkan alur perintah.

   

7. Untuk melihat status penyebaran Anda, pilih Penyebaran dari navigasi kiri. Setelah penyebaran berhasil dibuat, Anda dapat memilih penyebaran untuk melihat detailnya.

   

8. Pilih tab Konsumsi untuk melihat sampel kode yang dapat digunakan untuk menggunakan model yang disebarkan di aplikasi Anda.

   Catatan

   Di halaman ini Anda juga dapat melihat URL titik akhir yang dapat Anda gunakan untuk menggunakan titik akhir.

   

9. Anda dapat menggunakan titik akhir REST secara langsung atau memulai dengan salah satu sampel yang diperlihatkan di sini.

   

Untuk informasi selengkapnya, lihat bagian di bawah.

Tip

Untuk panduan tentang cara menyebarkan model dasar, lihat Menyebarkan model dengan Azure AI Studio.

Pengaturan dan konfigurasi

File teks persyaratan

Secara opsional Anda dapat menentukan paket tambahan yang Anda butuhkan di requirements.txt. Anda dapat menemukan requirements.txt di folder akar folder alur Anda. Saat Anda menyebarkan alur prompt ke titik akhir online terkelola di UI, secara default penyebaran menggunakan lingkungan yang dibuat berdasarkan gambar dasar yang ditentukan dalam flow.dag.yaml dependensi dan yang ditentukan dalam requirements.txt alur.

Catatan

Gambar dasar yang ditentukan dalam flow.dag.yaml harus dibuat berdasarkan gambar mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> dasar alur perintah dan Anda dapat menemukan versi terbaru di sini. Jika Anda tidak menentukan gambar dasar dalam flow.dag.yaml, penyebaran akan menggunakan gambar mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestdasar default .

Pengaturan dasar

Langkah ini memungkinkan Anda mengonfigurasi pengaturan dasar penyebaran.

Properti	Deskripsi
Titik akhir	Anda dapat memilih apakah Anda ingin menyebarkan titik akhir baru atau memperbarui titik akhir yang sudah ada. Jika Anda memilih Baru, Anda perlu menentukan nama titik akhir.
Nama penyebaran	- Dalam titik akhir yang sama, nama penyebaran harus unik. - Jika Anda memilih titik akhir yang ada, dan memasukkan nama penyebaran yang ada, maka penyebaran tersebut akan ditimpa dengan konfigurasi baru.
Mesin virtual	Ukuran VM untuk digunakan untuk penyebaran.
Jumlah Instans	Jumlah instans yang digunakan untuk penyebaran. Tentukan nilai pada beban kerja yang Anda harapkan. Untuk ketersediaan tinggi, kami sarankan Anda menetapkan nilai ke setidaknya 3. Kami mencadangkan kuota tambahan sebesar 20% untuk melakukan peningkatan.
Pengumpulan data inferensi	Jika Anda mengaktifkan ini, input dan output alur dikumpulkan secara otomatis dalam aset data Azure Pembelajaran Mesin, dan dapat digunakan untuk pemantauan nanti.

Setelah menyelesaikan pengaturan dasar, Anda dapat langsung Meninjau + Membuat untuk menyelesaikan pembuatan, atau Anda dapat memilih Berikutnya untuk mengonfigurasi pengaturan tingkat lanjut.

Pengaturan tingkat lanjut - Titik akhir

Anda dapat menentukan pengaturan berikut untuk titik akhir.

Di alur kerja pengaturan tingkat lanjut, Anda juga dapat menentukan tag penyebaran dan memilih lingkungan kustom.

Jenis autentikasi

Metode autentikasi untuk titik akhir. Autentikasi berbasis kunci menyediakan kunci primer dan sekunder yang tidak kedaluwarsa. Autentikasi berbasis token Azure Pembelajaran Mesin menyediakan token yang di-refresh secara berkala secara otomatis.

Jenis identitas

Titik akhir perlu mengakses sumber daya Azure seperti Azure Container Registry atau koneksi hub AI Studio Anda untuk inferensi. Anda dapat mengizinkan izin titik akhir untuk mengakses sumber daya Azure melalui memberikan izin ke identitas terkelolanya.

Identitas yang ditetapkan sistem akan dibuat secara otomatis setelah titik akhir Anda dibuat, sementara identitas yang ditetapkan pengguna dibuat oleh pengguna. Pelajari selengkapnya tentang identitas terkelola.

Ditetapkan sistem

Anda melihat ada opsi apakah Menerapkan akses ke rahasia koneksi (pratinjau). Jika alur Anda menggunakan koneksi, titik akhir perlu mengakses koneksi untuk melakukan inferensi. Opsi ini secara default diaktifkan, titik akhir diberikan peran Pembaca Rahasia Koneksi Azure Pembelajaran Mesin Ruang Kerja untuk mengakses koneksi secara otomatis jika Anda memiliki izin pembaca rahasia koneksi. Jika Anda menonaktifkan opsi ini, Anda perlu memberikan peran ini ke identitas yang ditetapkan sistem secara manual sendiri atau meminta bantuan dari admin Anda. Pelajari selengkapnya tentang cara memberikan izin ke identitas titik akhir.

Ditetapkan pengguna

Saat Anda membuat penyebaran, Azure mencoba menarik gambar kontainer pengguna dari Azure AI Studio hub Azure Container Registry (ACR) dan memasang model pengguna dan artefak kode ke dalam kontainer pengguna dari akun penyimpanan hub.

Jika Anda membuat titik akhir terkait dengan Identitas yang Ditetapkan Pengguna, identitas yang ditetapkan pengguna harus diberikan peran berikut sebelum pembuatan penyebaran; jika tidak, pembuatan penyebaran gagal.

Cakupan	Peran	Mengapa dibutuhkan
Proyek AI Studio	Peran Pembaca Rahasia Koneksi Ruang Kerja Azure Pembelajaran Mesin ATAU peran yang dikustomisasi denganMicrosoft.MachineLearningServices/workspaces/connections/listsecrets/action	Mendapatkan koneksi proyek
Registri kontainer proyek AI Studio	Penarikan ACR	Menarik citra kontainer
Penyimpanan default proyek AI Studio	Pembaca Data Blob Penyimpanan.	Memuat model dari penyimpanan
Proyek AI Studio	Penulis metrik ruang kerja	Setelah Anda menyebarkan titik akhir, jika Anda ingin memantau metrik terkait titik akhir seperti pemanfaatan CPU/GPU/Disk/Memori, Anda perlu memberikan izin ini ke identitas. Opsional

Lihat panduan terperinci tentang cara memberikan izin ke identitas titik akhir di Memberikan izin ke titik akhir.

Penting

Jika alur Anda menggunakan koneksi autentikasi berbasis ID Microsoft Entra, tidak peduli Anda menggunakan identitas yang ditetapkan sistem atau identitas yang ditetapkan pengguna, Anda selalu perlu memberikan peran identitas terkelola yang sesuai dari sumber daya yang sesuai sehingga dapat melakukan panggilan API ke sumber daya tersebut. Misalnya, jika koneksi Azure OpenAI Anda menggunakan autentikasi berbasis ID Microsoft Entra, Anda perlu memberikan identitas terkelola titik akhir Anda Pengguna OpenAI Cognitive Services atau Peran Kontributor OpenAI Cognitive Services dari sumber daya Azure OpenAI yang sesuai.

Pengaturan tingkat lanjut - Output & Koneksi

Dalam langkah ini, Anda dapat melihat semua output alur, dan menentukan output mana yang akan disertakan dalam respons titik akhir yang Anda sebarkan. Secara default, semua output alur dipilih.

Anda juga dapat menentukan koneksi yang digunakan oleh titik akhir saat melakukan inferensi. Secara default mereka diwarisi dari alur.

Setelah mengonfigurasi dan meninjau semua langkah di atas, Anda dapat memilih Tinjau + Buat untuk menyelesaikan pembuatan.

Catatan

Harapkan pembuatan titik akhir memakan waktu sekitar lebih dari 15 menit, karena berisi beberapa tahap termasuk membuat titik akhir, mendaftarkan model, membuat penyebaran, dll.

Anda dapat memahami kemajuan pembuatan penyebaran melalui pemberitahuan yang dimulai oleh penyebaran alur Prompt.

Mengaktifkan pelacakan dengan mengaktifkan diagnostik Application Insights (pratinjau)

Jika Anda mengaktifkan ini, melacak data dan metrik sistem selama waktu inferensi (seperti jumlah token, latensi alur, permintaan alur, dan lain-lain) akan dikumpulkan ke dalam Application Insights yang ditautkan ruang kerja. Untuk mempelajari lebih lanjut, lihat alur perintah yang melayani data dan metrik pelacakan.

Memberikan izin ke titik akhir

Penting

Memberikan izin (menambahkan penetapan peran) hanya diaktifkan bagi Pemilik sumber daya Azure tertentu. Anda mungkin perlu meminta bantuan admin TI Anda.

Disarankan untuk memberikan peran ke identitas yang ditetapkan pengguna sebelum pembuatan penyebaran. Mungkin perlu waktu lebih dari 15 menit agar izin yang diberikan berlaku.

Anda dapat memberikan semua izin di antarmuka pengguna portal Azure dengan mengikuti langkah-langkah berikut.

1. Buka halaman gambaran umum proyek Azure AI Studio di portal Azure.

2. Pilih Kontrol akses, dan pilih Tambahkan penetapan peran.

3. Pilih Pembaca Rahasia Koneksi Ruang Kerja Azure Pembelajaran Mesin, buka Berikutnya.

   Catatan

   Peran Pembaca Rahasia Koneksi Ruang Kerja Azure Pembelajaran Mesin adalah peran bawaan yang memiliki izin untuk mendapatkan koneksi hub.

   Jika Anda ingin menggunakan peran yang disesuaikan, pastikan peran yang disesuaikan memiliki izin .Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action Pelajari selengkapnya tentang cara membuat peran kustom.

4. Pilih Identitas terkelola dan pilih anggota.

   Untuk identitas yang ditetapkan sistem, pilih Titik akhir online pembelajaran mesin di bawah Identitas terkelola yang ditetapkan sistem, dan cari berdasarkan nama titik akhir.

   Untuk identitas yang ditetapkan pengguna, pilih Identitas terkelola yang ditetapkan pengguna, dan cari berdasarkan nama identitas.

5. Untuk identitas yang ditetapkan pengguna, Anda perlu memberikan izin ke registri kontainer hub dan akun penyimpanan juga. Anda dapat menemukan registri kontainer dan akun penyimpanan di halaman ringkasan hub di portal Azure.

   

   Buka halaman gambaran umum registri kontainer hub, pilih Kontrol akses, dan pilih Tambahkan penetapan peran, dan tetapkan penarikan ACR |Tarik gambar kontainer ke identitas titik akhir.

   Buka halaman gambaran umum penyimpanan default hub, pilih Kontrol akses, dan pilih Tambahkan penetapan peran, dan tetapkan Pembaca Data Blob Penyimpanan ke identitas titik akhir.

6. (opsional) Untuk identitas yang ditetapkan pengguna, jika Anda ingin memantau metrik terkait titik akhir seperti pemanfaatan CPU/GPU/Disk/Memori, Anda perlu memberikan peran penulis metrik Ruang Kerja hub ke identitas juga.

Memeriksa status titik akhir

Akan ada pemberitahuan setelah Anda menyelesaikan wizard penyebaran. Setelah titik akhir dan penyebaran berhasil dibuat, Anda dapat memilih Tampilkan detail di pemberitahuan ke halaman detail penyebaran.

Anda juga dapat langsung masuk ke halaman Penyebaran dari navigasi kiri, memilih penyebaran, dan memeriksa status.

Menguji titik akhir

Di halaman detail penyebaran, beralihlah ke tab Uji .

Untuk titik akhir yang disebarkan dari alur standar, Anda dapat memasukkan nilai di editor formulir atau editor JSON untuk menguji titik akhir.

Menguji titik akhir yang disebarkan dari alur obrolan

Untuk titik akhir yang disebarkan dari alur obrolan, Anda dapat mengujinya di jendela obrolan imersif.

chat_input Diatur selama pengembangan alur obrolan. Anda dapat memasukkan chat_input pesan dalam kotak input. Jika alur Anda memiliki beberapa input, panel Input di sisi kanan adalah bagi Anda untuk menentukan nilai untuk input lain selain chat_input.

Mengonsumsi titik akhir

Di halaman detail penyebaran, beralihlah ke tab Konsumsi . Anda dapat menemukan titik akhir REST dan kunci/token untuk menggunakan titik akhir Anda. Ada juga kode sampel bagi Anda untuk menggunakan titik akhir dalam bahasa yang berbeda.

Anda perlu memasukkan nilai untuk RequestBody atau data dan api_key. Misalnya, jika alur Anda memiliki 2 input location dan url, maka Anda perlu menentukan data sebagai berikut.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Membersihkan sumber daya

Jika Anda tidak akan menggunakan titik akhir setelah menyelesaikan tutorial ini, Anda harus menghapus titik akhir.

Catatan

Penghapusan lengkap mungkin memakan waktu sekitar 20 menit.

Langkah berikutnya

• Pelajari selengkapnya tentang apa yang dapat Anda lakukan di Azure AI Studio
• Dapatkan jawaban atas pertanyaan yang sering diajukan di artikel Tanya Jawab Umum Azure AI
• [Aktifkan pelacakan dan kumpulkan umpan balik untuk penyebaran Anda] (./develop/trace-production-sdk.md)