Menyebarkan Model Microsoft Foundry di portal Foundry

Nota

Artikel ini mengacu pada portal Microsoft Foundry (klasik).

🔄 Beralih ke dokumentasi Microsoft Foundry (baru) jika Anda menggunakan portal baru.

Dalam artikel ini, Anda mempelajari cara menggunakan portal Foundry untuk menyebarkan Model Foundry di sumber daya Foundry untuk inferensi. Model Foundry mencakup model seperti model Azure OpenAI, model Meta Llama, dan banyak lagi. Setelah menyebarkan Model Foundry, Anda dapat berinteraksi dengannya di Foundry Playground dan menggunakannya dari kode.

Artikel ini menggunakan Model Foundry dari mitra dan komunitas Llama-3.2-90B-Vision-Instruct untuk ilustrasi. Model dari mitra dan komunitas mengharuskan Anda berlangganan Marketplace Azure sebelum penyebaran. Di sisi lain, Model Foundry yang dijual langsung oleh Azure, seperti Azure OpenAI di Foundry Models, tidak memiliki persyaratan ini. Untuk informasi selengkapnya tentang Model Foundry, termasuk wilayah tempat model tersebut tersedia untuk penyebaran, lihat Model Foundry yang dijual langsung oleh Azure dan Model Foundry dari mitra dan komunitas.

Prasyarat

Untuk menyelesaikan artikel ini, Anda memerlukan:

• Langganan Azure dengan metode pembayaran yang valid. Jika Anda tidak memiliki langganan Azure, buat akun Azure berbayar untuk memulai. Jika Anda menggunakan Model GitHub, Anda dapat meningkatkan ke Model Foundry dan membuat langganan Azure dalam prosesnya.

• Peran Kontributor Cognitive Services atau izin yang setara pada sumber daya Foundry untuk membuat dan mengelola penyebaran. Untuk informasi selengkapnya, lihat Peran Azure RBAC.

• Proyek Microsoft Foundry. Proyek semacam ini dikelola di bawah sumber daya Foundry.

• Model Foundry dari mitra dan komunitas memerlukan akses ke Marketplace Azure untuk membuat langganan. Pastikan Anda memiliki izin yang diperlukan untuk berlangganan penawaran model. Model Foundry yang dijual langsung oleh Azure tidak memiliki persyaratan ini.

Terapkan model

Sebarkan model dengan mengikuti langkah-langkah ini di portal Foundry:

1. Masuk ke Microsoft Foundry. Pastikan tombol New Foundry nonaktif. Langkah-langkah ini mengacu pada Foundry (klasik).

   

2. Buka bagian Katalog model di portal Foundry.

3. Pilih model dan tinjau detailnya di kartu model. Artikel ini menggunakan Llama-3.2-90B-Vision-Instruct untuk ilustrasi.

4. Pilih Gunakan model ini.

5. Untuk Model Foundry dari mitra dan komunitas, Anda harus berlangganan ke Azure Marketplace. Persyaratan ini berlaku untuk Llama-3.2-90B-Vision-Instruct, misalnya. Baca ketentuan penggunaan dan pilih Setujui dan Lanjutkan untuk menerima persyaratan.

   Nota

   Untuk Model Foundry yang dijual langsung oleh Azure, seperti model gpt-4o-miniAzure OpenAI, Anda tidak berlangganan Azure Marketplace.

6. Konfigurasikan pengaturan penyebaran:

   • Secara bawaan, penyebaran menggunakan nama model. Anda dapat mengubah nama ini sebelum menyebarkan.
   • Selama inferensi, nama penyebaran digunakan dalam model parameter untuk merutekan permintaan ke penyebaran khusus ini.

   Petunjuk / Saran

   Setiap model mendukung jenis penyebaran yang berbeda, memberikan jaminan residensi atau throughput data yang berbeda. Lihat jenis penyebaran untuk detail selengkapnya. Dalam contoh ini, model mendukung jenis penyebaran Standar Global.

7. Portal Foundry secara otomatis memilih sumber daya Foundry yang terkait dengan proyek Anda sebagai sumber daya Connected AI. Pilih Kustomisasi untuk mengubah koneksi jika diperlukan. Jika Anda menyebarkan di bawah jenis penyebaran Serverless API, proyek dan sumber daya harus berada di salah satu wilayah penyebaran yang didukung untuk model tersebut.

   

8. Pilih Sebarkan. Halaman rincian penyebaran model akan terbuka saat proses penyebaran sedang berlangsung.

9. Ketika penyebaran selesai, model siap digunakan. Anda juga dapat menggunakan Foundry Playgrounds untuk menguji model secara interaktif.

Mengelola beragam model

Anda dapat mengelola penyebaran model yang ada di sumber daya dengan menggunakan portal Foundry.

1. Buka bagian Model + Titik Akhir di portal Foundry.

2. Portal mengelompokkan dan menampilkan penyebaran model per sumber daya. Pilih Llama-3.2-90B-Vision-Instruct dari bagian penyebaran model untuk sumber daya Foundry Anda. Tindakan ini membuka halaman penyebaran model.

   

Menguji penyebaran di taman bermain

Anda dapat berinteraksi dengan model baru di portal Foundry dengan menggunakan taman bermain. Taman bermain adalah antarmuka berbasis web yang memungkinkan Anda berinteraksi dengan model secara real time. Gunakan taman bermain untuk menguji model dengan perintah yang berbeda dan melihat respons model.

1. Dari halaman penyebaran model, pilih Buka di playground. Tindakan ini membuka ruang obrolan interaktif dengan nama penyebaran Anda yang sudah dipilih.

   

2. Ketik perintah Anda dan lihat outputnya.

3. Gunakan Tampilkan kode untuk melihat detail tentang cara mengakses penyebaran model secara terprogram.

Gunakan model dengan kode

Untuk menjalankan inferensi pada model yang disebarkan, lihat contoh berikut:

• Untuk menggunakan API Respons dengan Model Foundry yang dijual langsung oleh Azure, seperti model Microsoft AI, DeepSeek, dan Grok, lihat Cara menghasilkan respons teks dengan Model Microsoft Foundry.

• Untuk menggunakan API Respons dengan model OpenAI, lihat Mulai menggunakan API respons.

• Untuk menggunakan API penyelesaian obrolan dengan model yang dijual oleh mitra, seperti model Llama yang disebarkan dalam artikel ini, lihat Dukungan model untuk penyelesaian obrolan.

Ketersediaan regional dan batas kuota model

Untuk Model Foundry, kuota default bervariasi menurut model dan wilayah. Model tertentu mungkin hanya tersedia di beberapa wilayah. Untuk informasi selengkapnya tentang batas ketersediaan dan kuota, lihat Azure OpenAI di kuota dan batas Microsoft Foundry Models serta kuota dan batasan Microsoft Foundry Models.

Kuota untuk menyebarkan dan menjalankan inferensi pada model

Untuk Model Foundry, menyebarkan dan menjalankan inferensi mengkonsumsi kuota yang ditetapkan Azure ke langganan Anda berdasarkan per wilayah dan per model, dalam satuan Token per Menit (TPM). Saat mendaftar ke Foundry, Anda menerima kuota default untuk sebagian besar model yang tersedia. Kemudian, Anda menetapkan TPM ke setiap penyebaran saat membuatnya, yang mengurangi kuota yang tersedia untuk model tersebut. Anda dapat terus membuat penyebaran dan menetapkannya TPM hingga mencapai batas kuota Anda.

Saat mencapai batas kuota, Anda hanya dapat membuat penyebaran baru model tersebut jika Anda:

• Minta kuota lebih dengan mengirimkan formulir penambahan kuota.
• Sesuaikan kuota yang dialokasikan pada penyebaran model lain di portal Foundry, untuk membebaskan token untuk penyebaran baru.

Untuk informasi selengkapnya tentang kuota, lihat Kuota dan batasan Microsoft Foundry Models dan Mengelola kuota Azure OpenAI.

Troubleshooting

Masalah	Resolusi
Kuota terlampaui	Meminta lebih banyak kuota atau melakukan realokasi TPM dari penerapan yang sudah ada.
Wilayah tidak didukung	Periksa ketersediaan regional dan sebarkan di wilayah yang didukung.
Kesalahan langganan Marketplace	Verifikasi bahwa Anda memiliki izin yang diperlukan untuk berlangganan penawaran Marketplace Azure.
Status penyebaran menunjukkan Gagal	Konfirmasikan bahwa model tersedia di wilayah yang Anda pilih dan Anda memiliki kuota yang memadai.

Konten terkait

• Cara menghasilkan respons teks dengan Microsoft Foundry Models
• Jenis penerapan untuk Model Foundry
• Menyebarkan model menggunakan Azure CLI dan Bicep
• Bahasa pemrograman yang didukung Azure OpenAI