Cara menyebarkan model Azure OpenAI dengan Azure AI Studio

Penting

Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Dalam artikel ini, Anda belajar membuat penyebaran model Azure OpenAI di Azure AI Studio.

Layanan Azure OpenAI menawarkan serangkaian model yang beragam dengan kemampuan dan titik harga yang berbeda. Saat Anda menyebarkan model Azure OpenAI di Azure AI Studio, Anda dapat menggunakan penyebaran, menggunakan alur perintah atau alat lain. Ketersediaan model bervariasi menurut region. Untuk mempelajari selengkapnya tentang detail setiap model, lihat Model Layanan Azure OpenAI.

Untuk memodifikasi dan berinteraksi dengan model Azure OpenAI di taman bermain Azure AI Studio , pertama-tama Anda perlu menyebarkan model Azure OpenAI dasar ke proyek Anda. Setelah model disebarkan dan tersedia dalam proyek Anda, Anda dapat menggunakan titik akhir REST API-nya apa adanya atau menyesuaikan lebih lanjut dengan data Anda sendiri dan komponen lain (penyematan, indeks, dan banyak lagi).

Menyebarkan model Azure OpenAI dari katalog model

Ikuti langkah-langkah di bawah ini untuk menyebarkan model Azure OpenAI seperti gpt-4 ke titik akhir real time dari katalog model AI Studio:

1. Masuk ke AI Studio dan buka halaman Beranda .

2. Pilih Katalog model dari bilah sisi kiri.

3. Di filter Koleksi, pilih Azure OpenAI.

   

4. Pilih model seperti gpt-4 dari koleksi Azure OpenAI.

5. Pilih Sebarkan untuk membuka jendela penyebaran.

6. Pilih hub tempat Anda ingin menyebarkan model. Jika Anda tidak memiliki hub, Anda dapat membuatnya.

7. Tentukan nama penyebaran dan ubah pengaturan default lainnya tergantung pada kebutuhan Anda.

8. Pilih Sebarkan.

9. Anda mendarat di halaman detail penyebaran. Pilih Buka di taman bermain.

10. Pilih Tampilkan Kode untuk mendapatkan sampel kode yang dapat digunakan untuk menggunakan model yang disebarkan di aplikasi Anda.

Menyebarkan model Azure OpenAI dari proyek Anda

Atau, Anda dapat memulai penyebaran dengan memulai dari proyek Anda di AI Studio.

1. Buka proyek Anda di AI Studio.
2. Pilih Penyebaran Komponen>.
3. Pilih + Buat penyebaran.
4. Di filter Koleksi, pilih Azure OpenAI.
5. Pilih model seperti gpt-4 dari koleksi Azure OpenAI.
6. Pilih Konfirmasi untuk membuka jendela penyebaran.
7. Tentukan nama penyebaran dan ubah pengaturan default lainnya tergantung pada kebutuhan Anda.
8. Pilih Sebarkan.
9. Anda mendarat di halaman detail penyebaran. Pilih Buka di taman bermain.
10. Pilih Tampilkan Kode untuk mendapatkan sampel kode yang dapat digunakan untuk menggunakan model yang disebarkan di aplikasi Anda.

Menyimpulkan model Azure OpenAI

Untuk melakukan inferensi pada model yang disebarkan, Anda dapat menggunakan playground atau sampel kode. Taman bermain adalah antarmuka berbasis web yang memungkinkan Anda berinteraksi dengan model secara real time. Anda dapat menggunakan taman bermain untuk menguji model dengan perintah yang berbeda dan melihat respons model.

Untuk contoh selengkapnya tentang cara menggunakan model yang disebarkan di aplikasi Anda, lihat mulai cepat Azure OpenAI berikut ini:

• Mulai menggunakan Asisten dan penerjemah kode di taman bermain
• Mulai cepat obrolan

Ketersediaan regional dan batas kuota model

Untuk model Azure OpenAI, kuota default untuk model bervariasi menurut model dan wilayah. Model tertentu mungkin hanya tersedia di beberapa wilayah. Untuk informasi selengkapnya tentang batas ketersediaan dan kuota, lihat Kuota dan batas Azure OpenAI Service.

Kuota untuk menyebarkan dan menyimpulkan model

Untuk model Azure OpenAI, penyebaran dan inferensi menggunakan kuota yang ditetapkan ke langganan Anda berdasarkan per wilayah per model dalam unit Token per Menit (TPM). Saat mendaftar ke Azure AI Studio, Anda menerima kuota default untuk sebagian besar model yang tersedia. Kemudian, Anda menetapkan TPM ke setiap penyebaran saat dibuat, sehingga mengurangi kuota yang tersedia untuk model tersebut berdasarkan jumlah yang Anda tetapkan. Anda dapat terus membuat penyebaran dan menetapkannya TPM hingga mencapai batas kuota Anda.

Setelah mencapai batas kuota, satu-satunya cara bagi Anda untuk membuat penyebaran baru model tersebut adalah dengan:

• Minta kuota lebih dengan mengirimkan formulir penambahan kuota.
• Sesuaikan kuota yang dialokasikan pada penyebaran model lain untuk membebaskan token untuk penyebaran baru di Portal Azure OpenAI.

Untuk mempelajari selengkapnya tentang kuota, lihat Kuota Azure AI Studio dan Mengelola kuota Azure OpenAI Service.

Konten terkait

• Pelajari selengkapnya tentang apa yang dapat Anda lakukan di Azure AI Studio
• Dapatkan jawaban atas pertanyaan yang sering diajukan di artikel Tanya Jawab Umum Azure AI