Baca dalam bahasa Inggris

Bagikan melalui


Batas Azure AI skala otomatis

Penting

Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Artikel ini menyediakan panduan tentang bagaimana Anda dapat mengelola dan meningkatkan kuota untuk sumber daya dengan Azure AI Foundry.

Gambaran Umum

Setiap sumber daya layanan Azure AI memiliki tarif panggilan statis yang telah dikonfigurasi sebelumnya (transaksi per detik) yang membatasi jumlah panggilan bersamaan yang dapat Anda lakukan ke layanan backend dalam jangka waktu tertentu. Fitur skala otomatis secara otomatis meningkatkan atau mengurangi batas laju sumber daya Anda berdasarkan metrik penggunaan sumber daya dekat atau real time dan metrik kapasitas layanan backend.

Mulai menggunakan fitur skala otomatis

Fitur ini dinonaktifkan secara default untuk setiap sumber daya baru. Ikuti petunjuk berikut untuk mengaktifkannya.

Buka halaman sumber daya Anda di portal Azure, dan pilih tab Gambaran Umum di panel sebelah kiri. Di bawah bagian Esensial, temukan baris Skala Otomatis dan pilih tautan untuk menampilkan panel Pengaturan Skala Otomatis dan aktifkan fitur tersebut.

Cuplikan layar memperlihatkan portal Azure dengan panel skala otomatis di sebelah kanan.

Tanya jawab umum

Apakah mengaktifkan fitur skala otomatis berarti sumber daya saya tidak pernah dibatasi lagi?

Tidak, Anda mungkin masih mendapatkan 429 kesalahan untuk kelebihan batas tarif. Jika aplikasi Anda memicu lonjakan, dan sumber daya Anda melaporkan 429 respons, skala otomatis memeriksa bagian proyeksi kapasitas yang tersedia untuk melihat apakah kapasitas saat ini dapat mengakomodasi peningkatan batas tarif dan merespons dalam waktu lima menit.

Jika kapasitas yang tersedia cukup untuk peningkatan, skala otomatis secara bertahap meningkatkan batas laju sumber daya Anda. Jika Anda terus memanggil sumber daya dengan tarif tinggi yang menghasilkan lebih banyak pembatasan 429, tingkat TPS Anda akan terus meningkat dari waktu ke waktu. Jika tindakan ini berlanjut selama satu jam atau lebih, Anda harus mencapai tingkat maksimum (hingga 1000 TPS) yang saat ini tersedia pada saat itu untuk sumber daya tersebut.

Jika kapasitas yang tersedia tidak cukup untuk peningkatan, fitur skala otomatis menunggu lima menit dan memeriksa lagi.

Bagaimana jika saya memerlukan batas tarif default yang lebih tinggi?

Secara default, sumber daya layanan Azure AI memiliki batas tarif default 10 TPS. Jika Anda memerlukan TPS default yang lebih tinggi, kirimkan tiket dengan mengikuti tautan Permintaan Dukungan Baru di halaman sumber daya Anda di portal Azure. Ingatlah untuk menyertakan pertimbangan bisnis dalam permintaan.

Apakah skala otomatis meningkatkan pengeluaran Azure saya?

Harga layanan Azure AI tidak berubah dan dapat diakses di sini. Kami hanya akan menagih untuk panggilan yang berhasil dilakukan ke API layanan Azure AI. Namun, peningkatan batas tarif panggilan berarti lebih banyak transaksi selesai, dan Anda mungkin menerima tagihan yang lebih tinggi.

Waspadai potensi kesalahan dan konsekuensinya. Jika bug di aplikasi klien Anda menyebabkannya memanggil layanan ratusan kali per detik, itu kemungkinan akan menyebabkan tagihan yang lebih tinggi, sedangkan biayanya akan jauh lebih terbatas di bawah batas tarif tetap. Kesalahan semacam ini adalah tanggung jawab Anda. Kami sangat menyarankan Anda melakukan pengujian pengembangan dan pembaruan klien terhadap sumber daya dengan batas tarif tetap sebelum menggunakan fitur skala otomatis.

Dapatkah saya menonaktifkan fitur ini jika saya lebih suka membatasi tarif daripada memiliki pengeluaran yang tidak dapat diprediksi?

Ya, Anda dapat menonaktifkan fitur skala otomatis melalui portal Azure atau CLI dan kembali ke pengaturan batas tarif panggilan default Anda. Jika sumber daya Anda sebelumnya disetujui untuk TPS default yang lebih tinggi, sumber daya tersebut akan kembali ke tingkat tersebut. Diperlukan waktu hingga lima menit agar perubahan mulai berlaku.

Layanan mana yang mendukung fitur skala otomatis?

Fitur skala otomatis tersedia untuk beberapa layanan Azure AI. Untuk informasi selengkapnya, lihat Batas tarif layanan Azure AI.

Dapatkah saya menguji fitur ini menggunakan langganan gratis?

Tidak, fitur skala otomatis tidak tersedia untuk langganan tingkat gratis.

Langkah berikutnya