Bagikan melalui

Batas layanan AI skala otomatis

  • Artikel

Artikel ini memberikan panduan tentang bagaimana pelanggan dapat mengakses batas tarif yang lebih tinggi pada sumber daya layanan Azure AI mereka.

Gambaran Umum

Setiap sumber daya layanan Azure AI memiliki tarif panggilan statis yang telah dikonfigurasi sebelumnya (transaksi per detik) yang membatasi jumlah panggilan bersamaan yang dapat dilakukan pelanggan ke layanan backend dalam jangka waktu tertentu. Fitur skala otomatis akan secara otomatis meningkatkan/mengurangi batas tarif sumber daya pelanggan berdasarkan metrik penggunaan sumber daya yang mendekati real-time dan metrik kapasitas layanan backend.

Mulai menggunakan fitur skala otomatis

Fitur ini dinonaktifkan secara default untuk setiap sumber daya baru. Ikuti petunjuk berikut untuk mengaktifkannya.

Buka halaman sumber daya Anda di portal Azure, dan pilih tab Gambaran Umum di panel sebelah kiri. Di bawah bagian Esensial, temukan baris Skala Otomatis dan pilih tautan untuk menampilkan panel Pengaturan Skala Otomatis dan aktifkan fitur tersebut.

Cuplikan layar memperlihatkan portal Azure dengan panel skala otomatis di sebelah kanan.

Tanya jawab umum

Apakah mengaktifkan fitur skala otomatis berarti sumber daya saya tidak akan pernah dibatasi lagi?

Tidak, Anda mungkin masih mendapatkan kesalahan 429 untuk kelebihan batas tarif. Jika aplikasi Anda memicu lonjakan, dan sumber daya Anda melaporkan 429 respons, skala otomatis memeriksa bagian proyeksi kapasitas yang tersedia untuk melihat apakah kapasitas saat ini dapat mengakomodasi peningkatan batas tarif dan merespons dalam waktu lima menit.

Jika kapasitas yang tersedia cukup untuk peningkatan, skala otomatis secara bertahap meningkatkan batas laju sumber daya Anda. Jika Anda terus memanggil sumber daya dengan tarif tinggi yang menghasilkan lebih banyak pembatasan 429, tingkat TPS Anda akan terus meningkat dari waktu ke waktu. Jika tindakan ini berlanjut selama satu jam atau lebih, Anda harus mencapai tingkat maksimum (hingga 1000 TPS) yang saat ini tersedia pada saat itu untuk sumber daya tersebut.

Jika kapasitas yang tersedia tidak cukup untuk peningkatan, fitur skala otomatis menunggu lima menit dan memeriksa lagi.

Bagaimana jika saya memerlukan batas tarif default yang lebih tinggi?

Secara default, sumber daya layanan Azure AI memiliki batas tarif default 10 TPS. Jika Anda memerlukan TPS default yang lebih tinggi, kirimkan tiket dengan mengikuti tautan Permintaan Dukungan Baru di halaman sumber daya Anda di portal Azure. Ingatlah untuk menyertakan pertimbangan bisnis dalam permintaan.

Apakah fitur ini akan meningkatkan pengeluaran Azure saya?

Harga layanan Azure AI tidak berubah dan dapat diakses di sini. Kami hanya akan menagih untuk panggilan yang berhasil dilakukan ke API layanan Azure AI. Namun, peningkatan batas tarif panggilan berarti lebih banyak transaksi selesai, dan Anda mungkin menerima tagihan yang lebih tinggi.

Waspadai potensi kesalahan dan konsekuensinya. Jika bug di aplikasi klien Anda menyebabkannya memanggil layanan ratusan kali per detik, itu kemungkinan akan menyebabkan tagihan yang jauh lebih tinggi, sedangkan biayanya akan jauh lebih terbatas di bawah batas tarif tetap. Kesalahan semacam ini adalah tanggung jawab Anda. Kami sangat menyarankan Anda melakukan pengujian pengembangan dan pembaruan klien terhadap sumber daya dengan batas tarif tetap sebelum menggunakan fitur skala otomatis.

Dapatkah saya menonaktifkan fitur ini jika saya lebih suka membatasi tarif daripada memiliki pengeluaran yang tidak dapat diprediksi?

Ya, Anda dapat menonaktifkan fitur skala otomatis melalui portal Azure atau CLI dan kembali ke pengaturan batas tarif panggilan default Anda. Jika sumber daya Anda sebelumnya disetujui untuk TPS default yang lebih tinggi, sumber daya tersebut akan kembali ke tingkat tersebut. Diperlukan waktu hingga lima menit agar perubahan mulai berlaku.

Layanan mana yang mendukung fitur skala otomatis?

Fitur skala otomatis tersedia untuk beberapa layanan berikut:

Dapatkah saya menguji fitur ini menggunakan langganan gratis?

Tidak, fitur skala otomatis tidak tersedia untuk langganan tingkat gratis.

Langkah berikutnya