Batas Azure AI skala otomatis
Penting
Item yang ditandai (pratinjau) dalam artikel ini sedang dalam pratinjau publik. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Artikel ini menyediakan panduan tentang bagaimana Anda dapat mengelola dan meningkatkan kuota untuk sumber daya dengan Azure AI Foundry.
Setiap sumber daya layanan Azure AI memiliki tarif panggilan statis yang telah dikonfigurasi sebelumnya (transaksi per detik) yang membatasi jumlah panggilan bersamaan yang dapat Anda lakukan ke layanan backend dalam jangka waktu tertentu. Fitur skala otomatis secara otomatis meningkatkan atau mengurangi batas laju sumber daya Anda berdasarkan metrik penggunaan sumber daya dekat atau real time dan metrik kapasitas layanan backend.
Fitur ini dinonaktifkan secara default untuk setiap sumber daya baru. Ikuti petunjuk berikut untuk mengaktifkannya.
Buka halaman sumber daya Anda di portal Azure, dan pilih tab Gambaran Umum di panel sebelah kiri. Di bawah bagian Esensial, temukan baris Skala Otomatis dan pilih tautan untuk menampilkan panel Pengaturan Skala Otomatis dan aktifkan fitur tersebut.
Tidak, Anda mungkin masih mendapatkan 429
kesalahan untuk kelebihan batas tarif. Jika aplikasi Anda memicu lonjakan, dan sumber daya Anda melaporkan 429
respons, skala otomatis memeriksa bagian proyeksi kapasitas yang tersedia untuk melihat apakah kapasitas saat ini dapat mengakomodasi peningkatan batas tarif dan merespons dalam waktu lima menit.
Jika kapasitas yang tersedia cukup untuk peningkatan, skala otomatis secara bertahap meningkatkan batas laju sumber daya Anda. Jika Anda terus memanggil sumber daya dengan tarif tinggi yang menghasilkan lebih banyak pembatasan 429
, tingkat TPS Anda akan terus meningkat dari waktu ke waktu. Jika tindakan ini berlanjut selama satu jam atau lebih, Anda harus mencapai tingkat maksimum (hingga 1000 TPS) yang saat ini tersedia pada saat itu untuk sumber daya tersebut.
Jika kapasitas yang tersedia tidak cukup untuk peningkatan, fitur skala otomatis menunggu lima menit dan memeriksa lagi.
Secara default, sumber daya layanan Azure AI memiliki batas tarif default 10 TPS. Jika Anda memerlukan TPS default yang lebih tinggi, kirimkan tiket dengan mengikuti tautan Permintaan Dukungan Baru di halaman sumber daya Anda di portal Azure. Ingatlah untuk menyertakan pertimbangan bisnis dalam permintaan.
Harga layanan Azure AI tidak berubah dan dapat diakses di sini. Kami hanya akan menagih untuk panggilan yang berhasil dilakukan ke API layanan Azure AI. Namun, peningkatan batas tarif panggilan berarti lebih banyak transaksi selesai, dan Anda mungkin menerima tagihan yang lebih tinggi.
Waspadai potensi kesalahan dan konsekuensinya. Jika bug di aplikasi klien Anda menyebabkannya memanggil layanan ratusan kali per detik, itu kemungkinan akan menyebabkan tagihan yang lebih tinggi, sedangkan biayanya akan jauh lebih terbatas di bawah batas tarif tetap. Kesalahan semacam ini adalah tanggung jawab Anda. Kami sangat menyarankan Anda melakukan pengujian pengembangan dan pembaruan klien terhadap sumber daya dengan batas tarif tetap sebelum menggunakan fitur skala otomatis.
Dapatkah saya menonaktifkan fitur ini jika saya lebih suka membatasi tarif daripada memiliki pengeluaran yang tidak dapat diprediksi?
Ya, Anda dapat menonaktifkan fitur skala otomatis melalui portal Azure atau CLI dan kembali ke pengaturan batas tarif panggilan default Anda. Jika sumber daya Anda sebelumnya disetujui untuk TPS default yang lebih tinggi, sumber daya tersebut akan kembali ke tingkat tersebut. Diperlukan waktu hingga lima menit agar perubahan mulai berlaku.
Fitur skala otomatis tersedia untuk beberapa layanan Azure AI. Untuk informasi selengkapnya, lihat Batas tarif layanan Azure AI.
Tidak, fitur skala otomatis tidak tersedia untuk langganan tingkat gratis.
- Merencanakan dan mengelola biaya untuk Azure AI.
- Optimalkan investasi cloud Anda dengan Microsoft Cost Management.
- Pelajari cara mencegah biaya tak terduga.
- Ikuti kursus pembelajaran terpandu Cost Management.