Batas layanan AI skala otomatis
Artikel ini memberikan panduan tentang bagaimana pelanggan dapat mengakses batas tarif yang lebih tinggi pada sumber daya layanan Azure AI mereka.
Setiap sumber daya layanan Azure AI memiliki tarif panggilan statis yang telah dikonfigurasi sebelumnya (transaksi per detik) yang membatasi jumlah panggilan bersamaan yang dapat dilakukan pelanggan ke layanan backend dalam jangka waktu tertentu. Fitur skala otomatis akan secara otomatis meningkatkan/mengurangi batas tarif sumber daya pelanggan berdasarkan metrik penggunaan sumber daya yang mendekati real-time dan metrik kapasitas layanan backend.
Fitur ini dinonaktifkan secara default untuk setiap sumber daya baru. Ikuti petunjuk berikut untuk mengaktifkannya.
Buka halaman sumber daya Anda di portal Azure, dan pilih tab Gambaran Umum di panel sebelah kiri. Di bawah bagian Esensial, temukan baris Skala Otomatis dan pilih tautan untuk menampilkan panel Pengaturan Skala Otomatis dan aktifkan fitur tersebut.
Tidak, Anda mungkin masih mendapatkan kesalahan 429
untuk kelebihan batas tarif. Jika aplikasi Anda memicu lonjakan, dan sumber daya Anda melaporkan 429
respons, skala otomatis memeriksa bagian proyeksi kapasitas yang tersedia untuk melihat apakah kapasitas saat ini dapat mengakomodasi peningkatan batas tarif dan merespons dalam waktu lima menit.
Jika kapasitas yang tersedia cukup untuk peningkatan, skala otomatis secara bertahap meningkatkan batas laju sumber daya Anda. Jika Anda terus memanggil sumber daya dengan tarif tinggi yang menghasilkan lebih banyak pembatasan 429
, tingkat TPS Anda akan terus meningkat dari waktu ke waktu. Jika tindakan ini berlanjut selama satu jam atau lebih, Anda harus mencapai tingkat maksimum (hingga 1000 TPS) yang saat ini tersedia pada saat itu untuk sumber daya tersebut.
Jika kapasitas yang tersedia tidak cukup untuk peningkatan, fitur skala otomatis menunggu lima menit dan memeriksa lagi.
Secara default, sumber daya layanan Azure AI memiliki batas tarif default 10 TPS. Jika Anda memerlukan TPS default yang lebih tinggi, kirimkan tiket dengan mengikuti tautan Permintaan Dukungan Baru di halaman sumber daya Anda di portal Azure. Ingatlah untuk menyertakan pertimbangan bisnis dalam permintaan.
Harga layanan Azure AI tidak berubah dan dapat diakses di sini. Kami hanya akan menagih untuk panggilan yang berhasil dilakukan ke API layanan Azure AI. Namun, peningkatan batas tarif panggilan berarti lebih banyak transaksi selesai, dan Anda mungkin menerima tagihan yang lebih tinggi.
Waspadai potensi kesalahan dan konsekuensinya. Jika bug di aplikasi klien Anda menyebabkannya memanggil layanan ratusan kali per detik, itu kemungkinan akan menyebabkan tagihan yang jauh lebih tinggi, sedangkan biayanya akan jauh lebih terbatas di bawah batas tarif tetap. Kesalahan semacam ini adalah tanggung jawab Anda. Kami sangat menyarankan Anda melakukan pengujian pengembangan dan pembaruan klien terhadap sumber daya dengan batas tarif tetap sebelum menggunakan fitur skala otomatis.
Dapatkah saya menonaktifkan fitur ini jika saya lebih suka membatasi tarif daripada memiliki pengeluaran yang tidak dapat diprediksi?
Ya, Anda dapat menonaktifkan fitur skala otomatis melalui portal Azure atau CLI dan kembali ke pengaturan batas tarif panggilan default Anda. Jika sumber daya Anda sebelumnya disetujui untuk TPS default yang lebih tinggi, sumber daya tersebut akan kembali ke tingkat tersebut. Diperlukan waktu hingga lima menit agar perubahan mulai berlaku.
Fitur skala otomatis tersedia untuk beberapa layanan berikut:
- Azure AI Vision
- Bahasa (hanya tersedia untuk analisis sentimen, ekstraksi frasa kunci, pengenalan entitas bernama, dan analitik teks untuk kenormalan)
- Detektor Anomali
- Moderator Konten
- Visi Kustom (Prediksi)
- Pembaca Imersif
- LUIS
- Metrics Advisor
- Personalizer
- QnAMaker
- Kecerdasan Dokumen
Tidak, fitur skala otomatis tidak tersedia untuk langganan tingkat gratis.
- Merencanakan dan Mengelola biaya untuk layanan Azure AI.
- Optimalkan investasi cloud Anda dengan Azure Cost Management.
- Pelajari cara mencegah biaya tak terduga.
- Ikuti kursus pembelajaran terpandu Cost Management.