Azure OpenAI Dinamik kotası (Önizleme)

Dinamik kota, ek kapasite kullanılabilir olduğunda fırsatçı olarak daha fazla kotadan yararlanmak için standart (kullandıkça öde) dağıtımı sağlayan bir Azure OpenAI özelliğidir. Dinamik kota kapalı olarak ayarlandığında, dağıtımınız Dakika Başına Belirteçler (TPM) ayarınız tarafından oluşturulan en yüksek aktarım hızını işleyebilecektir. Önceden ayarlanmış TPM'nizi aştığınızda istekler HTTP 429 yanıtları döndürür. Dinamik kota etkinleştirildiğinde, dağıtımın 429 yanıt döndürmeden önce daha yüksek aktarım hızına erişme özelliği vardır ve bu sayede daha önce daha fazla çağrı yapabilirsiniz. Ek istekler hala normal fiyatlandırma fiyatlarıyla faturalandırılır.

Dinamik kota, kullanılabilir kotanızı yalnızca geçici olarak artırabilir : yapılandırılan değerinizin altına düşmez.

Dinamik kota ne zaman kullanılır?

Dinamik kota, özellikle uygulamanızın fırsatçı olarak fazladan kapasite kullanabildiği veya azure OpenAI API'sinin çağrılma hızını artırdığı çoğu senaryoda kullanışlıdır.

Genellikle, dinamik kotadan kaçınmayı tercih edebileceğiniz durum, kotanın geçici olması veya artması durumunda uygulamanızın olumsuz bir deneyim sağlamasıdır.

Dinamik kota için aşağıdaki gibi senaryoları göz önünde bulundurun:

• Toplu işleme,
• Alma Artırılmış Üretim (RAG) için özetlemeler veya eklemeler oluşturma,
• Ölçümlerin ve değerlendirmelerin oluşturulması için günlüklerin çevrimdışı analizi,
• Düşük öncelikli araştırma,
• Az miktarda kota ayrılan uygulamalar.

Dinamik kota ne zaman devreye girer?

Azure OpenAI arka ucu, farklı dağıtımların eklenip eklenmediğini, ne zaman ve ne kadar ek dinamik kota ekleneceğini veya kaldırılacağına karar verir. Önceden tahmin edilmez veya duyurulamaz ve tahmin edilebilir değildir. Dinamik kotadan yararlanmak için HTTP 429 yanıtları seyrek hale geldikçe uygulama kodunuzun daha fazla istek verebilmesi gerekir. Azure OpenAI, HTTP 429 ile yanıt vererek ve daha fazla API çağrısının geçmesine izin vermeyerek uygulamanızın kota sınırınıza ne zaman bastığınızı bilmesini sağlar.

Dinamik kota maliyetleri nasıl değiştirir?

• Temel kotanızın üzerinde yapılan çağrıların maliyetleri normal çağrılarla aynıdır.

• Dağıtımda dinamik kotayı açmak için ek maliyet yoktur, ancak artan aktarım hızı, dağıtımınızın aldığı trafik miktarına bağlı olarak maliyetin artmasına neden olabilir.

Not

Dinamik kota ile bir "tavan" kotası veya aktarım hızı için çağrı zorlaması yoktur. Azure OpenAI, temel kotanızın üzerinde olabildiğince çok isteği işler. Kota daha az kısıtlanmış olsa bile harcama oranını denetlemeniz gerekiyorsa, uygulama kodunuzun istekleri buna göre saklaması gerekir.

Dinamik kotayı kullanma

Dinamik kotayı kullanmak için şunları kullanmanız gerekir:

• Azure OpenAI dağıtımınızda dinamik kota özelliğini açın.
• Uygulamanızın dinamik kotadan yararlanadığından emin olun.

Dinamik kotayı etkinleştirme

Dağıtımınız için dinamik kotayı etkinleştirmek için kaynak yapılandırmasındaki gelişmiş özelliklere gidebilir ve bunu açabilirsiniz:

Alternatif olarak, Azure CLI az restile program aracılığıyla etkinleştirebilirsiniz:

{subscriptionId}, {resourceGroupName}, {accountName}ve {deploymentName} değerlerini kaynağınız için ilgili değerlerle değiştirin. Bu durumda, accountName Azure OpenAI kaynak adına eşittir.

az rest --method patch --url "https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?2023-10-01-preview" --body '{"properties": {"dynamicThrottlingEnabled": true} }'

Uygulamama ne kadar aktarım hızı dinamik kotası ekleyeceğini biliyor Nasıl yaparım??

Nasıl çalıştığını izlemek için Azure İzleyici'de uygulamanızın aktarım hızını izleyebilirsiniz. Dinamik kota önizlemesi sırasında, kotanın dinamik olarak artırılıp artırıldığını veya azaltıldığını belirten belirli bir ölçüm veya günlük yoktur. yoğun kullanılan bölgelerde ve bu bölgelerin yoğun kullanım saatleri içinde çalışıyorsa, dağıtımınız için dinamik kotanın kullanılma olasılığı daha düşüktür.

Sonraki adımlar

• Kotanın nasıl çalıştığı hakkında daha fazla bilgi edinin.
• Azure OpenAI'yi izleme hakkında daha fazla bilgi edinin.