Unity AI Gateway kullanarak yapay zeka hizmetleri için hız sınırlarını yapılandırma

Important

Bu özellik Beta sürümündedir. Hesap yöneticileri bu özelliğe erişimi hesap konsolu Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Bu sayfada Unity AI Gateway AI hizmetleri için hız sınırlarının nasıl yapılandırıldığı açıklanmaktadır. Hız sınırları, kapasiteyi ve maliyetleri yönetmek için model hizmetinde veya MCP hizmetinde tüketim sınırlarını zorunlu kılmanıza olanak tanır.

Requirements

Model hizmetinde veya MCP hizmetinde hız sınırlarını yapılandırma

Hizmet türüne bağlı olarak dakika başına isteklere (QPM) veya dakika başına belirteçlere (TPM) göre hız sınırları ayarlayabilirsiniz:

  • Model hizmetleri: Dakika başına istek (QPM) ve dakika başına belirteç (TPM) sınırları ayarlayın.
  • MCP hizmetleri: Dakika başına istek (QPM) sınırları ayarlayın. Belirteç tabanlı sınırlar MCP hizmetleri için geçerli değildir.

Hız sınırlarını etkinleştirmek için model hizmetinizi veya MCP hizmetinizi yapılandırırken Hız sınırları'nı seçin. Hız sınırlarını aşağıdaki düzeylerde tanımlayabilirsiniz:

Field Description
Service Tüm hizmetin işleyebileceği en yüksek QPM veya TPM'yi belirtin. Bu sınır, kullanıcıdan bağımsız olarak tüm trafik için geçerlidir.
Kullanıcı (Varsayılan) Daha özel bir özel hız sınırı tanımlanmadığı sürece, hizmetin tüm kullanıcıları için geçerli olan varsayılan kullanıcı başına hız sınırı belirtin.
Özel hız sınırları Özel hız sınırları şunlar için belirtilebilir:
  • Bireysel kullanıcılar veya hizmet sorumluları: Bunlar, kullanıcı grubu özel hız sınırlarına göre önceliklidir.
  • Kullanıcı grupları: Bu sınır, grubun tüm üyeleri için paylaşılan bir hız sınırıdır.

Ayrıntılar ve davranış

  • Hız sınırları yalnızca hizmeti sorgulama izni olan kullanıcılar için geçerlidir.
  • Varsayılan olarak, kullanıcılar veya hizmet için yapılandırılmış hız sınırı yoktur.
  • Hizmet fiyatı sınırı genel bir üst sınırdır. Bu sınır aşılırsa, kullanıcıya veya gruba özgü hız sınırları ne olursa olsun hizmete yönelik tüm istekler engellenir.
  • Bir hizmet, kullanıcı veya hizmet asıl kimliği için hem istek tabanlı bir hız limiti hem de belirteç tabanlı bir hız limiti belirtilmişse, daha kısıtlayıcı olan hız limiti uygulanır.
  • Özel hız sınırları , Kullanıcı (Varsayılan) hız sınırını geçersiz kılar.
    • Bir kullanıcı hem kullanıcıya özgü bir sınıra hem de gruba özgü bir sınıra aitse, kullanıcıya özgü sınır uygulanır.
    • Bir kullanıcı farklı QPM veya TPM hız sınırlarına sahip birden çok kullanıcı grubuna aitse, kullanıcı tüm QPM hız sınırlarını veya kullanıcı gruplarının TÜM TPM hız sınırlarını aşarsa, kullanıcı hız sınırı sınırlıdır.

Hız sınırlayıcı davranışı

Hız sınırı aşıldığında, hizmet bir HTTP 429 (Çok Fazla İstek) yanıtı döndürür. İstemciler üstel geri çekilme ile yeniden deneme mantığını uygulamalıdır.

Hız sınırlayıcısı düşük gecikme süresi için tasarlanmıştır; bu da aşağıdaki davranışların beklendiği anlamına gelir:

  • Eşzamanlı istekler önceden denetlenmiyor. Sistem, bir yanıt gönderildikten sonra kullanımı kaydeder, bu nedenle aynı anda birden fazla istek gelirse, kullanım hesaplanmadan önce hepsi işleme alınabilir. Kapasite geri kazanana kadar yeni istekler reddedilir. Uygulamada, tekrarlayan bir modelde trafik artışlarının ardından kısa duraklamalar görebilirsiniz.
  • Sınırlar hizmet örnekleri arasında bağımsız olarak uygulanır, bu nedenle özellikle bir hizmet oluşturulduktan veya güncelleştirildikten hemen sonra, yapılandırılan sınırın biraz üzerinde kısa ani artışlar oluşabilir.

Daha uzun bir süre boyunca ortalama istek oranı yapılandırılan sınıra yakınsama gösterir.

Limitations

  • Hizmet başına en fazla 20 hız sınırı belirtebilirsiniz.
  • Hizmet başına gruba özgü en fazla 5 hız sınırı belirtebilirsiniz.

Ek kaynaklar

  • Last updated on