Belirteç yönetimi
- 5 dakika
API'nize yönelik trafikte ani bir artış olduğunu, satış veya başka bir neden olduğunu düşünün. Aşırı tüketimi ve olası hizmet kesintisini önlemek için bunun nasıl yönetileceğini öğrenmeniz gerekir.
Azure OpenAI Belirteç Sınırı ilkesi
Bu ünitenin başında belirtildiği gibi ani ani ani artışla başa çıkmalısınız. İyi haber, Azure API Management'ın Belirteç Sınırı İlkesi adlı bir şeye sahip olmasıdır.
Bu ilke, müşterilerin belirteç tüketiminde dakika başına belirteçlerle (TPM) ifade edilen sınırlar belirlemesine olanak tanır ve OpenAI kaynaklarının adil ve verimli bir şekilde kullanımını sağlar.
Önemli özellikler
Bu ilkenin temel özellikleri şunlardır:
- Hassas Denetim: Müşteriler Abonelik anahtarı veya IP Adresi gibi çeşitli sayaç anahtarlarına belirteç tabanlı sınırlar atayabilir ve zorlamayı belirli kullanım örneklerine göre uyarlayabilir.
- Real-Time İzleme: İlke, OpenAI uç noktasından döndürülen belirteç kullanımı ölçümlerini kullanır ve gerçek zamanlı olarak sınırların doğru şekilde izlenmesine ve uygulanmasına olanak sağlar.
- Belirteçlerin Ön Hesaplaması: Azure API Management tarafında istem belirteçlerinin önceden hesaplanmasına olanak tanır ve sınır zaten aşılmışsa OpenAI arka ucuna yönelik gereksiz istekleri en aza indirir.
- Gelişmiş Özelleştirme: Müşteriler, daha iyi denetim ve özelleştirme için politikalar içinde tüketilen belirteçler ve kalan belirteçler gibi üst bilgileri ve değişkenleri uygulayabilir.
Görebileceğiniz SS'ler, maliyetleri yönetmenize yardımcı olan birkaç özelliktir ve gerçek zamanlı izleme sayesinde sınırları aşmadığınızdan emin olabilirsiniz.
Nasıl kullanılır?
Bu ilkeyi kullanmak için api işleminin gelen işleme işlem hattına eklemeniz gerekir. Bunu şu şekilde yapabilirsiniz:
<azure-openai-token-limit counter-key="key value"
tokens-per-minute="number"
estimate-prompt-tokens="true | false"
retry-after-header-name="custom header name, replaces default 'Retry-After'"
retry-after-variable-name="policy expression variable name"
remaining-tokens-header-name="header name"
remaining-tokens-variable-name="policy expression variable name"
tokens-consumed-header-name="header name"
tokens-consumed-variable-name="policy expression variable name" />
Ayarlayabileceğiniz birkaç öznitelik vardır, ancak en önemlileri şunlardır:
- counter-key: Belirteçleri saymak için kullanılacak anahtar. Bu değer bir abonelik anahtarı veya IP adresi olabilir.
- dakika başına belirteç sayısı: Dakika başına izin verilen belirteç sayısı.
- estimate-prompt-tokens: İstem belirteçlerinin tahmin edilip edilmeyeceği.
Azure OpenAI Yayma Belirteci Ölçüm İlkesi
Bu ilke, Azure OpenAI modellerini kullanan uygulamalarda belirteç kullanımınıayrıntılı izleme ve analiz etme gereksinimini giderir.
Kapsamlı ölçümler sağlayarak kuruluşlara yardımcı olur:
- Kaynak Ayırmayı en iyi duruma getirme: Belirteç tüketimini etkili bir şekilde anlayın ve yönetin.
- Karar Alma sürecini geliştirme: Ölçeklendirme ve kaynak yönetimi hakkında bilinçli kararlar almak için kullanım düzenleri hakkında içgörüler elde edin.
- Performans İzlemeyi Geliştirme: Olası sorunları önceden belirlemek ve gidermek için belirteç kullanımını izleme ve analiz etme
Yayma Belirteci Ölçüm İlkesi'ni kullanma
Bu ilkeyi kullanmak için api işleminin gelen işleme işlem hattına eklemeniz gerekir. XML'de şu şekilde kodlarsınız:
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
Aşağıda birkaç boyutun kullanıldığı bir örnek verilmiştir:
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
Yukarıdaki örnekte:
- ilke, Belirteç ölçümlerini Kullanıcı Kimliği, İstemci IP'si ve API Kimliği boyutlarıyla AzureOpenAI ad alanına yayacak şekilde yapılandırılır.
- İstemci IP boyutunun değeri, isteği yapan istemcinin IP adresine ayarlanır.
Şimdi bu ölçümleri bir panoda gösterebileceğinizi ve API'nizin kullanımını gerçek zamanlı olarak izleyebilebileceğinizi düşünün. Örneğin, belirli bir kullanıcı tarafından kaç belirteç kullanıldığını veya belirli bir API tarafından kaç belirteç kullanıldığını görebilirsiniz. Kaynaklarınızı iyileştirmenize ve ölçeklendirme ve kaynak yönetimi hakkında bilinçli kararlar vermenize yardımcı olabilecek bu güçlü özellik.