Aracılığıyla paylaş

Azure OpenAI belirteçlerinin tüketimi için ölçümleri yayma

  • Makale

UYGULANANLAR: Tüm API Management katmanları

İlke, Azure OpenAI Hizmeti API'leri azure-openai-emit-token-metric aracılığıyla büyük dil modeli belirteçlerinin tüketimiyle ilgili ölçümleri Application Insights'a gönderir. Belirteç sayısı ölçümleri şunlardır: Toplam Belirteçler, İstem Belirteçleri ve Tamamlama Belirteçleri.

Not

İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.

Desteklenen Azure OpenAI Hizmeti modelleri

İlke, Aşağıdaki türlerdeki Azure OpenAI Hizmeti'nden API Management'a eklenen API'lerle birlikte kullanılır:

API türü Desteklenen modeller
Sohbet tamamlama gpt-3.5

gpt-4
Tamamlama gpt-3.5-turbo-instruct
Eklemeler metin ekleme-3-büyük

metin ekleme-3-küçük

metin ekleme-ada-002

Daha fazla bilgi için Azure OpenAI Service modelleri konusuna bakın.

Önkoşullar

  • API Management örneğinize bir veya daha fazla Azure OpenAI Hizmeti API'si eklenmelidir. Daha fazla bilgi için bkz . Azure API Management'a Azure OpenAI Hizmeti API'sini ekleme.
  • API Management örneğinizin Application Insights ile tümleştirilmesi gerekir. Daha fazla bilgi için bkz. Azure API Management'ı Azure Uygulaması lication Insights ile tümleştirme.
  • Azure OpenAI API'leriniz için Application Insights günlüğünü etkinleştirin.
  • Application Insights'ta boyutlarla özel ölçümleri etkinleştirin. Daha fazla bilgi için bkz . Özel ölçümleri yayma.

İlke bildirimi

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Özellikler

Öznitelik Açıklama Gerekli Default value
ad alanı Bir dize. Ölçümün ad alanı. İlke ifadelerine izin verilmez. Hayır API Management
değer İkili olarak ifade edilen ölçümün değeri. İlke ifadelerine izin verilir. Hayır 1

Öğeler

Öğe Açıklama Gerekli
boyut Ölçüme dahil edilen her boyut için bu öğelerden bir veya daha fazlasını ekleyin. Yes

boyut öznitelikleri

Öznitelik Açıklama Gerekli Default value
Adı Dize veya ilke ifadesi. Boyut adı. Yes Yok
değer Dize veya ilke ifadesi. Boyut değeri. Yalnızca varsayılan boyutlardan biriyle eşleşiyorsa name atlanabilir. Bu durumda, boyut adına göre değer sağlanır. Hayır YOK

Değer olmadan kullanılabilecek varsayılan boyut adları

  • API Kimliği
  • İşlem Kimliği
  • Ürün Kimliği
  • Kullanıcı kimliği
  • Subscription ID
  • Konum
  • Ağ Geçidi Kimliği

Kullanım

Kullanım notları

  • Bu ilke, ilke tanımı başına birden çok kez kullanılabilir.
  • Bu ilke için en fazla 10 özel boyut yapılandırabilirsiniz.
  • Bu ilke, portal kullanılarak Azure OpenAI Hizmetinden api eklenirken isteğe bağlı olarak yapılandırılabilir.
  • Kullanılabilir durumlarda, belirteç ölçümlerini belirlemek için Azure OpenAI Hizmeti API'sinden gelen yanıtın kullanım bölümündeki değerler kullanılır.
  • Bazı Azure OpenAI uç noktaları yanıtların akışını destekler. stream Akışı etkinleştirmek için true API isteğinde olarak ayarlandığında belirteç ölçümleri tahmin edilir.

Örnek

Aşağıdaki örnek, Azure OpenAI belirteç sayısı ölçümlerini Application Insights'a kullanıcı kimliği, İstemci IP'si ve API kimliği ile birlikte boyut olarak gönderir.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

İlgili içerik

İlkelerle çalışma hakkında daha fazla bilgi için bkz: