Aracılığıyla paylaş

Büyük dil modeli belirteçlerinin tüketimi için ölçümleri yayma

UYGULANANLAR: Tüm API Management katmanları

İlke, LLM API'leri llm-emit-token-metric aracılığıyla büyük dil modeli (LLM) belirteçlerinin kullanımı hakkında Application Insights'a özel ölçümler gönderir. Belirteç sayısı ölçümleri şunlardır: Toplam Belirteçler, İstem Belirteçleri ve Tamamlama Belirteçleri.

Note

İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.

Supported models

İlkeyi, Azure AI Model Çıkarım API'siyle veya üçüncü taraf çıkarım sağlayıcıları aracılığıyla sunulan OpenAI uyumlu modellerle kullanılabilen Azure API Management'a eklenen LLM API'leri ile kullanın.

Özel ölçümler için sınırlar

Azure İzleyici, API Management'tan ölçüm yayma yeteneğinizi etkileyebilecek özel ölçümler için kullanım sınırları uygular. Örneğin, Azure İzleyici şu anda ölçüm başına 10 boyut anahtarı sınırı ve abonelikteki bölge başına toplam etkin zaman serisi sayısı (12 saatlik bir süre içinde) 50.000 sınırı ayarlar. API Management'ta, aşağıdakiler dahil olmak üzere varsayılan boyutlar için bunlardan 5'i kullanılır:

  • Region
  • Service ID
  • Service Name
  • Service Type

Bu sınırlar, veya emit-metricgibi azure-openai-emit-token-metric bir API Management ilkesinde özel ölçümleri yapılandırmaya yönelik aşağıdaki etkilere sahiptir:

  • İlke başına en fazla 5 özel boyut yapılandırabilirsiniz.

  • İlke tarafından 12 saatlik bir süre içinde oluşturulan etkin zaman serisi sayısı, dönem içinde yapılandırılan her boyutun benzersiz değer sayısının çarpımdır. Örneğin, ilkede üç özel boyut yapılandırıldıysa ve her boyut dönem içinde 10 olası değere sahipse, ilke 1.000 (10 x 10 x 10) etkin zaman serisine katkıda bulunur.

  • İlkeyi bir abonelikte aynı bölgede bulunan birden çok API Management örneğinde yapılandırdığınızda, tüm örnekler bölgesel etkin zaman serisi sınırına katkıda bulunabilir.

Azure İzleyici'de özel ölçümler için tasarım sınırlamaları ve dikkat edilmesi gerekenler hakkında daha fazla bilgi edinin.

Prerequisites

  • API Management örneğinize bir veya daha fazla LLM API'si eklenmelidir.
  • API Management örneğinizin Application Insights ile tümleştirilmesi gerekir. Daha fazla bilgi için bkz. Azure API Management'ı Azure Uygulaması lication Insights ile tümleştirme.
  • LLM API'leriniz için Application Insights günlüğünü etkinleştirin.
  • Application Insights'ta boyutlarla özel ölçümleri etkinleştirin. Daha fazla bilgi için bkz . Özel ölçümleri yayma.

Policy statement

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Default value
namespace A string. Ölçümün ad alanı. İlke ifadelerine izin verilmez. No API Management

Elements

Element Description Required
dimension Ölçüme dahil edilen her boyut için bu öğelerden bir veya daha fazlasını ekleyin. Yes

Dimension attributes

Attribute Description Required Default value
name Dize veya ilke ifadesi. Boyut adı. Yes N/A
value Dize veya ilke ifadesi. Boyut değeri. Yalnızca varsayılan boyutlardan biriyle eşleşiyorsa name atlanabilir. Bu durumda, boyut adına göre değer sağlanır. No N/A

Değer olmadan kullanılabilecek varsayılan boyut adları

  • API ID
  • Operation ID
  • Product ID
  • User ID
  • Subscription ID
  • Location
  • Gateway ID
  • Backend ID

Usage

Usage notes

  • Bu ilke, ilke tanımı başına birden çok kez kullanılabilir.
  • Bu ilke için en fazla 5 özel boyut yapılandırabilirsiniz.
  • Kullanılabilir durumda, LLM API'sinden gelen yanıtın kullanım bölümündeki değerler belirteç ölçümlerini belirlemek için kullanılır.
  • Bazı LLM uç noktaları yanıtların akışını destekler. stream Akışı etkinleştirmek için true API isteğinde olarak ayarlandığında belirteç ölçümleri tahmin edilir.

Example

Aşağıdaki örnek, VARSAYıLAN boyut olarak API Kimliği ile birlikte LLM belirteç sayısı ölçümlerini Application Insights'a gönderir.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Related content

İlkelerle çalışma hakkında daha fazla bilgi için bkz:

  • Last updated on