Dela via

Generera mått för användning av stora språkmodelltoken

  • Artikel

GÄLLER FÖR: Alla API Management-nivåer

Principen llm-emit-token-metric skickar anpassade mått till Application Insights om förbrukning av LLM-token (large language model) via LLM-API:er. Mått för antal token är: Totalt antal token, prompttoken och slutförandetoken.

Kommentar

För närvarande finns den här principen i förhandsversion.

Kommentar

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Modeller som stöds

Använd principen med LLM-API:er som lagts till i Azure API Management som är tillgängliga via Azure AI Model Inference API.

Gränser för anpassade mått

Azure Monitor inför användningsgränser för anpassade mått som kan påverka din möjlighet att generera mått från API Management. Azure Monitor anger till exempel för närvarande en gräns på 10 dimensionsnycklar per mått och en gräns på 50 000 totala aktiva tidsserier per region i en prenumeration (inom en 12-timmarsperiod).

Dessa gränser har följande konsekvenser för att konfigurera anpassade mått i en API Management-princip som emit-metric eller azure-openai-emit-token-metric:

  • Du kan konfigurera högst 10 anpassade dimensioner per princip.

  • Antalet aktiva tidsserier som genereras av principen inom en 12-timmarsperiod är produkten av antalet unika värden för varje konfigurerad dimension under perioden. Om till exempel tre anpassade dimensioner konfigurerades i principen och varje dimension hade 10 möjliga värden inom perioden, skulle principen bidra med 1 000 aktiva tidsserier (10 x 10 x 10).

  • Om du konfigurerar principen i flera API Management-instanser som finns i samma region i en prenumeration kan alla instanser bidra till den regionala gränsen för aktiva tidsserier.

Läs mer om designbegränsningar och överväganden för anpassade mått i Azure Monitor.

Förutsättningar

Principuttryck

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attribut

Attribut beskrivning Obligatoriskt Standardvärde
namnområde En sträng. Måttets namnområde. Principuttryck tillåts inte. Nej API Management

Element

Element Description Obligatoriskt
dimension Lägg till ett eller flera av dessa element för varje dimension som ingår i måttet. Ja

dimensionsattribut

Attribut beskrivning Obligatoriskt Standardvärde
name Ett sträng- eller principuttryck. Dimensionens namn. Ja Ej tillämpligt
värde Ett sträng- eller principuttryck. Dimensionens värde. Kan bara utelämnas om name matchar en av standarddimensionerna. I så fall anges värdet enligt dimensionsnamnet. Nej Ej tillämpligt

Standarddimensionsnamn som kan användas utan värde

  • API-ID
  • Åtgärds-ID
  • Produkt-ID
  • Användar-ID
  • Prenumerations-ID:t
  • Plats
  • Gateway-ID

Användning

Användningsanteckningar

  • Den här principen kan användas flera gånger per principdefinition.
  • Du kan konfigurera högst 10 anpassade dimensioner för den här principen.
  • När det är tillgängligt används värden i användningsavsnittet i svaret från LLM-API:et för att fastställa tokenmått.
  • Vissa LLM-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas tokenmått.

Exempel

I följande exempel skickas mått för ANTAL LLM-token till Application Insights tillsammans med API-ID som en anpassad dimension.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Relaterat innehåll

Mer information om hur du arbetar med principer finns i: