Dela via

Generera mått för förbrukning av Azure OpenAI-token

  • Artikel

GÄLLER FÖR: Alla API Management-nivåer

Principen azure-openai-emit-token-metric skickar anpassade mått till Application Insights om förbrukning av stora språkmodelltoken via Azure OpenAI Service-API:er. Mått för antal token är: Totalt antal token, prompttoken och slutförandetoken.

Kommentar

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Azure OpenAI-tjänstmodeller som stöds

Principen används med API:er som lagts till i API Management från Azure OpenAI-tjänsten av följande typer:

API-typ Modeller som stöds
Chatten har slutförts gpt-3.5

gpt-4
Fullbordande gpt-3.5-turbo-instruct
Inbäddningar text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Mer information finns i Azure OpenAI Service-modeller.

Gränser för anpassade mått

Azure Monitor inför användningsgränser för anpassade mått som kan påverka din möjlighet att generera mått från API Management. Azure Monitor anger till exempel för närvarande en gräns på 10 dimensionsnycklar per mått och en gräns på 50 000 totala aktiva tidsserier per region i en prenumeration (inom en 12-timmarsperiod).

Dessa gränser har följande konsekvenser för att konfigurera anpassade mått i en API Management-princip som emit-metric eller azure-openai-emit-token-metric:

  • Du kan konfigurera högst 10 anpassade dimensioner per princip.

  • Antalet aktiva tidsserier som genereras av principen inom en 12-timmarsperiod är produkten av antalet unika värden för varje konfigurerad dimension under perioden. Om till exempel tre anpassade dimensioner konfigurerades i principen och varje dimension hade 10 möjliga värden inom perioden, skulle principen bidra med 1 000 aktiva tidsserier (10 x 10 x 10).

  • Om du konfigurerar principen i flera API Management-instanser som finns i samma region i en prenumeration kan alla instanser bidra till den regionala gränsen för aktiva tidsserier.

Läs mer om designbegränsningar och överväganden för anpassade mått i Azure Monitor.

Förutsättningar

Principuttryck

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attribut

Attribut beskrivning Obligatoriskt Standardvärde
namnområde En sträng. Måttets namnområde. Principuttryck tillåts inte. Nej API Management

Element

Element Description Obligatoriskt
dimension Lägg till ett eller flera av dessa element för varje dimension som ingår i måttet. Ja

dimensionsattribut

Attribut beskrivning Obligatoriskt Standardvärde
name Ett sträng- eller principuttryck. Dimensionens namn. Ja Ej tillämpligt
värde Ett sträng- eller principuttryck. Dimensionens värde. Kan bara utelämnas om name matchar en av standarddimensionerna. I så fall anges värdet enligt dimensionsnamnet. Nej Ej tillämpligt

Standarddimensionsnamn som kan användas utan värde

  • API-ID
  • Åtgärds-ID
  • Produkt-ID
  • Användar-ID
  • Prenumerations-ID:t
  • Plats
  • Gateway-ID

Användning

Användningsanteckningar

  • Den här principen kan användas flera gånger per principdefinition.
  • Du kan konfigurera högst 10 anpassade dimensioner för den här principen.
  • Du kan också konfigurera den här principen när du lägger till ett API från Azure OpenAI-tjänsten med hjälp av portalen.
  • När det är tillgängligt används värden i användningsavsnittet i svaret från Azure OpenAI Service-API:et för att fastställa tokenmått.
  • Vissa Azure OpenAI-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas tokenmått.

Exempel

I följande exempel skickas mått för antal Azure OpenAI-token till Application Insights tillsammans med API-ID som en anpassad dimension.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Relaterat innehåll

Mer information om hur du arbetar med principer finns i: