Dela via

Generera mått för förbrukning av Azure OpenAI-token

  • Artikel

GÄLLER FÖR: Alla API Management-nivåer

Principen azure-openai-emit-token-metric skickar mått till Application Insights om förbrukning av stora språkmodelltoken via Azure OpenAI Service-API:er. Mått för antal token är: Totalt antal token, prompttoken och slutförandetoken.

Kommentar

Ange principens element och underordnade element i den ordning som anges i principbeskrivningen. Läs mer om hur du anger eller redigerar API Management-principer.

Azure OpenAI-tjänstmodeller som stöds

Principen används med API:er som lagts till i API Management från Azure OpenAI-tjänsten av följande typer:

API-typ Modeller som stöds
Chatten har slutförts gpt-3.5

gpt-4
Fullbordande gpt-3.5-turbo-instruct
Inbäddningar text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Mer information finns i Azure OpenAI Service-modeller.

Förutsättningar

Principuttryck

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attribut

Attribut beskrivning Obligatoriskt Standardvärde
namnområde En sträng. Måttets namnområde. Principuttryck tillåts inte. Nej API Management
värde Värdet för mått uttryckt som en dubbel. Principuttryck tillåts. Nej 1

Element

Element Description Obligatoriskt
dimension Lägg till ett eller flera av dessa element för varje dimension som ingår i måttet. Ja

dimensionsattribut

Attribut beskrivning Obligatoriskt Standardvärde
name Ett sträng- eller principuttryck. Dimensionens namn. Ja Ej tillämpligt
värde Ett sträng- eller principuttryck. Dimensionens värde. Kan bara utelämnas om name matchar en av standarddimensionerna. I så fall anges värdet enligt dimensionsnamnet. Nej Ej tillämpligt

Standarddimensionsnamn som kan användas utan värde

  • API-ID
  • Åtgärds-ID
  • Produkt-ID
  • Användar-ID
  • Prenumerations-ID:t
  • Plats
  • Gateway-ID

Användning

Användningsanteckningar

  • Den här principen kan användas flera gånger per principdefinition.
  • Du kan konfigurera högst 10 anpassade dimensioner för den här principen.
  • Du kan också konfigurera den här principen när du lägger till ett API från Azure OpenAI-tjänsten med hjälp av portalen.
  • När det är tillgängligt används värden i användningsavsnittet i svaret från Azure OpenAI Service-API:et för att fastställa tokenmått.
  • Vissa Azure OpenAI-slutpunkter stöder strömning av svar. När stream anges till true i API-begäran för att aktivera strömning beräknas tokenmått.

Exempel

I följande exempel skickas mått för antal Azure OpenAI-token till Application Insights tillsammans med användar-ID, klient-IP och API-ID som dimensioner.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Relaterat innehåll

Mer information om hur du arbetar med principer finns i: