Metrische gegevens verzenden voor het verbruik van Azure OpenAI-tokens

VAN TOEPASSING OP: Alle API Management-lagen

Het azure-openai-emit-token-metric beleid verzendt metrische gegevens naar Application Insights over het verbruik van tokens voor grote talen via Azure OpenAI-service-API's. Metrische tokenaantallen zijn onder andere: Totaaltokens, prompttokens en voltooiingstokens.

Notitie

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Vereisten

• Een of meer Azure OpenAI Service-API's moeten worden toegevoegd aan uw API Management-exemplaar. Zie Een Azure OpenAI-service-API toevoegen aan Azure API Management voor meer informatie.
• Uw API Management-exemplaar moet worden geïntegreerd met Application Insights. Zie Azure API Management integreren met Azure-toepassing Insights voor meer informatie.
• Schakel Application Insights-logboekregistratie in voor uw Azure OpenAI-API's.
• Schakel aangepaste metrische gegevens in met dimensies in Application Insights. Zie Aangepaste metrische gegevens verzenden voor meer informatie.

Beleidsinstructie

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Kenmerken

Kenmerk	Beschrijving	Vereist	Default value
naamruimte	Een tekenreeks. Naamruimte van metrische gegevens. Beleidsexpressies zijn niet toegestaan.	Nee	API Management
waarde	De waarde van metrische gegevens uitgedrukt als een dubbele waarde. Beleidsexpressies zijn toegestaan.	Nee	1

Elementen

Element	Beschrijving	Vereist
dimensie	Voeg een of meer van deze elementen toe voor elke dimensie die is opgenomen in de metrische waarde.	Ja

dimensiekenmerken

Kenmerk	Beschrijving	Vereist	Default value
naam	Een tekenreeks of beleidsexpressie. Naam van dimensie.	Ja	N.v.t.
waarde	Een tekenreeks of beleidsexpressie. Waarde van dimensie. Kan alleen worden weggelaten als deze overeenkomt met name een van de standaarddimensies. Als dat het zo is, wordt de waarde opgegeven volgens de dimensienaam.	Nee	N.v.t.

Standaarddimensienamen die zonder waarde kunnen worden gebruikt

• API-id
• Bewerkings-id
• Product-id
• Gebruikers-id
• Abonnements-id
• Locatie
• Gateway-id

Gebruik

• Beleidssecties: inkomend
• Beleidsbereik: globaal, werkruimte, product, API, bewerking
• Gateways: klassiek, v2

Gebruiksnotities

• Dit beleid kan meerdere keren per beleidsdefinitie worden gebruikt.
• U kunt maximaal 10 aangepaste definities voor dit beleid configureren.
• Dit beleid kan eventueel worden geconfigureerd bij het toevoegen van een API vanuit de Azure OpenAI-service met behulp van de portal.

Opmerking

In het volgende voorbeeld worden metrische gegevens over het aantal Azure OpenAI-token verzonden naar Application Insights, samen met gebruikers-id, client-IP en API-id als dimensies.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Gerelateerd beleid

• Logboekregistratie
• beleid voor verzenden metrische gegevens
• beleid voor azure-openai-token-limit

Gerelateerde inhoud

Zie voor meer informatie over het werken met beleid:

• Zelfstudie: Uw API transformeren en beveiligen
• Beleidsreferentie voor een volledige lijst met beleidsinstructies en hun instellingen
• Beleidsexpressies
• Beleid instellen of bewerken
• Beleidsconfiguraties opnieuw gebruiken
• Beleidsfragmentenopslagplaats
• Beleid ontwerpen met Behulp van Microsoft Copilot voor Azure