Delen via

Metrische gegevens verzenden voor het verbruik van Azure OpenAI-tokens

  • Artikel

VAN TOEPASSING OP: Alle API Management-lagen

Het azure-openai-emit-token-metric beleid verzendt aangepaste metrische gegevens naar Application Insights over het verbruik van tokens voor grote taalmodellen via Azure OpenAI-service-API's. Metrische tokenaantallen zijn onder andere: Totaaltokens, prompttokens en voltooiingstokens.

Notitie

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Ondersteunde Azure OpenAI Service-modellen

Het beleid wordt gebruikt met API's die zijn toegevoegd aan API Management vanuit de Azure OpenAI-service van de volgende typen:

API-type Ondersteunde modellen
Chatvoltooiing gpt-3.5

gpt-4
Voltooiing gpt-3.5-turbo-instruct
Insluitingen tekst-insluiten-3-groot

tekst-insluiten-3-klein

tekst-insluiten-ada-002

Zie Azure OpenAI Service-modellen voor meer informatie.

Limieten voor aangepaste metrische gegevens

Azure Monitor legt gebruikslimieten op voor aangepaste metrische gegevens die van invloed kunnen zijn op uw mogelijkheid om metrische gegevens uit API Management te verzenden. Azure Monitor stelt bijvoorbeeld momenteel een limiet van 10 dimensiesleutels per metrische waarde in en een limiet van 50.000 totale actieve tijdreeksen per regio in een abonnement (binnen een periode van 12 uur).

Deze limieten hebben de volgende gevolgen voor het configureren van aangepaste metrische gegevens in een API Management-beleid, zoals emit-metric of azure-openai-emit-token-metric:

  • U kunt maximaal 10 aangepaste dimensies per beleid configureren.

  • Het aantal actieve tijdreeksen dat door het beleid binnen een periode van 12 uur wordt gegenereerd, is het product van het aantal unieke waarden van elke geconfigureerde dimensie gedurende de periode. Als er bijvoorbeeld drie aangepaste dimensies zijn geconfigureerd in het beleid en elke dimensie 10 mogelijke waarden binnen de periode had, zou het beleid 1000 (10 x 10 x 10) actieve tijdreeksen bijdragen.

  • Als u het beleid configureert in meerdere API Management-exemplaren die zich in dezelfde regio in een abonnement bevinden, kunnen alle exemplaren bijdragen aan de regionale limiet voor actieve tijdreeksen.

Meer informatie over ontwerpbeperkingen en overwegingen voor aangepaste metrische gegevens in Azure Monitor.

Vereisten

Beleidsinstructie

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Kenmerken

Kenmerk Beschrijving Vereist Default value
naamruimte Een tekenreeks. Naamruimte van metrische gegevens. Beleidsexpressies zijn niet toegestaan. Nee API Management

Elementen

Element Beschrijving Vereist
dimensie Voeg een of meer van deze elementen toe voor elke dimensie die is opgenomen in de metrische waarde. Ja

dimensiekenmerken

Kenmerk Beschrijving Vereist Default value
naam Een tekenreeks of beleidsexpressie. Naam van dimensie. Ja N.v.t.
waarde Een tekenreeks of beleidsexpressie. Waarde van dimensie. Kan alleen worden weggelaten als deze overeenkomt met name een van de standaarddimensies. Als dat het zo is, wordt de waarde opgegeven volgens de dimensienaam. Nee N.v.t.

Standaarddimensienamen die zonder waarde kunnen worden gebruikt

  • API-id
  • Bewerkings-id
  • Product-id
  • Gebruikers-id
  • Abonnements-id
  • Locatie
  • Gateway-id

Gebruik

Gebruiksnotities

  • Dit beleid kan meerdere keren per beleidsdefinitie worden gebruikt.
  • U kunt maximaal 10 aangepaste dimensies voor dit beleid configureren.
  • Dit beleid kan eventueel worden geconfigureerd bij het toevoegen van een API vanuit de Azure OpenAI-service met behulp van de portal.
  • Waar beschikbaar worden waarden in het gebruiksgedeelte van het antwoord van de Azure OpenAI Service-API gebruikt om metrische tokengegevens te bepalen.
  • Bepaalde Azure OpenAI-eindpunten ondersteunen het streamen van antwoorden. Wanneer stream deze is ingesteld true op in de API-aanvraag om streaming in te schakelen, worden de metrische tokengegevens geschat.

Opmerking

In het volgende voorbeeld worden metrische gegevens over het aantal Azure OpenAI-tokens naar Application Insights samen met de API-id als een aangepaste dimensie verzonden.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Gerelateerde inhoud

Zie voor meer informatie over het werken met beleid: