Freigeben über

Ausgeben von Metriken für den Verbrauch von Azure OpenAI-Token

  • Artikel

GILT FÜR: Alle API Management-Ebenen

Die Richtlinie azure-openai-emit-token-metric sendet Metriken an Application Insights über den Verbrauch großer Sprachmodelltoken über Azure OpenAI Service-APIs. Zu den Metriken für die Tokenanzahl gehören: Gesamttoken, Eingabeaufforderungstoken und Abschlusstoken.

Hinweis

Legen Sie die Elemente und untergeordneten Elemente einer Richtlinie in der Reihenfolge fest, die in der Richtlinienanweisung angegeben ist. Erfahren Sie mehr darüber, wie Sie API Management-Richtlinien festlegen oder bearbeiten.

Unterstützte Azure OpenAI Service-Modelle

Die Richtlinie wird mit APIs der folgenden Typen verwendet, die dem API Management aus dem Azure OpenAI Service hinzugefügt werden:

API-Typ Unterstützte Modelle
Chatvervollständigung gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Einbettungen text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Weitere Informationen finden Sie unter Azure OpenAI Service-Modelle.

Voraussetzungen

Richtlinienanweisung

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attribute

Attribut BESCHREIBUNG Erforderlich Standardwert
Namespace Eine Zeichenfolge. Namespace der Metrik Richtlinienausdrücke sind nicht zulässig. Nein API Management
value Der Wert der Metrik, ausgedrückt als Double Richtlinienausdrücke sind zulässig. Nein 1

Elemente

Element BESCHREIBUNG Erforderlich
Dimension Fügen Sie mindestens eines dieser Elemente für jede Dimension hinzu, die in der Metrik enthalten ist. Ja

Dimensionsattribute

attribute BESCHREIBUNG Erforderlich Standardwert
name Eine Zeichenfolge oder ein Richtlinienausdruck. Der Name der Dimension. Ja –
value Eine Zeichenfolge oder ein Richtlinienausdruck. Der Wert der Dimension. Kann nur ausgelassen werden, wenn name mit einer der Standarddimensionen übereinstimmt. In diesem Fall wird der Wert gemäß Dimensionsname bereitgestellt. Nein –

Namen von Standarddimensionen, die ohne Wert verwendet werden können

  • API-ID
  • Vorgangs-ID
  • Product ID
  • Benutzer-ID
  • Abonnement-ID
  • Location
  • Gateway-ID

Verbrauch

Hinweise zur Verwendung

  • Diese Richtlinie kann pro Richtliniendefinition mehrmals verwendet werden.
  • Sie können maximal 10 benutzerdefinierte Dimensionen für diese Richtlinie konfigurieren.
  • Diese Richtlinie kann optional konfiguriert werden, wenn eine API aus dem Azure OpenAI-Dienst über das Portal hinzugefügt wird.
  • Falls verfügbar, werden Werte im Verwendungsbereich der Antwort aus der Azure OpenAI-Dienst-API verwendet, um Tokenmetriken zu bestimmen.
  • Bestimmte Azure OpenAI-Endpunkte unterstützen das Streaming von Antworten. Wenn stream in der API-Anforderung zum Aktivieren des Streamings auf true festgelegt ist, werden Tokenmetriken geschätzt.

Beispiel

Im folgenden Beispiel werden die Metriken der Azure OpenAI-Tokenanzahl zusammen mit der Benutzer-ID, der Client-IP und der API-ID als Dimensionen an Application Insights gesendet.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Zugehöriger Inhalt

Weitere Informationen zum Arbeiten mit Richtlinien finden Sie hier: