Udostępnij za pośrednictwem

Emituj metryki do użycia tokenów usługi Azure OpenAI

  • Artykuł

DOTYCZY: Wszystkie warstwy usługi API Management

Zasady azure-openai-emit-token-metric wysyła metryki do usługi Application Insights dotyczące użycia dużych tokenów modelu językowego za pośrednictwem interfejsów API usługi Azure OpenAI Service. Metryki liczby tokenów obejmują: Łączna liczba tokenów, Tokeny monitu i Tokeny ukończenia.

Uwaga

Ustaw elementy zasad i elementy podrzędne w kolejności podanej w instrukcji zasad. Dowiedz się więcej na temat ustawiania lub edytowania zasad usługi API Management.

Obsługiwane modele usługi Azure OpenAI Service

Zasady są używane z interfejsami API dodanymi do usługi API Management z poziomu usługi Azure OpenAI Service następujących typów:

Typ API Obsługiwane modele
Uzupełnianie czatu gpt-3.5

gpt-4
Zakończenie gpt-3.5-turbo-poinstruowanie
Osadzanie osadzanie tekstu —3 — duże

osadzanie tekstu — 3 małe

text-embedding-ada-002

Aby uzyskać więcej informacji, zobacz Modele usługi Azure OpenAI Service.

Wymagania wstępne

Instrukcja zasad

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atrybuty

Atrybut opis Wymagania Domyślna wartość
namespace Ciąg. Przestrzeń nazw metryki. Wyrażenia zasad nie są dozwolone. Nie. API Management
wartość Wartość metryki wyrażonej jako podwójna. Wyrażenia zasad są dozwolone. Nie. 1

Elementy

Element opis Wymagania
wymiar Dodaj co najmniej jeden z tych elementów dla każdego wymiaru uwzględnionego w metryce. Tak

atrybuty wymiaru

Atrybut opis Wymagania Domyślna wartość
name Ciąg lub wyrażenie zasad. Nazwa wymiaru. Tak Nie dotyczy
wartość Ciąg lub wyrażenie zasad. Wartość wymiaru. Można pominąć tylko wtedy, gdy name pasuje do jednego z wymiarów domyślnych. Jeśli tak, wartość jest podana jako nazwa wymiaru. Nie. Nie dotyczy

Domyślne nazwy wymiarów, które mogą być używane bez wartości

  • Identyfikator interfejsu API
  • Identyfikator operacji
  • Identyfikator produktu
  • Identyfikator użytkownika
  • Identyfikator subskrypcji
  • Lokalizacja
  • Identyfikator bramy

Użycie

Uwagi dotyczące użycia

  • Te zasady mogą być używane wiele razy na definicję zasad.
  • Dla tych zasad można skonfigurować co najwyżej 10 wymiarów niestandardowych.
  • Te zasady można opcjonalnie skonfigurować podczas dodawania interfejsu API z usługi Azure OpenAI Przy użyciu portalu.
  • Jeśli są dostępne, wartości w sekcji użycia odpowiedzi z interfejsu API usługi Azure OpenAI są używane do określania metryk tokenu.
  • Niektóre punkty końcowe usługi Azure OpenAI obsługują przesyłanie strumieniowe odpowiedzi. Jeśli stream parametr jest ustawiony true na wartość w żądaniu interfejsu API w celu włączenia przesyłania strumieniowego, szacowane są metryki tokenu.

Przykład

Poniższy przykład wysyła metryki liczby tokenów usługi Azure OpenAI do usługi Application Insights wraz z identyfikatorem użytkownika, adresem IP klienta i identyfikatorem interfejsu API jako wymiarami.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Powiązana zawartość

Aby uzyskać więcej informacji na temat pracy z zasadami, zobacz: