Émettre des métriques pour la consommation de jetons Azure OpenAI

S’APPLIQUE À : tous les niveaux de Gestion des API

La stratégie azure-openai-emit-token-metric envoie des métriques à Application Insights sur la consommation de jetons d’un grand modèle de langage via les API Azure OpenAI Service. Les mesures du nombre de jetons incluent : nombre total de jetons, jetons d’invite et jetons de complétion.

Remarque

Définissez les éléments enfants et de stratégie dans l’ordre fourni dans l’instruction de stratégie. En savoir plus sur comment définir ou modifier des stratégies du service Gestion des API.

Prérequis

• Une ou plusieurs API Azure OpenAI Service doivent être ajoutées à votre instance Gestion des API. Pour obtenir plus d’informations, consultez Ajouter une API Azure OpenAI Service à la Gestion des API Azure.
• Votre instance Gestion des API doit être intégrée à Application Insights. Pour découvrir plus d’informations, voir Guide pratique pour intégrer la Gestion des API Azure avec Azure Application Insights.
• Activez la journalisation Application Insights pour vos API Azure OpenAI.
• Activez des métriques personnalisées avec des dimensions dans Application Insights. Pour obtenir plus d’informations, consultez Émettre des métriques personnalisées.

Instruction de la stratégie

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributs

Attribut	Description	Obligatoire	Valeur par défaut
namespace	Chaîne. Espace de noms de métrique. Les expressions de stratégie ne sont pas autorisées.	Non	Gestion des API
value	Valeur de la métrique exprimée en tant que double. Les expressions de stratégie sont autorisées.	Non	1

Éléments

Élément	Description	Obligatoire
dimension	Ajoutez un ou plusieurs de ces éléments pour chaque dimension incluse dans la métrique.	Oui

Attributs de dimensions

Attribut	Description	Obligatoire	Valeur par défaut
name	Chaîne ou expression de stratégie. Nom de la dimension	Oui	N/A
value	Chaîne ou expression de stratégie. Valeur de la dimension. Ne peut être omise que si name correspond à l’une des dimensions par défaut. Si c’est le cas, la valeur est fournie en fonction du nom de la dimension.	Non	N/A

Noms de dimension par défaut qui peuvent être utilisés sans valeur

• ID d’API
• ID de l'opération
• Product ID
• ID d'utilisateur
• Identifiant d’abonnement
• Emplacement
• ID de passerelle

Usage

• Sections de la stratégie : inbound
• Étendues de la stratégie : global, espace de travail, produit, API, opération
• Passerelles : classiques, v2

Notes d’utilisation

• Cette stratégie peut être utilisée plusieurs fois par définition de stratégie.
• Vous pouvez configurer au maximum 10 définitions personnalisées pour cette stratégie.
• Cette stratégie peut éventuellement être configurée lors de l’ajout d’une API à partir d’Azure OpenAI Service en utilisant le portail.

Exemple

L’exemple suivant envoie des métriques sur le nombre de jetons Azure OpenAI à Application Insights, ainsi que l’ID utilisateur, l’IP client et l’ID d’API comme dimensions.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Stratégies connexes

• Logging
• stratégie emit-metric
• stratégie azure-openai-token-limit

Contenu connexe

Pour plus d’informations sur l’utilisation des stratégies, consultez :

• Tutoriel : Transformer et protéger votre API
• Référence de stratégie pour obtenir la liste complète des instructions et des paramètres de stratégie
• Expressions de stratégie
• Définir ou modifier des stratégies
• Réutilisation de configurations de stratégie
• Référentiel d’extrait de stratégie
• Créer des stratégies à l’aide de Microsoft Copilot dans Azure