Partager via

Émettre des métriques pour la consommation de jetons Azure OpenAI

  • Article

S’APPLIQUE À : Tous les niveaux de Gestion des API

La stratégie azure-openai-emit-token-metric envoie des métriques personnalisées à Application Insights sur la consommation de jetons de grand modèle de langage via les API d’Azure OpenAI Service. Les mesures du nombre de jetons incluent : nombre total de jetons, jetons d’invite et jetons de complétion.

Remarque

Définissez les éléments enfants et de stratégie dans l’ordre fourni dans l’instruction de stratégie. En savoir plus sur comment définir ou modifier des stratégies du service Gestion des API.

Modèles Azure OpenAI Service pris en charge

La stratégie est utilisée avec les API ajoutées à Gestion des API à partir de Azure OpenAI Service des types suivants :

Type de l’API Modèles pris en charge
Saisie semi-automatique de la conversation gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporations text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Pour plus d’informations, consultez Gérer les Modèles Azure OpenAI Service.

Limites pour les métriques personnalisées

Azure Monitor impose des limites d’utilisation pour les métriques personnalisées qui peuvent affecter votre capacité à émettre des métriques à partir de Gestion des API. Par exemple, Azure Monitor définit actuellement une limite de 10 clés de dimension par métrique et une limite de 50 000 séries chronologiques actives totales par région dans un abonnement (dans une période de 12 heures).

Ces limites ont les implications suivantes pour la configuration des métriques personnalisées dans une stratégie de gestion des API telle que emit-metric ou azure-openai-emit-token-metric :

  • Vous pouvez configurer un maximum de 10 dimensions personnalisées par stratégie .

  • Le nombre de séries chronologiques actives générées par la stratégie dans une période de 12 heures est le produit du nombre de valeurs uniques de chaque dimension configurée au cours de la période. Par exemple, si trois dimensions personnalisées ont été configurées dans la stratégie et que chaque dimension a 10 valeurs possibles au cours de la période, la stratégie contribuera à 1 000 (10 x 10 x 10) séries chronologiques actives.

  • Si vous configurez la stratégie dans plusieurs instances Gestion des API qui se trouvent dans la même région d’un abonnement, toutes les instances peuvent contribuer à la limite des séries chronologiques actives régionales.

Découvrez plus en détail les limitations et considérations relatives à la conception de métriques personnalisées dans Azure Monitor.

Prérequis

Instruction de la stratégie

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributs

Attribut Description Obligatoire Valeur par défaut
namespace Chaîne. Espace de noms de métrique. Les expressions de stratégie ne sont pas autorisées. Non Gestion des API

Éléments

Élément Description Obligatoire
dimension Ajoutez un ou plusieurs de ces éléments pour chaque dimension incluse dans la métrique. Oui

Attributs de dimensions

Attribut Description Obligatoire Valeur par défaut
name Chaîne ou expression de stratégie. Nom de la dimension Oui N/A
value Chaîne ou expression de stratégie. Valeur de la dimension. Ne peut être omise que si name correspond à l’une des dimensions par défaut. Si c’est le cas, la valeur est fournie en fonction du nom de la dimension. Non N/A

Noms de dimension par défaut qui peuvent être utilisés sans valeur

  • ID d’API
  • ID de l'opération
  • Product ID
  • ID d'utilisateur
  • Identifiant d’abonnement
  • Emplacement
  • ID de passerelle

Usage

Notes d’utilisation

  • Cette stratégie peut être utilisée plusieurs fois par définition de stratégie.
  • Vous pouvez configurer au maximum 10 dimensions personnalisées pour cette stratégie.
  • Cette stratégie peut éventuellement être configurée lors de l’ajout d’une API à partir de Azure OpenAI Service à l’aide du portail.
  • Lorsqu’elles sont disponibles, les valeurs indiquées dans la section d’utilisation de la réponse de l’API du service Azure OpenAI sont utilisées pour déterminer les métriques de jeton.
  • Certains points de terminaison Azure OpenAI prennent en charge la diffusion en continu des réponses. Quand stream est défini sur true dans la requête d’API pour activer le streaming, les métriques de jeton sont estimées.

Exemple

L’exemple suivant envoie des métriques de décompte de jetons Azure OpenAI à Application Insights avec l’ID d’API en tant que dimension personnalisée.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Contenu connexe

Pour plus d’informations sur l’utilisation des stratégies, consultez :