Partager via

Émettre des mesures pour la consommation de jetons de grands modèles de langage

S’APPLIQUE À : Tous les niveaux de Gestion des API

La stratégie llm-emit-token-metric envoie des métriques personnalisées à Application Insights sur la consommation de jetons de grands modèles de langage (LLM) via des API LLM. Les mesures du nombre de jetons incluent : nombre total de jetons, jetons d’invite et jetons de complétion.

Note

Définissez les éléments enfants et de stratégie dans l’ordre fourni dans l’instruction de stratégie. En savoir plus sur comment définir ou modifier des stratégies du service Gestion des API.

Supported models

Utilisez la stratégie avec les API LLM ajoutées à Gestion des API Azure qui sont disponibles via l’API d’inférence du modèle Azure AI ou avec des modèles compatibles OpenAI pris en charge par le biais de fournisseurs d’inférence tiers.

Limites pour les métriques personnalisées

Azure Monitor impose des limites d’utilisation pour les métriques personnalisées qui peuvent affecter votre capacité à émettre des métriques à partir de Gestion des API. Par exemple, Azure Monitor définit actuellement une limite de 10 clés de dimension par métrique et une limite de 50 000 séries chronologiques actives totales par région dans un abonnement (dans une période de 12 heures). Dans Gestion des API, 5 d’entre elles sont utilisées pour les dimensions par défaut, notamment les suivantes :

  • Region
  • Service ID
  • Service Name
  • Service Type

Ces limites ont les implications suivantes pour la configuration des métriques personnalisées dans une stratégie de gestion des API telle que emit-metric ou azure-openai-emit-token-metric :

  • Vous pouvez configurer un maximum de 5 dimensions personnalisées par stratégie.

  • Le nombre de séries chronologiques actives générées par la stratégie dans une période de 12 heures est le produit du nombre de valeurs uniques de chaque dimension configurée au cours de la période. Par exemple, si trois dimensions personnalisées ont été configurées dans la stratégie et que chaque dimension a 10 valeurs possibles au cours de la période, la stratégie contribuera à 1 000 (10 x 10 x 10) séries chronologiques actives.

  • Si vous configurez la stratégie dans plusieurs instances Gestion des API qui se trouvent dans la même région d’un abonnement, toutes les instances peuvent contribuer à la limite des séries chronologiques actives régionales.

Découvrez plus en détail les limitations et considérations relatives à la conception de métriques personnalisées dans Azure Monitor.

Prerequisites

Policy statement

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Default value
namespace A string. Espace de noms de métrique. Les expressions de stratégie ne sont pas autorisées. No API Management

Elements

Element Description Required
dimension Ajoutez un ou plusieurs de ces éléments pour chaque dimension incluse dans la métrique. Yes

Dimension attributes

Attribute Description Required Default value
name Chaîne ou expression de stratégie. Nom de la dimension Yes N/A
value Chaîne ou expression de stratégie. Valeur de la dimension. Ne peut être omise que si name correspond à l’une des dimensions par défaut. Si c’est le cas, la valeur est fournie en fonction du nom de la dimension. No N/A

Noms de dimension par défaut qui peuvent être utilisés sans valeur

  • API ID
  • Operation ID
  • Product ID
  • User ID
  • Subscription ID
  • Location
  • Gateway ID
  • Backend ID

Usage

Usage notes

  • Cette stratégie peut être utilisée plusieurs fois par définition de stratégie.
  • Vous pouvez configurer au maximum 5 dimensions personnalisées pour cette stratégie.
  • Lorsqu’elles sont disponibles, les valeurs indiquées dans la section d’utilisation de la réponse de l’API LLM sont utilisées pour déterminer les mesures de jeton.
  • Certains points de terminaison LLM prennent en charge la diffusion en continu des réponses. Quand stream est défini sur true dans la requête d’API pour activer le streaming, les métriques de jeton sont estimées.

Example

L’exemple suivant envoie des métriques de nombre de jetons LLM à Application Insights, ainsi qu’un ID d’API comme dimension par défaut.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Related content

Pour plus d’informations sur l’utilisation des stratégies, consultez :

  • Last updated on