Emisión de métricas para el consumo de tokens de Azure OpenAI

SE APLICA A: todos los niveles de API Management

La directiva de azure-openai-emit-token-metric envía métricas a Application Insights sobre el consumo de tokens de modelo de lenguaje grande a través de las API del Azure OpenAI Service. Las métricas de recuento de tokens incluyen: Tokens totales, Tokens de solicitud y Tokens de finalización.

Nota:

Establezca los elementos de la directiva y los elementos secundarios en el orden proporcionado en la instrucción de directiva. Obtenga más información sobre el establecimiento o modificación de directivas de API Management.

Requisitos previos

• Se deben agregar una o varias API de Azure OpenAI Service a la instancia de API Management. Para más información, consulte Incorporación de una API de Azure OpenAI Service a Azure API Management.
• La instancia de API Management debe integrarse con Application Insights. Para más información, consulte Integración de Azure API Management con Azure Application Insights.
• Habilite el registro de Application Insights para las API de Azure OpenAI.
• Habilite métricas personalizadas con dimensiones en Application Insights. Para obtener más información, consulte Emisión de métricas personalizadas.

Instrucción de la directiva

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributos

Atributo	Descripción	Obligatorio	Valor predeterminado
espacio de nombres	Una cadena. Espacio de nombres de la métrica. No se permiten expresiones de directiva.	No	API Management
value	Valor de la métrica expresada como un doble. Se permiten expresiones de directiva.	No	1

Elementos

Elemento	Descripción	Obligatorio
dimensión	Agregue uno o varios de estos elementos para cada dimensión incluida en la métrica.	Sí

Atributos de dimensión

Atributo	Descripción	Obligatorio	Valor predeterminado
name	Una cadena o expresión de directiva. Nombre de la dimensión.	Sí	N/D
value	Una cadena o expresión de directiva. Valor de la dimensión. Solo se puede omitir si name coincide con una de las dimensiones predeterminadas. Si es así, el valor se proporciona según el nombre de la dimensión.	No	N/D

Nombres de las dimensiones predeterminadas que se pueden usar sin valor

• Id. de API
• Id. de operación
• Product ID
• Identificador de usuario
• Id. de suscripción
• Location
• Id. de puerta de enlace

Uso

• Secciones de la directiva: inbound (entrada)
• Ámbitos de la directiva: global, área de trabajo, producto, API, operación
• Puertas de enlace: clásica, v2

Notas de uso

• Esta directiva se puede usar varias veces por definición de directiva.
• Puede configurar como máximo 10 definiciones personalizadas para esta directiva.
• Esta directiva se puede configurar opcionalmente al agregar una API desde el Azure OpenAI Service mediante el portal.

Ejemplo

En el ejemplo siguiente se envían métricas de recuento de tokens de Azure OpenAI a Application Insights junto con el id. de usuario, la dirección IP de cliente y el id. de API como dimensiones.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Directivas relacionadas

• Registro
• directiva de emisión de métricas
• azure-openai-token-limitdirectiva

Contenido relacionado

Para más información sobre el trabajo con directivas, vea:

• Tutorial: Transformación y protección de una API
• Referencia de directivas para una lista completa de instrucciones de directivas y su configuración
• Expresiones de directiva
• Establecimiento o edición de directivas
• Reutilización de configuraciones de directivas
• Repositorio de fragmentos de código de directiva
• Creación de directivas con Microsoft Copilot para Azure