Compartilhar via

Emitir métricas para consumo de tokens do OpenAI do Azure

  • Artigo

APLICA-SE A: todas as camadas do Gerenciamento de API

A política azure-openai-emit-token-metric envia métricas ao Application Insights sobre o consumo de tokens grandes de modelo de linguagem por meio de APIs do Serviço OpenAI do Azure. As métricas de contagem de tokens incluem: total de tokens, tokens de prompt e tokens de conclusão.

Observação

Defina os elementos da política e os elementos filho na ordem fornecida na declaração da política. Saiba mais sobre como definir e editar as políticas de Gerenciamento de API.

Modelos de Serviço OpenAI do Azure com suporte

A política é usada com APIs adicionadas ao Gerenciamento de API do Serviço OpenAI do Azure dos seguintes tipos:

Tipo de API Modelos com suporte
Conclusão do chat gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporações text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Para obter mais informações, consulte Modelos do Serviço OpenAI do Azure.

Pré-requisitos

Declaração de política

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributos

Atributo Descrição Obrigatório Valor padrão
namespace Uma cadeia de caracteres. Namespace da métrica. Expressões de política não são permitidas. Não Gerenciamento de API
value Valor da métrica expresso como o dobro. Expressões de política são permitidas. Não 1

Elementos

Elemento Descrição Obrigatório
dimensão Adicione um ou mais desses elementos para cada dimensão incluída na métrica. Yes

atributos de dimensão

Atributo Descrição Obrigatório Valor padrão
name Uma cadeia de caracteres ou expressão de política. Nome da dimensão. Sim N/D
value Uma cadeia de caracteres ou expressão de política. Valor da dimensão. Só poderá ser omitido se name corresponder a uma das dimensões padrão. Em caso afirmativo, o valor é fornecido de acordo com o nome da dimensão. Não N/D

Nomes de dimensão padrão que podem ser usados sem valor

  • ID da API
  • ID da Operação
  • Produto ID
  • ID do Usuário
  • ID da assinatura
  • Localidade
  • ID de Gateway

Uso

Observações de uso

  • Essa política pode ser usada várias vezes por definição de política.
  • Você pode configurar no máximo 10 dimensões personalizadas para essa política.
  • Opcionalmente, essa política pode ser configurada ao adicionar uma API do Serviço OpenAI do Azure usando o portal.
  • Quando disponível, os valores na seção de uso da resposta fornecida pela API do Serviço OpenAI do Azure serão utilizados para determinar o uso de métricas.
  • Determinados pontos de extremidade do Azure OpenAI são compatíveis com o streaming de respostas. Quando stream é definido como true na solicitação de API para habilitar o streaming, as métricas de token são estimadas.

Exemplo

O exemplo a seguir envia métricas de contagem de tokens do OpenAI do Azure ao Application Insights juntamente com a ID do usuário, o IP do cliente e a ID da API como dimensões.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Conteúdo relacionado

Para obter mais informações sobre como trabalhar com políticas, consulte: