OpenAIUsageDebuggingPlugin

Registra métricas de uso da API OpenAI em um arquivo CSV para fins de depuração e análise.

Definição de instância de plug-in

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Exemplo de configuração

Nenhum

Propriedades de configuração

Nenhum

Opções da linha de comandos

Nenhum

Observações

O OpenAIUsageDebuggingPlugin captura métricas de uso detalhadas de solicitações e respostas de API compatíveis com OpenAI e as grava em um arquivo CSV. Essas informações são úteis para depurar, rastrear o consumo de tokens, monitorar limites de taxa e analisar padrões de uso de API ao longo do tempo.

Arquivo de saída

O plug-in cria um arquivo CSV nomeado devproxy_llmusage_<timestamp>.csv no diretório atual quando o Dev Proxy é iniciado. O formato de carimbo de data/hora é yyyyMMddHHmmss.

Estrutura do arquivo CSV

O arquivo CSV contém as seguintes colunas:

Coluna	Description
time	ISO 8601 carimbo de data/hora da solicitação
status	Código de status HTTP da resposta
retry-after	Valor do retry-after cabeçalho (para solicitações com taxa limitada)
policy	Valor do policy-id cabeçalho (para solicitações com taxa limitada)
prompt tokens	Número de tokens no prompt/entrada
completion tokens	Número de tokens na conclusão/saída
cached tokens	Número de tokens armazenados em cache (do cache de prompt)
total tokens	Número total de tokens usados (prompt + conclusão)
remaining tokens	Tokens restantes na janela de limite de taxa
remaining requests	Solicitações restantes na janela de limite de taxa

Saída da amostra

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Cenários suportados

O plugin registra métricas para:

• Solicitações bem-sucedidas (códigos de status 2xx): captura métricas de uso de tokens, incluindo tokens de prompt, tokens de conclusão, tokens armazenados em cache e limites de taxa restantes
• Respostas de erro (códigos de status 4xx): captura informações de limitação de taxa, incluindo cabeçalhos de repetição e IDs de política

Respostas de streaming

O plugin lida corretamente com respostas de streaming (usando text/event-stream o tipo de conteúdo) extraindo o bloco final contendo informações de uso.

Casos de uso

Este plugin é útil para:

• Depurando o consumo de tokens: Entendendo quantos tokens seus prompts e finalizações consomem
• Monitoramento de limites de taxa: Rastreando tokens e solicitações restantes para evitar atingir limites de taxa
• Análise de custos: Analisando padrões de uso de token para estimar custos
• Otimização de desempenho: Identificando solicitações com altas contagens de tokens
• Análise de cache de prompt: rastreando o uso de token armazenado em cache para otimizar estratégias de cache de prompt

Comparação com OpenAITelemetryPlugin

Enquanto o OpenAITelemetryPlugin envia dados de telemetria para painéis compatíveis com OpenTelemetry para monitoramento e visualização em tempo real, o OpenAIUsageDebuggingPlugin se concentra na criação de logs CSV detalhados para análise e depuração offline. Os dois plugins complementam-se:

• Use OpenAITelemetryPlugin para monitoramento em tempo real, rastreamento de custos e integração com plataformas de observabilidade
• Use OpenAIUsageDebuggingPlugin para depuração detalhada, análise baseada em CSV e informações de limite de taxa de rastreamento

Você pode habilitar ambos os plug-ins simultaneamente para obter telemetria em tempo real e logs CSV detalhados.

Próximo passo

Compreender a utilização do modelo linguístico