OpenAIUsageDebuggingPlugin

Registra métricas de uso da API OpenAI em um arquivo CSV para fins de depuração e análise.

Definição de instância do plug-in

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Exemplo de configuração

None

Propriedades de configuração

None

Opções de linha de comando

None

Observações

O OpenAIUsageDebuggingPlugin captura métricas de uso detalhadas de solicitações e respostas de API compatíveis com OpenAI e as grava em um arquivo CSV. Essas informações são úteis para depuração, acompanhamento do consumo de token, monitoramento de limites de taxa e análise de padrões de uso de API ao longo do tempo.

Arquivo de saída

O plug-in cria um arquivo CSV nomeado devproxy_llmusage_<timestamp>.csv no diretório atual quando o Proxy de Desenvolvimento é iniciado. O formato de carimbo de data/hora é yyyyMMddHHmmss.

Estrutura de arquivos CSV

O arquivo CSV contém as seguintes colunas:

Coluna	Description
time	Carimbo de data/hora ISO 8601 da solicitação
status	Código de status HTTP da resposta
retry-after	Valor do retry-after cabeçalho (para solicitações limitadas por taxa)
policy	Valor do policy-id cabeçalho (para solicitações limitadas por taxa)
prompt tokens	Número de tokens no prompt/entrada
completion tokens	Número de tokens na conclusão/saída
cached tokens	Número de tokens armazenados em cache (do cache de prompt)
total tokens	Número total de tokens usados (prompt + conclusão)
remaining tokens	Tokens restantes na janela limite de taxa
remaining requests	Solicitações restantes na janela limite de taxa

Saída de exemplo

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Cenários com suporte

As métricas de logs de plug-in para:

• Solicitações bem-sucedidas (códigos de status 2xx): captura métricas de uso de token, incluindo tokens de prompt, tokens de conclusão, tokens armazenados em cache e limites de taxa restantes
• Respostas de erro (códigos de status 4xx): captura informações de limitação de taxa, incluindo cabeçalhos de repetição e IDs de política

Respostas de transmissão em fluxo

O plug-in manipula corretamente as respostas de streaming (usando text/event-stream o tipo de conteúdo) extraindo a parte final que contém informações de uso.

Casos de uso

Esse plug-in é útil para:

• Depuração do consumo de token: noções básicas de quantos tokens seus prompts e conclusões consomem
• Limites de taxa de monitoramento: acompanhamento de tokens e solicitações restantes para evitar atingir limites de taxa
• Análise de custo: analisando padrões de uso de token para estimar custos
• Otimização de desempenho: identificando solicitações com altas contagens de tokens
• Análise de cache de prompt: acompanhamento do uso de token armazenado em cache para otimizar estratégias de cache de prompt

Comparação com OpenAITelemetryPlugin

Embora o OpenAITelemetryPlugin envie dados de telemetria para painéis compatíveis com OpenTelemetry para monitoramento e visualização em tempo real, o OpenAIUsageDebuggingPlugin se concentra na criação de logs CSV detalhados para análise e depuração offline. Os dois plug-ins se complementam:

• Usar OpenAITelemetryPlugin para monitoramento em tempo real, acompanhamento de custos e integração com plataformas de observabilidade
• Use OpenAIUsageDebuggingPlugin para informações detalhadas de depuração, análise baseada em CSV e controle de limite de taxa

Você pode habilitar ambos os plug-ins simultaneamente para obter telemetria em tempo real e logs CSV detalhados.

Próxima etapa

Entender o uso do modelo de linguagem