OpenAIUsageDebuggingPlugin

Consigne les métriques d’utilisation de l’API OpenAI dans un fichier CSV à des fins de débogage et d’analyse.

Définition de l’instance de plug-in

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Exemple de configuration

Aucun

Propriétés de configuration

Aucun

Options de ligne de commande

Aucun

Remarques

OpenAIUsageDebuggingPlugin capture des métriques d’utilisation détaillées à partir de requêtes et réponses d’API compatibles OpenAI et les écrit dans un fichier CSV. Ces informations sont utiles pour le débogage, le suivi de la consommation des jetons, la surveillance des limites de débit et l’analyse des modèles d’utilisation des API au fil du temps.

Fichier de sortie

Le plug-in crée un fichier CSV nommé devproxy_llmusage_<timestamp>.csv dans le répertoire actif au démarrage du proxy de développement. Le format d’horodatage est yyyyMMddHHmmss.

Structure de fichiers CSV

Le fichier CSV contient les colonnes suivantes :

Colonne	Descriptif
time	Horodatage ISO 8601 de la requête
status	Code d’état HTTP de la réponse
retry-after	Valeur de l’en-tête retry-after (pour les demandes limitées par taux)
policy	Valeur de l’en-tête policy-id (pour les demandes limitées par taux)
prompt tokens	Nombre de jetons dans l’invite/entrée
completion tokens	Nombre de jetons dans la saisie semi-automatique/sortie
cached tokens	Nombre de jetons mis en cache (à partir du cache d’invite)
total tokens	Nombre total de jetons utilisés (invite + achèvement)
remaining tokens	Jetons restants dans la fenêtre limite de débit
remaining requests	Demandes restantes dans la fenêtre limite de débit

Exemple de sortie

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Scénarios pris en charge

Le plug-in consigne les métriques pour :

• Demandes réussies (codes d’état 2xx) : capture les métriques d’utilisation des jetons, notamment les jetons d’invite, les jetons d’achèvement, les jetons mis en cache et les limites de débit restantes
• Réponses d’erreur (codes d’état 4xx) : capture les informations de limitation du débit, y compris les en-têtes de nouvelle tentative et les ID de stratégie

Réponses de diffusion en continu

Le plug-in gère correctement les réponses de streaming (à l’aide text/event-stream du type de contenu) en extrayant le bloc final contenant des informations d’utilisation.

Cas d’utilisation

Ce plug-in est utile pour :

• Consommation des jetons de débogage : comprendre le nombre de jetons que vos invites et saisies semi-automatiquement consomment
• Limites de taux de surveillance : suivi des jetons restants et des demandes pour éviter d’atteindre les limites de débit
• Analyse des coûts : analyse des modèles d’utilisation des jetons pour estimer les coûts
• Optimisation des performances : identification des demandes avec un nombre élevé de jetons
• Analyse de la mise en cache d’invite : suivi de l’utilisation des jetons mis en cache pour optimiser les stratégies de mise en cache d’invite

Comparaison avec OpenAITelemetryPlugin

Bien que OpenAITelemetryPlugin envoie des données de télémétrie aux tableaux de bord compatibles OpenTelemetry pour la surveillance et la visualisation en temps réel, OpenAIUsageDebuggingPlugin se concentre sur la création de journaux CSV détaillés pour l’analyse hors connexion et le débogage. Les deux plug-ins se complètent :

• Utiliser OpenAITelemetryPlugin pour la surveillance, le suivi des coûts et l’intégration en temps réel aux plateformes d’observabilité
• Utiliser OpenAIUsageDebuggingPlugin pour des informations détaillées sur le débogage, l’analyse basée sur CSV et les informations de limite de taux de suivi

Vous pouvez activer les deux plug-ins simultanément pour obtenir les données de télémétrie en temps réel et les journaux CSV détaillés.

Étape suivante

Comprendre l’utilisation du modèle de langage