OpenAIUsageDebuggingPlugin

Protokolliert OpenAI-API-Verwendungsmetriken für Debugging- und Analysezwecke in einer CSV-Datei.

Definition der Plug-In-Instanz

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Konfigurationsbeispiel

Nichts

Konfigurationseigenschaften

Nichts

Befehlszeilenoptionen

Nichts

Bemerkungen

Das OpenAIUsageDebuggingPlugin erfasst detaillierte Nutzungsmetriken aus openAI-kompatiblen API-Anforderungen und -Antworten und schreibt sie in eine CSV-Datei. Diese Informationen sind hilfreich für das Debuggen, nachverfolgen der Tokennutzung, Überwachungsratenlimits und die Analyse von API-Verwendungsmustern im Laufe der Zeit.

Ausgabedatei

Das Plug-In erstellt eine CSV-Datei devproxy_llmusage_<timestamp>.csv namens im aktuellen Verzeichnis, wenn Dev Proxy gestartet wird. Das Zeitstempelformat ist yyyyMMddHHmmss.

CSV-Dateistruktur

Die CSV-Datei enthält die folgenden Spalten:

Kolumne	Description
time	ISO 8601-Zeitstempel der Anforderung
status	HTTP-Statuscode der Antwort
retry-after	Wert des retry-after Headers (für anforderungen mit eingeschränkter Rate)
policy	Wert des policy-id Headers (für anforderungen mit eingeschränkter Rate)
prompt tokens	Anzahl der Token in der Eingabeaufforderung/Eingabe
completion tokens	Anzahl der Token im Abschluss/der Ausgabe
cached tokens	Anzahl der zwischengespeicherten Token (aus dem Eingabeaufforderungscache)
total tokens	Gesamtzahl der verwendeten Token (Eingabeaufforderung + Abschluss)
remaining tokens	Verbleibende Token im Ratelimitfenster
remaining requests	Verbleibende Anforderungen im Zeitfenster "Ratelimit"

Beispielausgabe

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Unterstützte Szenarien

Die Plug-In protokolliert Metriken für:

• Erfolgreiche Anforderungen (2xx-Statuscodes): Erfasst Tokenverwendungsmetriken, einschließlich Aufforderungstoken, Abschlusstoken, zwischengespeicherte Token und Restratenlimits
• Fehlerantworten (4xx-Statuscodes): Erfasst Informationen zur Begrenzung der Rate, einschließlich Wiederholungskopfzeilen und Richtlinien-IDs.

Streamingantworten

Das Plug-In verarbeitet Streamingantworten (mithilfe des text/event-stream Inhaltstyps) ordnungsgemäß, indem der endgültige Block extrahiert wird, der Nutzungsinformationen enthält.

Anwendungsfälle

Dieses Plug-In ist nützlich für:

• Debuggen der Tokennutzung: Grundlegendes dazu, wie viele Token Ihre Eingabeaufforderungen und -vervollständigungen verbrauchen
• Überwachungsratenlimits: Nachverfolgen verbleibender Token und Anforderungen, um Trefferratenlimits zu vermeiden
• Kostenanalyse: Analysieren von Tokennutzungsmustern zur Schätzung der Kosten
• Leistungsoptimierung: Identifizieren von Anforderungen mit hoher Tokenanzahl
• Eingabeaufforderungszwischenspeicherungsanalyse: Nachverfolgen der zwischengespeicherten Tokenverwendung zur Optimierung von Strategien zur Eingabeaufforderungszwischenspeicherung

Vergleich mit OpenAITelemetryPlugin

Während das OpenAITelemetryPlugin Telemetriedaten an OpenTelemetry-kompatible Dashboards für Echtzeitüberwachung und -visualisierung sendet, konzentriert sich das OpenAIUsageDebuggingPlugin auf die Erstellung detaillierter CSV-Protokolle für Offlineanalyse und Debugging. Die beiden Plugins ergänzen sich gegenseitig:

• Verwenden von OpenAITelemetryPlugin für Echtzeitüberwachung, Kostennachverfolgung und Integration mit Observability-Plattformen
• Verwenden von OpenAIUsageDebuggingPlugin für detaillierte Debugging-, CSV-basierte Analyse- und Nachverfolgungsratengrenzinformationen

Sie können beide Plug-Ins gleichzeitig aktivieren, um sowohl Echtzeit-Telemetrie als auch detaillierte CSV-Protokolle abzurufen.

Nächster Schritt

Grundlegendes zur Verwendung von Sprachmodellen