OpenAIUsageDebuggingPlugin

Registreert metrische gegevens over OpenAI API-gebruik naar een CSV-bestand voor foutopsporing en analyse.

Configuratievoorbeeld

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIUsageDebuggingPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Configuratie-eigenschappen

Geen

Opdrachtregelopties

Geen

Opmerkingen

De OpenAIUsageDebuggingPlugin legt gedetailleerde metrische gegevens over gebruik vast van api-aanvragen en -antwoorden die compatibel zijn met OpenAI en schrijft deze naar een CSV-bestand. Deze informatie is handig voor foutopsporing, het bijhouden van tokenverbruik, het bewaken van frequentielimieten en het analyseren van API-gebruikspatronen in de loop van de tijd.

Uitvoerbestand

De invoegtoepassing maakt een CSV-bestand met de naam devproxy_llmusage_<timestamp>.csv in de huidige map wanneer Dev Proxy wordt gestart. De tijdstempelnotatie is yyyyMMddHHmmss.

CSV-bestandsstructuur

Het CSV-bestand bevat de volgende kolommen:

Rubriek	Description
time	ISO 8601-tijdstempel van de aanvraag
status	HTTP-statuscode van het antwoord
retry-after	Waarde van de retry-after header (voor aanvragen met een frequentielimiet)
policy	Waarde van de policy-id header (voor aanvragen met een frequentielimiet)
prompt tokens	Aantal tokens in de prompt/invoer
completion tokens	Aantal tokens in de voltooiing/uitvoer
cached tokens	Aantal tokens in cache (uit promptcache)
total tokens	Totaal aantal gebruikte tokens (prompt + voltooiing)
remaining tokens	Resterende tokens in het venster frequentielimiet
remaining requests	Resterende aanvragen in het venster frequentielimiet

Voorbeelduitvoer

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Ondersteunde scenario’s

De invoegtoepassing registreert metrische gegevens voor:

• Geslaagde aanvragen (2xx-statuscodes): legt metrische gegevens over tokengebruik vast, waaronder prompttokens, voltooiingstokens, tokens in cache en resterende frequentielimieten
• Foutberichten (4xx-statuscodes): legt snelheidsbeperkingsinformatie vast, inclusief headers en beleids-id's voor opnieuw proberen

Streamingantwoorden

De invoegtoepassing verwerkt streamingantwoorden (met behulp van text/event-stream inhoudstype) correct door het uiteindelijke segment met gebruiksgegevens te extraheren.

Gebruikssituaties

Deze invoegtoepassing is handig voor:

• Foutopsporingstokenverbruik: inzicht krijgen in hoeveel tokens uw prompts en voltooiingen verbruiken
• Frequentielimieten bewaken: resterende tokens en aanvragen bijhouden om te voorkomen dat frequentielimieten worden bereikt
• Kostenanalyse: Gebruikspatronen van tokens analyseren om kosten te schatten
• Optimalisatie van prestaties: aanvragen met een hoog tokenaantal identificeren
• Analyse van promptcaching: tokengebruik in cache bijhouden om promptcachingstrategieën te optimaliseren

Vergelijking met OpenAITelemetryPlugin

Terwijl openAITelemetryPlugin telemetriegegevens verzendt naar dashboards die compatibel zijn met OpenTelemetry voor realtime bewaking en visualisatie, richt de OpenAIUsageDebuggingPlugin zich op het maken van gedetailleerde CSV-logboeken voor offlineanalyse en foutopsporing. De twee invoegtoepassingen vullen elkaar aan:

• OpenAITelemetryPlugin gebruiken voor realtime bewaking, kostentracering en integratie met waarneembaarheidsplatforms
• OpenAIUsageDebuggingPlugin gebruiken voor gedetailleerde foutopsporing, op CSV gebaseerde analyse en traceringsfrequentielimietinformatie

U kunt beide invoegtoepassingen tegelijk inschakelen om zowel realtime telemetrie als gedetailleerde CSV-logboeken op te halen.

Volgende stap

Inzicht in het gebruik van taalmodellen