OpenAIUsageDebuggingPlugin

Hibakeresési és elemzési célból naplózza az OpenAI API használati metrikáit egy CSV-fájlba.

Beépülő modulpéldány definíciója

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Példa konfigurációra

None

Konfigurációs tulajdonságok

None

Parancssori beállítások

None

Megjegyzések

Az OpenAIUsageDebuggingPlugin rögzíti az OpenAI-kompatibilis API-kérések és válaszok részletes használati metrikáit, és egy CSV-fájlba írja őket. Ezek az információk hasznosak a hibakereséshez, a tokenhasználat nyomon követéséhez, a sebességkorlátok figyeléséhez és az API-használati minták időbeli elemzéséhez.

Kimeneti fájl

A beépülő modul létrehoz egy CSV-fájlt, amely a dev proxy indításakor az aktuális könyvtárban van elnevezve devproxy_llmusage_<timestamp>.csv . Az időbélyeg formátuma a következő yyyyMMddHHmmss: .

CSV-fájlstruktúra

A CSV-fájl a következő oszlopokat tartalmazza:

oszlop	Description
time	A kérés ISO 8601-es időbélyege
status	A válasz HTTP-állapotkódja
retry-after	retry-after A fejléc értéke (korlátozott sebességű kérelmek esetén)
policy	policy-id A fejléc értéke (korlátozott sebességű kérelmek esetén)
prompt tokens	Jogkivonatok száma a parancssorban/bemenetben
completion tokens	A befejezés/kimenet jogkivonatainak száma
cached tokens	Gyorsítótárazott jogkivonatok száma (a parancssori gyorsítótárból)
total tokens	Felhasznált jogkivonatok teljes száma (parancssor + befejezés)
remaining tokens	Fennmaradó jogkivonatok a sebességkorlát ablakában
remaining requests	Fennmaradó kérések a sebességkorlát ablakában

Példakimenet

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Támogatott forgatókönyvek

A beépülő modul a következő metrikákat naplózza:

• Sikeres kérelmek (2xx állapotkódok): Rögzíti a jogkivonatok használati metrikáit, beleértve a parancssori jogkivonatokat, a befejezési jogkivonatokat, a gyorsítótárazott jogkivonatokat és a fennmaradó sebességkorlátokat
• Hibaválaszok (4xx állapotkódok): Rögzíti a sebességkorlátozó információkat, beleértve az újrapróbálkozási fejléceket és a szabályzatazonosítókat

Válaszok streamelése

A beépülő modul megfelelően kezeli a streamelési válaszokat (tartalomtípus használatával text/event-stream ) a használati adatokat tartalmazó végső adattömb kinyerésével.

Használati esetek

Ez a beépülő modul a következő esetekben hasznos:

• A jogkivonat-használat hibakeresése: Annak megismerése, hogy hány jogkivonatot használnak fel a kérések és a befejezések
• Sebességkorlátok figyelése: A fennmaradó jogkivonatok és kérések nyomon követése a sebességkorlátok elérésének elkerülése érdekében
• Költségelemzés: A tokenhasználati minták elemzése a költségek becsléséhez
• Teljesítményoptimalizálás: Nagy jogkivonatszámú kérések azonosítása
• Gyors gyorsítótárazási elemzés: Gyorsítótárazott jogkivonat-használat nyomon követése a parancssori gyorsítótárazási stratégiák optimalizálásához

Összehasonlítás az OpenAITelemetryPluginnal

Míg az OpenAITelemetryPlugin telemetriai adatokat küld az OpenTelemetry-kompatibilis irányítópultokra valós idejű monitorozás és vizualizáció céljából, az OpenAIUsageDebuggingPlugin az offline elemzéshez és hibakereséshez szükséges részletes CSV-naplók létrehozására összpontosít. A két beépülő modul kiegészíti egymást:

• Az OpenAITelemetryPlugin használata valós idejű monitorozáshoz, költségkövetéshez és a megfigyelhető platformokkal való integrációhoz
• Az OpenAIUsageDebuggingPlugin használatával részletes hibakeresést, CSV-alapú elemzést és követési sebességkorlát-információkat találhat

Mindkét beépülő modul egyidejű engedélyezésével valós idejű telemetriát és részletes CSV-naplókat is lekérhet.

Következő lépés

A nyelvi modell használatának ismertetése