OpenAIUsageDebuggingPlugin

Hata ayıklama ve analiz amacıyla OpenAI API kullanım ölçümlerini bir CSV dosyasına kaydeder.

Eklenti örneği tanımı

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Yapılandırma örneği

Hiç kimse

Yapılandırma özellikleri

Hiç kimse

Komut satırı seçenekleri

Hiç kimse

Açıklamalar

OpenAIUsageDebuggingPlugin, OpenAI uyumlu API istekleri ve yanıtlarından ayrıntılı kullanım ölçümlerini yakalar ve bunları bir CSV dosyasına yazar. Bu bilgiler hata ayıklama, belirteç tüketimini izleme, hız sınırlarını izleme ve zaman içindeki API kullanım düzenlerini analiz etme için yararlıdır.

Çıkış dosyası

Eklenti, Geliştirme Proxy'si başlatıldığında geçerli dizinde adlı devproxy_llmusage_<timestamp>.csv bir CSV dosyası oluşturur. Zaman damgası biçimi şeklindedir yyyyMMddHHmmss.

CSV dosya yapısı

CSV dosyası aşağıdaki sütunları içerir:

Köşe yazısı	Description
time	İsteğin ISO 8601 zaman damgası
status	Yanıtın HTTP durum kodu
retry-after	retry-after Üst bilginin değeri (hız sınırlı istekler için)
policy	policy-id Üst bilginin değeri (hız sınırlı istekler için)
prompt tokens	İstem/girişteki belirteç sayısı
completion tokens	Tamamlama/çıkıştaki belirteç sayısı
cached tokens	Önbelleğe alınmış belirteç sayısı (istem önbelleğinden)
total tokens	Kullanılan toplam belirteç sayısı (istem + tamamlama)
remaining tokens	Hız sınırı penceresinde kalan belirteçler
remaining requests	Hız sınırı penceresinde kalan istekler

Örnek çıkış verisi

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Desteklenen senaryolar

Eklenti aşağıdakiler için ölçümleri günlüğe kaydeder:

• Başarılı istekler (2xx durum kodları): İstem belirteçleri, tamamlama belirteçleri, önbelleğe alınmış belirteçler ve kalan hız sınırları dahil olmak üzere belirteç kullanım ölçümlerini yakalar
• Hata yanıtları (4xx durum kodları): Yeniden deneme sonrası üst bilgileri ve ilke kimlikleri dahil olmak üzere hız sınırlama bilgilerini yakalar

Akış yanıtları

Eklenti, kullanım bilgilerini içeren son öbeği ayıklayarak akış yanıtlarını (içerik türünü kullanarak text/event-stream ) doğru şekilde işler.

Kullanım örnekleri

Bu eklenti şunlar için kullanışlıdır:

• Belirteç tüketiminde hata ayıklama: İstemlerinizin ve tamamlamalarınızın kaç belirteç tükettiği hakkında bilgi edinme
• hız sınırlarını izleme: Hız sınırlarına çarpmamak için kalan belirteçleri ve istekleri izleme
• Maliyet analizi: Maliyetleri tahmin etmek için belirteç kullanım desenlerini analiz etme
• Performans iyileştirmesi: Yüksek belirteç sayısına sahip istekleri tanımlama
• İstem önbelleğe alma analizi: İstem önbelleğe alma stratejilerini iyileştirmek için önbelleğe alınmış belirteç kullanımını izleme

OpenAITelemetryPlugin ile karşılaştırma

OpenAITelemetryPlugin gerçek zamanlı izleme ve görselleştirme için OpenTelemetry uyumlu panolara telemetri verileri gönderirken, OpenAIUsageDebuggingPlugin çevrimdışı analiz ve hata ayıklama için ayrıntılı CSV günlükleri oluşturmaya odaklanır. İki eklenti birbirini tamamlar:

• Gerçek zamanlı izleme, maliyet izleme ve gözlemlenebilirlik platformlarıyla tümleştirme için OpenAITelemetryPlugin kullanma
• Ayrıntılı hata ayıklama, CSV tabanlı analiz ve izleme hızı sınırı bilgileri için OpenAIUsageDebuggingPlugin kullanma

Hem gerçek zamanlı telemetri verilerini hem de ayrıntılı CSV günlüklerini almak için her iki eklentiyi de aynı anda etkinleştirebilirsiniz.

Sonraki adım

Dil modeli kullanımını anlama