次の方法で共有

OpenAIUsageDebuggingPlugin

デバッグと分析のために、OpenAI API の使用状況メトリックを CSV ファイルに記録します。

プラグイン インスタンスの定義

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

構成の例

None

構成プロパティ

None

コマンドライン オプション

None

注釈

OpenAIUsageDebuggingPlugin は、OpenAI と互換性のある API の要求と応答から詳細な使用状況メトリックをキャプチャし、CSV ファイルに書き込みます。 この情報は、デバッグ、トークン使用量の追跡、レート制限の監視、および時間の経過に伴う API の使用パターンの分析に役立ちます。

出力ファイル

プラグインは、開発プロキシの起動時に現在のディレクトリに devproxy_llmusage_<timestamp>.csv という名前の CSV ファイルを作成します。 タイムスタンプ形式は yyyyMMddHHmmss。

CSV ファイルの構造

CSV ファイルには、次の列が含まれています。

コラム Description
time 要求の ISO 8601 タイムスタンプ
status 応答の HTTP 状態コード
retry-after retry-after ヘッダーの値 (レート制限付き要求の場合)
policy policy-id ヘッダーの値 (レート制限付き要求の場合)
prompt tokens プロンプト/入力内のトークンの数
completion tokens 完了/出力内のトークンの数
cached tokens キャッシュされたトークンの数 (プロンプト キャッシュから)
total tokens 使用されたトークンの合計数 (プロンプト + 完了)
remaining tokens レート制限ウィンドウの残りのトークン
remaining requests レート制限ウィンドウの残りの要求

サンプル出力

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

サポートされているシナリオ

プラグインは、次のメトリックをログに記録します。

  • 成功した要求 (2xx 状態コード): プロンプト トークン、完了トークン、キャッシュされたトークン、残りのレート制限を含むトークン使用状況メトリックをキャプチャします
  • エラー応答 (4xx 状態コード): 再試行後ヘッダーやポリシー ID を含むレート制限情報をキャプチャします

ストリーミング応答

プラグインは、使用情報を含む最終的なチャンクを抽出することで、ストリーミング応答 ( text/event-stream コンテンツ タイプを使用) を正しく処理します。

活用事例

このプラグインは、次の場合に役立ちます。

  • トークンの使用のデバッグ: プロンプトと入力候補が使用するトークンの数を理解する
  • レート制限の監視: レート制限に達しないように残りのトークンと要求を追跡する
  • コスト分析: トークンの使用パターンを分析してコストを見積もる
  • パフォーマンスの最適化: トークン数が多い要求の識別
  • プロンプト キャッシュ分析: キャッシュされたトークンの使用状況を追跡してプロンプト キャッシュ戦略を最適化する

OpenAITelemetryPlugin との比較

OpenAITelemetryPlugin はリアルタイムの監視と視覚化のためにテレメトリ データを OpenTelemetry 互換のダッシュボードに送信しますが、OpenAIUsageDebuggingPlugin ではオフライン分析とデバッグのための詳細な CSV ログの作成に重点を置いています。 2 つのプラグインは、相互に補完します。

  • OpenAITelemetryPlugin を使用して、リアルタイムの監視、コスト追跡、監視プラットフォームとの統合を行う
  • OpenAIUsageDebuggingPlugin を使用して、詳細なデバッグ、CSV ベースの分析、およびレート制限情報の追跡を行う

両方のプラグインを同時に有効にして、リアルタイムのテレメトリと詳細な CSV ログの両方を取得できます。

次のステップ

言語モデルの使用方法を理解する

  • Last updated on