OpenAIUsageDebuggingPlugin

Регистрирует метрики использования API OpenAI в CSV-файл для отладки и анализа.

Определение экземпляра подключаемого модуля

{
  "name": "OpenAIUsageDebuggingPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}

Пример конфигурации

None

Свойства конфигурации

None

Параметры командной строки

None

Замечания

OpenAIUsageDebuggingPlugin записывает подробные метрики использования из запросов и ответов, совместимых с OpenAI, и записывает их в CSV-файл. Эта информация полезна для отладки, отслеживания использования маркеров, ограничений скорости мониторинга и анализа шаблонов использования API с течением времени.

Выходной файл

Подключаемый модуль создает CSV-файл с именем devproxy_llmusage_<timestamp>.csv в текущем каталоге при запуске прокси-сервера разработки. Формат метки времени .yyyyMMddHHmmss

Структура CSV-файла

CSV-файл содержит следующие столбцы:

колонна	Description
time	Метка времени ISO 8601 запроса
status	Код состояния HTTP ответа
retry-after	Значение заголовка retry-after (для запросов с ограничением скорости)
policy	Значение заголовка policy-id (для запросов с ограничением скорости)
prompt tokens	Количество маркеров в запросе или вводе
completion tokens	Количество маркеров в завершении и выходных данных
cached tokens	Количество кэшированных маркеров (из кэша запросов)
total tokens	Общее количество используемых маркеров (запрос и завершение)
remaining tokens	Оставшиеся маркеры в окне ограничения скорости
remaining requests	Оставшиеся запросы в окне ограничения скорости

Пример полученных результатов

time,status,retry-after,policy,prompt tokens,completion tokens,cached tokens,total tokens,remaining tokens,remaining requests
2025-10-28T10:15:30.123Z,200,,,150,75,,225,9850,49
2025-10-28T10:15:35.456Z,200,,,200,100,50,300,9550,48
2025-10-28T10:15:40.789Z,429,60,rate-limit-policy-1,,,,,,0

Поддерживаемые сценарии

Подключаемый модуль регистрирует метрики для следующих компонентов:

• Успешные запросы (коды состояния 2xx): записывает метрики использования маркеров, включая маркеры запроса, маркеры завершения, кэшированные маркеры и оставшиеся ограничения скорости.
• Ответы на ошибки (коды состояния 4xx): записывает сведения об ограничении скорости, включая идентификаторы заголовков и политик после повторных попыток.

Потоковая передача ответов

Подключаемый модуль правильно обрабатывает ответы потоковой передачи (с помощью text/event-stream типа контента), извлекая окончательный фрагмент, содержащий сведения об использовании.

Случаи использования

Этот подключаемый модуль полезен для:

• Использование маркеров отладки. Общие сведения о количестве маркеров, которые будут использоваться в запросах и завершениях
• Ограничения скорости мониторинга: отслеживание оставшихся маркеров и запросов, чтобы избежать попадания ограничений скорости
• Анализ затрат: анализ затрат: анализ шаблонов использования маркеров для оценки затрат
• Оптимизация производительности. Определение запросов с высоким числом маркеров
• Анализ кэширования запросов: отслеживание использования кэшированного токена для оптимизации стратегий кэширования запросов

Сравнение с OpenAITelemetryPlugin

Хотя OpenAITelemetryPlugin отправляет данные телеметрии в панели мониторинга, совместимые с OpenTelemetry для мониторинга и визуализации в режиме реального времени, OpenAIUsageDebuggingPlugin фокусируется на создании подробных журналов CSV для автономного анализа и отладки. Два подключаемых модуля дополняют друг друга:

• Использование OpenAITelemetryPlugin для мониторинга в режиме реального времени, отслеживания затрат и интеграции с платформами наблюдения
• Использование OpenAIUsageDebuggingPlugin для подробной отладки, анализа на основе CSV и сведений об ограничении скорости отслеживания

Вы можете включить оба подключаемых модуля одновременно для получения телеметрии в режиме реального времени и подробных журналов CSV.

Следующий шаг

Общие сведения об использовании языковой модели