Справочник по данным мониторинга Azure OpenAI

В этой статье содержится вся справочная информация по мониторингу данного сервиса.

Дополнительные сведения о данных, которые можно собирать для Azure OpenAI в Microsoft модели Foundry и их использовании, см. в разделе Monitor Azure OpenAI.

Metrics

В этом разделе перечислены все автоматически собираемые метрики платформы для данного сервиса. Эти метрики также входят в глобальный список все метрики платформы, поддерживаемых в Azure Monitor.

Для информации о удержании метрик см. Azure Monitor Metrics Обзор.

Поддерживаемые метрики для Microsoft. Когнитивные сервисы/аккаунты

Отслеживайте наиболее важные метрики для Azure OpenAI. Далее в этой статье вы найдете более длинный список всех доступных метрик для этого пространства имен, который содержит дополнительные сведения о метриках в этом кратком списке. Ознакомьтесь со следующим списком, чтобы получить наиболее up-toсведения о дате. Команда Azure работает над обновлением таблиц в следующих разделах.

Important

Не путайте метрики в этом разделе с устаревшей Latency метрикой, перечисленной в разделе Cognitive Services - HTTP-запросы позже в этой статье. Устаревшая метрика Latency не предназначена для Azure рабочих нагрузок OpenAI и даёт вводящие в заблуждение результаты при диагностике задержки Azure OpenAI. Для мониторинга задержки Azure OpenAI используйте время до ответа (), время до последнего байта (), время между токенами () или нормализованное время до первого байта (). Для получения рекомендаций по интерпретации этих метрик см. раздел «Производительность и задержка».

• Azure запросы OpenAI
• Активные маркеры
• Сгенерированные токены завершения
• Обработанные часы обучения FineTuned
• Обработанные токены вывода
• Обработанные токены запросов
• Подготовленное управляемое использование версии 2
• Коэффициент сопоставления кэша токена запросов
• Время отвечать
• Время между жетонами
• Время до последнего байта
• Нормализованное время до первого байта
• Жетоны в секунду

Вы также можете отслеживать метрики безопасности контента, используемые другими связанными службами.

• Заблокированный том
• Обнаружен вредный объём
• Потенциальное количество злоупотребляющих пользователей
• Событие по системе безопасности
• Общий объём, отправленный на проверку безопасности

Note

Метрика Provisioned-managed Utilization теперь устарела и больше не рекомендуется. Эта метрика заменена метрикой подготовленного использования версии 2 . Маркеры в секунду, время отклика и время между маркерами в настоящее время недоступны для развертываний уровня "Стандартный".

Краткая справка: ключевые метрики по случаям использования

Используйте эту таблицу, чтобы найти подходящую метрику для конкретной цели мониторинга. Для полных рекомендаций по интерпретации этих метрик см. раздел «Производительность и задержка».

Я хочу наблюдать...	Используйте эту метрику	Имя REST API
Общее время отклика	Время до последнего байта	AzureOpenAITTLTInMS
Отзывчивость первого токена (стриминг)	Время отвечать	AzureOpenAITimeToResponse
Скорость генерации токенов	Время между жетонами	AzureOpenAINormalizedTBTInMS
Эффективность первого токена нормализуется размером запроса	Нормализованное время до первого байта	AzureOpenAINormalizedTTFTInMS
Объем токенов вывода на запрос	Сгенерированные токены завершения	GeneratedTokens
Объём входных токена на запрос	Обработанные токены запросов	ProcessedPromptTokens
Использование мощности PTU	Подготовленное управляемое использование версии 2	AzureOpenAIProvisionedManagedUtilizationV2
Объем запроса и ошибки	Azure запросы OpenAI	AzureOpenAIRequests

Tip

Всегда сочетайте метрику задержки с метрикой количества токенов. Увеличение задержки без соответствующего увеличения токена может указывать на реальную проблему. Увеличение задержки с пропорциональным увеличением токенов — это ожидаемое поведение.

Предупреждение

Метрики под Cognitive Services - HTTP Requests позже в этой статье являются устаревшими метриками Cognitive Services и не предназначены для Azure рабочих нагрузок OpenAI. В частности, метрика Latency в этой категории отличается от метрик задержки Azure OpenAI (время до ответа, время до последнего байта, время между токенами, нормализованное время до первого байта). Использование метрики Latency для устранения неполадок Azure OpenAI приводит к вводящим в заблуждение результаты. Используйте метрики Azure OpenAI, перечисленные в этом разделе.

В следующей таблице приведены метрики, доступные для Microsoft. Когнитивные сервисы/тип ресурса аккаунта.

• Все столбцы могут быть не в каждой таблице.
• Некоторые колонки могут находиться за пределами зоны обзора страницы. Выберите «Развернуть таблицу », чтобы просмотреть все доступные столбцы.

Заголовки таблиц

• Категория — группа метрик или классификация.
• Metric — Отображённое название метрики, как оно отображается в портале Azure.
• Имя в REST API — название метрики, указанное в REST API.
• Единица — единица меры.
• Агрегация— тип агрегации по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимум), максимум (максимум), общее количество (сумма), подсчет.
• Размеры - Размеры доступны для метрики.
• Временные зерна - Интервалы , на которых измеряется эта метрика. Например, PT1M означает, что метрика дискретируется каждую минуту, PT30M каждые 30 минут, PT1H каждый час и так далее.
• DS Export — Можно ли экспортировать метрику в Azure Monitor Logs через диагностические настройки. Для информации об экспорте метрик см. Создать диагностические настройки в Azure Monitor.

Категория: Azure OpenAI - HTTP-запросы

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Уровень доступности Azure OpenAI Процент доступности при следующем расчёте: (Общее количество вызовов — ошибки сервера)/Общее количество вызовов. Ошибки сервера включают любые HTTP-ответы >= 500.	AzureOpenAIAvailabilityRate	Нет	Процент	Минимум, Максимум, Средний	ApiName, OperationName, , RegionStreamType, ModelDeploymentName, ModelName, ,ModelVersion	PT1M	Нет
Azure запросы OpenAI Количество вызовов, совершённых в API Azure OpenAI за определённый период. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования. Чтобы разбить запросы API, можно добавить фильтр или применить разбиение по следующим параметрам: ModelDeploymentName, ModelName, ModelVersion, StatusCode (успешно, клиентские ошибки, ошибки сервера), IsSpillover для информации о переброшении, ServiceTier, StreamType (потоковые или непотоковые запросы) и эксплуатация.	AzureOpenAIRequests	Нет	Count	Сумма (Итог)	ApiName, OperationName, RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse	PT1M	Yes

Категория: Azure OpenAI — задержка

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Время между жетонами Для запросов на стриминг; скорость генерации токена модели, измеряемая в миллисекундах. Распространяется на PTU, управляемые PTU и системы оплаты по использованию.	AzureOpenAINormalizedTBTInMS	Нет	Миллисекунды	Максимум, Минимум, Средний	Region, , ModelDeploymentNameModelNameModelVersionServiceTierRequest,ServiceTierResponse	PT1M	Yes
Нормализованное время до первого байта Для запросов на стриминговые и не-стриминговые запросы; Время, необходимое для получения первого байта ответных данных после запроса по модели, нормализуемого токеном. Применяется к развертываниям с PTU, управляемым PTU и системой оплаты по мере использования.	AzureOpenAINormalizedTTFTInMS	Нет	Миллисекунды	Максимум, Минимум, Средний	Region, , ModelDeploymentNameModelNameModelVersionServiceTierRequest,ServiceTierResponse	PT1M	Yes
Время отвечать Рекомендуемая мера задержки (отзывчивости) для запросов на стриминг. Распространяется на PTU, управляемые PTU и системы оплаты по использованию. Рассчитывается как время, необходимое для появления первого ответа после отправки пользователя запроса, измеряемое шлюзом API. Это число увеличивается по мере увеличения размера запроса и/или уменьшения количества попаданий кэша. Чтобы разбить метрику времени на ответ, можно добавить фильтр или применить разбиение по следующим измерениям: ModelDeploymentName, ModelName и ModelVersion. Примечание: эта метрика является приближением, так как измеренная задержка сильно зависит от множества факторов, включая одновременные вызовы и общую схему рабочей нагрузки. Кроме того, он не учитывает задержку на стороне клиента, которая может существовать между вашим клиентом и конечной точкой API. Пожалуйста, обратитесь к собственному логированию для оптимального отслеживания задержек.	AzureOpenAITimeToResponse	Нет	Миллисекунды	Минимум, Максимум, Средний	ApiName, OperationName, RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeServiceTierRequestServiceTierResponse	PT1M	Yes
Жетоны в секунду Перечисляет скорость генерации для заданного ответа модели Azure OpenAI. Общее количество сгенерированных токенов делится на время их генерации — в секундах. Распространяется на PTU, управляемые PTU и системы оплаты по использованию.	AzureOpenAITokenPerSecond	Нет	Count	Максимум, Минимум, Средний	Region, , ModelDeploymentNameModelNameModelVersionServiceTierRequest,ServiceTierResponse	PT1M	Yes
Время до последнего байта Для запросов на стриминговые и не-стриминговые запросы; Время, необходимое для получения последнего байта данных ответа после запроса по модели. Применяется к развертываниям с PTU, управляемым PTU и системой оплаты по мере использования.	AzureOpenAITTLTInMS	Нет	Миллисекунды	Максимум, Минимум, Средний	Region, , ModelDeploymentNameModelNameModelVersionServiceTierRequest,ServiceTierResponse	PT1M	Yes

Категория: Azure OpenAI - Usage

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Активные маркеры Общее количество токенов минус кэшированные токены за определённый период. Применяется к развертываниям, управляемым PTU и PTU. Используйте эту метрику, чтобы понять использование TPS или TPM для PTU и сравните с бенчмарками для целевой TPS или TPM для ваших сценариев. Чтобы разбить запросы API, можно добавить фильтр или применить разделение по следующим измерениям: ModelDeploymentName, ModelName и ModelVersion.	ActiveTokens	Нет	Count	Минимум, Максимум, Среднее, Общее (Сумма)	Region, , ModelDeploymentNameModelNameModelVersionServiceTierRequest,ServiceTierResponse	PT1M	Yes
Жетоны завершения аудио Количество токенов аудиоподсказок, генерируемых (выводящихся) на модели OpenAI. Применяется к развертываниям, управляемым PTU и моделям Pay-as-you-you-go.	AudioCompletionTokens	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameModelVersionRegion	PT1M	Yes
Токены аудиоподсказок Количество токенов аудиозапросов, обработанных (входных) в модели OpenAI. Применяется к развертываниям, управляемым PTU и моделям Pay-as-you-you-go.	AudioPromptTokens	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameModelVersionRegion	PT1M	Yes
Коэффициент сопоставления кэша токена запросов Процент токенов запросов, попавших в кэш. Применяется к развертываниям, управляемым PTU и PTU.	AzureOpenAIContextTokensCacheMatchRate	Нет	Процент	Минимум, Максимум, Средний	Region, , ModelDeploymentNameModelNameModelVersion	PT1M	Нет
Provisioned-managed Utilization (устарело) Использование % для управляемого временного развертывания, рассчитывается как (потреблённые PTU / PTU развернутые) x 100. Когда загрузка превышает или равна 100%, вызовы ограничиваются, и возвращается код ошибки 429. Чтобы разбить этот показатель, можно добавить фильтр или применить разбиение по следующим параметрам: ModelDeploymentName, ModelName, ModelVersion и StreamType (Потоковые или непотоковые запросы)	AzureOpenAIProvisionedManagedUtilization	Нет	Процент	Минимум, Максимум, Средний	Region, , StreamTypeModelDeploymentName, ModelNameModelVersion	PT1M	Нет
Подготовленное управляемое использование версии 2 Использование % для управляемого временного развертывания, рассчитывается как (потреблённые PTU / PTU развернутые) x 100. Когда загрузка превышает или равна 100%, вызовы ограничиваются, и возвращается код ошибки 429. Чтобы разбить этот показатель, можно добавить фильтр или применить разбиение по следующим параметрам: ModelDeploymentName, ModelName, ModelVersion и StreamType (Потоковые или непотоковые запросы)	AzureOpenAIProvisionedManagedUtilizationV2	Нет	Процент	Минимум, Максимум, Средний	Region, , StreamTypeModelDeploymentName, ModelNameModelVersion	PT1M	Нет
Обработанные часы обучения FineTuned Количество обучающих часов, обработанных по модели OpenAI FineTuned	FineTunedTrainingHours	Нет	Count	Сумма (Итог)	ApiName, , ModelDeploymentNameFeatureName, UsageChannelRegion	PT1M	Yes
Сгенерированные токены завершения Количество токенов, генерируемых (выводящихся) из модели OpenAI. Распространяется на PTU, управляемые PTU и системы оплаты по использованию. Чтобы разбить эту метрику, можно добавить фильтр или применить разделение по следующим измерениям: ModelDeploymentName и ModelName.	GeneratedTokens	Нет	Count	Сумма (Итог)	ApiName, ModelDeploymentName, FeatureNameUsageChannelRegionModelVersionServiceTierRequestServiceTierResponse	PT1M	Yes
Обработанные токены запросов Количество обработанных токенов запросов (ввода) в модели OpenAI. Распространяется на PTU, управляемые PTU и системы оплаты по использованию. Чтобы разбить эту метрику, можно добавить фильтр или применить разделение по следующим измерениям: ModelDeploymentName и ModelName.	ProcessedPromptTokens	Нет	Count	Сумма (Итог)	ApiName, ModelDeploymentName, FeatureNameUsageChannelRegionModelVersionServiceTierRequestServiceTierResponse	PT1M	Yes
Используемые секунды API в реальном времени Количество используемых секунд в RealtimeAPI	RealtimeUsageTime	Нет	Count	Сумма (Итог)	Region, ModelDeploymentName	PT1M	Yes
Обработанные токены вывода Количество токенов вывода, обрабатываемых по модели OpenAI. Рассчитывается как токены запросов (вход) плюс сгенерированные токены (выход). Распространяется на PTU, управляемые PTU и системы оплаты по использованию. Чтобы разбить эту метрику, можно добавить фильтр или применить разделение по следующим измерениям: ModelDeploymentName и ModelName.	TokenTransaction	Нет	Count	Сумма (Итог)	ApiName, ModelDeploymentName, FeatureNameUsageChannelRegionModelVersionServiceTierRequestServiceTierResponse	PT1M	Yes

Категория: Когнитивные сервисы — HTTP-запросы

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Заблокированные вызовы Количество звонков, превышающих лимит по тарифу или квоте. Не используйте для Azure сервис OpenAI.	BlockedCalls	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Ошибки клиента Количество звонков с ошибкой на стороне клиента (код ответа HTTP 4xx). Не используйте для Azure сервис OpenAI.	ClientErrors	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Входящие данные Размер входящих данных в байтах. Не используйте для Azure сервис OpenAI.	DataIn	Нет	Bytes	Сумма (Итог)	ApiName, , OperationNameRegion	PT1M	Yes
Выходные данные Размер исходящих данных в байтах. Не используйте для Azure сервис OpenAI.	DataOut	Нет	Bytes	Сумма (Итог)	ApiName, , OperationNameRegion	PT1M	Yes
Задержки Задержка в миллисекундах. Не используйте для Azure сервис OpenAI.	Latency	Нет	Миллисекунды	Средний	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Ratelimit Текущий лимит ставки ключа скорости. Не используйте для Azure сервис OpenAI.	Ratelimit	Нет	Count	Сумма (Итог)	Region, RatelimitKey	PT1M	Yes
Ошибки сервера Количество вызовов с внутренней ошибкой сервиса (код ответа HTTP 5xx). Не используйте для Azure сервис OpenAI.	ServerErrors	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Успешные вызовы Количество успешных звонков. Не используйте для Azure сервис OpenAI.	SuccessfulCalls	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Всего вызовов Общее количество звонков. Не используйте для Azure сервис OpenAI.	TotalCalls	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Всего ошибок Общее количество вызовов с ответом на ошибку (HTTP-код ответа 4xx или 5xx). Не используйте для Azure сервис OpenAI.	TotalErrors	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegionRatelimitKey	PT1M	Yes
Общее количество вызовов токенов Общее количество токен-колл.	TotalTokenCalls	Нет	Count	Сумма (Итог)	ApiName, , OperationNameRegion	PT1M	Yes

Категория: Когнитивные услуги — SLI

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Коэффициент доступности Процент доступности при следующем расчёте: (Общее количество вызовов — ошибки сервера)/Общее количество вызовов. Ошибки сервера включают любые HTTP-ответы >= 500. Не используйте для Azure сервис OpenAI.	SuccessRate	Нет	Процент	Минимум, Максимум, Средний	ApiName, , OperationNameRegionRatelimitKey	PT1M	Нет

Категория: Понимание контента - Использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Транзакции с использованием лицевой идентификации Количество вызовов API, сделанных в сервис Face	FaceApiTransactions	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные аудиоминуты Минуты обработанного аудио	ProcessedAudioMinutes	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные страницы Количество обработанных страниц документов	ProcessedDocumentPages	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные изображения Количество обработанных изображений	ProcessedImageCount	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Минуты обработанного видео Минуты обработанного видео	ProcessedVideoMinutes	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены Количество использованных токенов	Tokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes

Категория: Контент Безопасность - Риски и Безопасность

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Обнаружен вредный объём Количество вызовов, сделанных в API Azure OpenAI и выявленных как вредные (как блочная модель, так и режим аннотаций), применяемых фильтром контента в течение определённого времени. Вы можете добавить фильтр или применить разбиение по следующим параметрам: ModelDeploymentName, ModelName и TextType.	RAIHarmfulRequests	Нет	Count	Сумма (Итог)	Region, ModelDeploymentName, ModelNameModelVersionApiNameTextTypeCategorySeverity	PT1M	Yes
Заблокированный том Количество вызовов, сделанных в API Azure OpenAI и отклонённых фильтром контента, применяемых в течение определённого времени. Вы можете добавить фильтр или применить разбиение по следующим параметрам: ModelDeploymentName, ModelName и TextType.	RAIRejectedRequests	Нет	Count	Сумма (Итог)	Region, ModelDeploymentName, , ModelNameModelVersion, ApiName, TextType, ,Category	PT1M	Yes
Событие по системе безопасности Системное событие для мониторинга рисков и безопасности. Вы можете добавить фильтр или применить разбиение по следующему измерению: EventType.	RAISystemEvent	Нет	Count	Средний	Region, EventType	PT1M	Yes
Общий объём, отправленный на проверку безопасности Количество вызовов, сделанных в Azure OpenAI API и обнаруженных с помощью фильтра контента, применяемых в течение определённого времени. Вы можете добавить фильтр или применить разбиение по следующим измерениям: ModelDeploymentName, ModelName.	RAITotalRequests	Нет	Count	Сумма (Итог)	Region, , ModelDeploymentNameModelName, ModelVersionApiName	PT1M	Yes

Категория: КонтентБезопасность - Использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Количество звонков для модерации изображений Количество звонков на модерацию изображений.	ContentSafetyImageAnalyzeRequestCount	Нет	Count	Сумма (Итог)	ApiVersion	PT1M	Yes
Количество звонков для модерации текста Количество звонков для модерации текста.	ContentSafetyTextAnalyzeRequestCount	Нет	Count	Сумма (Итог)	ApiVersion	PT1M	Yes

Категория: Язык - Вакансии

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Продолжительность работы (Превью) Примечание: это значение сильно зависит от размера входных данных, количества документов и сложности задачи. Это совокупное значение для всех рабочих задач.	JobDuration	Нет	Миллисекунды	Минимум, Максимум, Средний	JobStatus, JobType	PT1M	Yes

Категория: маршрутизатор моделей

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Резервное число маршрутизаторов модели Количество запросов, необходимых для возврата к альтернативной модели.	ModelRouterFallbackCount	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameRegionRouterMode	PT1M	Yes
Задержка маршрутизатора модели Время, затраченное маршрутизатором модели, чтобы принять решение о маршрутизации.	ModelRouterLatency	Нет	Миллисекунды	Минимум, Максимум, Средний	ModelDeploymentName, , ModelNameRegionRouterMode	PT1M	Yes
Запросы маршрутизатора модели Общее количество запросов, обработанных маршрутизатором модели.	ModelRouterRequests	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameRegionRouterMode	PT1M	Yes
Резервный вариант исходной модели маршрутизатора модели Количество запросов, в которых произошел сбой первой попытки модели, что приводит к обратному переходу к другой модели.	ModelRouterSourceModelFallback	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameRegion, RouterModeSourceModelName	PT1M	Yes
Успешные запросы маршрутизатора модели Число успешно перенаправленных запросов без ошибок.	ModelRouterSuccessfulRequests	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameRegionRouterMode	PT1M	Yes

Категория: Модели - HTTP-запросы

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Уровень доступности моделей Процент доступности при следующем расчёте: (Общее количество вызовов — ошибки сервера)/Общее количество вызовов. Ошибки сервера включают любые HTTP-ответы >= 500.	ModelAvailabilityRate	Нет	Процент	Минимум, Максимум, Средний	Region, , ModelDeploymentNameModelNameModelVersion	PT1M	Нет
Запросы модели Количество вызовов, сделанных в API модели за определённый период. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	ModelRequests	Нет	Count	Сумма (Итог)	ApiName, OperationName, RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse	PT1M	Yes

Категория: Модели - Задержка

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Время между жетонами Скорость генерации токена модели, измеряемая в миллисекундах. Применяется к развертываниям, управляемым PTU и PTU. Для запросов, не относящихся к стримингу, это значение является приблизительным.	NormalizedTimeBetweenTokens	Нет	Миллисекунды	Максимум, Минимум, Средний	ApiName, OperationName, , RegionStreamType, ModelDeploymentName, ModelName, ,ModelVersion	PT1M	Yes
Нормализованное время до первого байта Время, необходимое для получения первого байта данных ответа после запроса по модели, нормализуемое токеном. Применяется к развертываниям с PTU, управляемым PTU и системой оплаты по мере использования. Для запросов, не относящихся к стримингу, это значение является приблизительным.	NormalizedTimeToFirstToken	Нет	Миллисекунды	Максимум, Минимум, Средний	ApiName, OperationName, , RegionStreamType, ModelDeploymentName, ModelName, ,ModelVersion	PT1M	Yes
Время до последнего байта Время, необходимое для получения последнего байта данных ответа после запроса по модели. Применяется к развертываниям с PTU, управляемым PTU и системой оплаты по мере использования. Для запросов, не относящихся к стримингу, это значение является приблизительным.	TimeToLastByte	Нет	Миллисекунды	Максимум, Минимум, Средний	ApiName, OperationName, , RegionStreamType, ModelDeploymentName, ModelName, ,ModelVersion	PT1M	Yes
Время отвечать Рекомендуемая мера задержки (отзывчивости). Применяется к развертываниям, управляемым PTU и PTU. Рассчитывается как время, необходимое для появления первого ответа после отправки пользователя запроса, измеряемое шлюзом API. Это число увеличивается по мере увеличения размера запроса и/или уменьшения количества попаданий кэша. Чтобы разбить метрику времени на ответ, можно добавить фильтр или применить разбиение по следующим измерениям: ModelDeploymentName, ModelName и ModelVersion. Примечание: эта метрика является приближением, так как измеренная задержка сильно зависит от множества факторов, включая одновременные вызовы и общую схему рабочей нагрузки. Кроме того, он не учитывает задержку на стороне клиента, которая может существовать между вашим клиентом и конечной точкой API. Для запросов, не относящихся к стримингу, это значение является приблизительным. Пожалуйста, обратитесь к собственному логированию для оптимального отслеживания задержек.	TimeToResponse	Нет	Миллисекунды	Минимум, Максимум, Средний	ApiName, OperationName, RegionStreamTypeModelDeploymentNameModelNameModelVersionStatusCode	PT1M	Yes
Жетоны в секунду Перечисляет скорость генерации для заданного отклика модели. Общее количество сгенерированных токенов делится на время их генерации — в секундах. Применяется к развертываниям, управляемым PTU и PTU. Для запросов, не относящихся к стримингу, это значение является приблизительным.	TokensPerSecond	Нет	Count	Максимум, Минимум, Средний	ApiName, OperationName, , RegionStreamType, ModelDeploymentName, ModelName, ,ModelVersion	PT1M	Yes

Категория: Модели - Использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Аннотированные страницы Общее количество обработанных страниц с аннотациями. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	AnnotatedPages	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes
Аудиовходные токены Количество токенов аудиозапросов, обработанных (входных) в модели OpenAI. Применяется к развертыванию моделей, управляемых PTU.	AudioInputTokens	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameModelVersionRegion	PT1M	Yes
Токены аудиовыхода Количество токенов аудиоподсказок, генерируемых (выводящихся) на модели OpenAI. Применяется к развертыванию моделей, управляемых PTU.	AudioOutputTokens	Нет	Count	Сумма (Итог)	ModelDeploymentName, , ModelNameModelVersionRegion	PT1M	Yes
Токены запросов, читаемые из кэша Общее количество токенов, прочитанных из кэша. Применяется к развертываниям Anthropic моделей. Появляется в разделе использования ответов как cache_read_input_tokens	cacheReadInputTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentNameModelNameModelVersion,ContextLength	PT1M	Yes
Токены запросов, записываемые в кэш (1 час TTL) Количество токенов запросов, используемых для создания записи за 1 час. Применяется к развертываниям Anthropic моделей. Появляется в разделе использования ответов как cache_creation.ephemeral_1h_input_tokens	ephemeral1hInputTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentNameModelNameModelVersion,ContextLength	PT1M	Yes
Токены запросов, записываемые в кэш (5 минут TTL) Количество токенов запросов, используемых для создания 5-минутной записи в кэше. Применяется к развертываниям Anthropic моделей. Появляется в разделе использования ответов как cache_creation.ephemeral_5m_input_tokens	ephemeral5mInputTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentNameModelNameModelVersion,ContextLength	PT1M	Yes
Оценочная стоимость модели Foundry (предварительная версия) Оценочная стоимость использования модели в долларах США для этой учетной записи. Применяется только к моделям Foundry. Это значение является оценкой и не является счетом или выставленным счетом.	FoundryModelEstimatedCost	Нет	Не определено	Сумма (Итог)	ProjectId, , ModelDeploymentNameModelName, ModelVersionRegion	PT1M	Нет
Созданные изображения Общее количество сгенерированных изображений. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	GeneratedImages	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes
Входные токены Количество обработанных токенов prompt (input) на модели. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	InputTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes
Выходные токены Количество токенов, генерируемых (выводящихся) из модели OpenAI. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	OutputTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes
Зарезервированное использование Использование % для управляемого временного развертывания, рассчитывается как (потреблённые PTU / PTU развернутые) x 100. Когда загрузка превышает или равна 100%, вызовы ограничиваются, и возвращается код ошибки 429.	ProvisionedUtilization	Нет	Процент	Минимум, Максимум, Средний	Region, , ModelDeploymentNameModelNameModelVersion	PT1M	Нет
Всего страниц Общее количество обработанных страниц. Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	TotalPages	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes
Всего токенов Количество токенов вывода, обработанных на модели. Рассчитывается как токены запросов (вход) плюс сгенерированные токены (выход). Применяется к PTU, PTU-Managed и развертываниям с оплатой по мере использования.	TotalTokens	Нет	Count	Сумма (Итог)	ApiName, , RegionModelDeploymentName, ModelNameModelVersion	PT1M	Yes

Категория: SpeechServices - Использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Аудиосекунды Партии Транскрипции Количество транскрибированных секунд партии	AudioSecondsBatchTranscribed	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Аудиосекунды Пакетный шёпот расшифрован Партийный шёпот — количество секунд транскрибировано	AudioSecondsBatchWhisperTranscribed	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Аудиосекунды быстро транскрибированы Быстрое количество секунд транскрибировано	AudioSecondsFastTranscribed	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Аудиосекунды Быстрый Шёпот Транскрибирован Быстрый шёпот, количество секунд транскрибировано	AudioSecondsFastWhisperTranscribed	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Аудиосекунды транскрибированы Количество транскрибированных секунд	AudioSecondsTranscribed	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод аудиосекунд Количество переводных секунд	AudioSecondsTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Хостинг модели аватара Seconds Количество секунд.	AvatarModelHostingSeconds	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Секунды обучения модели аватара Количество секунд.	AvatarModelTrainingSeconds	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Часы хостинга речевых моделей Количество часов хостинга речевой модели	SpeechModelHostingHours	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Синтезированные символы Количество символов.	SynthesizedCharacters	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Video Seconds Синтезировано Количество синтезированных секунд	VideoSecondsSynthesized	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены ввода голосового аудио в прямом эфире Количество аудиовходных токенов, без учета кэшированных токенов.	VoiceLiveAudioInputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены Voice Live Audio Output Количество токенов аудиовыхода.	VoiceLiveAudioOutputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Кэшированные аудио-токены Voice Live Количество кэшированных аудиовходных токенов.	VoiceLiveCachedAudioInputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены ввода текста в живом эфире Количество кэшированных токенов ввода текста.	VoiceLiveCachedTextInputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены ввода голоса в живом тексте Количество токенов ввода текста, не считая кэшированных токенов.	VoiceLiveTextInputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Токены для вывода голосового текста в живом формате Количество токенов выхода текста.	VoiceLiveTextOutputTokens	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Часы хостинга голосовой модели Количество часов.	VoiceModelHostingHours	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Протоколы обучения голосовой модели Количество минут.	VoiceModelTrainingMinutes	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes

Категория: Услуги трансляторов — Использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Переведённые персонажи документа Количество символов в запросе на перевод документов.	DocumentCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод пользовательских символов документа Количество символов в запросе на перевод кастомных документов.	DocumentCustomCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод символов синхронизации документов Количество символов в запросе перевода документов (синхронный).	OneDocumentCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод пользовательских символов для синхронизации документов Количество символов в запросе на пользовательский перевод документов (синхронный).	OneDocumentCustomCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод текстовых символов Количество символов в входящем запросе на перевод текста.	TextCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Перевод пользовательских символов Количество символов в входящем запросе на перевод пользовательского текста.	TextCustomCharactersTranslated	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Текстово обученные персонажи Количество символов, обученных с помощью перевода текста.	TextTrainedCharacters	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Секунды приложения Translator Pro Количество секунд использования приложения Translator Pro.	TranslatorProAppSeconds	Нет	Seconds	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes

Категория: использование

Единица измерения	Имя в REST API	Дополнительные метрики платформы	Единица измерения	Aggregation	Измерения	Гранулы времени	Экспорт данных (DS)
Компьютерное зрение Транзакции Количество транзакций Компьютерное зрение	ComputerVisionTransactions	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Время индивидуального тренировки зрения Время обучения Custom Vision	CustomVisionTrainingTime	Нет	Seconds	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Индивидуальные транзакции с видением Количество транзакций прогнозирования Custom Vision	CustomVisionTransactions	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Тренированные изображения лица Количество обученных изображений. 1 000 обучаемых изображений за одну транзакцию.	FaceImagesTrained	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Сохранённые лица Количество лиц, хранящихся, пропорционально ежедневно. Количество сохраняемых лиц сообщается ежедневно.	FacesStored	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Транзакции с использованием лицевой идентификации Количество вызовов API, сделанных в сервис Face	FaceTransactions	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Сохраненные изображения Количество сохранённых изображений Custom Vision.	ImagesStored	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Изученные события Количество изученных событий.	LearnedEvents	Нет	Count	Сумма (Итог)	IsMatchBaseline, , ModeRunId	PT1M	Yes
Запросы на речь LUIS Количество запросов на понимание речи в намерение LUIS	LUISSpeechRequests	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Запросы на текст LUIS Количество запросов на текст LUIS	LUISTextRequests	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Соответствующие награды Количество совпаденных наград.	MatchedRewards	Нет	Count	Сумма (Итог)	Mode, RunId	PT1M	Yes
Неактивированные события Количество пропущенных событий.	NonActivatedEvents	Нет	Count	Сумма (Итог)	Mode, RunId	PT1M	Yes
Наблюдаемые вознаграждения Количество наблюдаемых наград.	ObservedRewards	Нет	Count	Сумма (Итог)	Mode, RunId	PT1M	Yes
Обработанные символы Количество персонажей, обработанных Иммерсивное средство чтения.	ProcessedCharacters	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные медицинские текстовые записи Количество обработанных медицинских текстовых записей	ProcessedHealthTextRecords	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные изображения Количество обработанных изображений	ProcessedImages	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные страницы Количество обработанных страниц	ProcessedPages	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Обработанные текстовые записи Количество текстовых записей.	ProcessedTextRecords	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Текстовые записи QA Количество обработанных текстовых записей	QuestionAnsweringTextRecords	Нет	Count	Сумма (Итог)	ApiName, , FeatureNameUsageChannelRegion	PT1M	Yes
Всего событий Количество мероприятий.	TotalEvents	Нет	Count	Сумма (Итог)	Mode, RunId	PT1M	Yes
Общее количество транзакций (устарело) Общее количество транзакций.	TotalTransactions	Нет	Count	Сумма (Итог)	<нет>	PT1M	Yes

Метрические размеры

Для информации о том, что такое метрические размерности, см. раздел «Многомерные метрики».

Эта услуга имеет следующие измерения, связанные с её метриками.

• ApiName
• Имя компонента
• ModelDeploymentName
• НазваниеМодели
• ModelVersion
• Наименование операции
• Регион
• Код статуса
• StreamType
• UsageChannel

Журналы ресурсов

В этом разделе перечислены типы журналов ресурсов, которые вы можете собирать для этой услуги. Раздел взят из списка типов категорий все типы журналов ресурсов, поддерживаемых в Azure Monitor.

Поддерживаемые логи ресурсов для Microsoft. Когнитивные сервисы/аккаунты

Category	Затраты на экспорт	таблица логов	Поддерживает базовый план логов	Поддерживает преобразование по времени погружения	Примеры запросов
Аудит	Нет	AzureDiagnostics Логи из нескольких ресурсов Azure.	Нет	Нет
AzureOpenAIRequestUsage	Yes	AzureDiagnostics Логи из нескольких ресурсов Azure.	Нет	Нет
ManagedNetworkEvent	Yes	AzureDiagnostics Логи из нескольких ресурсов Azure.	Нет	Нет
RequestResponse	Нет	AzureDiagnostics Логи из нескольких ресурсов Azure.	Нет	Нет
Trace	Нет	AzureDiagnostics Логи из нескольких ресурсов Azure.	Нет	Нет

Таблицы журналов Azure Monitor

В этом разделе перечислены таблицы Azure Monitor Logs, относящиеся к данному сервису, которые доступны для запроса Log Analytics с помощью запросов Kusto. Таблицы содержат данные журнала ресурсов и, возможно, больше, в зависимости от того, что собирается и направляется к ним.

Azure OpenAI microsoft.cognitiveservices/accounts

• AzureActivity
• AzureMetrics
• AzureDiagnostics

Журнал действий

В связанной таблице перечислены операции, которые можно записать в журнал активности этого сервиса. Эти операции являются подмножеством всех возможных операций поставщика ресурсов в журнале активности.

Для получения дополнительной информации о схеме записей журнала активности см. схему журнала активности.

• Операции поставщиков ресурсов ИИ + машинного обучения

Связанный контент

• Описание мониторинга Azure OpenAI см. в разделе Monitor Azure OpenAI.
• Дополнительные сведения о мониторинге ресурсов Azure см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.