Мониторинг Службы Azure OpenAI

Статья
04/16/2024

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать эти ресурсы на предмет их доступности, производительности и функционирования.

В этой статье описываются данные мониторинга, созданные Службой OpenAI Azure. Azure OpenAI является частью служб ИИ Azure, которые используют Azure Monitor. Если вы не знакомы с функциями Azure Monitor, которые являются общими для всех служб Azure, использующих службу, см. статью "Мониторинг ресурсов Azure с помощью Azure Monitor".

Панели мониторинга

Azure OpenAI предоставляет встроенные панели мониторинга для каждого из ресурсов Azure OpenAI. Чтобы получить доступ к панелям мониторинга, войдите https://portal.azure.com в систему и выберите область обзора для одного из ресурсов Azure OpenAI.

Панели мониторинга группируются в четыре категории: HTTP-запросы, использование на основе маркеров, использование PTU и настройка тонкой настройки

Сбор и маршрутизация данных в Azure Monitor

Azure OpenAI собирает те же типы данных мониторинга, что и другие ресурсы Azure. Azure Monitor можно настроить для создания данных в журналах действий, журналах ресурсов, журналах виртуальных машин и метрик платформы. Дополнительные сведения см. в статье "Мониторинг данных из ресурсов Azure".

Метрики платформы и журнал действий Azure Monitor собираются и хранятся автоматически. Эти данные можно направлять в другие расположения с помощью параметра диагностики. Журналы ресурсов Azure Monitor не собираются и хранятся, пока не создадите параметр диагностики, а затем перенаправьте журналы в одно или несколько расположений.

Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Дополнительные сведения о создании параметра диагностики с помощью портал Azure, Azure CLI или PowerShell см. в статье "Создание параметра диагностики для сбора журналов и метрик платформы в Azure".

Имейте в виду, что использование параметров диагностики и отправка данных в журналы Azure Monitor имеет другие затраты, связанные с ним. Дополнительные сведения см. в разделе "Вычисления затрат и варианты затрат журналов Azure Monitor".

Собранные метрики и журналы описаны в следующих разделах.

Анализ метрик

Вы можете анализировать метрики для ресурсов службы Azure OpenAI с помощью средств Azure Monitor в портал Azure. На странице "Обзор " для ресурса Azure OpenAI выберите метрики в разделе "Мониторинг " в области слева. Дополнительные сведения см. в обозревателе метрик Azure Monitor.

Azure OpenAI имеет общее представление с подмножеством служб ИИ Azure. Список всех метрик платформы, собранных для Azure OpenAI и аналогичных служб ИИ Azure в Azure Monitor, см. в статье Поддерживаемые метрики для Microsoft.CognitiveServices/accounts.

Метрики Cognitive Services

Это устаревшие метрики, которые являются общими для всех ресурсов служб искусственного интеллекта Azure. Мы больше не рекомендуем использовать эти метрики с Azure OpenAI.

Метрики Azure OpenAI

Примечание.

Метрика использования, управляемого подготовленными, теперь устарела и больше не рекомендуется. Эта метрика заменена метрикой подготовленного использования версии 2 .

В следующей таблице приведены сведения о текущем подмножестве метрик, доступных в Azure OpenAI.

Metric	Категория	Агрегат	Description	Измерения
`Azure OpenAI Requests`	HTTP	Count	Общее количество вызовов, выполненных в API Azure OpenAI за период времени. Применяется к номерам SKU, управляемым PayGo, PTU и PTU.	`ApiName`, `ModelDeploymentName`,`ModelName`,`ModelVersionOperationNameRegion` , , `StatusCodeStreamType`
`Generated Completion Tokens`	Использование	Sum	Количество созданных маркеров (выходных данных) из модели Azure OpenAI. Применяется к номерам SKU, управляемым PayGo, PTU и PTU	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed FineTuned Training Hours`	Использование	Sum	Количество часов обучения, обработанных в модели с точной настройкой Azure OpenAI.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed Inference Tokens`	Использование	Sum	Количество маркеров вывода, обработанных моделью Azure OpenAI. Вычисляется как маркеры запроса (входные данные) + созданные маркеры. Применяется к номерам SKU, управляемым PayGo, PTU и PTU.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed Prompt Tokens`	Использование	Sum	Общее количество маркеров запроса (входных данных), обработанных в модели Azure OpenAI. Применяется к номерам SKU, управляемым PayGo, PTU и PTU.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Provision-managed Utilization V2`	HTTP	По средней	Использование, управляемое подготовкой, — это процент использования для данного подготовленного управляемого развертывания. Вычисляется как (PTUS, использованные или развернутые PTUs)*100. Если использование превышает 100%, вызовы регулируются и возвращают код ошибки 429.	`ModelDeploymentName`,`ModelName`,, `RegionModelVersion`,`StreamType`
`Prompt Token Cache Match Rate`	HTTP	По средней	Только управляемая подготовка. Кэш маркеров запроса, выраженный в процентах.	`ModelDeploymentName`, , `ModelVersionModelNameRegion`
`Time to Response`	HTTP	По средней	Рекомендуемая мера задержки (скорость отклика) для потоковых запросов. Применяется к развертываниям под управлением PTU и PTU. Эта метрика не применяется к стандартным развертываниям pay-go. Вычисляется как время, затраченное на первый ответ после отправки пользователем запроса, как измеряется шлюзом API. Это число увеличивается по мере увеличения размера запроса и (или) уменьшения размера попадания кэша. Примечание. Эта метрика является приблизительной, так как измеряемая задержка сильно зависит от нескольких факторов, включая одновременные вызовы и общий шаблон рабочей нагрузки. Кроме того, она не учитывает задержку на стороне клиента, которая может существовать между клиентом и конечной точкой API. Обратитесь к собственному журналу для оптимального отслеживания задержки.	`ModelDepIoymentName`, `ModelName` и `ModelVersion`

Настройка параметров диагностики

Все метрики можно экспортировать с параметрами диагностики в Azure Monitor. Чтобы проанализировать журналы и данные метрик с помощью запросов Azure Monitor Log Analytics, необходимо настроить параметры диагностики для ресурса Azure OpenAI и рабочей области Log Analytics.

На странице ресурсов Azure OpenAI в разделе "Мониторинг" выберите параметры диагностики на левой панели. На странице параметров диагностики выберите "Добавить параметр диагностики".
На странице параметров диагностики настройте следующие поля:
1. Выберите Отправить в рабочую область Log Analytics.
2. Выберите подписку учетной записи Azure.
3. Выберите рабочую область Log Analytics.
4. В разделе "Журналы" выберите allLogs.
5. В поле Метрики выберите AllMetrics.
Введите имя параметра диагностики для сохранения конфигурации.
Выберите Сохранить.

После настройки параметров диагностики вы можете работать с метриками и данными журнала для ресурса Azure OpenAI в рабочей области Log Analytics.

Анализ журналов

Данные в журналах Azure Monitor хранятся в таблицах, каждая из которых имеет собственный набор уникальных свойств.

Все журналы ресурсов в Azure Monitor имеют те же поля, за которыми следуют поля, характерные для службы. Дополнительные сведения о общей схеме см. в разделе "Общие и служебные схемы" для журналов ресурсов Azure.

Журнал действий — это тип журнала платформы в Azure, который предоставляет аналитические сведения о событиях уровня подписки. Этот журнал можно просматривать независимо или направлять его в журналы Azure Monitor. В портал Azure можно использовать журнал действий в журналах Azure Monitor для выполнения сложных запросов с помощью Log Analytics.

Список типов журналов ресурсов, доступных для Azure OpenAI и аналогичных служб ИИ Azure, см. в статье об операциях поставщика ресурсов Microsoft.CognitiveServices Azure.

Использование запросов Kusto

После развертывания модели Azure OpenAI можно отправить некоторые вызовы завершения с помощью среды детской площадки в Azure AI Studio.

Любой текст, который вы вводите на площадке завершения или на игровой площадке завершения чата, создает метрики и данные журнала для ресурса Azure OpenAI. В рабочей области Log Analytics для ресурса можно запрашивать данные мониторинга с помощью языка запросов Kusto .

Внимание

Параметр "Открыть запрос " на странице ресурсов Azure OpenAI переходит к Azure Resource Graph, который не описан в этой статье. В следующих запросах используется среда запросов для Log Analytics. Обязательно выполните действия, описанные в разделе "Настройка параметров диагностики" для подготовки рабочей области Log Analytics.

На странице ресурсов Azure OpenAI в разделе "Мониторинг " на левой панели выберите "Журналы".
Выберите рабочую область Log Analytics, настроенную с диагностика для ресурса Azure OpenAI.
На странице рабочей области Log Analytics в разделе "Обзор" на левой панели выберите "Журналы".

В портал Azure по умолчанию отображается окно "Запросы" с примерами запросов и предложений. Это окно можно закрыть.

В следующих примерах введите запрос Kusto в область редактирования в верхней части окна запроса и нажмите кнопку "Выполнить". Результаты запроса отображаются под текстом запроса.

Следующий запрос Kusto полезен для первоначального анализа данных Диагностика Azure (AzureDiagnostics) о ресурсе:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Этот запрос возвращает пример из 100 записей и отображает подмножество доступных столбцов данных в журналах. В результатах запроса можно выбрать стрелку рядом с именем таблицы, чтобы просмотреть все доступные столбцы и связанные типы данных.

Чтобы просмотреть все доступные столбцы данных, можно удалить строку | project ... параметров области из запроса:

AzureDiagnostics
| take 100

Чтобы проверить данные метрик Azure дляAzureMetrics ресурса, выполните следующий запрос:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Запрос возвращает пример из 100 записей и отображает подмножество доступных столбцов данных метрик Azure:

Примечание.

При выборе журналов мониторинга>в меню Azure OpenAI для ресурса log Analytics откроется запрос, область задать текущий ресурс. Видимые запросы журнала включают только данные из этого конкретного ресурса. Чтобы выполнить запрос, содержащий данные из других ресурсов или данных из других служб Azure, выберите журналыиз меню Azure Monitor в портал Azure. Подробные сведения см. в статье Область запросов журнала и временной диапазон в Azure Monitor Log Analytics.

Настройка оповещений

Оповещения Azure Monitor заблаговременно уведомляют вас при обнаружении важных условий в данных мониторинга. Они позволяют выявлять и устранять проблемы в системе, прежде чем пользователи заметят их. Оповещения можно настроить для метрик, журналов и журнала действий. Различные типы оповещений имеют различные преимущества и недостатки.

Потребности в оповещении каждой организации зависят и могут меняться с течением времени. Как правило, все оповещения должны быть действовать и иметь конкретный предполагаемый ответ, если оповещение происходит. Если оповещение не требует немедленного ответа, условие можно записать в отчете, а не оповещение. В некоторых случаях использования может потребоваться оповещение в любое время, когда существуют определенные условия ошибки. В других случаях может потребоваться оповещение об ошибках, превышающих определенное пороговое значение для указанного периода времени.

Ошибки ниже определенных пороговых значений часто можно оценить с помощью регулярного анализа данных в журналах Azure Monitor. При анализе данных журнала с течением времени можно обнаружить, что определенное условие не происходит в течение ожидаемого периода времени. Это условие можно отслеживать с помощью оповещений. Иногда отсутствие события в журнале является таким же важным сигналом, как ошибка.

В зависимости от типа приложения, которое вы разрабатываете с помощью Azure OpenAI, приложение Azure Monitor Аналитика может предложить дополнительные преимущества мониторинга на уровне приложений.

Поделиться через