Выдача метрик для использования токенов Azure OpenAI
ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API
Политика azure-openai-emit-token-metric
отправляет метрики в Application Insights об использовании больших маркеров языковой модели через API-интерфейсы службы Azure OpenAI. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.
Примечание.
Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.
Поддерживаемые модели службы OpenAI Azure
Политика используется с API- интерфейсами, добавленными в Управление API из службы Azure OpenAI следующих типов:
Тип API | Поддерживаемые модели |
---|---|
Завершение чата | gpt-3.5 gpt-4 |
Completion | gpt-3.5-turbo-instruct |
Внедрение | text-embedding-3-large text-embedding-3-small text-embedding-ada-002 |
Для получения дополнительной информации см. Модели Службы Azure OpenAI.
Необходимые компоненты
- В Управление API экземпляр необходимо добавить один или несколько API-интерфейсов службы Azure OpenAI. Дополнительные сведения см. в статье "Добавление API службы Azure OpenAI" в Azure Управление API.
- Экземпляр Управление API должен быть интегрирован с Application Insights. Дополнительные сведения см. в статье "Интеграция Azure Управление API с приложение Azure Insights".
- Включите ведение журнала Application Insights для API Azure OpenAI.
- Включите пользовательские метрики с измерениями в Application Insights. Дополнительные сведения см. в разделе "Выдача пользовательских метрик".
Правило политики
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
Атрибуты
Атрибут | Description | Обязательное поле | Default value |
---|---|---|---|
пространство имен | Строка . Пространство имен метрик. Выражения политики не допускаются. | No | Управление API |
значение | Значение метрики, выраженное как двойное. Допустимы выражения политики. | No | 1 |
Элементы
Элемент | Description | Обязательное поле |
---|---|---|
измерение | Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. | Да |
Атрибуты измерения
Атрибут | Description | Обязательное поле | Default value |
---|---|---|---|
name | Строковое выражение или выражение политики. Имя измерения. | Да | Н/П |
значение | Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. |
No | Н/П |
Имена измерений по умолчанию, которые могут использоваться без значения
- Идентификатор API
- Идентификатор операции
- Код продукта
- Идентификатор пользователя
- ИД подписки
- Расположение
- Идентификатор шлюза
Использование
- Разделы политики: inbound.
- Области политики: глобальная, рабочая область, продукт, API, операция
- Шлюзы: классическая, версия 2, потребление, локальное размещение, рабочая область
Примечания об использовании
- Эту политику можно использовать несколько раз для определения политики.
- Для этой политики можно настроить не более 10 пользовательских измерений.
- Эта политика может быть настроена при добавлении API из службы Azure OpenAI с помощью портала.
- Где доступно, значения в разделе использования ответа из API службы Azure OpenAI используются для определения метрик маркеров.
- Некоторые конечные точки Azure OpenAI поддерживают потоковую передачу ответов. Если
stream
задано значениеtrue
в запросе API для включения потоковой передачи, оцениваются метрики маркеров.
Пример
В следующем примере в Application Insights отправляются метрики количества маркеров Azure OpenAI вместе с идентификатором пользователя, IP-адресом клиента и идентификатором API в качестве измерений.
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
Связанные политики
Связанный контент
Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.
- Руководство. Преобразование и защита API
- Полный перечень операторов политик и их параметров см. в справочнике по политикам.
- Выражения политики
- Настройка или изменение политик
- Повторное использование конфигураций политик
- Репозиторий фрагментов политик
- Создание политик с помощью Microsoft Copilot в Azure