Поделиться через

Выдача метрик для использования токенов Azure OpenAI

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика azure-openai-emit-token-metric отправляет метрики в Application Insights об использовании больших маркеров языковой модели через API-интерфейсы службы Azure OpenAI. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели службы OpenAI Azure

Политика используется с API- интерфейсами, добавленными в Управление API из службы Azure OpenAI следующих типов:

Тип API Поддерживаемые модели
Завершение чата gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Внедрение text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Для получения дополнительной информации см. Модели Службы Azure OpenAI.

Необходимые компоненты

Правило политики

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Атрибуты

Атрибут Description Обязательное поле Default value
пространство имен Строка . Пространство имен метрик. Выражения политики не допускаются. No Управление API
значение Значение метрики, выраженное как двойное. Допустимы выражения политики. No 1

Элементы

Элемент Description Обязательное поле
измерение Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Да

Атрибуты измерения

Атрибут Description Обязательное поле Default value
name Строковое выражение или выражение политики. Имя измерения. Да Н/П
значение Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No Н/П

Имена измерений по умолчанию, которые могут использоваться без значения

  • Идентификатор API
  • Идентификатор операции
  • Код продукта
  • Идентификатор пользователя
  • ИД подписки
  • Расположение
  • Идентификатор шлюза

Использование

Примечания об использовании

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 10 пользовательских измерений.
  • Эта политика может быть настроена при добавлении API из службы Azure OpenAI с помощью портала.
  • Где доступно, значения в разделе использования ответа из API службы Azure OpenAI используются для определения метрик маркеров.
  • Некоторые конечные точки Azure OpenAI поддерживают потоковую передачу ответов. Если stream задано значение true в запросе API для включения потоковой передачи, оцениваются метрики маркеров.

Пример

В следующем примере в Application Insights отправляются метрики количества маркеров Azure OpenAI вместе с идентификатором пользователя, IP-адресом клиента и идентификатором API в качестве измерений.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.