Поделиться через

Выдача метрик для использования больших маркеров языковой модели

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика llm-emit-token-metric отправляет метрики в Application Insights об использовании маркеров большой языковой модели (LLM) через API LLM. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.

Примечание.

В настоящее время эта политика находится в предварительной версии.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели

Используйте политику с API LLM, добавленными в Azure Управление API, которые доступны через API вывода модели ИИ Azure.

Необходимые компоненты

  • В Управление API экземпляр необходимо добавить один или несколько API LLM.
  • Экземпляр Управление API должен быть интегрирован с Application Insights. Дополнительные сведения см. в статье "Интеграция Azure Управление API с приложение Azure Insights".
  • Включите ведение журнала Application Insights для API LLM.
  • Включите пользовательские метрики с измерениями в Application Insights. Дополнительные сведения см. в разделе "Выдача пользовательских метрик".

Правило политики

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Атрибуты

Атрибут Description Обязательное поле Default value
пространство имен Строка . Пространство имен метрик. Выражения политики не допускаются. No Управление API
значение Значение метрики, выраженное как двойное. Допустимы выражения политики. No 1

Элементы

Элемент Description Обязательное поле
измерение Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Да

Атрибуты измерения

Атрибут Description Обязательное поле Default value
name Строковое выражение или выражение политики. Имя измерения. Да Н/П
значение Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No Н/П

Имена измерений по умолчанию, которые могут использоваться без значения

  • Идентификатор API
  • Идентификатор операции
  • Код продукта
  • Идентификатор пользователя
  • ИД подписки
  • Расположение
  • Идентификатор шлюза

Использование

Примечания об использовании

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 10 пользовательских измерений.
  • При наличии значения в разделе использования ответа от API LLM используются для определения метрик маркеров.
  • Некоторые конечные точки LLM поддерживают потоковую передачу ответов. Если stream задано значение true в запросе API для включения потоковой передачи, оцениваются метрики маркеров.

Пример

Следующий пример отправляет метрики счетчика маркеров LLM в Application Insights вместе с идентификатором пользователя, IP-адресом клиента и идентификатором API в качестве измерений.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.