Управление маркерами
- 5 мин
Представьте, что вы получаете внезапный всплеск трафика в сторону вашего API, может быть, есть продажа или другая причина. Чтобы избежать превышения потребления и возможных нарушений работы служб, необходимо выяснить, как это управлять.
Политика ограничения маркеров OpenAI Azure
Как упоминалось в начале этого урока, внезапный пик является чем-то, вам нужно обработать. Хорошая новость заключается в том, что в Azure Управление API есть что-то называемое политикой ограничения маркеров.
Эта политика позволяет клиентам устанавливать ограничения на потребление маркеров, выраженные в маркерах в минуту (TPM), и обеспечить справедливое и эффективное использование ресурсов OpenAI.
Ключевые функции
Ключевыми функциями этой политики являются:
- Точный контроль. Клиенты могут назначать ограничения на основе маркеров для различных ключей счетчиков, таких как ключ подписки или IP-адрес, адаптация принудительного применения к конкретным вариантам использования.
- Мониторинг в режиме реального времени: политика использует метрики использования маркеров, возвращаемые из конечной точки OpenAI, что позволяет точно отслеживать и применять ограничения в режиме реального времени.
- Предварительное вычисление маркеров. Это позволяет предварительно вычислять маркеры запроса на стороне Azure Управление API, минимизируя ненужные запросы к серверной части OpenAI, если ограничение уже превышено.
- Улучшенная настройка. Клиенты могут применять заголовки и переменные, такие как маркеры, используемые маркерами, и остальные маркеры в политиках для улучшения управления и настройки.
Ss вы видите, есть довольно много функций, которые помогают управлять затратами и благодаря мониторингу в режиме реального времени вы можете убедиться, что вы не превышаете ограничения.
Использование
Чтобы использовать эту политику, необходимо добавить ее в конвейер входящего обработки операции API. Вот как это сделать:
<azure-openai-token-limit counter-key="key value"
tokens-per-minute="number"
estimate-prompt-tokens="true | false"
retry-after-header-name="custom header name, replaces default 'Retry-After'"
retry-after-variable-name="policy expression variable name"
remaining-tokens-header-name="header name"
remaining-tokens-variable-name="policy expression variable name"
tokens-consumed-header-name="header name"
tokens-consumed-variable-name="policy expression variable name" />
Существует довольно несколько атрибутов, которые можно задать, но наиболее важные из них:
- counter-key: ключ, используемый для подсчета маркеров. Это значение может быть ключом подписки или IP-адресом.
- token-per-minute: количество маркеров, разрешенных в минуту.
- estimate-prompt-token: следует ли оценивать маркеры запроса или нет.
Политика метрик маркера в Azure OpenAI
Эта политика устраняет необходимость подробного мониторинга и анализа использования маркеров в приложениях с помощью моделей Azure OpenAI.
Предоставляя комплексные метрики, она помогает организациям:
- Оптимизация распределения ресурсов: эффективное понимание потребления маркеров и управление ими.
- Улучшение принятия решений. Получение аналитических сведений о шаблонах использования для принятия обоснованных решений о масштабировании и управлении ресурсами.
- Улучшение Монитор производительности. Отслеживание и анализ использования маркеров для выявления потенциальных проблем и устранения потенциальных проблем
Как использовать политику метрик маркера emit
Чтобы использовать эту политику, необходимо добавить ее в конвейер входящего обработки операции API. Вот как кодировать его в XML:
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
Ниже приведен пример использования нескольких измерений:
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
В предыдущем примере:
- Политика настроена для выдачи метрик маркера в пространство имен AzureOpenAI с измерениями для идентификатора пользователя, IP-адреса клиента и идентификатора API.
- Для измерения IP-адреса клиента задан IP-адрес клиента, выполняющего запрос.
Представьте себе, что эти метрики можно отобразить на панели мониторинга, и вы можете отслеживать использование API в режиме реального времени. Например, можно увидеть, сколько маркеров использует конкретный пользователь или сколько маркеров использует конкретный API. Эта мощная функция, которая помогает оптимизировать ресурсы и принимать обоснованные решения о масштабировании и управлении ресурсами.
Проверьте свои знания
Обратная связь
Были ли сведения на этой странице полезными?
Нет
Нужна помощь с этой темой?
Хотите попробовать использовать Ask Learn для уточнения или руководства по этой теме?