Ограничения служб ИИ автомасштабирования

  • Статья

В этой статье приводятся рекомендации по доступу клиентов к более высоким ограничениям скорости для ресурсов служб искусственного интеллекта Azure.

Обзор

Каждый ресурс служб искусственного интеллекта Azure имеет предварительно настроенную статическую частоту вызовов (транзакции в секунду), которая ограничивает количество одновременных вызовов, которые клиенты могут выполнять в серверную службу в заданном интервале времени. Функция автомасштабирования автоматически увеличивает или уменьшает ограничения интенсивности ресурса клиента на основе метрик использования ресурсов и метрик емкости серверной службы почти в реальном времени.

Начало работы с функцией автомасштабирования

Эта функция по умолчанию отключена для каждого нового ресурса. Чтобы включить ее, следуйте этим инструкциям.

Перейдите на страницу ресурса на портале Azure и откройте вкладку Обзор в области слева. В разделе Основные компоненты найдите строку Автомасштабирование и перейдите по ссылке, чтобы просмотреть область Параметры автомасштабирования и включить эту функцию.

Screenshot of the Azure portal with the autoscale pane on right.

Часто задаваемые вопросы

Означает ли включение функции автомасштабирования, что мой ресурс больше не будет сталкиваться с ограничениями?

Нет, вы по-прежнему можете получить ошибки 429, связанные с превышением ограничения интенсивности. Если приложение активирует пик, а ресурс сообщает 429 ответ, автомасштабирование проверка раздел доступной проекции емкости, чтобы узнать, может ли текущая емкость обеспечить увеличение скорости и ответить в течение пяти минут.

Если доступной емкости достаточно для увеличения, автомасштабирование постепенно увеличивает ограничение скорости ресурса. Если вы продолжаете вызывать ресурс с высокой интенсивностью, которая приводит к увеличению регулирования 429, скорость TPS продолжит увеличиваться с течением времени. Если это действие продолжается в течение одного часа или более, вы должны достичь максимальной скорости (до 1000 TPS), доступной в настоящее время для этого ресурса.

Если доступной емкости недостаточно для увеличения, функция автомасштабирования ожидает пять минут и проверка снова.

Что делать, если требуется более высокое ограничение интенсивности по умолчанию?

По умолчанию ресурсы служб ИИ Azure имеют ограничение скорости по умолчанию в 10 TPS. Если требуется более высокое TPS по умолчанию, отправьте запрос, перейдя по ссылке Новый запрос на поддержку на странице ресурса на портале Azure. Не забудьте включить в запрос бизнес-обоснование.

Увеличит ли эта функция затраты на Azure?

Цены на службы искусственного интеллекта Azure не изменились и доступны здесь. Мы будем выставлять счета только за успешные вызовы, выполненные в API служб искусственного интеллекта Azure. Однако увеличение ограничений частоты звонков означает, что больше транзакций завершено, и вы можете получить более высокий счет.

Помните о потенциальных ошибках и их последствиях. Если ошибка в клиентском приложении приводит к тому, что оно вызывает службу сотни раз в секунду, это, скорее всего, станет причиной счета на гораздо большую сумму, в то время как стоимость будет гораздо более ограничена в соответствии с фиксированным ограничением интенсивности. Ошибки такого рода являются вашей ответственностью. Мы настоятельно рекомендуем выполнять тесты на разработку и обновление клиента для ресурса с фиксированным ограничением скорости перед использованием функции автомасштабирования.

Можно ли отключить эту функцию, если я предпочитаю ограничение интенсивности непредсказуемым затратам?

Да, можно отключить функцию автомасштабирования можно на портале Azure или в интерфейсе командной строки и вернуться к параметру ограничения интенсивности вызовов по умолчанию. Если ресурс был ранее утвержден для более высокого уровня TPS по умолчанию, он возвращается к этой частоте. Вступление изменений в силу может занять до пяти минут.

Какие службы поддерживают функцию автомасштабирования?

Функция автомасштабирования доступна для следующих служб.

Можно ли протестировать эту функцию в бесплатной подписке?

Нет, функция автомасштабирования недоступна для бесплатных подписок уровня.

Следующие шаги