Ограничения инструментов автомасштабирования Foundry

В этой статье приводятся рекомендации по доступу клиентов к более высоким ограничениям скорости для определенных ресурсов Foundry Tools, включая те средства Foundry, которые используются с Microsoft Foundry.

Обзор

Каждый ресурс Foundry Tools имеет предварительно настроенную статическую частоту вызовов (транзакции в секунду), которая ограничивает количество одновременных вызовов, которые клиенты могут выполнять в службу в заданном интервале времени. Функция автомасштабирования автоматически увеличивает или уменьшает ограничения скорости ресурсов клиента на основе метрик использования ресурсов практически в реальном времени и метрик емкости серверной службы.

Начало работы с функцией автомасштабирования

Эта функция отключена по умолчанию для каждого нового ресурса. Если ресурс поддерживает автомасштабирование, выполните следующие инструкции, чтобы включить его:

Azure

Перейдите на страницу ресурса на портале Azure и перейдите на вкладку Overview на левой панели. В разделе "Основные сведения" найдите строку автомасштабирования и выберите ссылку, чтобы просмотреть панель параметров автомасштабирования и включить эту функцию.

Azure CLI

Выполните следующую команду после создания ресурса:

az resource update --namespace Microsoft.CognitiveServices --resource-type accounts --set properties.dynamicThrottlingEnabled=true --resource-group {resource-group-name} --name {resource-name}

Часто задаваемые вопросы

Какие службы поддерживают функцию автомасштабирования?

Функция автомасштабирования доступна на платном уровне подписки следующих служб:

• Azure Vision
• Язык (доступен только для анализа тональности, извлечения ключевых фраз, распознавания именованных сущностей и анализа текста в области здравоохранения)
• Детектор аномалий
• Модератор контента
• Пользовательское визуальное распознавание (прогнозирование)
• Иммерсивное средство чтения
• ЛУИС
• Помощник по метрикам
• Персонализатор
• QnAMaker

Можно ли протестировать эту функцию с помощью бесплатной подписки?

Нет, функция автомасштабирования недоступна для подписок бесплатного уровня.

Означает ли включение функции автомасштабирования, что мой ресурс никогда не будет ограничиваться снова?

Нет, вы по-прежнему можете получить 429 ошибки за превышение лимита скорости. Если ваше приложение вызывает всплеск нагрузки, а ресурс сообщает об отклике 429, система автомасштабирования проверяет раздел проекции доступной емкости, чтобы определить, может ли текущая емкость обеспечить увеличение лимита скорости и ответить в течение пяти минут.

Если доступного объема достаточно для увеличения, автомасштабирование постепенно увеличивает предел пропускной способности ресурса. Если вы продолжаете вызывать ресурс с высокой скоростью, при этом происходит 429 ограничение, показатель TPS будет продолжать увеличиваться с течением времени. Если это действие продолжается в течение одного часа или более, вы должны достичь максимальной скорости (до 1000 TPS), доступной в настоящее время для этого ресурса.

Если доступной емкости недостаточно для увеличения, функция автомасштабирования ожидает пять минут и снова проверяет.

Что делать, если мне нужен более высокий предел скорости по умолчанию?

По умолчанию ресурсы Foundry Tools имеют ограничение скорости по умолчанию в 10 TPS. Если вам нужен более высокий показатель TPS по умолчанию, отправьте запрос на поддержку, перейдя по ссылке New Support Request на странице вашего ресурса в портале Azure. Не забудьте включить в запрос бизнес-обоснование.

Увеличит ли эта функция мои затраты на Azure?

Цены на инструменты Foundry не изменились и доступны здесь. Мы будем выставлять счета только за успешные вызовы, выполненные в API средств Foundry. Однако увеличение ограничений частоты звонков означает, что больше транзакций завершено, и вы можете получить более высокий счет.

Помните о потенциальных ошибках и их последствиях. Если ошибка в клиентском приложении приводит к многократным вызовам службы сотни раз в секунду, это, вероятно, значительно увеличит расходы, тогда как расходы будут намного более ограничены в соответствии с фиксированным ограничением скорости. Ошибки такого рода являются вашей ответственностью. Мы настоятельно рекомендуем выполнять тесты на разработку и обновление клиента для ресурса с фиксированным ограничением скорости перед использованием функции автомасштабирования.

Можно ли отключить эту функцию, если я предпочитаю ограничить скорость, а не иметь непредсказуемый расход?

Да, вы можете отключить функцию автомасштабирования с помощью портала Azure или интерфейса командной строки и вернуться к параметру ограничения скорости звонков по умолчанию. Если ресурс был ранее утвержден для более высокого уровня TPS по умолчанию, он возвращается к этой частоте. Чтобы изменения вступили в силу, может занять до пяти минут.

Связанное содержимое

• Планирование и управление затратами на инструменты Foundry.
• Оптимизируйте ваши облачные инвестиции с помощью Управление затратами Microsoft.
• Узнайте, как предотвратить непредвиденные затраты.
• Ознакомьтесь с учебным курсом по управлению затратами .