Управление и увеличение квот для ресурсов с помощью Azure AI Studio

Статья
05/21/2024

Внимание

Некоторые функции, описанные в этой статье, могут быть доступны только в предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Квота обеспечивает гибкость для активного управления распределением ограничений скорости между развертываниями в вашей подписке. В этой статье описывается процесс управления квотой для виртуальных машин Azure AI Studio и моделей Azure OpenAI.

Ограничения и квоты применяются в Azure во избежание перерасхода бюджета из-за мошенничества, а также для соблюдения ограничений по объемам ресурсов Azure. Это также хороший способ контролировать затраты для администраторов. Учитывайте эти ограничения при масштабировании рабочих нагрузок.

В этой статье раскрываются следующие темы:

Ограничения по умолчанию для ресурсов Azure
Создание квот на уровне центра Azure AI Studio.
Просмотр квот и ограничений
Увеличение квоты и ограничения запроса

Примечания

Квоты применяются к каждой подписке в вашей учетной записи. Если у вас несколько подписок, необходимо запросить увеличение квоты для каждой подписки.

Квота — это кредитный лимит ресурсов Azure, а не гарантия емкости. Если вам нужны большие объемы ресурсов, обратитесь в службу поддержки Azure для увеличения квоты.

Примечание.

Вычислительные ресурсы Azure AI Studio имеют отдельную квоту от основной квоты вычислений.

Ограничения по умолчанию зависят от типа категории предложения, такого как бесплатная пробная версия, предложение с оплатой по мере использования и разные серии виртуальных машин (Dv2, F и G).

Квота Azure AI Studio

Следующие действия в Azure AI Studio используют квоту:

Создание вычислительного экземпляра.
Создание векторного индекса.
Развертывание открытых моделей из каталога моделей.

Вычисления Azure AI Studio

Вычисление Azure AI Studio имеет ограничение квоты по умолчанию на число ядер и количество уникальных вычислительных ресурсов, разрешенных для каждого региона в подписке.

Квота на количество ядер разделена по каждому семейству виртуальных машин и совокупным общим ядрам.
Квота на количество уникальных вычислительных ресурсов в каждом регионе отделена от квоты ядра виртуальной машины, так как она применяется только к управляемым вычислительным ресурсам.

Чтобы увеличить ограничения для вычислений, можно запросить увеличение квоты в Azure AI Studio.

Доступные ресурсы:

Квота выделенных ядер на регион по умолчанию составляет от 24 до 300, в зависимости от типа предложения подписки. Вы можете увеличить количество выделенных ядер на подписку для каждого семейства виртуальных машин. Специализированные семейства виртуальных машин, такие как NCv2, NCv3 или ND, начинаются с 0 ядер по умолчанию. Число ядер для GPU также по умолчанию равно 0.
Стандартное общее ограничение вычислительных кластеров на регион составляет 500 на регион в заданной подписке. Его можно повысить до 2500 кластеров на регион. Это ограничение совместно используется между вычислительными экземплярами и развертываниями управляемых сетевых конечных точек. В контексте квот вычислительным экземпляром считается кластер с одним узлом. Для увеличения общего вычислительного ограничения подайте запрос в службу поддержки.

При открытии запроса на поддержку для увеличения общего объема вычислительных ресурсов укажите следующие сведения:

Выберите Technical для типа проблемы.
Выберите подписку, для которой нужно увеличить квоту.
Выберите Машинное обучение в качестве типа службы.
Выберите ресурс, для которого нужно увеличить квоту.
В поле "Сводка" введите "Увеличить общий объем вычислительных ресурсов"
Выберите вычислительный экземпляр тип проблемы и квоту в качестве подтипа проблемы.
Выберите Далее.
На странице "Дополнительные сведения" укажите идентификатор подписки, регион, новое ограничение (от 500 до 2500) и бизнес-обоснование, чтобы увеличить общий объем вычислительных ресурсов для региона.
Нажмите кнопку "Создать", чтобы отправить запрос в службу поддержки.

Общая квота Azure AI Studio

Azure AI Studio предоставляет пул общих квот, доступных для разных пользователей в разных регионах для одновременного использования. В зависимости от доступности пользователи могут временно получить доступ к квоте из общего пула и использовать квоту для выполнения тестирования в течение ограниченного периода времени. Определенный период времени зависит от варианта использования. Временно используя квоту из пула квот, вам больше не нужно отправлять запрос в службу поддержки для краткосрочного увеличения квоты или ожидать утверждения запроса квоты, прежде чем продолжить работу с рабочей нагрузкой.

Использование общего пула квот доступно для тестирования моделей Llama-2, Phi, Nemotron, Mistral, Dolly и Deci-DeciLM. Следует использовать общую квоту только для создания временных тестовых конечных точек, а не рабочих конечных точек. Для конечных точек в рабочей среде следует запросить выделенную квоту. Выставление счетов за общую квоту основано на использовании, как и для выделенных семейств виртуальных машин.

Экземпляры контейнеров

Дополнительные сведения см. в разделе Ограничения экземпляров контейнеров.

Хранилище

Служба хранилища Azure имеет ограничение в 250 учетных записей хранения в регионе для каждой подписки. Сюда входят учетные записи хранения категории "Стандартный" и "Премиум".

Просмотр и запрос квот в Azure AI Studio

Используйте квоты для управления распределением целевых объектов вычислений между несколькими центрами Azure AI Studio в одной подписке.

По умолчанию все центры используют ту же квоту, что и квота уровня подписки для семейств виртуальных машин. Однако можно задать максимальную квоту для отдельных семейств виртуальных машин для более детального управления затратами и управления центрами в подписке. С помощью квот для отдельных семейств виртуальных машин можно разделить производительность и предотвратить проблемы с содержимым ресурсов.

В Azure AI Studio перейдите на домашнюю страницу и выберите "Квота".
Перейдите на вкладку Машинного обучения Azure, чтобы просмотреть квоту для семейств виртуальных машин. Квота отображается на уровне подписки в выбранном регионе Azure. Чтобы запросить дополнительную квоту, выберите семейство виртуальных машин и выберите квоту запроса.

Поделиться через