Ограничения и регионы развертывания модели

В этой статье перечислены ограничения и доступность в регионах для обслуживания моделей Azure Databricks и поддерживаемых типов конечных точек.

Ограничения ресурсов и полезной нагрузки

Служба моделей накладывает ограничения по умолчанию, чтобы обеспечить надежную производительность. Если у вас есть отзывы об этих ограничениях, обратитесь к группе учетной записи Databricks.

Ограничения в этом разделе применяются только к пользовательским конечным точкам модели и агента . Для получения информации об API моделей Foundation и ограничениях размера данных для внешних моделей см. в разделе ограничения скорости запросов и квоты API модели Foundation.

Пользовательские модели и агенты

Функция Степень детализации Предел
Endpoints В расчете на рабочую область 1000. Свяжитесь с вашей командой аккаунта Databricks, чтобы увеличить лимиты.
Число запросов в секунду (QPS) По конечной точке 300 000 с помощью оптимизации маршрута. Если параллелизма 1024 недостаточно, обратитесь к команде по работе с аккаунтами Databricks, чтобы увеличить.
Число запросов в секунду (QPS) В расчете на рабочую область 300 000 с помощью оптимизации маршрута. 200 для не оптимизированной маршрутизации рекомендуется исключительно для небольших сценариев использования в разработке.
Выделенная одновременность За модель 1024 с пользовательским параметром и оптимизацией маршрута. Свяжитесь с командой по работе с клиентами Databricks, чтобы обсудить увеличение возможностей.
Выделенная одновременность В расчете на рабочую область 4096. Обратитесь к команде поддержки вашего аккаунта Databricks, чтобы увеличить.
Операции создания или обновления В расчете на рабочую область 50 за 5 минут.
Размер полезной нагрузки По запросу 16 МБ. Для конечных точек агента ограничение составляет 4 МБ.
Размер запроса и ответа По запросу Любой запрос или ответ более 1 МБ не будет зарегистрирован.
Длительность выполнения модели По запросу 597 секунд
Использование памяти модели конечной точки ЦП На экземпляр модели Зависит от типа рабочей нагрузки ЦП: CPU (4 ГБ), CPU_MEDIUM (8 ГБ), CPU_LARGE (16 ГБ). См. Пользовательские модели.
Использование памяти модели конечной точки графического процессора По конечной точке Зависит от типа GPU
Переменные среды На каждую обслуживаемую модель 50. Обратитесь к вашей команде аккаунт-менеджеров Databricks, чтобы обсудить возможность увеличения.
Задержка накладных расходов По запросу Менее 20 миллисекунда с оптимизацией маршрута.

Ограничения сети и безопасности

  • Конечные точки обслуживания моделей защищены управлением доступом и соответствуют правилам входящего трафика, связанным с сетью, настроенными в рабочей области, например, списками разрешений IP-адресов и Приватной ссылкой.
  • Частное подключение (например, Приватный канал Azure) поддерживается только для конечных точек обслуживания моделей, использующих подготовленную пропускную способность или конечные точки, которые служат пользовательским моделям.
  • По умолчанию модельная служба не поддерживает Приватный канал к внешним конечным точкам (например, Azure OpenAI). Поддержка этой функции оценивается и реализуется на основе каждого региона. Обратитесь к команде вашей учетной записи Azure Databricks для получения дополнительной информации.
  • Модельный сервис не предоставляет обновления безопасности для имеющихся образов моделей из-за риска дестабилизации в производственных развертываниях. Новый образ модели, созданный из новой версии модели, будет содержать последние исправления. Обратитесь к группе учетных записей Databricks, чтобы получить дополнительные сведения.

Стандарты профиля безопасности соответствия требованиям: рабочие нагрузки ЦП

В следующей таблице перечислены поддерживаемые стандарты соответствия профиля безопасности для пользовательских функций обслуживания моделей для рабочих нагрузок ЦП.

Примечание.

Эти стандарты соответствия требуют, чтобы контейнеры были созданы в течение последних 30 дней. Databricks автоматически перестраивает устаревшие контейнеры от вашего имени. Однако если это автоматическое задание завершается сбоем, появится сообщение журнала событий, например следующее, и содержит рекомендации по обеспечению соответствия конечным точкам:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Регион Местоположение HIPAA HITRUST PCI-DSS ИРАП (IRAP) CCCS Medium (Защищенный уровень B) Cyber Essentials Plus (Соединенное Королевство)
australiacentral Центральная Австралия            
australiacentral2 АвстралияCentral2            
australiaeast Восточная Австралия ✓ ✓ ✓      
australiasoutheast Австралия Юго-Восток            
brazilsouth Южная Бразилия ✓ ✓ ✓      
canadacentral Канада Централ ✓ ✓ ✓      
canadaeast КанадаИст            
centralindia CentralIndia ✓ ✓ ✓      
centralus Центральная часть США ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinaNorth2            
chinanorth3 ChinaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus Восточный регион США (EastUS) ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral ГерманияWestCentral ✓ ✓ ✓      
japaneast ЯпонияВосток ✓ ✓ ✓      
japanwest Япония Запад            
koreacentral КореяCentral ✓ ✓ ✓      
mexicocentral МексикаCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope NorthEurope ✓ ✓ ✓      
norwayeast Норвегия Восток            
qatarcentral КатарЦентрал            
southafricanorth Южная Африка Север            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Юго-Восточная Азия ✓ ✓ ✓      
southindia Южная Индия            
swedencentral ШвецияCentral ✓ ✓ ✓      
switzerlandnorth Север Швейцарии ✓ ✓ ✓      
switzerlandwest ШвейцарияWest            
uaenorth ОАЭ Север ✓ ✓ ✓      
uksouth UKSouth ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope WestEurope ✓ ✓ ✓      
westindia WestIndia            
westus ВестЮС ✓ ✓ ✓      
westus2 ВестУС2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

Ограничения API основной модели

Подробные сведения об API-интерфейсах модели Foundation, включая ограничения ресурсов и полезных данных для базовых и внешних моделей, см. в разделе "Ограничения скорости и квоты api модели Foundation".

Доступность по регионам

Примечание.

Если вам нужна конечная точка в неподдерживаемом регионе, обратитесь к команде по работе с аккаунтами Azure Databricks.

Если рабочая область развернута в регионе, поддерживающем обслуживание моделей, но управляется контроллером в неподдерживаемом регионе, рабочая область не поддерживает обслуживание моделей. Если вы пытаетесь использовать модель, обслуживаемую в такой рабочей области, вы увидите сообщение об ошибке о том, что ваша рабочая область не поддерживается. Обратитесь к команде вашей учетной записи Azure Databricks для получения дополнительной информации.

Дополнительные сведения о региональной доступности каждой функции обслуживания моделей см. в разделе "Доступность функций обслуживания моделей".

Сведения о доступности региона модели, размещенной в Databricks, см. в моделях Foundation, размещенных в Databricks.

  • Last updated on