Поделиться через

Ограничения и регионы развертывания модели

В этой статье приведены ограничения и доступность регионов для обслуживания моделей ИИ Мозаики и поддерживаемых типов конечных точек.

Ограничения ресурсов и полезной нагрузки

Служба модели ИИ мозаики накладывает ограничения по умолчанию, чтобы обеспечить надежную производительность. Если у вас есть отзывы об этих ограничениях, обратитесь к группе учетной записи Databricks.

В следующей таблице перечислены ограничения ресурсов и объема данных для конечных точек модели.

Функция Степень детализации Предел
Размер полезной нагрузки По запросу 16 МБ. Для конечных точек, обслуживающих базовые модели, внешние модели или агенты ИИ , ограничение составляет 4 МБ.
Размер запроса и ответа По запросу Любой запрос или ответ более 1 МБ не будет зарегистрирован.
Число запросов в секунду (QPS) В расчете на рабочую область 200. Для более высокого уровня QPS включите оптимизацию маршрута.
Длительность выполнения модели По запросу 297 секунд
Использование памяти модели конечной точки ЦП По конечной точке 4 ГБ
Использование памяти модели конечной точки графического процессора По конечной точке Больше или равно назначенной памяти GPU зависит от размера рабочей нагрузки GPU
Выделенная одновременность По модели и рабочему пространству Одновременность 200. Для увеличения, свяжитесь с вашей командой по работе с аккаунтом Databricks.
Задержка накладных расходов По запросу Менее 50 миллисекунда
Скрипты инициализации Скрипты инициализации не поддерживаются.
Ограничения скорости API-интерфейсов модели Foundation В расчете на рабочую область Дополнительные сведения об ограничениях по скорости и квотах для API модели Foundation см. в разделе "Оплата за токен" и ограничения на предоставленную пропускную способность.

Ограничения сети и безопасности

  • Конечные точки обслуживания моделей защищены с помощью управления доступом и уважают правила входящего трафика, связанные с сетью, настроенные в рабочей области, такие как списки разрешений IP и приватный канал.
  • Частное подключение (например, Приватный канал Azure) поддерживается только для конечных точек обслуживания моделей, использующих подготовленную пропускную способность или конечные точки, обслуживающие пользовательские модели.
  • По умолчанию Model Serving не поддерживает Private Link для внешних конечных точек (например, Azure OpenAI). Поддержка этой функции оценивается и реализуется на основе каждого региона. Свяжитесь с командой по работе с учетными записями Azure Databricks для получения дополнительной информации.
  • Модельный сервис не предоставляет обновления безопасности для имеющихся образов моделей из-за риска дестабилизации в производственных развертываниях. Новый образ модели, созданный из новой версии модели, будет содержать последние исправления. Обратитесь к группе учетных записей Databricks, чтобы получить дополнительные сведения.

Стандарты профиля безопасности соответствия требованиям: рабочие нагрузки ЦП

В следующей таблице перечислены поддерживаемые стандарты соответствия профилю безопасности для основных функций обслуживания моделей на рабочих нагрузках ЦП.

Примечание.

Эти стандарты соответствия требуют, чтобы контейнеры были созданы в течение последних 30 дней. Databricks автоматически перестраивает устаревшие контейнеры от вашего имени. Однако если это автоматическое задание завершается сбоем, появится сообщение журнала событий, например следующее, и содержит рекомендации по обеспечению соответствия конечным точкам:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Регион Местоположение HIPAA HITRUST PCI-DSS ИРАП (IRAP) CCCS Medium (Защищенный уровень B) Cyber Essentials Plus (Соединенное Королевство)
australiacentral Центральная Австралия            
australiacentral2 АвстралияCentral2            
australiaeast Восточная Австралия ✓ ✓ ✓      
australiasoutheast Австралия Юго-Восток            
brazilsouth Южная Бразилия ✓ ✓ ✓      
canadacentral Канада Централ ✓ ✓ ✓      
canadaeast КанадаИст            
centralindia CentralIndia ✓ ✓ ✓      
centralus Центральная часть США ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ChinaNorth2            
chinanorth3 ChinaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus Восточный регион США (EastUS) ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral FranceCentral ✓ ✓ ✓      
germanywestcentral ГерманияWestCentral ✓ ✓ ✓      
japaneast ЯпонияВосток ✓ ✓ ✓      
japanwest Япония Запад            
koreacentral КореяCentral ✓ ✓ ✓      
mexicocentral МексикаCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope NorthEurope ✓ ✓ ✓      
norwayeast Норвегия Восток            
qatarcentral КатарЦентрал            
southafricanorth Южная Африка Север            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Юго-Восточная Азия ✓ ✓ ✓      
southindia Южная Индия            
swedencentral ШвецияCentral ✓ ✓ ✓      
switzerlandnorth Север Швейцарии ✓ ✓ ✓      
switzerlandwest ШвейцарияWest            
uaenorth ОАЭ Север ✓ ✓ ✓      
uksouth UKSouth ✓ ✓ ✓     ✓
ukwest UKWest            
westcentralus WestCentralUS            
westeurope WestEurope ✓ ✓ ✓      
westindia WestIndia            
westus ВестЮС ✓ ✓ ✓      
westus2 ВестУС2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

Ограничения API основной модели

Подробные сведения об API-интерфейсах модели Foundation см. в следующем разделе:

  • Ограничения скорости и квоты: ограничения частоты и квоты api модели Foundation . Включает ограничения TPM, региональные ограничения доступности и ограничения для конкретной модели.
  • Соответствие требованиям и безопасность. Соответствие и безопасностьAPI модели Foundation — охватывает стандарты соответствия, обработку данных и требования к безопасности.

Доступность по регионам

Примечание.

Если требуется конечная точка в неподдерживаемом регионе, обратитесь к группе учетной записи Azure Databricks.

Если рабочая область развернута в регионе, поддерживающем обслуживание моделей, но управляется контроллером в неподдерживаемом регионе, рабочая область не поддерживает обслуживание моделей. Если вы пытаетесь использовать модель, обслуживаемую в такой рабочей области, вы увидите сообщение об ошибке о том, что ваша рабочая область не поддерживается. Свяжитесь с командой по работе с учетными записями Azure Databricks для получения дополнительной информации.

Дополнительные сведения о региональной доступности каждой функции обслуживания моделей см. в разделе "Доступность функций обслуживания моделей".

Сведения о доступности региона модели, размещенной в Databricks, см. в моделях Foundation, размещенных в Databricks.

  • Last updated on