Типы развертывания для моделей Microsoft Foundry

При развертывании модели в Microsoft Foundry выберите тип развертывания, который определяет:

  • Место обработки данных (глобальная, зона данных или отдельный регион)
  • Оплата (оплата за токен или зарезервированную емкость)
  • Характеристики производительности (дисперсии задержки, ограничения пропускной способности)

Служба предлагает две основные категории: стандартная (оплата за токен) и подготовленная (зарезервированная емкость). В каждой категории можно выбрать глобальную, зону данных или региональную обработку на основе требований соответствия требованиям.

Снимок экрана: диалоговое окно развертывания портала Foundry с полем выбора типа развертывания, где выбран Global Standard.

Важно

Резиденция данных для всех типов развертывания: данные, хранящиеся в состоянии покоя, остаются в указанной Azure географической области. Однако данные вывода обрабатываются следующим образом:

  • Global типы: могут обрабатываться в любом регионе Azure
  • DataZone типы: обрабатывается только в пределах Microsoft указанной зоны данных (США или ЕС)
  • Стандартные или региональные типы: обработано в регионе развертывания

Дополнительные сведения о местонахождении данных.

Сравнение типов развертывания

Тип развертывания Код SKU Обработка данных Выставление счетов Лучше всего для
Глобальный стандарт GlobalStandard Любой регион Azure Оплата за токен Общие рабочие нагрузки, самая высокая квота
Глобально предоставленный GlobalProvisionedManaged Любой регион Azure Зарезервированная PTU Прогнозируемая высокая пропускная способность
Глобальный пакет GlobalBatch Любой регион Azure 50% скидки, 24 часа Крупные асинхронные задания
Стандарт зоны данных DataZoneStandard Внутри зоны данных Оплата за токен Соответствие зоны данных ЕС/США
Зона данных активирована DataZoneProvisionedManaged Внутри зоны данных Зарезервированная PTU Зона данных + прогнозируемая пропускная способность
Пакетная обработка зоны данных DataZoneBatch Внутри зоны данных Скидка на 50% Большие асинхронные задания с зоной данных
Стандартный Standard Один регион Оплата за токен Региональный уровень соответствия, низкий объем
Регионально предоставлено ProvisionedManaged Один регион Зарезервированная PTU Региональное соответствие и пропускная способность
Разработчик DeveloperTier Любой регион Azure Оплата за токен Только оценка точно настроенных моделей

Примечание

Не все модели поддерживают все типы развертывания. Проверьте доступность моделей Foundry Models, продаваемых непосредственно Azure по типу развертывания и региону.

Примечание

Гарантии обслуживания зависят от типа развертывания. Предоставленные типы обеспечивают гарантированную пропускную способность и меньшую вариацию задержки. Стандартные типы предлагают лучшие услуги. Развертывания разработчиков не включают соглашение об уровне обслуживания. Дополнительные сведения см. в разделе об уровне обслуживания Azure для Служба Azure OpenAI.

Совет

Подробные сведения о ценах см. в ценах на Служба Azure OpenAI.

Выбор подходящего типа развертывания

Используйте следующие критерии для выбора типа развертывания:

Требование к месту расположения данных

  • Нет ограничений: использование глобального стандарта или глобальных выделенных ресурсов
  • Зона данных ЕС: Использование DataZone Standard или DataZone Provisioned в регионе ЕС
  • Зона данных США: использование DataZone Standard или DataZone Provisioned в регионе США
  • Только один регион: используйте стандартное или региональное развертывание

По шаблону рабочей нагрузки

  • Переменный, всплесковый трафик: используйте «Стандартный» или «Глобальный стандарт» (оплата за токен)
  • Согласованный большой объем: используйте зарезервированные типы (предопределенная емкость)
  • Крупные пакетные задания (не чувствительные к времени): используйте Global Batch или DataZone Batch (экономия затрат на 50%)
  • Точно настроенная оценка модели: использовать Developer (без гарантий качества обслуживания, наименьшая стоимость)

Требование к задержке

  • Требуется низкая вариативность задержки: используйте зарезервированные виды
  • Допустимое отклонение задержки: используйте стандартные типы

Расположения обработки данных

Для стандартных развертываний существует три варианта: глобальная, зона данных и география Azure. Для подготовленных развертываний существует два варианта: глобальная и Azure география. Глобальный стандарт — это общая отправная точка для большинства рабочих нагрузок.

Глобальные развертывания

Глобальные развертывания используют глобальную инфраструктуру Azure для динамического маршрутизации трафика в доступные центры обработки данных. Глобальные развертывания предлагают самые высокие начальные ограничения пропускной способности и максимальную доступность модели.

Для рабочих нагрузок с большим объемом вы можете столкнуться с увеличением разброса задержки. Если требуется меньшее отклонение задержки в масштабе, используйте предоставленные типы развертывания.

Глобальные развертывания сначала получают новые модели и функции.

Развертывание зон данных

Для глобальных типов развертывания запросы и ответы могут обрабатываться в любом географическом регионе, где развернута модель. Для типов развертывания DataZone запросы и ответы обрабатываются только в указанной зоне данных:

  • США: данные обрабатываются в любом месте в США
  • Европейский союз: данные обрабатываются в любой стране-члене ЕС

Дополнительные сведения см. в разделе Foundry Models, продаваемые непосредственно Azure, в разделе "Доступность региона модели по типу развертывания".

Примечание

При использовании типов развертывания Global Standard и Data Zone Standard, если основной регион испытывает прерывание работы службы, все трафик, изначально перенаправленный в этот регион, затрагивается. Дополнительные сведения см. в руководстве по обеспечению высокого уровня доступности и аварийного восстановления.

Глобальный стандарт

  • Имя SKU в коде: GlobalStandard

Глобальные развертывания уровня "Стандартный" используют глобальную инфраструктуру Azure для динамического маршрутизации трафика в доступные центры обработки данных. Этот тип развертывания предоставляет максимальную квоту по умолчанию и устраняет необходимость балансировки нагрузки между несколькими ресурсами.

Клиенты с высоким постоянным объемом могут столкнуться с большим варьированием задержек. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице Квоты. Для приложений, требующих снижения разброса задержек при высокой загрузке, рассмотрите возможность использования предоставленной пропускной способности.

Global Standard поддерживает приоритетную обработку (предварительная версия) для ускорения времени ответа на основе оплаты по мере использования. Дополнительные сведения см. в разделе "Обработка приоритета для моделей Foundry (предварительная версия)".

Глобально предоставлено

  • Имя SKU в коде: GlobalProvisionedManaged

Глобальные подготовленные развертывания используют глобальную инфраструктуру Azure для динамического маршрутизации трафика в доступные центры обработки данных. Этот тип развертывания предоставляет зарезервированную емкость обработки модели для прогнозируемой пропускной способности, сочетая глобальную маршрутизацию с гарантированной емкостью.

С зарезервированной пропускной способностью вы приобретаете фиксированное количество единиц зарезервированной пропускной способности (PTU), которые гарантируют определённую производительность. Этот тип развертывания обеспечивает более низкую и согласованную задержку, чем global Standard. Дополнительные сведения см. в разделе Концепции выделенной пропускной способности.

Глобальная пакетная обработка

  • Имя SKU в коде: GlobalBatch

Глобальная пакетная служба обрабатывает крупномасштабные и высокопроизводительные задачи обработки. Вы можете обрабатывать асинхронные группы запросов с отдельной квотой и 24-часовым целевым временем выполнения на 50% меньше затрат по сравнению с Global Standard. При пакетной обработке вместо отправки одного запроса за раз вы отправляете большое количество запросов в одном файле. Глобальные пакетные запросы имеют отдельную квоту токена, которая позволяет избежать нарушений рабочих нагрузок в Сети.

Распространенные варианты использования:

  • Обработка крупномасштабных данных: параллельно анализируйте наборы данных.
  • Создание содержимого: создание больших объемов текста, таких как описания продуктов или статьи.
  • Проверка и сводка документов: обработка и сводка длинных документов.
  • Автоматизация поддержки клиентов: одновременно обрабатывайте многочисленные запросы.
  • Извлечение и анализ данных: извлечение и анализ данных из больших объемов неструктурированных данных.
  • Задачи обработки естественного языка (NLP): анализ тональности или перевод больших наборов данных.

Примечание

Пакетные развертывания обменивают оперативность на экономию затрат. Пакетные запросы не имеют соглашение об уровне обслуживания в режиме реального времени — они предназначены для завершения в течение 24 часов, но могут занять больше времени.

Стандарт зоны данных

  • Имя SKU в коде: DataZoneStandard

Развертывания стандарта зоны данных динамически направляют трафик в центры обработки данных внутри предопределённой Microsoft зоны данных (США или ЕС). Этот тип развертывания предоставляет более высокие квоты по умолчанию, чем типы развертывания на основе географии, сохраняя данные в указанной зоне.

Клиенты с высоким постоянным объемом могут столкнуться с большим варьированием задержек. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице квот и ограничений. Для рабочих нагрузок, требующих низкой задержки при больших объемах, рекомендуется использовать развертывание с предварительным предоставлением.

Data Zone Standard поддерживает приоритетную обработку (предварительная версия) для ускорения времени отклика на основе оплаты по мере использования. Дополнительные сведения см. в разделе "Обработка приоритета для моделей Foundry (предварительная версия)".

Предоставленная зона данных

  • Имя SKU в коде: DataZoneProvisionedManaged

Развертывание динамически направляет трафик в зоне данных, указанной Microsoft (США или ЕС), обеспечивая резервированную мощность обработки моделей. Этот тип развертывания сочетает соблюдение требований к зонам данных с высокой и предсказуемой пропускной способностью.

Пакет зоны данных

  • Имя SKU в коде: DataZoneBatch

Развертывания пакетной зоны данных предоставляют те же функции, что и глобальные пакетные развертывания, включая 50% экономию затрат и 24-часовое время выполнения. Трафик направляется только в центры обработки данных в пределах Microsoft определенной зоны данных (США или ЕС).

Стандартный

  • Имя SKU в коде: Standard

Стандартные развертывания используют оплату за токен. Вы платите только за то, что вы потребляете. Модели, доступные в каждом регионе, и пропускная способность могут быть ограничены.

Стандартные развертывания подходят для рабочих нагрузок с низким и средним объемом и высокой переменной нагрузкой. Клиенты с высоким постоянным объемом могут столкнуться с большим варьированием задержек.

Региональное предоставление

  • Имя SKU в коде: ProvisionedManaged

Региональные подготовленные развертывания позволяют указать объем пропускной способности, которую требуется в развертывании. Затем служба выделяет необходимые ресурсы для обработки модели и гарантирует её готовность для вас. Пропускная способность определяется в терминах подготовленных единиц пропускной способности (PTU), которые являются нормализованным способом выражения пропускной способности для развертывания. Для развертывания каждой пары версий модели требуются разные объёмы PTU, и предоставляются разные объёмы пропускной способности на один PTU. Минимальные требования PTU зависят от модели. Сведения о текущих минимумах и доступной емкости см. в основных понятиях подготовленной пропускной способности.

Разработчик (для точно настроенных моделей)

  • Имя SKU в коде: DeveloperTier

Тип развертывания разработчика предназначен только для точной оценки модели. Он обеспечивает экономичное тестирование пользовательских моделей, но не включает гарантии размещения данных или соглашение об уровне обслуживания (SLA). Развертывания разработчиков имеют фиксированное 24-часовое время существования и автоматически удаляются после истечения срока действия. Дополнительные сведения об использовании типа развертывания разработчика см. в руководстве по тонкой настройке.

Устранение неполадок с развертыванием

Распространенные проблемы при создании или использовании развертываний:

Проблема Причина Разрешение
Тип развертывания недоступен Модель не поддерживает выбранный тип Проверка доступности модели по типу развертывания
Превышена квота Достигнут лимит подписки на токены в минуту Увеличение квоты запроса на портале Azure или использование другого региона
Регион недоступен Модель не развернута в выбранном регионе Выберите регион из списка доступности модели
Подготовленная емкость недоступна Нет емкости PTU в регионе Попробуйте выбрать другой регион или используйте функцию глобального резервирования для более широкой доступности.

Сведения об ограничениях квот по типу развертывания см. в разделе " Квоты и ограничения моделей Foundry".

Ограничение типов развертывания с помощью Политика Azure

Политика Azure помогает применять стандарты организации и оценивать соответствие в масштабе. С помощью панели мониторинга соответствия вы можете оценить общее состояние среды и углубиться в детализацию до уровня каждого ресурса и каждой политики. Политика Azure также поддерживает массовое исправление существующих ресурсов и автоматическое исправление для новых ресурсов. Узнайте больше о Политика Azure и конкретных встроенных политиках для средств Foundry.

Используйте следующую политику, чтобы отключить доступ к определенному типу развертывания Foundry. Замените GlobalStandard на имя SKU для типа развертывания, который нужно ограничить.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Связанное содержимое

  • Last updated on