Развертывание моделей в качестве стандартного развертывания

2025-05-20

Из этой статьи вы узнаете, как развернуть модель из каталога моделей в качестве стандартного развертывания.

Некоторые модели в каталоге моделей можно развернуть как обычное развертывание с использованием стандартного тарифа. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

В этой статье используется модель Meta Llama для иллюстрации. Однако для развертывания любой модели в каталоге моделей, доступных для стандартного развертывания, можно использовать те же действия.

Предварительные условия

Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.
Рабочая область Машинного обучения Azure.
Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Машинном обучении Azure. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роли разработчика ИИ Azure в группе ресурсов. Дополнительные сведения о разрешениях см. в разделе "Управление доступом на основе ролей" в Машинное обучение Azure.
Для работы с Машинное обучение Azure необходимо установить следующее программное обеспечение:
Вы можете использовать любой совместимый веб-браузер для навигации Машинное обучение Azure.
Azure CLI и расширение ML для Azure Machine Learning.
```
az extension add -n ml
```
Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.
```
az extension update -n ml
```
После установки расширения настройте его:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Установите пакет SDK Машинное обучение Azure для Python.
```
pip install -U azure-ai-ml
```
После установки импортируйте необходимые пространства имен и создайте клиент, подключенный к рабочей области:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Вы можете использовать любой совместимый веб-браузер для развертывания ARM шаблонов в портале Microsoft Azure или с помощью любого из средств развертывания. В этом руководстве используется Azure CLI.

Найдите вашу модель и идентификатор модели в каталоге моделей

Войдите в Студию машинного обучения Azure
Для моделей, предлагаемых через Azure Marketplace, убедитесь, что у вашей учетной записи есть разрешения на роль разработчика ИИ Azure в группе ресурсов или вы соответствуете разрешениям, необходимым для подписки на предложения моделей.

Счета за модели, предоставляемые поставщиками, не являющихся майкрософт (например, модели Llama и Mistral) выставляются через Azure Marketplace. Для таких моделей необходимо подключить рабочую область к определенной модели. Модели, предлагаемые корпорацией Майкрософт (например, модели Phi-3), не имеют этого требования, так как выставление счетов выполняется по-разному. Дополнительные сведения о выставлении счетов за бессерверное развертывание моделей в каталоге моделей см. в разделе "Выставление счетов для стандартных развертываний".
Перейдите в вашу рабочую область. Чтобы использовать стандартное предложение развертывания, рабочая область должна принадлежать одному из регионов, которые поддерживаются для бессерверного развертывания для конкретной модели, которую вы хотите развернуть.
Выберите каталог моделей на левой боковой панели и найдите карточку модели, которую вы хотите развернуть. В этой статье вы выбираете модель Meta-Llama-3-8B-Instruct .
1. Если вы развертываете модель с помощью Azure CLI, пакета SDK для Python или ARM, скопируйте идентификатор модели.
Внимание

Не включайте версию при копировании идентификатора модели. Стандартные развертывания всегда развертывают самую последнюю доступную версию модели. Например, для идентификатора azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3модели скопируйте azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

В следующем разделе рассматриваются шаги по подписке пространства работы на предоставление модели. Этот раздел можно пропустить и перейти к развертыванию модели в стандартном развертывании, если вы развертываете модель Майкрософт.

Стандартные развертывания могут использовать как модели Microsoft, так и модели, предлагаемые другими компаниями. Для моделей Microsoft (например, моделей Phi-3) вам не нужно создавать подписку Azure Marketplace и вы можете развертывать их непосредственно в стандартных развертываниях для использования их прогнозов. Для моделей, отличных от Майкрософт, сначала необходимо создать подписку. Если вы впервые развертываете модель в рабочей области, необходимо подписать рабочую область на конкретное предложение в Azure Marketplace. Каждая рабочая область имеет собственную подписку на модель конкретного предложения в Azure Marketplace, что позволяет управлять и отслеживать расходы.

Примечание.

Модели, предлагаемые в Azure Marketplace, доступны для развертывания в стандартных развертываниях в определенных регионах. Проверьте доступность регионов для моделей в стандартных развертываниях , чтобы проверить, какие модели и регионы доступны. Если нужный вариант не указан, можно развернуть в рабочей области в поддерживаемом регионе, а затем использовать стандартные развертывания из другой рабочей области.

Создайте подписку модели для маркетплейса. При создании подписки вы принимаете условия, связанные с предложением модели. Помните, что вам не нужно выполнять этот шаг для предлагаемых корпорацией Майкрософт моделей (например, Phi-3).
1. На странице сведений о модели выберите "Развернуть". Откроется окно параметров развертывания , предоставляющее выбор между стандартным развертыванием и развертыванием с помощью управляемых вычислений.
  
  Примечание.
  
  Для моделей, которые можно развернуть только через стандартное развертывание, мастер стандартного развертывания открывается сразу после выбора " Развернуть " на странице сведений о модели.
2. Выберите стандартное развертывание с помощью azure AI Content Safety (предварительная версия), чтобы открыть мастер стандартного развертывания.
3. Установите флажок, чтобы подтвердить политику покупки Майкрософт.
4. Если вы видите заметку , у вас уже есть подписка Azure Marketplace для этой рабочей области, вам не нужно создавать подписку, так как у вас уже есть подписка. Вы можете перейти к развертыванию модели в стандартном развертывании.
5. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования. Вы также можете выбрать вкладку "Цены и условия ", чтобы узнать о ценах для выбранной модели.
6. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования. Вы также можете выбрать вкладку сведений о предложении Marketplace, чтобы узнать о ценах на выбранную модель.
7. Выберите "Подписаться" и " Развернуть".
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте файл subscription.yml для создания подписки:
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
Чтобы создать подписку модели, используйте следующий шаблон:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
Подписавшись на рабочую область для конкретного предложения Azure Marketplace, последующие развертывания одного и того же предложения в той же рабочей области не требуют повторной подписки.
В любой момент вы можете увидеть модельные предложения, которыми в настоящий момент пользуется ваша рабочая область.
1. Перейдите на портал Azure.
2. Перейдите в группу ресурсов, где находится рабочая область.
3. В фильтре типов выберите SaaS.
4. Вы увидите все предложения, на которые вы подписаны в настоящее время.
5. Выберите любой ресурс, чтобы просмотреть сведения.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Развертывание модели в стандартную конфигурацию

После создания подписки для модели, отличной от Майкрософт, можно развернуть связанную модель в стандартном развертывании. Для моделей Майкрософт (например, моделей Phi-3) вам не нужно создавать подписку.

Стандартное развертывание обеспечивает возможность использования моделей в качестве API без необходимости их размещения на вашей подписке, при этом обеспечивая предприятиям безопасность и соответствие требованиям организаций. Этот параметр развертывания не требует квоты из подписки.

В этом разделе описано, как создать конечную точку с именем meta-llama3-8b-qwerty.

Создание бессерверной конечной точки
1. Чтобы развернуть модель Майкрософт, которая не требует подписки на предложение модели, выберите Развернуть, а затем выберите стандартное развертывание с помощью Azure AI Content Safety (предварительная версия), чтобы открыть мастер развертывания.
2. Кроме того, для немайкрософтовской модели, требующей подписки, если вы только что подписали вашу рабочую область на предложение модели в предыдущем разделе, продолжайте и выберите "Развернуть". Кроме того, выберите "Продолжить развертывание" (если в мастере развертывания есть отметка У вас уже есть подписка на Azure Marketplace для этой рабочей области).
3. Присвойте развертыванию имя. Это имя становится частью URL-адреса API развертывания. Этот URL-адрес должен быть уникальным в каждом регионе Azure.
  
  Совет
  
  Параметр фильтра содержимого (предварительная версия) включен по умолчанию. Оставьте параметр по умолчанию для службы, чтобы обнаружить вредное содержимое, например ненависть, самоповредение, сексуальное и насильственное содержимое. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в разделе "Безопасность содержимого" для моделей, развернутых с помощью стандартных развертываний.
4. Выберите Развернуть. Подождите, пока развертывание будет готово, и вы будете перенаправлены на страницу "Развертывания".
endpoint.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте файл endpoint.yml для создания конечной точки:
```
az ml serverless-endpoint create -f endpoint.yml
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Чтобы создать конечную точку, используйте следующий шаблон:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}
```
Затем создайте развертывание:
```
az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json
```
Обработка шаблона развертывания Azure может занять несколько минут. По завершении появится сообщение, содержащее результат:
```
"provisioningState": "Succeeded",
```
В любой момент можно увидеть конечные точки, развернутые в рабочей области:
1. Перейдите в вашу рабочую область.
2. Выберите Конечные точки.
3. Перейдите на вкладку "Бессерверные конечные точки" , чтобы отобразить стандартные развертывания.
```
az ml serverless-endpoint list
```
```
endpoints = ml_client.online_endpoints.list()
for endpoint in endpoints:
    print(endpoint.name)
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.
1. Чтобы вернуться на страницу развертывания, выберите имя конечной точки из списка бессерверных конечных точек.
2. Обратите внимание на URI целевой конечной точки и ключ. Используйте их для вызова развертывания и создания прогнозов.
Примечание.

При использовании портала Azure стандартные развертывания по умолчанию не отображаются в группе ресурсов. Используйте параметр "Показать скрытые типы", чтобы отобразить их в группе ресурсов.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Используйте REST API для запроса этих сведений.
На этом этапе ваша конечная точка готова к использованию.
Если вам нужно использовать это развертывание из другой рабочей области или вы планируете использовать поток запросов для создания интеллектуальных приложений, необходимо создать подключение к стандартному развертыванию. Сведения о том, как настроить существующее стандартное развертывание в новой рабочей области или концентраторе, см. в статье Потребление развернутых стандартных развертываний из другой рабочей области или потока Prompt.

Совет

Если вы используете поток команд в той же рабочей области, где было произведено развертывание, все равно необходимо создать подключение.

Используйте стандартное развертывание

Модели, развернутые в Машинном обучении Azure и Azure AI Foundry в стандартных развертываниях, поддерживают API вывода моделей Azure, которые предоставляют общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в едином и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели делает любую связанную конечную точку неработоспособной и непригодной для использования.

Чтобы удалить стандартное развертывание, выполните приведенные действия.

Перейдите к Студия машинного обучения Azure.
Выберите конечные точки на левой боковой панели.
Перейдите на вкладку "Бессерверные конечные точки" , чтобы отобразить стандартные развертывания.
Откройте конечную точку, которую нужно удалить.
Выберите команду Удалить.

Чтобы удалить связанную подписку модели, выполните следующие действия.

Перейдите на портал Azure.
Перейдите в группу ресурсов, где находится рабочая область.
В фильтре типов выберите SaaS.
Выберите подписку, которую нужно удалить.
Выберите команду Удалить.

Чтобы удалить стандартное развертывание, выполните приведенные действия.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Чтобы удалить связанную подписку модели, выполните следующие действия.

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Чтобы удалить стандартное развертывание, выполните приведенные действия.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Чтобы удалить связанную подписку модели, выполните следующие действия.

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Средства управления ресурсами можно использовать для управления ресурсами. В следующем коде используется Azure CLI:

az resource delete --name <resource-name>

Поделиться через

Развертывание моделей в качестве стандартного развертывания

Предварительные условия

Найдите вашу модель и идентификатор модели в каталоге моделей

Подпишите вашу рабочую область на предложение модели.

Развертывание модели в стандартную конфигурацию

Используйте стандартное развертывание

Удаление конечных точек и подписок

Рекомендации по затратам и квотам для моделей, развернутых в качестве стандартных развертываний

Стоимость моделей Майкрософт

Стоимость моделей, отличных от Майкрософт

Разрешения, необходимые для подписки на предложения моделей

Связанный контент

Обратная связь

Дополнительные ресурсы