Присоединение пула Synapse Spark и управление ими в Машинное обучение Azure

Статья
04/12/2024

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

В этой статье вы узнаете, как подключить пул Synapse Spark в Машинное обучение Azure. Пул Synapse Spark можно подключить Машинное обучение Azure одним из следующих способов:

Использование пользовательского интерфейса Студия машинного обучения Azure
Использование интерфейса командной строки Машинное обучение Azure
Использование пакета SDK для Python Машинное обучение Azure

Необходимые компоненты

Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
Создайте рабочую область Azure Synapse Analytics в портале Azure.
Создайте пул Apache Spark с помощью портал Azure.

Подключение пула Synapse Spark в Машинное обучение Azure

Машинное обучение Azure предлагает различные способы подключения пула Synapse Spark и управления ими.

Чтобы подключить пул Synapse Spark с помощью вкладки "Вычисления Студии", выполните следующие действия.

В разделе "Управление" в левой области выберите "Вычисления".
Выберите подключенные вычисления.
На экране подключенных вычислений нажмите кнопку "Создать", чтобы просмотреть параметры подключения различных типов вычислений.
Выберите пул Synapse Spark.

Откроется панель пула Attach Synapse Spark справа от экрана. На этой панели:

Введите имя, которое ссылается на подключенный пул Synapse Spark в ресурсе Машинное обучение Azure.
Выберите подписку Azure в раскрывающемся меню.
Выберите рабочую область Synapse в раскрывающемся меню.
Выберите пул Spark в раскрывающемся меню.
Переключите параметр "Назначить управляемое удостоверение ", чтобы включить его.
Выберите тип управляемого удостоверения для использования с этим подключенным пулом Synapse Spark.
Выберите "Обновить", чтобы завершить процесс подключения пула Spark Synapse.

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

С помощью интерфейса командной строки Машинное обучение Azure мы можем использовать интуитивно понятный синтаксис YAML и команды из интерфейса командной строки для подключения пула Synapse Spark и управления ими.

Чтобы определить подключенный пул Synapse Spark с помощью синтаксиса YAML, файл YAML должен охватывать следующие свойства:

name — имя подключенного пула Synapse Spark.
type — задайте для этого свойства synapsesparkзначение .
resource_id — это свойство должно предоставить значение идентификатора ресурса пула Synapse Spark, созданного в рабочей области Azure Synapse Analytics. Идентификатор ресурса Azure включает в себя
- Идентификатор подписки Azure,
- Имя группы ресурсов,
- Имя рабочей области Azure Synapse Analytics и
- имя пула Synapse Spark.
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
```
identity — это свойство определяет тип удостоверения для назначения присоединенному пулу Synapse Spark. Это может занять одно из следующих значений:
- system_assigned
- user_assigned
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
type: system_assigned
```
identity Для типа user_assignedтакже следует указать список значенийuser_assigned_identities. Каждое удостоверение, назначаемое пользователем, должно быть объявлено как элемент списка, используя resource_id значение назначаемого пользователем удостоверения. Первое назначаемое пользователем удостоверение в списке используется для отправки задания по умолчанию.
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>
```

Приведенные выше файлы YAML можно использовать в команде az ml compute attach--file в качестве параметра. Пул Synapse Spark можно подключить к рабочей области Машинное обучение Azure в указанной группе ресурсов подписки, как az ml compute attach показано ниже:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Если подключенный пул Synapse Spark с именем, указанным в файле спецификации YAML, уже существует в рабочей области, az ml compute attach выполнение команд обновляет существующий пул с информацией, предоставленной в файле спецификации YAML. Вы можете обновить

Тип удостоверения
назначенные пользователем удостоверения
tags

значения с помощью файла спецификации YAML.

Чтобы отобразить сведения о подключенном пуле Synapse Spark, выполните az ml compute show команду. Передайте имя присоединенного пула Synapse Spark с параметром --name , как показано ниже.

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Чтобы просмотреть список всех вычислений, включая подключенные пулы Synapse Spark в рабочей области, используйте az ml compute list команду. Используйте параметр имени для передачи имени рабочей области, как показано ниже.

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

пакет SDK для Python Машинное обучение Azure предоставляет удобные функции для присоединения пула Synapse Spark и управления ими с помощью кода Python в записных книжках Машинное обучение Azure.

Чтобы подключить вычисление Synapse с помощью пакета SDK для Python, сначала создайте экземпляр класса azure.ai.ml.MLClient. Это обеспечивает удобные функции для взаимодействия со службами Машинное обучение Azure. В следующем примере кода используется azure.identity.DefaultAzureCredential для подключения к рабочей области в группе ресурсов указанной подписки Azure. В следующем примере кода определите SynapseSparkCompute следующие параметры:

name — определяемое пользователем имя нового присоединенного пула Synapse Spark.
resource_id — идентификатор ресурса пула Synapse Spark, созданного ранее в рабочей области Azure Synapse Analytics

Вызов функции azure.ai.ml.MLClient.begin_create_or_update() присоединяет определенный пул Synapse Spark к рабочей области Машинное обучение Azure.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Чтобы подключить пул Synapse Spark, использующий назначаемое системой удостоверение, передайте IdentityConfiguration с типом, заданным SystemAssignedв качестве identity параметра SynapseSparkCompute класса. Этот фрагмент кода подключает пул Synapse Spark, использующий удостоверение, назначаемое системой:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Пул Synapse Spark также может использовать удостоверение, назначаемое пользователем. Для удостоверения, назначаемого пользователем, можно передать определение управляемого SynapseSparkCompute удостоверения с помощью класса IdentityConfiguration в качестве identity параметра класса. Для определения управляемого удостоверения, используемого таким образом, задайте для UserAssignedпараметра type значение . Кроме того, передайте user_assigned_identities параметр. Параметр user_assigned_identities представляет собой список объектов класса UserAssignedIdentity. Удостоверение resource_id , назначаемое пользователем, заполняет каждый UserAssignedIdentity объект класса. Этот фрагмент кода подключает пул Synapse Spark, использующий удостоверение, назначаемое пользователем:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Примечание.

Функция azure.ai.ml.MLClient.begin_create_or_update() подключает новый пул Synapse Spark, если пул с указанным именем еще не существует в рабочей области. Однако если пул Synapse Spark с указанным именем уже подключен к рабочей области, вызов azure.ai.ml.MLClient.begin_create_or_update() функции обновит существующий присоединенный пул с новым удостоверением или удостоверениями.

Добавление назначений ролей в Azure Synapse Analytics

Чтобы убедиться, что подключенный пул Synapse Spark работает правильно, назначьте ему роль Администратор istrator из пользовательского интерфейса студии Azure Synapse Analytics. В следующих шагах показано, как это сделать:

Откройте рабочую область Synapse в портал Azure.
В левой области щелкните Обзор.
Выберите Open Synapse Studio.
В студии Azure Synapse Analytics выберите "Управление " в левой области.
Выберите контроль доступа в разделе "Безопасность" левой панели, вторая слева.
Выберите Добавить.
Панель "Добавить назначение ролей" откроется справа от экрана. На этой панели:
1. Выберите элемент рабочей области для области.
2. В раскрывающемся меню типа элемента выберите пул Apache Spark.
3. В раскрывающемся меню "Элемент" выберите пул Apache Spark.
4. В раскрывающемся меню роли выберите Synapse Администратор istrator.
5. В поле поиска "Выбор пользователя" начните вводить имя рабочей области Машинное обучение Azure. В нем показан список подключенных пулов Synapse Spark. Выберите нужный пул Synapse Spark из списка.
6. Выберите Применить.

Обновление пула Synapse Spark

Вы можете управлять подключенным пулом Synapse Spark из пользовательского интерфейса Студия машинного обучения Azure. Функции управления пулом Spark включают связанные обновления управляемого удостоверения для подключенного пула Synapse Spark. При обновлении пула Synapse Spark можно назначить назначаемое системой удостоверение или удостоверение, назначаемое пользователем. Перед назначением его пулу Synapse Spark необходимо создать управляемое удостоверение, назначаемое пользователем, в портал Azure.

Чтобы обновить управляемое удостоверение для подключенного пула Synapse Spark, выполните следующие действия.

Откройте страницу сведений для пула Synapse Spark в Студия машинного обучения Azure.
Найдите значок редактирования, расположенный справа от раздела "Управляемое удостоверение ".
Чтобы назначить управляемое удостоверение в первый раз, установите переключатель "Назначить управляемое удостоверение ", чтобы включить его.
Чтобы назначить управляемое удостоверение, назначаемое системой, выполните действия.
1. Выберите тип удостоверения, назначенный системой.
2. Выберите Обновить.
Чтобы назначить управляемое удостоверение, назначаемое пользователем, выполните действия.
1. Выберите тип удостоверения, назначенный пользователем.
2. Выберите подписку Azure в раскрывающемся меню.
3. Введите первые несколько букв имени управляемого удостоверения, назначаемого пользователем, в поле с текстовым поиском по имени. Появится список с соответствующими именами управляемых удостоверений, назначаемых пользователем. Выберите управляемое удостоверение, назначаемое пользователем, из списка. Вы можете выбрать несколько управляемых удостоверений, назначенных пользователем, и назначить их присоединенному пулу Synapse Spark.
4. Выберите Обновить.

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

Чтобы обновить удостоверение, связанное с подключенным пулом Synapse Spark, выполните az ml compute update команду с соответствующими параметрами. Чтобы назначить удостоверение, назначаемое системой, задайте --identity параметр в команде SystemAssignedследующим образом:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Чтобы назначить удостоверение, назначаемое пользователем, задайте параметр --identity в команде UserAssigned. Кроме того, необходимо использовать --user-assigned-identities параметр для передачи идентификатора ресурса для удостоверения, назначаемого пользователем, как показано ниже.

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Примечание.

--user-assigned-identities Параметр может принимать список идентификаторов ресурсов и назначать несколько определяемых пользователем удостоверений присоединенному пулу Synapse Spark. Первое назначаемое пользователем удостоверение в списке будет использоваться для отправки задания по умолчанию.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Чтобы использовать назначаемое системой удостоверение, передайте IdentityConfigurationс типом, заданным SystemAssignedidentity в качестве параметра SynapseSparkCompute класса. Этот фрагмент кода обновляет пул Synapse Spark для использования удостоверения, назначаемого системой:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp)

Пул Synapse Spark также может использовать удостоверение, назначаемое пользователем. Для удостоверения, назначаемого пользователем, можно передать определение управляемого SynapseSparkCompute удостоверения с помощью класса IdentityConfiguration в качестве identity параметра класса. Для определения управляемого удостоверения, используемого таким образом, задайте для UserAssignedпараметра type значение . Кроме того, передайте user_assigned_identities параметр. Параметр user_assigned_identities представляет собой список объектов класса UserAssignedIdentity. Удостоверение resource_id, назначаемое пользователем, заполняет каждый UserAssignedIdentity объект класса. Этот фрагмент кода обновляет пул Synapse Spark для использования удостоверения, назначаемого пользователем:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Примечание.

Если пул с указанным именем еще не существует в рабочей области, azure.ai.ml.MLClient.begin_create_or_update() функция присоединит новый пул Synapse Spark. Однако если пул Synapse Spark с указанным именем уже подключен к рабочей области, azure.ai.ml.MLClient.begin_create_or_update() вызов функции обновит существующий присоединенный пул с новым удостоверением или удостоверениями.

Отключение пула Synapse Spark

Для очистки рабочей области может потребоваться отключить подключенный пул Synapse Spark.

Пользовательский интерфейс Студия машинного обучения Azure также предоставляет способ отсоединить подключенный пул Synapse Spark. Для этого выполните следующие шаги.

Откройте страницу сведений для пула Synapse Spark в Студия машинного обучения Azure.
Выберите "Отсоединить", чтобы отключить подключенный пул Synapse Spark.

ОБЛАСТЬ ПРИМЕНЕНИЯ:расширение Машинного обучения для Azure CLI версии 2 (текущая версия)

Подключенный пул Synapse Spark можно отсоединить, выполнив az ml compute detach команду с именем переданного пула, используя --name параметр, как показано ниже:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Are you sure you want to perform this operation? (y/n): y

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Мы будем использовать MLClient.compute.begin_delete() вызов функции. name Передайте присоединенный пул Synapse Spark вместе с действием Detachв функцию. Этот фрагмент кода отсоединяет пул Synapse Spark от рабочей области Машинное обучение Azure:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Бессерверные вычисления Spark в Машинное обучение Azure

Для некоторых сценариев пользователей может потребоваться доступ к бессерверному вычислительному ресурсу Spark во время отправки задания Машинное обучение Azure без необходимости подключить пул Spark. Интеграция Azure Synapse Analytics с Машинное обучение Azure также предоставляет бессерверную среду вычислений Spark. Это позволяет получить доступ к вычислительным ресурсам Spark в задании без необходимости подключить вычислительные ресурсы к рабочей области. Дополнительные сведения о бессерверной вычислительной среде Spark.

Присоединение пула Synapse Spark и управление ими в Машинное обучение Azure

Необходимые компоненты

Подключение пула Synapse Spark в Машинное обучение Azure

Добавление назначений ролей в Azure Synapse Analytics

Обновление пула Synapse Spark

Отключение пула Synapse Spark

Бессерверные вычисления Spark в Машинное обучение Azure

Следующие шаги

Дополнительные ресурсы