Melampirkan dan mengelola kumpulan Synapse Spark di Azure Pembelajaran Mesin

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Dalam artikel ini, Anda akan mempelajari cara melampirkan Kumpulan Synapse Spark di Azure Pembelajaran Mesin. Anda dapat melampirkan Kumpulan Synapse Spark di Azure Pembelajaran Mesin dengan salah satu cara berikut:

Menggunakan antarmuka pengguna studio Azure Pembelajaran Mesin
Menggunakan Azure Pembelajaran Mesin CLI
Menggunakan Azure Pembelajaran Mesin Python SDK

Prasyarat

Langganan Azure; jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum memulai.
Ruang kerja Azure Machine Learning. Lihat Membuat sumber daya ruang kerja.
Membuat ruang kerja Azure Synapse Analytics di portal Azure.
Buat kumpulan Apache Spark menggunakan portal Azure.

Melampirkan kumpulan Synapse Spark di Azure Pembelajaran Mesin

Azure Pembelajaran Mesin menawarkan berbagai cara untuk melampirkan dan mengelola kumpulan Synapse Spark.

Untuk melampirkan Kumpulan Synapse Spark dengan tab Komputasi Studio:

Di bagian Kelola di panel kiri, pilih Komputasi.
Pilih Komputasi terlampir.
Pada layar Komputasi terlampir, pilih Baru, untuk melihat opsi untuk melampirkan berbagai jenis komputasi.
Pilih kumpulan Synapse Spark.

Panel Lampirkan kumpulan Synapse Spark terbuka di sisi kanan layar. Di panel ini:

Masukkan Nama, yang mengacu pada Kumpulan Synapse Spark terlampir di dalam sumber daya Azure Pembelajaran Mesin.
Pilih Langganan Azure dari menu dropdown.
Pilih ruang kerja Synapse dari menu dropdown.
Pilih Kumpulan Spark dari menu dropdown.
Alihkan opsi Tetapkan identitas terkelola, untuk mengaktifkannya.
Pilih jenis Identitas terkelola yang akan digunakan dengan Kumpulan Synapse Spark terlampir ini.
Pilih Perbarui, untuk menyelesaikan proses lampirkan Kumpulan Synapse Spark.

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

Dengan Azure Pembelajaran Mesin CLI, kita dapat menggunakan sintaks dan perintah YAML intuitif dari antarmuka baris perintah, untuk melampirkan dan mengelola kumpulan Synapse Spark.

Untuk menentukan kumpulan Synapse Spark terlampir menggunakan sintaks YAML, file YAML harus mencakup properti ini:

name – nama kumpulan Synapse Spark yang terpasang.
type – atur properti ini ke synapsespark.
resource_id – properti ini harus memberikan nilai ID sumber daya kumpulan Synapse Spark yang dibuat di ruang kerja Azure Synapse Analytics. ID sumber daya Azure menyertakan
- ID Langganan Azure,
- Nama Grup sumber daya,
- Nama Ruang Kerja Azure Synapse Analytics, dan
- nama Kumpulan Synapse Spark.
```
name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
```

identity – properti ini menentukan jenis identitas yang akan ditetapkan ke kumpulan Synapse Spark yang terlampir. Ini dapat mengambil salah satu nilai ini:

system_assigned

user_assigned

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
type: system_assigned

identity Untuk jenis user_assigned, Anda juga harus memberikan daftar user_assigned_identities nilai. Setiap identitas yang ditetapkan pengguna harus dideklarasikan sebagai elemen daftar, dengan menggunakan resource_id nilai identitas yang ditetapkan pengguna. Identitas pertama yang ditetapkan pengguna dalam daftar digunakan untuk mengirimkan pekerjaan secara default.

name: <ATTACHED_SPARK_POOL_NAME>

type: synapsespark

resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>

identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>

File YAML di atas dapat digunakan dalam az ml compute attach perintah sebagai --file parameter . Kumpulan Synapse Spark dapat dilampirkan ke ruang kerja Azure Pembelajaran Mesin, dalam grup sumber daya langganan tertentu, dengan perintah seperti yang az ml compute attach ditunjukkan di sini:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Jika kumpulan Synapse Spark yang dilampirkan, dengan nama yang ditentukan dalam file spesifikasi YAML, sudah ada di ruang kerja, maka az ml compute attach eksekusi perintah memperbarui kumpulan yang ada dengan informasi yang disediakan dalam file spesifikasi YAML. Anda dapat memperbarui

jenis identitas
identitas yang ditetapkan pengguna
tag

nilai melalui file spesifikasi YAML.

Untuk menampilkan detail kumpulan Synapse Spark terlampir, jalankan az ml compute show perintah . Berikan nama kumpulan Synapse Spark yang terlampir dengan parameter , seperti yang ditunjukkan --name :

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Untuk melihat daftar semua komputasi, termasuk kumpulan Synapse Spark yang terlampir di ruang kerja, gunakan az ml compute list perintah . Gunakan parameter nama untuk meneruskan nama ruang kerja, seperti yang ditunjukkan:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

Azure Pembelajaran Mesin Python SDK menyediakan fungsi yang nyaman untuk melampirkan dan mengelola kumpulan Synapse Spark, menggunakan kode Python di Azure Pembelajaran Mesin Notebooks.

Untuk melampirkan Synapse Compute menggunakan Python SDK, pertama-tama buat instans kelas azure.ai.ml.MLClient. Ini menyediakan fungsi yang nyaman untuk interaksi dengan layanan Azure Pembelajaran Mesin. Sampel kode berikut menggunakan azure.identity.DefaultAzureCredential untuk menyambungkan ke ruang kerja di grup sumber daya langganan Azure tertentu. Dalam sampel kode berikut, tentukan SynapseSparkCompute dengan parameter ini:

name - nama yang ditentukan pengguna dari kumpulan Synapse Spark yang terpasang baru.
resource_id - ID sumber daya kumpulan Synapse Spark yang dibuat sebelumnya di ruang kerja Azure Synapse Analytics

Panggilan fungsi azure.ai.ml.MLClient.begin_create_or_update() melampirkan kumpulan Synapse Spark yang ditentukan ke ruang kerja Azure Pembelajaran Mesin.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Untuk melampirkan kumpulan Synapse Spark yang menggunakan identitas yang ditetapkan sistem, teruskan IdentityConfiguration, dengan jenis diatur ke SystemAssigned, sebagai identity parameter SynapseSparkCompute kelas. Cuplikan kode ini melampirkan kumpulan Synapse Spark yang menggunakan identitas yang ditetapkan sistem:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Kumpulan Synapse Spark juga dapat menggunakan identitas yang ditetapkan pengguna. Untuk identitas yang ditetapkan pengguna, Anda dapat meneruskan definisi identitas terkelola, menggunakan kelas IdentityConfiguration , sebagai identity parameter SynapseSparkCompute kelas. Untuk definisi identitas terkelola yang digunakan dengan cara ini, atur ke typeUserAssigned. Selain itu, berikan user_assigned_identities parameter. Parameter user_assigned_identities adalah daftar objek kelas UserAssignedIdentity. Identitas resource_id yang ditetapkan pengguna mengisi setiap UserAssignedIdentity objek kelas. Cuplikan kode ini melampirkan kumpulan Synapse Spark yang menggunakan identitas yang ditetapkan pengguna:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Catatan

Fungsi melampirkan azure.ai.ml.MLClient.begin_create_or_update() kumpulan Synapse Spark baru, jika kumpulan dengan nama yang ditentukan belum ada di ruang kerja. Namun, jika kumpulan Synapse Spark dengan nama yang ditentukan sudah dilampirkan ke ruang kerja, panggilan ke azure.ai.ml.MLClient.begin_create_or_update() fungsi akan memperbarui kumpulan terlampir yang ada dengan identitas atau identitas baru.

Menambahkan penetapan peran di Azure Synapse Analytics

Untuk memastikan bahwa Kumpulan Synapse Spark yang terlampir berfungsi dengan baik, tetapkan Peran Administrator ke kumpulan tersebut, dari antarmuka pengguna studio Azure Synapse Analytics. Langkah-langkah ini menunjukkan cara melakukannya:

Buka Ruang Kerja Synapse Anda di portal Azure.
Di panel kiri, pilih Gambaran umum.
Pilih Buka Synapse Studio.
Di studio Azure Synapse Analytics, pilih Kelola di panel kiri.
Pilih Kontrol Akses di bagian Keamanan panel kiri, kedua dari kiri.
Pilih Tambahkan.
Panel Tambahkan penetapan peran akan terbuka di sisi kanan layar. Di panel ini:
1. Pilih Item ruang kerja untuk Cakupan.
2. Di menu dropdown Jenis item, pilih kumpulan Apache Spark.
3. Di menu dropdown Item, pilih kumpulan Apache Spark Anda.
4. Di menu dropdown Peran , pilih Administrator Synapse.
5. Di kotak pencarian Pilih pengguna, mulai ketik nama Ruang Kerja Azure Pembelajaran Mesin Anda. Ini menunjukkan kepada Anda daftar kumpulan Synapse Spark yang terlampir. Pilih kumpulan Synapse Spark yang Anda inginkan dari daftar.
6. Pilih Terapkan.

Memperbarui Kumpulan Synapse Spark

Anda dapat mengelola kumpulan Synapse Spark terlampir dari antarmuka pengguna studio Azure Pembelajaran Mesin. Fungsionalitas manajemen kumpulan Spark mencakup pembaruan identitas terkelola terkait untuk kumpulan Synapse Spark yang terlampir. Anda dapat menetapkan identitas yang ditetapkan sistem atau yang ditetapkan pengguna saat memperbarui kumpulan Synapse Spark. Anda harus membuat identitas terkelola yang ditetapkan pengguna di portal Azure, sebelum menetapkannya ke kumpulan Synapse Spark.

Untuk memperbarui identitas terkelola untuk kumpulan Synapse Spark terlampir:

Buka halaman Detail untuk kumpulan Synapse Spark di studio Azure Pembelajaran Mesin.
Temukan ikon edit, yang terletak di sisi kanan bagian Identitas terkelola.
Untuk menetapkan identitas terkelola untuk pertama kalinya, alihkan Tetapkan identitas terkelola untuk mengaktifkannya.
Untuk menetapkan identitas terkelola yang ditetapkan sistem:
1. Pilih Sistem yang ditetapkan sebagai Jenis identitas.
2. Pilih Perbarui.
Untuk menetapkan identitas terkelola yang ditetapkan pengguna:
1. Pilih Pengguna yang ditetapkan sebagai Jenis identitas.
2. Pilih Langganan Azure dari menu dropdown.
3. Ketik beberapa huruf pertama nama identitas terkelola yang ditetapkan pengguna dalam kotak yang memperlihatkan teks Cari menurut nama. Daftar dengan nama identitas terkelola yang ditetapkan pengguna yang cocok muncul. Pilih identitas terkelola yang ditetapkan pengguna yang Anda inginkan dari daftar. Anda dapat memilih beberapa identitas terkelola yang ditetapkan pengguna, dan menetapkannya ke kumpulan Synapse Spark terlampir.
4. Pilih Perbarui.

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

Untuk memperbarui identitas yang terkait dengan kumpulan Synapse Spark terlampir, jalankan az ml compute update perintah dengan parameter yang sesuai. Untuk menetapkan identitas yang ditetapkan sistem, atur --identity parameter dalam perintah ke SystemAssigned, seperti yang ditunjukkan:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Untuk menetapkan identitas yang ditetapkan pengguna, atur parameter --identity dalam perintah ke UserAssigned. Selain itu, Anda harus menggunakan --user-assigned-identities parameter untuk meneruskan ID sumber daya untuk identitas yang ditetapkan pengguna, seperti yang ditunjukkan:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Catatan

Parameter --user-assigned-identities dapat mengambil daftar ID sumber daya dan menetapkan beberapa identitas yang ditentukan pengguna ke kumpulan Synapse Spark terlampir. Identitas pertama yang ditetapkan pengguna dalam daftar akan digunakan untuk mengirimkan pekerjaan secara default.

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

Untuk menggunakan identitas yang ditetapkan sistem, teruskan IdentityConfiguration, dengan jenis diatur ke SystemAssigned, sebagai identity parameter SynapseSparkCompute kelas. Cuplikan kode ini memperbarui kumpulan Synapse Spark untuk menggunakan identitas yang ditetapkan sistem:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp)

Kumpulan Synapse Spark juga dapat menggunakan identitas yang ditetapkan pengguna. Untuk identitas yang ditetapkan pengguna, Anda dapat meneruskan definisi identitas terkelola, menggunakan kelas IdentityConfiguration , sebagai identity parameter SynapseSparkCompute kelas. Untuk definisi identitas terkelola yang digunakan dengan cara ini, atur ke typeUserAssigned. Selain itu, berikan user_assigned_identities parameter. Parameter user_assigned_identities adalah daftar objek kelas UserAssignedIdentity. Identitas resource_idyang ditetapkan pengguna mengisi setiap UserAssignedIdentity objek kelas. Cuplikan kode ini memperbarui kumpulan Synapse Spark untuk menggunakan identitas yang ditetapkan pengguna:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Catatan

Jika kumpulan dengan nama yang ditentukan belum ada di ruang kerja, azure.ai.ml.MLClient.begin_create_or_update() fungsi akan melampirkan kumpulan Synapse Spark baru. Namun, jika kumpulan Synapse Spark, dengan nama yang ditentukan, sudah dilampirkan ke ruang kerja, azure.ai.ml.MLClient.begin_create_or_update() panggilan fungsi akan memperbarui kumpulan terlampir yang ada, dengan identitas atau identitas baru.

Lepaskan kumpulan Synapse Spark

Kami mungkin ingin melepaskan kumpulan Synapse Spark yang terpasang, untuk membersihkan ruang kerja.

Antarmuka pengguna studio Azure Pembelajaran Mesin juga menyediakan cara untuk melepaskan kumpulan Synapse Spark yang terpasang. Untuk melakukan ini, ikuti langkah-langkah berikut:

Buka halaman Detail untuk kumpulan Synapse Spark, di studio Azure Pembelajaran Mesin.
Pilih Lepaskan, untuk melepaskan kumpulan Synapse Spark yang terpasang.

BERLAKU UNTUK: Ekstensi ml Azure CLI v2 (saat ini)

Kumpulan Synapse Spark terlampir dapat dilepas dengan menjalankan az ml compute detach perintah dengan nama kumpulan yang diteruskan, menggunakan parameter , seperti yang --name ditunjukkan di sini:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Sampel ini menunjukkan output yang diharapkan dari perintah di atas:

Are you sure you want to perform this operation? (y/n): y

BERLAKU UNTUK: Python SDK azure-ai-ml v2 (saat ini)

Kita akan menggunakan MLClient.compute.begin_delete() panggilan fungsi. Teruskan name kumpulan Synapse Spark yang terpasang, bersama dengan tindakan Detach, ke fungsi . Cuplikan kode ini mencopot kumpulan Synapse Spark dari ruang kerja Azure Pembelajaran Mesin:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Komputasi Spark tanpa server di Azure Pembelajaran Mesin

Beberapa skenario pengguna mungkin memerlukan akses ke sumber daya komputasi Spark tanpa server, selama pengiriman pekerjaan Azure Pembelajaran Mesin, tanpa perlu melampirkan kumpulan Spark. Integrasi Azure Synapse Analytics dengan Azure Pembelajaran Mesin juga memberikan pengalaman komputasi Spark tanpa server. Ini memungkinkan akses ke komputasi Spark dalam pekerjaan, tanpa perlu melampirkan komputasi ke ruang kerja terlebih dahulu. Pelajari selengkapnya tentang pengalaman komputasi Spark tanpa server.

Langkah berikutnya

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2024-10-16

Melampirkan dan mengelola kumpulan Synapse Spark di Azure Pembelajaran Mesin

Prasyarat

Melampirkan kumpulan Synapse Spark di Azure Pembelajaran Mesin

Menambahkan penetapan peran di Azure Synapse Analytics

Memperbarui Kumpulan Synapse Spark

Lepaskan kumpulan Synapse Spark

Komputasi Spark tanpa server di Azure Pembelajaran Mesin

Langkah berikutnya

Saran dan Komentar

Sumber Daya Tambahan: