Collegare e gestire un pool di Spark Synapse in Azure Machine Learning

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)Python SDK azure-ai-ml v2 (corrente)

Questo articolo descrive come collegare un pool di Synapse Spark in Azure Machine Learning. È possibile collegare un pool di Synapse Spark in Azure Machine Learning in uno dei modi seguenti:

• Uso dell'interfaccia utente di Studio di Azure Machine Learning
• Uso dell'interfaccia della riga di comando di Azure Machine Learning
• Uso di Python SDK per Azure Machine Learning

Prerequisiti

Interfaccia utente di Studio

• Una sottoscrizione di Azure; se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
• Un'area di lavoro di Azure Machine Learning. Consultare Creare le risorse dell'area di lavoro.
• Creare un'area di lavoro di Azure Synapse Analytics nel portale di Azure.
• Creare un pool di Apache Spark con il portale di Azure.

CLI

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

• Sottoscrizione di Azure; se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
• Un'area di lavoro di Azure Machine Learning. Consultare Creare le risorse dell'area di lavoro.
• Creare un'area di lavoro di Azure Synapse Analytics nel portale di Azure.
• Creare un pool di Apache Spark con il portale di Azure.
• Creare un'istanza di ambiente di calcolo di Azure Machine Learning.
• Installare l'interfaccia della riga di comando di Azure Machine Learning.

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

• Sottoscrizione di Azure; se non si ha una sottoscrizione di Azure, creare un account gratuito prima di iniziare.
• Un'area di lavoro di Azure Machine Learning. Consultare Creare le risorse dell'area di lavoro.
• Creare un'area di lavoro di Azure Synapse Analytics nel portale di Azure.
• Creare un pool di Apache Spark con il portale di Azure.
• Configurare l'ambiente di sviluppo o creare un'istanza di ambiente di calcolo di Azure Machine Learning.
• Installare Azure Machine Learning SDK per Python.

Collegare un pool di Synapse Spark in Azure Machine Learning

Azure Machine Learning offre diversi modi per collegare e gestire un pool di Synapse Spark.

Interfaccia utente di Studio

Per collegare un pool di Spark Synapse con la scheda Calcolo di Studio:

1. Nella sezione Gestisci del riquadro sinistro selezionare Calcolo.
2. Selezionare Calcoli collegato.
3. Nella schermata Calcoli collegati selezionare Nuovo per visualizzare le opzioni per collegare diversi tipi di calcolo.
4. Selezionare Pool di Synapse Spark.

Il pannello Attach Synapse Spark pool (Collega pool di Spark Synapse) si apre sul lato destro dello schermo. In questo pannello:

1. Immettere un nome, che fa riferimento al pool di Spark di Synapse collegato all'interno della risorsa di Azure Machine Learning.

2. Selezionare una sottoscrizione di Azure nel menu a discesa.

3. Selezionare un'area di lavoro Synapse nel menu a discesa.

4. Selezionare un pool di Spark nel menu a discesa.

5. Attivare o disattivare l'opzione Assegna un'identità gestita per abilitarla.

6. Selezionare un tipo di identità gestita da usare con questo pool di Synapse Spark collegato.

7. Selezionare Aggiornaper completare il processo di collegamento del pool di Synapse Spark.

CLI

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Con l'interfaccia della riga di comando di Azure Machine Learning è possibile usare sintassi e comandi YAML intuitivi dall'interfaccia della riga di comando per collegare e gestire un pool di Synapse Spark.

Per definire un pool di Synapse Spark collegato usando la sintassi YAML, il file YAML deve coprire queste proprietà:

• name : nome del pool di Synapse Spark collegato.

• type: impostare questa proprietà su synapsespark.

• resource_id : questa proprietà deve fornire il valore id risorsa del pool di Synapse Spark creato nell'area di lavoro Azure Synapse Analytics. L'ID risorsa di Azure include

  • ID sottoscrizione di Azure,

  • Nome del gruppo di risorse,

  • Nome dell’area di lavoro Azure Synapse Analytics e

  • nome del pool di Synapse Spark.

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    

• identity : questa proprietà definisce il tipo di identità da assegnare al pool di Synapse Spark collegato. Può accettare uno di questi valori:

  • system_assigned

  • user_assigned

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    
    identity:
    type: system_assigned
    

• Per il identity tipo user_assigned, è necessario specificare anche un elenco di valori user_assigned_identities. Ogni identità assegnata dall'utente deve essere dichiarata come elemento dell'elenco, usando il valore resource_id dell'identità assegnata dall'utente. La prima identità assegnata dall'utente nell'elenco viene usata per inviare un processo per impostazione predefinita.

  name: <ATTACHED_SPARK_POOL_NAME>
  
  type: synapsespark
  
  resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
  
  identity:
    type: user_assigned
    user_assigned_identities:
      - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>
  

I file YAML precedenti possono essere usati nel comando az ml compute attach come parametro --file. È possibile collegare un pool di Synapse Spark a un'area di lavoro di Azure Machine Learning, in un gruppo di risorse specificato di una sottoscrizione, con il comando az ml compute attach come illustrato di seguito:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Questo esempio mostra l'output previsto del comando precedente:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Se il pool di Synapse Spark collegato, con il nome specificato nel file di specifica YAML, è già presente nell'area di lavoro, l'esecuzione del comando az ml compute attach aggiorna il pool esistente con le informazioni fornite nel file di specifica YAML. È possibile aggiornare

• il tipo di identità
• le entità assegnate dall'utente
• tag

i valori tramite il file di specifica YAML.

Per visualizzare i dettagli di un pool di Synapse Spark collegato, eseguire il comando az ml compute show. Passare il nome del pool di Synapse Spark collegato con il parametro --name, come illustrato di seguito:

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Questo esempio mostra l'output previsto del comando precedente:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Per visualizzare un elenco di tutti i calcoli, inclusi i pool di Synapse Spark collegati in un'area di lavoro, usare il comando az ml compute list. Usare il parametro nome per passare il nome dell'area di lavoro, come illustrato di seguito:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Questo esempio mostra l'output previsto del comando precedente:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

Python SDK per Azure Machine Learning offre funzioni utili per il collegamento e la gestione del pool di Synapse Spark per mezzo del codice Python nei notebook di Azure Machine Learning.

Per collegare un ambiente di calcolo Synapse usando Python SDK, creare prima di tutto un'istanza della classe azure.ai.ml.MLClient. Ciò offre funzioni utili per l'interazione con i servizi di Azure Machine Learning. L'esempio di codice seguente usa azure.identity.DefaultAzureCredential per connettersi a un'area di lavoro nel gruppo di risorse di una sottoscrizione di Azure specificata. Nell'esempio di codice seguente definire SynapseSparkCompute con questi parametri:

• name : nome definito dall'utente del nuovo pool di Synapse Spark collegato.
• resource_id - ID risorsa del pool di Spark di Synapse creato in precedenza nell'area di lavoro di Azure Synapse Analytics

Una chiamata di funzione azure.ai.ml.MLClient.begin_create_or_update() collega il pool di Synapse Spark definito all'area di lavoro di Azure Machine Learning.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Per collegare un pool di Spark Synapse che usa l'identità assegnata dal sistema, passare IdentityConfiguration, con il tipo impostato su SystemAssigned, come parametro identity della classe SynapseSparkCompute. Questo frammento di codice collega un pool di Spark Synapse che usa l'identità assegnata dal sistema:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Un pool di Synapse Spark è anche in grado di usare un'identità assegnata dall'utente. Per un'identità assegnata dall'utente, è possibile passare una definizione di identità gestita, usando la classe IdentityConfiguration, come parametro identity della classe SynapseSparkCompute. Per la definizione dell'identità gestita usata in questo modo, impostare type su UserAssigned. Inoltre, passare un parametro user_assigned_identities. Il parametro user_assigned_identities è un elenco di oggetti della classe UserAssignedIdentity. L'oggetto resource_id dell'identità assegnata dall'utente popola ogni UserAssignedIdentity oggetto classe. Questo frammento di codice collega un pool di Synapse Spark che usa un'identità assegnata dall'utente:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

La funzione azure.ai.ml.MLClient.begin_create_or_update() collega un nuovo pool di Synapse Spark, laddove un pool con il nome specificato non sia già presente nell'area di lavoro. Tuttavia, se un pool di Synapse Spark con tale nome specificato è già collegato all'area di lavoro, una chiamata di funzione azure.ai.ml.MLClient.begin_create_or_update() aggiornerà il pool collegato esistente con la nuova o le nuove identità.

Aggiungere assegnazioni di ruolo in Azure Synapse Analytics

Per assicurarsi che il pool di Synapse Spark collegato funzioni correttamente, assegnargli il ruolo di amministratore dall'interfaccia utente di Studio di Azure Synapse Analytics. Questi passaggi illustrano come eseguire questa operazione:

1. Aprire l'area di lavoro di Synapse nel portale di Azure.

2. Nel riquadro sinistro selezionare Panoramica.

   

3. Selezionare Aprire Synapse Studio.

4. In studio di Azure Synapse Analytics selezionare Gestisci nel riquadro sulla sinistra.

5. Selezionare Controllo di accesso nella sezione Sicurezza del riquadro a sinistra, il secondo a partire da sinistra.

6. Selezionare Aggiungi.

7. Il pannello Aggiungi assegnazione di ruolo verrà aperto sul lato destro della schermata. In questo pannello:

   1. Selezionare Elemento dell'area di lavoro per Ambito.

   2. Nel menu a discesa Tipo di elemento selezionare Pool di Apache Spark.

   3. Nel menu a discesa Elemento selezionare il pool di Apache Spark.

   4. Nel menu a discesa Ruolo selezionare Amministratore di Synapse.

   5. Nella casella di ricerca Seleziona utente iniziare a digitare il nome dell'area di lavoro di Azure Machine Learning. Viene visualizzato un elenco di pool di Synapse Spark collegati. Selezionare il pool di Synapse Spark desiderato nell'elenco.

   6. Selezionare Applica.

      

Aggiornare il pool di Synapse Spark

Interfaccia utente di Studio

È possibile gestire il pool di Synapse Spark collegato dall'interfaccia utente di studio di Azure Machine Learning. La funzionalità di gestione del pool di Spark include gli aggiornamenti delle identità gestite associate per un pool di Synapse Spark collegato. Durante l'aggiornamento di un pool di Synapse Spark è possibile assegnare un'identità assegnata dal sistema o dall'utente. È consigliabile creare un'identità gestita assegnata dall'utente in portale di Azure prima di assegnarla a un pool di Synapse Spark.

Per aggiornare l'identità gestita per il pool di Synapse Spark collegato:

1. Aprire la pagina Dettagli per il pool di Synapse Spark inStudio di Azure Machine Learning.

2. Trovare l'icona di modifica, posta sul lato destro della sezione Identità gestita.

3. Per assegnare un'identità gestita per la prima volta, impostare Assegna un'identità gestita per abilitarla.

4. Per assegnare un'identità gestita assegnata dal sistema:

   1. Selezionare Assegnata dal sistema come tipo di identità.
   2. Selezionare Aggiorna.

5. Per assegnare un'identità gestita assegnata dall'utente:

   1. Selezionare Assegnata dall'utente come tipo di identità.
   2. Selezionare una sottoscrizione di Azure nel menu a discesa.
   3. Digitare le prime lettere del nome dell'identità gestita assegnata dall'utente nella casella che mostra il testo Cerca per nome. Viene visualizzato un elenco con nomi di identità gestite assegnate dall'utente corrispondenti. Selezionare l'identità gestita assegnata dall'utente desiderata nell'elenco. È possibile selezionare diverse identità gestite assegnate dall'utente e assegnarle al pool di Synapse Spark collegato.
   4. Selezionare Aggiorna.

CLI

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Per aggiornare l'identità associata a un pool di Spark di Synapse collegato, eseguire il az ml compute update comando con i parametri appropriati. Per assegnare un'identità assegnata dal sistema, impostare il parametro --identity nel comando su SystemAssigned, come illustrato di seguito:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Questo esempio mostra l'output previsto del comando precedente:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Per assegnare un'identità assegnata dall'utente, impostare il parametro --identity nel comando su UserAssigned. È inoltre consigliabile usare il --user-assigned-identities parametro per passare l'ID risorsa per l'identità assegnata dall'utente, come illustrato di seguito:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Questo esempio mostra l'output previsto del comando precedente:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Nota

Il parametro --user-assigned-identities è in grado di accettare un elenco di ID risorsa e assegnare diverse identità definite dall'utente a un pool di Synapse Spark collegato. Per impostazione predefinita, la prima identità assegnata dall'utente nell'elenco verrà usata per l'invio di un processo.

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

Per usare l'identità assegnata dal sistema, passare IdentityConfiguration, con tipo impostato su SystemAssigned, come parametro identity della classe SynapseSparkCompute. Questo frammento di codice aggiorna un pool di Synapse Spark per usare un'identità assegnata dal sistema:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp) 

Un pool di Synapse Spark è anche in grado di usare un'identità assegnata dall'utente. Per un'identità assegnata dall'utente, è possibile passare una definizione di identità gestita, usando la classe IdentityConfiguration, come parametro identity della classe SynapseSparkCompute. Per la definizione dell'identità gestita usata in questo modo, impostare type su UserAssigned. Inoltre, passare un parametro user_assigned_identities. Il parametro user_assigned_identities è un elenco di oggetti della classe UserAssignedIdentity. L'oggetto resource_iddell'identità assegnata dall'utente popola ogni oggetto della classe UserAssignedIdentity. Questo frammento di codice aggiorna un pool di Synapse Spark per usare un'identità assegnata dall'utente:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Nota

Se un pool con il nome specificato non è già presente nell'area di lavoro, la funzione azure.ai.ml.MLClient.begin_create_or_update() allegherà un nuovo pool di Synapse Spark. Tuttavia, se un pool di Synapse Spark con il nome specificato è già collegato all'area di lavoro, una chiamata di funzione azure.ai.ml.MLClient.begin_create_or_update() aggiornerà il pool collegato esistente con la nuova o le nuove identità.

Scollegare il pool di Synapse Spark

Per cancellare un'area di lavoro potrebbe essere necessario scollegare un pool di Synapse Spark collegato.

---

Interfaccia utente di Studio

L'interfaccia utente di Studio di Azure Machine Learning consente anche di scollegare un pool di Synapse Spark collegato. A tale scopo, effettuare i passaggi seguenti:

1. Aprire la pagina Dettagli per il pool di Synapse Spark in Studio di Azure Machine Learning.

2. Selezionare Scollegaper scollegare il pool di Synapse Spark collegato.

CLI

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Un pool di Spark Synapse collegato può essere scollegato eseguendo il az ml compute detach comando con il nome del pool passato, usando il --name parametro , come illustrato di seguito:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Questo esempio mostra l'output previsto del comando precedente:

Are you sure you want to perform this operation? (y/n): y

Python SDK

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

Verrà usata una chiamata di funzione MLClient.compute.begin_delete(). Passare name del pool di Synapse Spark collegato, insieme all'azione Detach, alla funzione. Questo frammento di codice scollega un pool di Synapse Spark da un'area di lavoro di Azure Machine Learning:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Calcolo Spark serverless in Azure Machine Learning

Alcuni scenari utente potrebbero richiedere l'accesso a una risorsa di calcolo Spark serverless, durante un invio di processo di Azure Machine Learning, senza dover collegare un pool di Spark. Inoltre, l'integrazione di Azure Synapse Analytics con Azure Machine Learning offre un'esperienza di calcolo Spark serverless. In questo modo è possibile accedere a un ambiente di calcolo Spark in un processo, senza bisogno di collegare prima il calcolo a un'area di lavoro. Altre informazioni sull'esperienza di calcolo Spark serverless.

Passaggi successivi

• Data wrangling interattivo con Apache Spark in Azure Machine Learning

• Inviare processi Spark in Azure Machine Learning