Synapse Spark-készlet csatolása és kezelése az Azure Machine Learningben

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Ebben a cikkben megtudhatja, hogyan csatolhat Synapse Spark-készletet az Azure Machine Learningben. A Synapse Spark-készletet az Azure Machine Learningben az alábbi módok egyikével csatolhatja:

• Az Azure Machine Learning Studio felhasználói felületének használata
• Az Azure Machine Learning parancssori felületének használata
• Az Azure Machine Learning Python SDK használata

Előfeltételek

Studio felhasználói felület

• Azure-előfizetés; ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
• Egy Azure Machine Learning-munkaterület. Lásd: Munkaterület-erőforrások létrehozása.
• Azure Synapse Analytics-munkaterület létrehozása az Azure Portalon.
• Apache Spark-készlet létrehozása az Azure Portal használatával.

Parancssori felület

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

• Azure-előfizetés; ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
• Egy Azure Machine Learning-munkaterület. Lásd: Munkaterület-erőforrások létrehozása.
• Azure Synapse Analytics-munkaterület létrehozása az Azure Portalon.
• Apache Spark-készlet létrehozása az Azure Portal használatával.
• Azure Machine Learning számítási példány létrehozása.
• Telepítse az Azure Machine Learning CLI-t.

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

• Azure-előfizetés; ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
• Egy Azure Machine Learning-munkaterület. Lásd: Munkaterület-erőforrások létrehozása.
• Azure Synapse Analytics-munkaterület létrehozása az Azure Portalon.
• Apache Spark-készlet létrehozása az Azure Portal használatával.
• Konfigurálja a fejlesztői környezetet, vagy hozzon létre egy Azure Machine Learning számítási példányt.
• Telepítse a Pythonhoz készült Azure Machine Learning SDK-t.

Synapse Spark-készlet csatolása az Azure Machine Learningben

Az Azure Machine Learning különböző módszereket kínál a Synapse Spark-készlet csatolására és kezelésére.

Studio felhasználói felület

Synapse Spark-készlet csatolása a Studio Compute laphoz:

1. A bal oldali panel Kezelés szakaszában válassza a Számítás lehetőséget.
2. Válassza a Csatolt számítások lehetőséget.
3. A Csatolt számítások képernyőn válassza az Új lehetőséget a különböző típusú számítások csatolásának lehetőségeinek megtekintéséhez.
4. Válassza a Synapse Spark-készletet.

Megnyílik a Synapse Spark-készlet csatolása panel a képernyő jobb oldalán. Ebben a panelen:

1. Adjon meg egy nevet, amely a csatolt Synapse Spark-készletre hivatkozik az Azure Machine Learning-erőforrásban.

2. Válasszon egy Azure-előfizetést a legördülő menüből.

3. Válasszon ki egy Synapse-munkaterületet a legördülő menüből.

4. Válasszon egy Spark-készletet a legördülő menüből.

5. A felügyelt identitás hozzárendelése beállítás váltása annak engedélyezéséhez.

6. Válassza ki a csatolt Synapse Spark-készlethez használni kívánt felügyelt identitástípust .

7. Válassza a Frissítés lehetőséget a Synapse Spark-készlet csatolási folyamatának befejezéséhez.

Parancssori felület

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

Az Azure Machine Learning CLI-vel intuitív YAML-szintaxist és parancsokat használhatunk a parancssori felületről a Synapse Spark-készlet csatolásához és kezeléséhez.

A csatolt Synapse Spark-készlet YAML-szintaxissal való definiálásához a YAML-fájlnak az alábbi tulajdonságokat kell lefednie:

• name – a csatolt Synapse Spark-készlet neve.

• type – állítsa be ezt a tulajdonságot a következőre synapsespark: .

• resource_id – ennek a tulajdonságnak meg kell adnia az Azure Synapse Analytics-munkaterületen létrehozott Synapse Spark-készlet erőforrás-azonosító értékét. Az Azure-erőforrás-azonosító tartalmazza

  • Azure-előfizetés azonosítója,

  • erőforráscsoport neve,

  • Az Azure Synapse Analytics-munkaterület neve és

  • a Synapse Spark-készlet neve.

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    

• identity – ez a tulajdonság határozza meg a csatolt Synapse Spark-készlethez rendelendő identitástípust. A következő értékek egyikét veheti igénybe:

  • system_assigned

  • user_assigned

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    
    identity:
    type: system_assigned
    

• identity A típushoz user_assignedmeg kell adnia az értékek listáját user_assigned_identities is. Minden felhasználó által hozzárendelt identitást a lista elemeként kell deklarálni a resource_id felhasználó által hozzárendelt identitás értékének használatával. A rendszer alapértelmezés szerint a listában szereplő első felhasználó által hozzárendelt identitással küldi el a feladatokat.

  name: <ATTACHED_SPARK_POOL_NAME>
  
  type: synapsespark
  
  resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
  
  identity:
    type: user_assigned
    user_assigned_identities:
      - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>
  

A fenti YAML-fájlok paraméterként használhatók a az ml compute attach--file parancsban. A Synapse Spark-készlet egy Azure Machine Learning-munkaterülethez csatolható egy előfizetés megadott erőforráscsoportjában, az az ml compute attach itt látható paranccsal:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Ha a csatolt Synapse Spark-készlet a YAML-specifikációs fájlban megadott névvel már létezik a munkaterületen, akkor az ml compute attach a parancsvégrehajtás frissíti a meglévő készletet a YAML specifikációs fájlban megadott információkkal. Frissítheti a

• identitástípus
• felhasználó által hozzárendelt identitások
• címkét

értékeket a YAML specifikációs fájlon keresztül.

A csatolt Synapse Spark-készlet részleteinek megjelenítéséhez hajtsa végre a az ml compute show parancsot. Adja meg a csatolt Synapse Spark-készlet nevét a --name paraméterrel, az alábbi módon:

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Az összes számítás listájának megtekintéséhez, beleértve a csatolt Synapse Spark-készleteket egy munkaterületen, használja a az ml compute list parancsot. A névparaméter használatával adja át a munkaterület nevét az alábbi módon:

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Az Azure Machine Learning Python SDK kényelmes funkciókat biztosít a Synapse Spark-készlet csatlakoztatásához és kezeléséhez python-kód használatával az Azure Machine Learning Notebookokban.

Synapse Compute Python SDK-val való csatolásához először hozzon létre egy azure.ai.ml.MLClient osztálypéldányt. Ez kényelmes funkciókat biztosít az Azure Machine Learning-szolgáltatásokkal való interakcióhoz. Az alábbi kódminta egy adott Azure-előfizetés erőforráscsoportjában lévő munkaterülethez való csatlakozásra szolgál azure.identity.DefaultAzureCredential . A következő kódmintában adja meg az SynapseSparkCompute alábbi paramétereket:

• name - az új csatolt Synapse Spark-készlet felhasználó által definiált neve.
• resource_id - az Azure Synapse Analytics-munkaterületen korábban létrehozott Synapse Spark-készlet erőforrás-azonosítója

Egy azure.ai.ml.MLClient.begin_create_or_update() függvényhívás csatolja a megadott Synapse Spark-készletet az Azure Machine Learning-munkaterülethez.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

A rendszer által hozzárendelt identitást használó Synapse Spark-készlet csatolásához adja át az identity IdentityConfigurationt az osztály paramétereként SynapseSparkCompute beállított SystemAssignedtípussal. Ez a kódrészlet egy rendszer által hozzárendelt identitást használó Synapse Spark-készletet csatol:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

A Synapse Spark-készlet felhasználó által hozzárendelt identitást is használhat. Felhasználó által hozzárendelt identitás esetén az osztály paramétereként az IdentityConfiguration osztály használatával átadhat egy felügyelt identitásdefiníciótSynapseSparkCompute.identity Az így használt felügyelt identitásdefinícióhoz állítsa a type következőt UserAssigned: . Emellett adjon meg egy paramétert user_assigned_identities . A paraméter user_assigned_identities a UserAssignedIdentity osztály objektumainak listája. A resource_id felhasználó által hozzárendelt identitás kitölti az egyes UserAssignedIdentity osztályobjektumokat. Ez a kódrészlet egy felhasználó által hozzárendelt identitást használó Synapse Spark-készletet csatol:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Feljegyzés

A azure.ai.ml.MLClient.begin_create_or_update() függvény egy új Synapse Spark-készletet csatol, ha a megadott nevű készlet még nem létezik a munkaterületen. Ha azonban a megadott névvel rendelkező Synapse Spark-készlet már csatlakoztatva van a munkaterülethez, a azure.ai.ml.MLClient.begin_create_or_update() függvény hívása frissíti a meglévő csatolt készletet az új identitással vagy identitásokkal.

Szerepkör-hozzárendelések hozzáadása az Azure Synapse Analyticsben

Annak érdekében, hogy a csatolt Synapse Spark-készlet megfelelően működjön, rendelje hozzá a rendszergazdai szerepkört az Azure Synapse Analytics studio felhasználói felületéről. Az alábbi lépések a következőket mutatják be:

1. Nyissa meg a Synapse-munkaterületet az Azure Portalon.

2. A bal oldali panelen válassza az Áttekintés lehetőséget.

   

3. Válassza a Synapse Studio megnyitása lehetőséget.

4. Az Azure Synapse Analytics studióban válassza a Kezelés lehetőséget a bal oldali panelen.

5. A bal oldali panel Biztonság szakaszában válassza a Hozzáférés-vezérlés lehetőséget, balról a másodikat.

6. Válassza a Hozzáadás lehetőséget.

7. A szerepkör-hozzárendelés hozzáadása panel a képernyő jobb oldalán nyílik meg. Ebben a panelen:

   1. Válassza ki a Hatókör munkaterület elemét.

   2. Az Elemtípus legördülő menüben válassza az Apache Spark-készletet.

   3. Az Elem legördülő menüben válassza ki az Apache Spark-készletet.

   4. A Szerepkör legördülő menüben válassza a Synapse-rendszergazda lehetőséget.

   5. A Felhasználó kiválasztása keresőmezőbe kezdje el beírni az Azure Machine Learning-munkaterület nevét. A csatolt Synapse Spark-készletek listáját jeleníti meg. Válassza ki a kívánt Synapse Spark-készletet a listából.

   6. Válassza az Alkalmazás lehetőséget.

      

A Synapse Spark-készlet frissítése

Studio felhasználói felület

A csatolt Synapse Spark-készletet az Azure Machine Learning Studio felhasználói felületén kezelheti. A Spark-készlet felügyeleti funkciója magában foglalja a társított felügyelt identitásfrissítéseket egy csatolt Synapse Spark-készlethez. A Synapse Spark-készlet frissítésekor hozzárendelhet egy rendszer által hozzárendelt vagy felhasználó által hozzárendelt identitást. A Synapse Spark-készlethez való hozzárendelés előtt létre kell hoznia egy felhasználó által hozzárendelt felügyelt identitást az Azure Portalon.

A csatolt Synapse Spark-készlet felügyelt identitásának frissítése:

1. Nyissa meg a Synapse Spark-készlet Részletek lapját az Azure Machine Learning Studióban.

2. Keresse meg a felügyelt identitás szakasz jobb oldalán található szerkesztés ikont.

3. Ha először szeretne hozzárendelni egy felügyelt identitást, kapcsolja ki a felügyelt identitás hozzárendelése kapcsolót az engedélyezéshez.

4. Rendszer által hozzárendelt felügyelt identitás hozzárendelése:

   1. Válassza ki a rendszer által hozzárendelt identitástípust.
   2. Válassza a Frissítés lehetőséget.

5. Felhasználó által hozzárendelt felügyelt identitás hozzárendelése:

   1. Válassza ki a felhasználó által hozzárendelt identitástípust.
   2. Válasszon egy Azure-előfizetést a legördülő menüből.
   3. Írja be a felhasználó által hozzárendelt felügyelt identitás nevének első néhány betűét a név szerinti keresés szöveget megjelenítő mezőbe. Megjelenik egy felhasználó által hozzárendelt felügyelt identitásneveket tartalmazó lista. Válassza ki a felhasználó által hozzárendelt felügyelt identitást a listából. Több felhasználó által hozzárendelt felügyelt identitást is kijelölhet, és hozzárendelheti őket a csatolt Synapse Spark-készlethez.
   4. Válassza a Frissítés lehetőséget.

Parancssori felület

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

A csatolt Synapse Spark-készlethez társított identitás frissítéséhez hajtsa végre a parancsot a az ml compute update megfelelő paraméterekkel. Rendszer által hozzárendelt identitás hozzárendeléséhez állítsa a --identity parancs paraméterét a következőre SystemAssigned:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Felhasználó által hozzárendelt identitás hozzárendeléséhez állítsa a parancs paraméterét --identity a következőre UserAssigned: . Emellett a --user-assigned-identities paraméter használatával adja át a felhasználó által hozzárendelt identitás erőforrás-azonosítóját, ahogyan az látható:

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

Feljegyzés

A paraméter --user-assigned-identities felveheti az erőforrás-azonosítók listáját, és több felhasználó által definiált identitást rendelhet hozzá egy csatolt Synapse Spark-készlethez. A rendszer alapértelmezés szerint a listában szereplő első felhasználó által hozzárendelt identitással küldi el a feladatokat.

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

A rendszer által hozzárendelt identitás használatához adja meg IdentityConfigurationaz osztály paramétereként identitySynapseSparkCompute a megadott SystemAssignedtípust. Ez a kódrészlet frissíti a Synapse Spark-készletet egy rendszer által hozzárendelt identitás használatához:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp) 

A Synapse Spark-készlet felhasználó által hozzárendelt identitást is használhat. Felhasználó által hozzárendelt identitás esetén az osztály paramétereként az IdentityConfiguration osztály használatával átadhat egy felügyelt identitásdefiníciótSynapseSparkCompute.identity Az így használt felügyelt identitásdefinícióhoz állítsa a type következőt UserAssigned: . Emellett adjon meg egy paramétert user_assigned_identities . A paraméter user_assigned_identities a UserAssignedIdentity osztály objektumainak listája. A resource_idfelhasználó által hozzárendelt identitás kitölti az egyes UserAssignedIdentity osztályobjektumokat. Ez a kódrészlet frissíti a Synapse Spark-készletet egy felhasználó által hozzárendelt identitás használatához:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Feljegyzés

Ha a megadott nevű készlet még nem létezik a munkaterületen, a azure.ai.ml.MLClient.begin_create_or_update() függvény egy új Synapse Spark-készletet csatol. Ha azonban a megadott névvel rendelkező Synapse Spark-készlet már csatlakoztatva van a munkaterülethez, egy azure.ai.ml.MLClient.begin_create_or_update() függvényhívás frissíti a meglévő csatolt készletet az új identitással vagy identitásokkal.

A Synapse Spark-készlet leválasztása

Előfordulhat, hogy leválasztunk egy csatolt Synapse Spark-készletet, hogy megtisztítsunk egy munkaterületet.

---

Studio felhasználói felület

Az Azure Machine Learning Studio felhasználói felülete lehetővé teszi a csatlakoztatott Synapse Spark-készlet leválasztásának módját is. Ehhez kövesse az alábbi lépéseket:

1. Nyissa meg a Synapse Spark-készlet Részletek lapját az Azure Machine Learning Studióban.

2. Válassza a Leválasztás lehetőséget a csatolt Synapse Spark-készlet leválasztásához.

Parancssori felület

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

A csatolt Synapse Spark-készlet leválasztható úgy, hogy végrehajtja a az ml compute detach parancsot az átadott készlet nevével, a --name paraméter használatával, az itt látható módon:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

Ez a minta a fenti parancs várt kimenetét mutatja be:

Are you sure you want to perform this operation? (y/n): y

Python

A KÖVETKEZŐKRE VONATKOZIK: Python SDK azure-ai-ml v2 (aktuális)

Függvényhívást MLClient.compute.begin_delete() fogunk használni. Adja át a name csatolt Synapse Spark-készletet a művelettel Detachegyütt a függvénynek. Ez a kódrészlet leválaszt egy Synapse Spark-készletet egy Azure Machine Learning-munkaterületről:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")

Kiszolgáló nélküli Spark-számítás az Azure Machine Learningben

Egyes felhasználói forgatókönyvek esetében szükség lehet egy kiszolgáló nélküli Spark számítási erőforráshoz való hozzáférésre egy Azure Machine Learning-feladat beküldése során anélkül, hogy Spark-készletet kellene csatolnia. Az Azure Synapse Analytics és az Azure Machine Learning integrációja kiszolgáló nélküli Spark számítási élményt is biztosít. Ez lehetővé teszi a Spark-számítási feladatokhoz való hozzáférést anélkül, hogy először hozzá kellene kapcsolnia a számítást egy munkaterülethez. További információ a kiszolgáló nélküli Spark számítási felületéről.

Következő lépések

• Interaktív adatkonvergálás az Apache Sparkkal az Azure Machine Learningben

• Spark-feladatok küldése az Azure Machine Learningben