Azure Machine Tanulás-munkaterületek kezelése az Azure CLI használatával
ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)
Ebből a cikkből megtudhatja, hogyan hozhat létre és kezelhet Azure Machine-Tanulás-munkaterületeket az Azure CLI használatával. Az Azure CLI parancsokat biztosít az Azure-erőforrások kezeléséhez, és úgy lett kialakítva, hogy gyorsan működjön az Azure-ral, különös hangsúlyt fektetve az automatizálásra. A parancssori felület gépi tanulási bővítménye parancsokat biztosít az Azure Machine Tanulás-erőforrások használatához.
A munkaterületeket az Azure Portalon és a Python SDK-ban, az Azure PowerShellben vagy a VS Code-bővítményen keresztül is kezelheti.
Előfeltételek
Egy Azure-előfizetés. Ha nincs, próbálja ki az Azure Machine Tanulás ingyenes vagy fizetős verzióját.
A dokumentumban található CLI-parancsok helyi környezetből való használatához az Azure CLI-re van szükség.
Ha az Azure Cloud Shellt használja, a parancssori felület a böngészőn keresztül érhető el, és a felhőben él.
Korlátozások
Új munkaterület létrehozásakor automatikusan létrehozhatja a munkaterülethez szükséges szolgáltatásokat, vagy használhatja a meglévő szolgáltatásokat. Ha a munkaterülettől eltérő Azure-előfizetésből származó meglévő szolgáltatásokat szeretne használni, regisztrálnia kell az Azure Machine Tanulás névterét a szolgáltatásokat tartalmazó előfizetésben. Ha például létrehoz egy munkaterületet az A előfizetésben, amely a B előfizetésből származó tárfiókot használ, az Azure Machine Tanulás névterét regisztrálni kell a B előfizetésben, mielőtt a tárfiókot használhassa a munkaterülettel.
Az Azure Machine Tanulás erőforrás-szolgáltatója a Microsoft.Machine Tanulás Services. Az Azure-erőforrás-szolgáltatókról és -típusokról szóló cikkből megtudhatja, hogyan lehet regisztrálni, és hogyan lehet regisztrálni.
Fontos
Ez csak a munkaterület létrehozása során biztosított erőforrásokra vonatkozik; Azure Storage-fiókok, Azure Container Register, Azure Key Vault és alkalmazás Elemzések.
Tipp.
A munkaterület létrehozásakor létrejön egy Azure-alkalmazás Elemzések példány. Ha szeretné, törölheti az Alkalmazás Elemzések-példányt a fürt létrehozása után. A törlés korlátozza a munkaterületről gyűjtött információkat, és megnehezítheti a problémák elhárítását. Ha törli a munkaterület által létrehozott alkalmazáspéldányt Elemzések, a munkaterület törlése és újbóli létrehozása nélkül nem hozhatja létre újra.
Az alkalmazás Elemzések-példány használatáról további információt a Tanulás-webszolgáltatás-végpontok monitorozása és adatgyűjtése című témakörben talál.
Biztonságos parancssori felületi kommunikáció
Néhány Azure CLI-parancs az interneten keresztül kommunikál az Azure Resource Managerrel. Ezt a kommunikációt HTTPS/TLS 1.2 használatával biztosítjuk.
Az Azure Machine Tanulás CLI 2-es bővítményével ('ml') az összes parancs kommunikál az Azure Resource Managerrel. Ide tartoznak az olyan operatív adatok, mint a YAML-paraméterek és a metaadatok. Ha az Azure Machine Tanulás munkaterülete nyilvános (vagyis nem virtuális hálózat mögött), akkor nincs szükség további konfigurációra. A kommunikáció https/TLS 1.2 használatával van biztosítva.
Ha az Azure Machine Tanulás-munkaterület magánvégpontot és virtuális hálózatot használ, és cli v2-t használ, válasszon az alábbi konfigurációk közül:
Ha a cli v2-kommunikáció a nyilvános interneten keresztül rendben van, használja a parancs következő
--public-network-access
paraméterét aaz ml workspace update
nyilvános hálózati hozzáférés engedélyezéséhez. A következő parancs például frissít egy munkaterületet a nyilvános hálózati hozzáféréshez:az ml workspace update --name myworkspace --public-network-access enabled
Ha nem megfelelő a CLI v2-kommunikáció a nyilvános interneten keresztül, az Azure Private Link használatával növelheti a kommunikáció biztonságát. Az alábbi hivatkozások segítségével biztonságossá teheti az Azure Resource Managerrel folytatott kommunikációt az Azure Private Link használatával.
- Az Azure Machine Tanulás-munkaterület védelme egy virtuális hálózaton belül egy privát végpont használatával.
- Hozzon létre egy Private Linket az Azure-erőforrások kezeléséhez.
- Hozzon létre egy privát végpontot az előző lépésben létrehozott privát hivatkozáshoz.
Fontos
Az Azure Resource Manager privát hivatkozásának konfigurálásához Az Azure-előfizetés előfizetés-tulajdonosának , valamint a gyökérszintű felügyeleti csoport tulajdonosának vagy közreműködőjének kell lennie. További információ: Privát hivatkozás létrehozása az Azure-erőforrások kezeléséhez.
A CLI v2 kommunikációval kapcsolatos további információkért lásd a parancssori felület telepítését és beállítását ismertető témakört.
A parancssori felület Csatlakozás az Azure-előfizetéshez
Fontos
Ha az Azure Cloud Shellt használja, kihagyhatja ezt a szakaszt. A cloud shell automatikusan hitelesíti Önt az Azure-előfizetésbe bejelentkezett fiókkal.
Az Azure-előfizetését többféleképpen is hitelesítheti a parancssori felületről. A legegyszerűbb, ha interaktívan hitelesít egy böngészőt. Az interaktív hitelesítéshez nyisson meg egy parancssort vagy terminált, és használja a következő parancsot:
az login
Ha a CLI megnyithatja az alapértelmezett böngészőt, akkor megnyitja, és betölti a bejelentkezési oldalt. Ellenkező esetben meg kell nyitnia egy böngészőt, és követnie kell a parancssor utasításait. Az utasítások egy engedélyezési kód böngészésével https://aka.ms/devicelogin és beírásával járnak.
Tipp.
Bejelentkezés után megjelenik az Azure-fiókhoz társított előfizetések listája. Az előfizetés adatai isDefault: true
az Azure CLI-parancsok jelenleg aktivált előfizetése. Ennek az előfizetésnek ugyanaznak kell lennie, amely az Azure Machine Tanulás-munkaterületet tartalmazza. Az előfizetés-azonosítót az Azure Portalon találja a munkaterület áttekintési oldalának megnyitásával.
Másik előfizetés kiválasztásához használja a az account set -s <subscription name or ID>
parancsot, és adja meg az előfizetés nevét vagy azonosítóját, amelyre váltani szeretne. Az előfizetés kiválasztásával kapcsolatos további információkért lásd : Több Azure-előfizetés használata.
A hitelesítés egyéb módjaiért lásd: Bejelentkezés az Azure CLI-vel.
Erőforráscsoport létrehozása
Az Azure Machine Tanulás munkaterületet egy erőforráscsoporton belül kell létrehozni. Használhat egy meglévő erőforráscsoportot, vagy hozzon létre egy újat. Új erőforráscsoport létrehozásához használja az alábbi parancsot. Cserélje le <resource-group-name>
az erőforráscsoporthoz használandó névre. Cserélje le <location>
az erőforráscsoporthoz használandó Azure-régióra:
Megjegyzés:
Válassza ki azt a régiót, ahol elérhető az Azure Machine Tanulás. További információ: Régiónként elérhető termékek.
az group create --name <resource-group-name> --location <location>
A parancs válasza hasonló a következő JSON-hoz. A kimeneti értékekkel megkeresheti a létrehozott erőforrásokat, vagy elemezheti őket bemenetként az automatizálás további parancssori felületi lépéseihez.
{
"id": "/subscriptions/<subscription-GUID>/resourceGroups/<resourcegroupname>",
"location": "<location>",
"managedBy": null,
"name": "<resource-group-name>",
"properties": {
"provisioningState": "Succeeded"
},
"tags": null,
"type": null
}
Az erőforráscsoportok használatával kapcsolatos további információkért lásd az az csoportot.
Create a workspace
Az Azure Machine Tanulás-munkaterület üzembe helyezésekor különböző egyéb szolgáltatásokra van szükség függő társított erőforrásokként. Amikor a parancssori felülettel hozza létre a munkaterületet, a parancssori felület létrehozhat új társított erőforrásokat az Ön nevében, vagy csatolhat meglévő erőforrásokat.
Fontos
Saját tárfiók csatolásakor győződjön meg arról, hogy megfelel az alábbi feltételeknek:
- A tárfiók nem prémium szintű fiók (Premium_LRS és Premium_GRS)
- Az Azure Blob és az Azure File képességei is engedélyezve
- A hierarchikus névtér (ADLS Gen 2) le van tiltva Ezek a követelmények csak a munkaterület által használt alapértelmezett tárfiókra vonatkoznak.
Az Azure Container Registry csatolásakor engedélyeznie kell a rendszergazdai fiókot, mielőtt az Azure Machine Tanulás-munkaterülettel használható lenne.
Ha új munkaterületet szeretne létrehozni, ahol a szolgáltatások automatikusan létrejönnek, használja a következő parancsot:
az ml workspace create -n <workspace-name> -g <resource-group-name>
Fontos
Meglévő erőforrások csatolásakor nem kell megadnia az összeset. Megadhat egy vagy több értéket. Megadhat például egy meglévő tárfiókot, és a munkaterület létrehozza a többi erőforrást.
A munkaterület-létrehozási parancs kimenete a következő JSON-hoz hasonló. A kimeneti értékekkel megkeresheti a létrehozott erőforrásokat, vagy elemezheti őket a parancssori felület további lépéseinek bemeneteként.
{
"applicationInsights": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.insights/components/<application-insight-name>",
"containerRegistry": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.containerregistry/registries/<acr-name>",
"creationTime": "2019-08-30T20:24:19.6984254+00:00",
"description": "",
"friendlyName": "<workspace-name>",
"id": "/subscriptions/<service-GUID>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>",
"identityPrincipalId": "<GUID>",
"identityTenantId": "<GUID>",
"identityType": "SystemAssigned",
"keyVault": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.keyvault/vaults/<key-vault-name>",
"location": "<location>",
"name": "<workspace-name>",
"resourceGroup": "<resource-group-name>",
"storageAccount": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.storage/storageaccounts/<storage-account-name>",
"type": "Microsoft.MachineLearningServices/workspaces",
"workspaceid": "<GUID>"
}
Speciális konfigurációk
Munkaterület konfigurálása magánhálózati kapcsolatokhoz
A használati esettől és a szervezeti követelményektől függően dönthet úgy, hogy magánhálózati kapcsolattal konfigurálja az Azure Machine Tanulás. Az Azure CLI használatával üzembe helyezhet egy munkaterületet és egy privát kapcsolati végpontot a munkaterület-erőforráshoz. A privát végpontok és virtuális hálózatok munkaterülettel való használatáról további információt a Virtuális hálózatok elkülönítése és az adatvédelem áttekintése című témakörben talál. Összetett erőforráskonfigurációk esetén tekintse meg a sablonalapú üzembe helyezési lehetőségeket is, beleértve az Azure Resource Managert is.
Privát kapcsolat használata esetén a munkaterület nem használhatja az Azure Container Registryt Docker-rendszerképek létrehozásához. Ezért be kell állítania a image_build_compute tulajdonságot a Docker rendszerképkörnyezetének létrehozásához használandó cpu-számítási fürtnévre. Azt is megadhatja, hogy a privát kapcsolat munkaterületének elérhetőnek kell-e lennie az interneten keresztül a public_network_access tulajdonság használatával.
$schema: https://azuremlschemas.azureedge.net/latest/workspace.schema.json
name: mlw-privatelink-prod
location: eastus
display_name: Private Link endpoint workspace-example
description: When using private link, you must set the image_build_compute property to a cluster name to use for Docker image environment building. You can also specify whether the workspace should be accessible over the internet.
image_build_compute: cpu-compute
public_network_access: Disabled
tags:
purpose: demonstration
az ml workspace create -g <resource-group-name> --file privatelink.yml
A munkaterület létrehozása után az Azure networking CLI-parancsaival hozzon létre egy privát kapcsolati végpontot a munkaterülethez.
az network private-endpoint create \
--name <private-endpoint-name> \
--vnet-name <vnet-name> \
--subnet <subnet-name> \
--private-connection-resource-id "/subscriptions/<subscription>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>" \
--group-id amlworkspace \
--connection-name workspace -l <location>
A munkaterülethez tartozó privát DNS-zónabejegyzések létrehozásához használja a következő parancsokat:
# Add privatelink.api.azureml.ms
az network private-dns zone create \
-g <resource-group-name> \
--name 'privatelink.api.azureml.ms'
az network private-dns link vnet create \
-g <resource-group-name> \
--zone-name 'privatelink.api.azureml.ms' \
--name <link-name> \
--virtual-network <vnet-name> \
--registration-enabled false
az network private-endpoint dns-zone-group create \
-g <resource-group-name> \
--endpoint-name <private-endpoint-name> \
--name myzonegroup \
--private-dns-zone 'privatelink.api.azureml.ms' \
--zone-name 'privatelink.api.azureml.ms'
# Add privatelink.notebooks.azure.net
az network private-dns zone create \
-g <resource-group-name> \
--name 'privatelink.notebooks.azure.net'
az network private-dns link vnet create \
-g <resource-group-name> \
--zone-name 'privatelink.notebooks.azure.net' \
--name <link-name> \
--virtual-network <vnet-name> \
--registration-enabled false
az network private-endpoint dns-zone-group add \
-g <resource-group-name> \
--endpoint-name <private-endpoint-name> \
--name myzonegroup \
--private-dns-zone 'privatelink.notebooks.azure.net' \
--zone-name 'privatelink.notebooks.azure.net'
Ügyfél által felügyelt kulcs és nagy üzleti hatású munkaterület
Alapértelmezés szerint a munkaterület metaadatait a Microsoft által fenntartott Azure Cosmos DB-példány tárolja. Ezek az adatok a Microsoft által felügyelt kulcsokkal titkosítva lesznek. A Microsoft által felügyelt kulcs használata helyett saját kulcsot is megadhat. Ezzel további erőforrásokat hoz létre az Azure-előfizetésben az adatok tárolásához.
Ha többet szeretne megtudni azokról az erőforrásokról, amelyek akkor jönnek létre, amikor saját kulcsot használ a titkosításhoz, tekintse meg az Azure Machine Tanulás adattitkosítását.
A paraméter és a customer_managed_key
benne található key_vault
paraméterek key_uri
használatával adja meg a kulcs erőforrás-azonosítóját és URI-ját a tárolóban.
A Microsoft által a munkaterületen gyűjtött adatok korlátozásához megadhatja a tulajdonságot hbi_workspace
is.
$schema: https://azuremlschemas.azureedge.net/latest/workspace.schema.json
name: mlw-cmkexample-prod
location: eastus
display_name: Customer managed key encryption-example
description: This configurations shows how to create a workspace that uses customer-managed keys for encryption.
customer_managed_key:
key_vault: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.KeyVault/vaults/<KEY_VAULT>
key_uri: https://<KEY_VAULT>.vault.azure.net/keys/<KEY_NAME>/<KEY_VERSION>
tags:
purpose: demonstration
Ezután hivatkozhat erre a konfigurációs fájlra a munkaterület létrehozási parancssori felületének parancsa részeként.
az ml workspace create -g <resource-group-name> --file cmk.yml
Megjegyzés:
Engedélyezze a Machine Tanulás appot (az Identitás- és hozzáférés-kezelésben) az előfizetés közreműködői engedélyeivel az adattitkosítás további erőforrásainak kezeléséhez.
Megjegyzés:
Az Azure Cosmos DB nem használható olyan információk tárolására, mint a modell teljesítménye, a kísérletek által naplózott információk vagy a modelltelepítésekből naplózott információk.
Fontos
A nagy üzleti hatás kiválasztása csak munkaterület létrehozásakor végezhető el. Ezt a beállítást a munkaterület létrehozása után nem módosíthatja.
Az ügyfél által felügyelt kulcsokról és a nagy üzleti hatással járó munkaterületről az Azure Machine-Tanulás vállalati biztonsága című témakörben talál további információt.
Munkaterületek kezelése a parancssori felület használatával
Munkaterület adatainak lekérése
A munkaterületre vonatkozó információk lekéréséhez használja a következő parancsot:
az ml workspace show -n <workspace-name> -g <resource-group-name>
További információkért tekintse meg az ml-munkaterület dokumentációját .
Munkaterület frissítése
Munkaterület frissítéséhez használja a következő parancsot:
az ml workspace update -n <workspace-name> -g <resource-group-name>
További információkért tekintse meg az ml-munkaterület frissítési dokumentációját.
Szinkronizálási kulcsok függő erőforrásokhoz
Ha módosítja a munkaterület által használt erőforrások egyikének hozzáférési kulcsait, körülbelül egy órát vesz igénybe, amíg a munkaterület szinkronizálódik az új kulccsal. Ha azt szeretné, hogy a munkaterület azonnal szinkronizálja az új kulcsokat, használja a következő parancsot:
az ml workspace sync-keys -n <workspace-name> -g <resource-group-name>
A kulcsok módosításáról további információt a tárelérési kulcsok újragenerálása című témakörben talál.
A szinkronizálási kulcsok paranccsal kapcsolatos további információkért lásd az ml-munkaterület szinkronizálási kulcsait.
Munkaterület törlése
Figyelmeztetés
Ha a helyreállítható törlés engedélyezve van a munkaterületen, a törlés után helyreállítható. Ha a helyreállítható törlés nincs engedélyezve, vagy ha bejelöli a munkaterület végleges törlésének lehetőségét, az nem állítható helyre. További információ: Törölt munkaterület helyreállítása.
Ha törölni szeretne egy munkaterületet, miután már nincs rá szükség, használja a következő parancsot:
az ml workspace delete -n <workspace-name> -g <resource-group-name>
Fontos
A munkaterület törlése nem törli a munkaterület által használt alkalmazáselemzést, tárfiókot, kulcstartót vagy tárolóregisztrációs adatbázist.
Az erőforráscsoportot is törölheti, amely törli a munkaterületet és az erőforráscsoport összes többi Azure-erőforrását. Az erőforráscsoport törléséhez használja a következő parancsot:
az group delete -g <resource-group-name>
További információ: az ml-munkaterület törlési dokumentációja.
Tipp.
Az Azure Machine Tanulás alapértelmezett viselkedése a munkaterület helyreállítható törlése. Ez azt jelenti, hogy a munkaterület nincs azonnal törölve, hanem törlésre van megjelölve. További információ: Helyreállítható törlés.
Hibaelhárítás
Erőforrás-szolgáltatói hibák
Azure Machine Tanulás-munkaterület vagy a munkaterület által használt erőforrás létrehozásakor a következő üzenetekhez hasonló hibaüzenet jelenhet meg:
No registered resource provider found for location {location}
The subscription is not registered to use namespace {resource-provider-namespace}
A legtöbb erőforrás-szolgáltató automatikusan regisztrálva van, de nem az összes. Ha ezt az üzenetet kapja, regisztrálnia kell az említett szolgáltatót.
Az alábbi táblázat az Azure Machine Tanulás által igényelt erőforrás-szolgáltatók listáját tartalmazza:
Erőforrás-szolgáltató | Why it's needed |
---|---|
Microsoft.Machine Tanulás Szolgáltatások | Az Azure Machine Tanulás-munkaterület létrehozása. |
Microsoft.Storage | A rendszer az Azure Storage-fiókot használja a munkaterület alapértelmezett tárolójaként. |
Microsoft.ContainerRegistry | Az Azure Container Registryt a munkaterület használja Docker-rendszerképek létrehozásához. |
Microsoft.KeyVault | Az Azure Key Vaultot a munkaterület titkos kulcsok tárolására használja. |
Microsoft.Notebooks | Integrált jegyzetfüzetek az Azure Machine Tanulás számítási példányon. |
Microsoft.ContainerService | Ha betanított modellek üzembe helyezését tervezi az Azure Kubernetes Servicesben. |
Ha ügyfél által felügyelt kulcsot szeretne használni az Azure Machine Tanulás, akkor a következő szolgáltatókat kell regisztrálnia:
Erőforrás-szolgáltató | Why it's needed |
---|---|
Microsoft.DocumentDB | Azure CosmosDB-példány, amely naplózza a munkaterület metaadatait. |
Microsoft.Search | Az Azure Search indexelési képességeket biztosít a munkaterülethez. |
Ha felügyelt virtuális hálózatot tervez használni az Azure Machine Tanulás, akkor a Microsoft.Network erőforrás-szolgáltatót regisztrálni kell. Ezt az erőforrás-szolgáltatót használja a munkaterület a felügyelt virtuális hálózat privát végpontjainak létrehozásakor.
Az erőforrás-szolgáltatók regisztrálásáról további információt az erőforrás-szolgáltató regisztrációjának hibáinak megoldása című témakörben talál.
A munkaterület áthelyezése
Figyelmeztetés
Az Azure Machine-Tanulás munkaterület áthelyezése másik előfizetésbe vagy a tulajdonosi előfizetés áthelyezése új bérlőre nem támogatott. Ha így tesz, az hibákat okozhat.
Az Azure Container Registry törlése
Az Azure Machine Tanulás-munkaterület egyes műveletekhez az Azure Container Registryt (ACR) használja. Automatikusan létrehoz egy ACR-példányt, amikor először szüksége van rá.
Figyelmeztetés
Miután létrehozott egy Azure Container Registryt egy munkaterülethez, ne törölje azt. Ez megszakítja az Azure Machine Tanulás-munkaterületet.
További lépések
A gépi tanuláshoz készült Azure CLI-bővítményről további információt az az ml dokumentációjában talál.
A munkaterülettel kapcsolatos problémákat a munkaterület diagnosztikáinak használata című témakörben tekintheti meg.
Ha meg szeretné tudni, hogyan helyezhet át munkaterületet egy új Azure-előfizetésbe, olvassa el a Munkaterület áthelyezése című témakört.
Az Azure Machine Tanulás naprakészen tartásáról a legújabb biztonsági frissítésekről a biztonsági rések kezelése című témakörben olvashat.