Melatih model dengan Azure Pembelajaran Mesin CLI, SDK, dan REST API

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Azure Pembelajaran Mesin menyediakan beberapa cara untuk mengirimkan pekerjaan pelatihan ML. Dalam artikel ini, Anda akan mempelajari cara mengirimkan pekerjaan menggunakan metode berikut:

• Ekstensi Azure CLI untuk pembelajaran mesin: ml Ekstensi, juga disebut sebagai CLI v2.
• Python SDK v2 untuk Azure Pembelajaran Mesin.
• REST API: API tempat CLI dan SDK dibangun.

Prasyarat

• Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning.
• Ruang kerja Azure Machine Learning. Jika Anda tidak memilikinya, Anda bisa menggunakan langkah-langkah dalam artikel Membuat sumber daya untuk memulai .

Python SDK

Untuk menggunakan informasi SDK, instal Azure Pembelajaran Mesin SDK v2 untuk Python.

Azure CLI

Untuk menggunakan informasi CLI , instal Azure CLI dan ekstensi untuk pembelajaran mesin.

REST API

Untuk menggunakan informasi REST API , Anda memerlukan item berikut:

• Perwakilan layanan di ruang kerja Anda. Permintaan REST administratif menggunakan autentikasi perwakilan layanan.

• Token autentikasi perwakilan layanan. Ikuti langkah-langkah dalam Mengambil token autentikasi perwakilan layanan untuk mengambil token ini.

• Utilitas curl. Program curl tersedia dalam Subsistem Windows untuk Linux atau distribusi UNIX apa pun.

  Tip

  Di PowerShell, curl adalah alias untuk Invoke-WebRequest dan curl -d "key=val" -X POST uri menjadi Invoke-WebRequest -Body "key=val" -Method POST -Uri uri.

  Meskipun dimungkinkan untuk memanggil REST API dari PowerShell, contoh dalam artikel ini mengasumsikan Anda menggunakan Bash.

• Utilitas jq untuk memproses JSON. Utilitas ini digunakan untuk mengekstrak nilai dari dokumen JSON yang dikembalikan dari panggilan REST API.

Mengkloning repositori contoh

Cuplikan kode dalam artikel ini didasarkan pada contoh dalam contoh Azure Pembelajaran Mesin repositori GitHub. Untuk mengkloning repositori ke lingkungan pengembangan Anda, gunakan perintah berikut:

git clone --depth 1 https://github.com/Azure/azureml-examples

Tip

Gunakan --depth 1 untuk mengkloning hanya penerapan terbaru ke repositori, yang mengurangi waktu untuk menyelesaikan operasi.

Contoh pekerjaan

Contoh dalam artikel ini menggunakan himpunan data bunga iris untuk melatih model MLFlow.

Melatih di cloud

Saat pelatihan di cloud, Anda harus tersambung ke ruang kerja Azure Pembelajaran Mesin dan memilih sumber daya komputasi yang akan digunakan untuk menjalankan pekerjaan pelatihan.

1. Hubungkan ke ruang kerja

Tip

Gunakan tab di bawah ini untuk memilih metode yang ingin Anda gunakan untuk melatih model. Memilih tab akan secara otomatis mengalihkan semua tab dalam artikel ini ke tab yang sama. Anda dapat memilih tab lain kapan saja.

Python SDK

Untuk menyambungkan ke ruang kerja, Anda memerlukan parameter pengidentifikasi - langganan, grup sumber daya, dan nama ruang kerja. Anda akan menggunakan detail ini di MLClient dari azure.ai.ml namespace layanan untuk mendapatkan handel ke ruang kerja Azure Pembelajaran Mesin yang diperlukan. Untuk mengautentikasi, Anda menggunakan otentikasi Azure default. Periksa contoh ini untuk detail selengkapnya tentang cara mengonfigurasi info masuk dan menyambungkan ke ruang kerja.

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Azure CLI

Saat menggunakan Azure CLI, Anda memerlukan parameter pengidentifikasi - langganan, grup sumber daya, dan nama ruang kerja. Meskipun Anda dapat menentukan parameter ini untuk setiap perintah, Anda juga dapat mengatur default yang akan digunakan untuk semua perintah. Gunakan perintah berikut untuk mengatur nilai default. Ganti <subscription ID>, <Azure Machine Learning workspace name>, dan <resource group> dengan nilai untuk konfigurasi Anda:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

REST API

Contoh REST API dalam artikel ini menggunakan $SUBSCRIPTION_IDtempat penampung , , $RESOURCE_GROUP$LOCATION, dan $WORKSPACE . Ganti tempat penampung dengan nilai Anda sendiri sebagai berikut:

• $SUBSCRIPTION_ID: ID langganan Azure Anda.
• $RESOURCE_GROUP: Grup sumber daya Azure yang berisi ruang kerja Anda.
• $LOCATION: Wilayah Azure tempat ruang kerja Anda berada.
• $WORKSPACE: Nama ruang kerja Azure Pembelajaran Mesin Anda.
• $COMPUTE_NAME: Nama kluster komputasi Azure Pembelajaran Mesin Anda.

REST administratif meminta token autentikasi perwakilan layanan. Anda dapat mengambil token dengan perintah berikut. Token disimpan dalam $TOKEN variabel lingkungan:

TOKEN=$(az account get-access-token --query accessToken -o tsv)

Penyedia layanan menggunakan argumen api-version untuk memastikan kompatibilitas. Argumen api-version bervariasi dari layanan ke layanan. Atur versi API sebagai variabel untuk mengakomodasi versi mendatang:

API_VERSION="2022-05-01"

Saat Anda berlatih menggunakan REST API, data dan skrip pelatihan harus diunggah ke akun penyimpanan yang dapat diakses ruang kerja. Contoh berikut mendapatkan informasi penyimpanan untuk ruang kerja Anda dan menyimpannya ke dalam variabel sehingga kita dapat menggunakannya nanti:

# Get values for storage account
response=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/datastores?api-version=$API_VERSION&isDefault=true" \
--header "Authorization: Bearer $TOKEN")
AZUREML_DEFAULT_DATASTORE=$(echo $response | jq -r '.value[0].name')
AZUREML_DEFAULT_CONTAINER=$(echo $response | jq -r '.value[0].properties.containerName')
export AZURE_STORAGE_ACCOUNT=$(echo $response | jq -r '.value[0].properties.accountName')

2. Buat sumber daya komputasi untuk pelatihan

Catatan

Untuk mencoba komputasi tanpa server, lewati langkah ini dan lanjutkan ke 3. Kirim pekerjaan pelatihan.

Kluster komputasi Azure Pembelajaran Mesin adalah sumber daya komputasi terkelola penuh yang dapat digunakan untuk menjalankan pekerjaan pelatihan. Dalam contoh berikut, kluster komputasi bernama cpu-compute dibuat.

Python SDK

from azure.ai.ml.entities import AmlCompute

# specify aml compute name.
cpu_compute_target = "cpu-cluster"

try:
    ml_client.compute.get(cpu_compute_target)
except Exception:
    print("Creating a new cpu compute target...")
    compute = AmlCompute(
        name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4
    )
    ml_client.compute.begin_create_or_update(compute).result()

Azure CLI

az ml compute create -n cpu-cluster --type amlcompute --min-instances 0 --max-instances 4

REST API

curl -X PUT \
  "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME?api-version=$API_VERSION" \
  -H "Authorization:Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "location": "'$LOCATION'",
    "properties": {
        "computeType": "AmlCompute",
        "properties": {
            "vmSize": "Standard_D2_V2",
            "vmPriority": "Dedicated",
            "scaleSettings": {
                "maxNodeCount": 4,
                "minNodeCount": 0,
                "nodeIdleTimeBeforeScaleDown": "PT30M"
            }
        }
    }
}'

Tip

Saat respons dikembalikan setelah beberapa detik, ini hanya menunjukkan bahwa permintaan pembuatan telah diterima. Diperlukan waktu beberapa menit agar pembuatan kluster selesai.

3. Kirim pekerjaan pelatihan

Python SDK

Untuk menjalankan skrip ini, Anda akan menggunakan command yang menjalankan skrip Python main.py yang terletak di bawah ./sdk/python/jobs/single-step/lightgbm/iris/src/. Perintah akan dijalankan dengan mengirimkannya sebagai job ke Azure Pembelajaran Mesin.

Catatan

Untuk menggunakan komputasi tanpa server, hapus compute="cpu-cluster" dalam kode ini.

from azure.ai.ml import command, Input

# define the command
command_job = command(
    code="./src",
    command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",
    environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",
    inputs={
        "iris_csv": Input(
            type="uri_file",
            path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",
        ),
        "learning_rate": 0.9,
        "boosting": "gbdt",
    },
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

Dalam contoh di atas, Anda mengonfigurasi:

• code - jalur tempat kode untuk menjalankan perintah berada
• command - perintah yang perlu dijalankan
• environment - lingkungan yang diperlukan untuk menjalankan skrip pelatihan. Dalam contoh ini, kami menggunakan lingkungan yang dikumpulkan atau siap pakai yang disediakan oleh Azure Pembelajaran Mesin yang disebut AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu. Kami menggunakan versi terbaru lingkungan ini dengan menggunakan direktif @latest . Anda juga dapat menggunakan lingkungan kustom dengan menentukan gambar docker dasar dan menentukan yaml conda di atasnya.
• inputs - kamus input menggunakan pasangan nilai nama ke perintah. Kunci adalah nama untuk input dalam konteks pekerjaan dan nilai adalah nilai input. Masukan direferensikan dalam command menggunakan ekspresi ${{inputs.<input_name>}}. Untuk menggunakan file atau folder sebagai input, Anda dapat menggunakan kelas Input. Untuk informasi selengkapnya, lihat ekspresi SDK dan CLI v2.

Untuk informasi selengkapnya, lihat dokumentasi referensi.

Saat Anda mengirimkan pekerjaan, URL dikembalikan ke status pekerjaan di studio Azure Pembelajaran Mesin. Gunakan antarmuka pengguna studio untuk melihat kemajuan pekerjaan. Anda juga dapat menggunakan returned_job.status untuk memeriksa status pekerjaan saat ini.

Azure CLI

az ml job create Perintah yang digunakan dalam contoh ini memerlukan file definisi pekerjaan YAML. Konten file yang digunakan dalam contoh ini adalah:

Catatan

Untuk menggunakan komputasi tanpa server, hapus compute: azureml:cpu-cluster" dalam kode ini.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python main.py 
  --iris-csv ${{inputs.iris_csv}}
  --C ${{inputs.C}}
  --kernel ${{inputs.kernel}}
  --coef0 ${{inputs.coef0}}
inputs:
  iris_csv: 
    type: uri_file
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/iris.csv
  C: 0.8
  kernel: "rbf"
  coef0: 0.1
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
compute: azureml:cpu-cluster
display_name: sklearn-iris-example
experiment_name: sklearn-iris-example
description: Train a scikit-learn SVM on the Iris dataset.

Di atas, Anda mengonfigurasi:

• code - jalur tempat kode untuk menjalankan perintah berada
• command - perintah yang perlu dijalankan
• inputs - kamus input menggunakan pasangan nilai nama ke perintah. Kunci adalah nama untuk input dalam konteks pekerjaan dan nilai adalah nilai input. Masukan direferensikan dalam command menggunakan ekspresi ${{inputs.<input_name>}}. Untuk informasi selengkapnya, lihat ekspresi SDK dan CLI v2.
• environment - lingkungan yang diperlukan untuk menjalankan skrip pelatihan. Dalam contoh ini, kami menggunakan lingkungan yang dikumpulkan atau siap pakai yang disediakan oleh Azure Pembelajaran Mesin yang disebut AzureML-sklearn-0.24-ubuntu18.04-py37-cpu. Kami menggunakan versi terbaru lingkungan ini dengan menggunakan direktif @latest . Anda juga dapat menggunakan lingkungan kustom dengan menentukan gambar docker dasar dan menentukan yaml conda di atasnya. Untuk mengirimkan pekerjaan, gunakan perintah berikut. ID eksekusi (nama) dari pekerjaan pelatihan disimpan dalam $run_id variabel:

run_id=$(az ml job create -f jobs/single-step/scikit-learn/iris/job.yml --query name -o tsv)

Anda dapat menggunakan ID eksekusi tersimpan untuk mengembalikan informasi tentang pekerjaan. Parameter --web membuka antarmuka pengguna web studio Azure Pembelajaran Mesin tempat Anda dapat menelusuri detail tentang pekerjaan:

az ml job show -n $run_id --web

REST API

Sebagai bagian dari pengiriman pekerjaan, skrip pelatihan dan data harus diunggah ke lokasi penyimpanan cloud yang dapat diakses oleh ruang kerja Azure Pembelajaran Mesin Anda.

1. Gunakan perintah Azure CLI berikut untuk mengunggah skrip pelatihan. Perintah menentukan direktori yang berisi file yang diperlukan untuk pelatihan, bukan file individual. Jika Anda ingin menggunakan REST untuk mengunggah data, lihat referensi Letakkan Blob :

   az storage blob upload-batch -d $AZUREML_DEFAULT_CONTAINER/testjob -s cli/jobs/single-step/scikit-learn/iris/src/ --account-name $AZURE_STORAGE_ACCOUNT
   

2. Buat referensi versi ke data pelatihan. Dalam contoh ini, data sudah ada di cloud dan terletak di https://azuremlexamples.blob.core.windows.net/datasets/iris.csv. Untuk informasi selengkapnya tentang mereferensikan data, lihat Data di Azure Pembelajaran Mesin:

   DATA_VERSION=$RANDOM
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/data/iris-data/versions/$DATA_VERSION?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Iris dataset\",
           \"dataType\": \"uri_file\",
           \"dataUri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
       }
   }"
   

3. Daftarkan referensi versi ke skrip pelatihan untuk digunakan dengan pekerjaan. Dalam contoh ini, lokasi skrip adalah akun penyimpanan default dan kontainer yang Anda unggah di langkah 1. ID kode pelatihan versi dikembalikan dan disimpan dalam $TRAIN_CODE variabel:

   TRAIN_CODE=$(curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/codes/train-lightgbm/versions/1?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
           \"properties\": {
           \"description\": \"Train code\",
           \"codeUri\": \"https://$AZURE_STORAGE_ACCOUNT.blob.core.windows.net/$AZUREML_DEFAULT_CONTAINER/testjob\"
       }
   }" | jq -r '.id')
   

4. Buat lingkungan yang akan digunakan kluster untuk menjalankan skrip pelatihan. Dalam contoh ini, kami menggunakan lingkungan yang dikumpulkan atau siap pakai yang disediakan oleh Azure Pembelajaran Mesin yang disebut AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu. Perintah berikut mengambil daftar versi lingkungan, dengan yang terbaru berada di bagian atas koleksi. jq digunakan untuk mengambil ID versi ([0]) terbaru, yang kemudian disimpan ke $ENVIRONMENT dalam variabel.

   ENVIRONMENT=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/environments/AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu/versions?api-version=$API_VERSION" --header "Authorization: Bearer $TOKEN" | jq -r .value[0].id)
   

5. Terakhir, kirimkan pekerjaan. Contoh berikut menunjukkan cara mengirimkan pekerjaan, mereferensikan ID kode pelatihan, ID lingkungan, URL untuk data input, dan ID kluster komputasi. Lokasi output pekerjaan akan disimpan dalam $JOB_OUTPUT variabel:

   Tip

   Nama pekerjaan harus unik. Dalam contoh ini, uuidgen digunakan untuk menghasilkan nilai unik untuk nama tersebut.

   Catatan

   Untuk menggunakan komputasi tanpa server, hapus \"computeId\": baris dalam kode ini.

   run_id=$(uuidgen)
   curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/jobs/$run_id?api-version=$API_VERSION" \
   --header "Authorization: Bearer $TOKEN" \
   --header "Content-Type: application/json" \
   --data-raw "{
       \"properties\": {
           \"jobType\": \"Command\",
           \"codeId\": \"$TRAIN_CODE\",
           \"command\": \"python main.py --iris-csv \$AZURE_ML_INPUT_iris\",
           \"environmentId\": \"$ENVIRONMENT\",
           \"inputs\": {
               \"iris\": {
                   \"jobInputType\": \"uri_file\",
                   \"uri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"
               }
           },
           \"experimentName\": \"lightgbm-iris\",
           \"computeId\": \"/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME\"
       }
   }"
   

Mendaftarkan model terlatih

Contoh berikut menunjukkan cara mendaftarkan model di ruang kerja Azure Pembelajaran Mesin Anda.

Python SDK

Tip

Properti name yang dikembalikan oleh pekerjaan pelatihan digunakan sebagai bagian dari jalur ke model.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

run_model = Model(
    path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model)

Azure CLI

Tip

Nama (disimpan dalam $run_id variabel) digunakan sebagai bagian dari jalur ke model.

az ml model create -n sklearn-iris-example -v 1 -p runs:/$run_id/model --type mlflow_model

REST API

Tip

Nama (disimpan dalam $run_id variabel) digunakan sebagai bagian dari jalur ke model.

curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/models/sklearn/versions/1?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{
    \"properties\": {
        \"modelType\": \"mlflow_model\",
        \"modelUri\":\"runs:/$run_id/model\"
    }
}"

Langkah berikutnya

Sekarang setelah Anda memiliki model terlatih, pelajari cara menyebarkannya menggunakan titik akhir online.

Untuk contoh selengkapnya, lihat repositori GitHub contoh Azure Pembelajaran Mesin.

Untuk informasi selengkapnya tentang perintah Azure CLI, kelas Python SDK, atau REST API yang digunakan dalam artikel ini, lihat dokumentasi referensi berikut ini:

• Ekstensi ml Azure CLI
• Python SDK
• REST API