Bekerja dengan Model di Azure Machine Learning

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Azure Machine Learning memungkinkan Anda bekerja dengan berbagai jenis model. Dalam artikel ini, Anda mempelajari cara menggunakan Azure Machine Learning untuk bekerja dengan berbagai jenis model, seperti kustom, MLflow, dan Triton. Anda juga mempelajari cara mendaftarkan model dari lokasi yang berbeda serta cara menggunakan SDK Azure Machine Learning, antarmuka pengguna (UI), dan CLI Azure Machine Learning untuk mengelola model Anda.

Tip

Jika Anda memiliki aset model yang dibuat menggunakan SDK/CLI v1, Anda tetap dapat menggunakannya dengan SDK/CLI v2. Kompatibilitas mundur penuh disediakan. Semua model yang terdaftar di SDK V1 diberi jenis custom.

Prasyarat

• Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba Azure Machine Learning versi gratis atau berbayar.
• Ruang kerja Azure Machine Learning.
• Azure Machine Learning SDK v2 untuk Python.
• Azure Machine Learning CLI v2.

Selain itu, Anda harus:

Azure CLI

• Instal Azure CLI dan ekstensi ml ke Azure CLI. Untuk informasi lebih lanjut, lihat Memasang, menyiapkan, dan menggunakan CLI (v2).

Python SDK

• Menginstal SDK Azure Machine Learning untuk Python

  pip install azure-ai-ml azure-identity
  

Jalur yang didukung

Saat Anda memberikan model yang ingin Anda daftarkan, Anda harus menentukan parameter path yang menunjuk ke data atau lokasi pekerjaan. Di bawah ini adalah tabel yang menampilkan berbagai lokasi data yang didukung dalam Azure Machine Learning serta contoh untuk parameter path:

Lokasi	Contoh
Jalur pada komputer lokal Anda	mlflow-model/model.pkl
Jalur di Azure Machine Learning Datastore	azureml://datastores/<datastore-name>/paths/<path_on_datastore>
Jalur dari pekerjaan Azure Machine Learning	azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
Jalur dari pekerjaan MLflow	runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
Jalur dari Aset Model di Ruang Kerja Azure Machine Learning	azureml:<model-name>:<version>
Jalur dari Aset Model di Azure Machine Learning Registry	azureml://registries/<registry-name>/models/<model-name>/versions/<version>

Mode yang didukung

Saat Anda menjalankan pekerjaan dengan input/output model, Anda dapat menentukan mode - misalnya, apakah Anda ingin model dipasang hanya-baca atau diunduh ke target komputasi. Tabel di bawah ini menunjukkan mode yang dimungkinkan untuk kombinasi jenis/mode/input/output yang berbeda:

Jenis	Input/Output	upload	download	ro_mount	rw_mount	direct
File custom	Input
custom folder	Input		✓	✓		✓
mlflow	Input		✓	✓
File custom	Output	✓			✓	✓
custom folder	Output	✓			✓	✓
mlflow	Output	✓			✓	✓

Ikuti di Jupyter Notebooks

Anda dapat mengikuti sampel ini di Jupyter Notebook. Di repositori azureml-examples , buka notebook: model.ipynb.

Membuat model di registri model

Pendaftaran model memungkinkan Anda menyimpan dan membuat versi model di cloud Azure, dalam ruang kerja Anda. Registri model membantu Anda mengatur dan melacak model terlatih Anda.

Cuplikan kode di bagian ini mencakup cara untuk:

• Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan CLI.
• Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan SDK.
• Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan antarmuka pengguna.

Cuplikan ini menggunakan custom dan mlflow.

• custom adalah jenis yang mengacu pada file model atau folder yang dilatih dengan standar kustom yang saat ini tidak didukung oleh Azure Machine Learning.
• mlflow adalah jenis yang mengacu pada model yang dilatih dengan mlflow. Model terlatih MLflow berada dalam folder yang berisi file MLmodel, file model, file dependensi conda, dan file requirements.txt.

Menyambungkan ke ruang kerja Anda

Pertama, mari kita sambungkan ke ruang kerja Azure Machine Learning tempat kita akan bekerja.

Azure CLI

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python SDK

Ruang kerja adalah sumber daya tingkat teratas untuk Azure Machine Learning, menyediakan tempat terpusat untuk bekerja dengan semua artefak yang Anda buat saat Anda menggunakan Azure Machine Learning. Di bagian ini, kita akan menyambungkan ke ruang kerja tempat Anda akan melakukan tugas penyebaran.

1. Impor pustaka yang diperlukan:

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Konfigurasikan detail ruang kerja dan dapatkan handel ke ruang kerja:

   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan CLI

Gunakan tab berikut untuk memilih lokasi model Anda.

Model lokal

$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.

az ml model create -f <file-name>.yml

Untuk contoh lengkapnya, lihat model YAML.

Datastore

Anda dapat membuat model dari jalur cloud menggunakan salah satu format URI yang didukung berikut.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Contoh menggunakan skema azureml singkatan untuk menunjuk ke jalur pada datastore menggunakan sintaks azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

Untuk contoh lengkapnya, lihat referensi CLI.

Output pekerjaan

Di sini Anda memiliki dua opsi. Anda dapat menggunakan format URI eksekusi MLflow atau Anda dapat menggunakan format URI azureml job.

MLflow

Opsi ini dioptimalkan untuk pengguna MLflow yang kemungkinan sudah terbiasa dengan format URI eksekusi MLflow. Opsi ini membantu Anda membuat model dari artefak di lokasi artefak default (lokasi semua model dan artefak yang dicatat MLflow). Ini menetapkan silsilah antara model terdaftar dan eksekusi asal model.

Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Contoh: runs:/<run-id>/model/

az ml model create --name my-model --version 1 --path runs:/<run-id>/model/ --type mlflow_model

pekerjaan azureml

Opsi ini adalah format URI referensi azureml job, yang membantu Anda mendaftarkan model dari artefak dalam salah satu output pekerjaan. Format ini selaras dengan format URI referensi penyimpanan data azureml yang ada, serta mendukung proses mereferensikan artefak dari output pekerjaan bernama (bukan hanya lokasi artefak default). Anda dapat membuat silsilah antara model terdaftar dan pekerjaan yang dilatihnya, jika tidak mendaftarkan model secara langsung dalam skrip pelatihan menggunakan MLflow.

Format: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Contoh:

• Lokasi artefak default: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Tindakan ini setara dengan runs:/<run-id>/model/.
  • artefak adalah kata kunci khusus untuk merujuk ke output yang mewakili lokasi artefak default.
• Dari direktori output bernama: azureml://jobs/<run-id>/outputs/trained-model
• Dari jalur file atau folder tertentu dalam direktori output bernama:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Menyimpan model dari output bernama:

az ml model create --name my-model --version 1 --path azureml://jobs/<run-id>/outputs/trained-model

Untuk contoh lengkapnya, lihat referensi CLI.

Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan SDK

Gunakan tab berikut untuk memilih lokasi model Anda.

Model lokal

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Datastore

Anda dapat membuat model dari jalur cloud menggunakan salah satu format URI yang didukung berikut.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Contoh menggunakan skema azureml singkatan untuk menunjuk ke jalur pada datastore menggunakan sintaks azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

Output pekerjaan

Di sini Anda memiliki dua opsi. Anda dapat menggunakan format URI eksekusi MLflow atau Anda dapat menggunakan format URI azureml job.

MLflow

Opsi ini dioptimalkan untuk pengguna MLflow yang kemungkinan sudah terbiasa dengan format URI eksekusi MLflow. Opsi ini membantu Anda membuat model dari artefak di lokasi artefak default (lokasi semua model dan artefak yang dicatat MLflow). Ini menetapkan silsilah antara model terdaftar dan eksekusi asal model.

Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Contoh: runs:/<run-id>/model/

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/<run-id>/model/"
    name="run-model-example",
    description="Model created from run.",
    type=ModelType.MLFLOW
)

ml_client.models.create_or_update(run_model) 

pekerjaan azureml

Opsi ini adalah format URI referensi azureml job, yang membantu Anda mendaftarkan model dari artefak dalam salah satu output pekerjaan. Format ini selaras dengan format URI referensi penyimpanan data azureml yang ada, serta mendukung proses mereferensikan artefak dari output pekerjaan bernama (bukan hanya lokasi artefak default). Anda dapat membuat silsilah antara model terdaftar dan pekerjaan yang dilatihnya, jika tidak mendaftarkan model secara langsung dalam skrip pelatihan menggunakan MLflow.

Format: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>

Contoh:

• Lokasi artefak default: azureml://jobs/<run-id>/outputs/artifacts/paths/model/
  • Tindakan ini setara dengan runs:/<run-id>/model/.
  • artefak adalah kata kunci khusus untuk merujuk ke output yang mewakili lokasi artefak default.
• Dari direktori output bernama: azureml://jobs/<run-id>/outputs/trained-model
• Dari jalur file atau folder tertentu dalam direktori output bernama:
  • azureml://jobs/<run-id>/outputs/trained-model/paths/cifar.pt
  • azureml://jobs/<run-id>/outputs/checkpoints/paths/model/

Menyimpan model dari output bernama:

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)

Untuk contoh lengkapnya, lihat model notebook.

Mendaftarkan model Anda sebagai aset di Azure Machine Learning menggunakan antarmuka pengguna

Untuk membuat model di Azure Machine Learning, dari antarmuka pengguna, buka halaman Model. Pilih Daftarkan model dan pilih lokasi model Anda. Isi bidang yang diperlukan, lalu pilih Daftar.

---

Mengelola model

SDK dan CLI (v2) juga memungkinkan Anda mengelola siklus hidup aset model Azure Machine Learning Anda.

Daftar

Cantumkan semua model di ruang kerja Anda:

Azure CLI

az ml model list

Python SDK

models = ml_client.models.list()
for model in models:
    print(model.name)

Cantumkan semua versi model dengan nama tertentu:

Azure CLI

az ml model list --name run-model-example

Python SDK

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

tampilkan

Dapatkan detail model tertentu:

Azure CLI

az ml model show --name run-model-example --version 1

Python SDK

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Pembaruan

Memperbarui properti yang dapat diubah dari model tertentu:

Azure CLI

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

Python SDK

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Penting

Untuk model, hanya description dan tags yang dapat diperbarui. Semua properti lainnya tidak dapat diubah; jika Anda perlu mengubah salah satu properti tersebut, Anda harus membuat versi baru model.

Arsipkan

Pengarsipan model akan menyembunyikannya secara default dari kueri daftar (az ml model list). Anda masih dapat terus mereferensikan dan menggunakan model yang diarsipkan di alur kerja Anda. Anda dapat mengarsipkan semua versi model atau hanya versi tertentu.

Jika Anda tidak menentukan versi, semua versi model dengan nama yang diberikan akan diarsipkan. Jika Anda membuat versi model baru di bawah kontainer model yang diarsipkan, versi baru tersebut juga akan secara otomatis diatur sebagai diarsipkan.

Arsipkan semua versi model:

Azure CLI

az ml model archive --name run-model-example

Python SDK

ml_client.models.archive(name="run-model-example")

Arsipkan versi model tertentu:

Azure CLI

az ml model archive --name run-model-example --version 1

Python SDK

ml_client.models.archive(name="run-model-example", version="1")

Menggunakan model untuk pelatihan

SDK dan CLI (v2) juga memungkinkan Anda menggunakan model dalam pekerjaan pelatihan sebagai input atau output.

Menggunakan model sebagai input dalam pekerjaan

Azure CLI

Membuat file YAML untuk spesifikasi pekerjaan (<file-name>.yml). Menyebutkan pada bagian inputs pekerjaan:

1. type; apakah model adalah mlflow_model,custom_model atau triton_model.
2. Tempat path data Anda berada; dapat berupa salah satu jalur yang diuraikan di bagian Jalur yang Didukung .

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Selanjutnya, jalankan pada CLI

az ml job create -f <file-name>.yml

Untuk contoh lengkapnya, lihat repositori GitHub model.

Python SDK

Kelas Input memungkinkan Anda untuk mendefinisikan:

1. type; apakah model adalah mlflow_model,custom_model atau triton_model.
2. Tempat path data Anda berada; dapat berupa salah satu jalur yang diuraikan di bagian Jalur yang Didukung .

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

# Possible Asset Types for Data:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflowmodel")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Menggunakan model sebagai output dalam pekerjaan

Dalam pekerjaan, Anda dapat menulis model ke penyimpanan berbasis cloud menggunakan output.

Azure CLI

Membuat file YAML untuk spesifikasi pekerjaan (<file-name>.yml), dengan bagian outputs yang diisi dengan jenis dan jalur penulisan data Anda:

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

Selanjutnya, buat pekerjaan menggunakan CLI:

az ml job create --file <file-name>.yml

Untuk contoh lengkapnya, lihat repositori GitHub model.

Python SDK

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

# Possible Asset Types for Model:
# AssetTypes.MLFLOW_MODEL
# AssetTypes.CUSTOM_MODEL
# AssetTypes.TRITON_MODEL

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# Azure Machine Learning Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),
}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Langkah berikutnya

• Menginstal dan menyiapkan Python SDK v2
• Penyebaran tanpa kode untuk model MLflow
• Pelajari lebih lanjut tentang MLOps dalam Azure Machine Learning