Bekerja dengan model terdaftar di Azure Pembelajaran Mesin

BERLAKU UNTUK:Ekstensi ml Azure CLI v2 (saat ini)Python SDK azure-ai-ml v2 (saat ini)

Dalam artikel ini, Anda belajar mendaftar dan bekerja dengan model di Azure Pembelajaran Mesin dengan menggunakan:

• Antarmuka pengguna studio Azure Pembelajaran Mesin.
• Azure Pembelajaran Mesin V2 CLI.
• Python Azure Pembelajaran Mesin V2 SDK.

Anda akan mempelajari cara untuk:

• Buat model terdaftar di registri model dari file lokal, penyimpanan data, atau output pekerjaan.
• Bekerja dengan berbagai jenis model, seperti kustom, MLflow, dan Triton.
• Gunakan model sebagai input atau output dalam pekerjaan pelatihan.
• Mengelola siklus hidup aset model.

Pendaftaran model

Pendaftaran model memungkinkan Anda menyimpan dan membuat versi model di ruang kerja Anda di cloud Azure. Registri model membantu Anda mengatur dan melacak model terlatih Anda. Anda dapat mendaftarkan model sebagai aset di Azure Pembelajaran Mesin dengan menggunakan Azure CLI, Python SDK, atau antarmuka pengguna studio Pembelajaran Mesin.

Jalur yang didukung

Untuk mendaftarkan model, Anda perlu menentukan jalur yang menunjuk ke data atau lokasi pekerjaan. Tabel berikut ini memperlihatkan berbagai lokasi data yang didukung Azure Pembelajaran Mesin, dan sintaks untuk path parameter:

Lokasi	Sintaks
Komputer lokal	<model-folder>/<model-filename>
Azure Pembelajaran Mesin datastore	azureml://datastores/<datastore-name>/paths/<path_on_datastore>
Pekerjaan Azure Pembelajaran Mesin	azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
Pekerjaan MLflow	runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
Aset model di ruang kerja Pembelajaran Mesin	azureml:<model-name>:<version>
Aset model dalam registri Pembelajaran Mesin	azureml://registries/<registry-name>/models/<model-name>/versions/<version>

Mode yang didukung

Saat Anda menggunakan model untuk input atau output, Anda dapat menentukan salah satu mode berikut. Misalnya, Anda dapat menentukan apakah model harus dipasang baca-saja atau diunduh ke target komputasi.

• ro_mount: Pasang data ke target komputasi sebagai baca-saja.
• rw_mount: Baca-tulis pasang data.
• download: Unduh data ke target komputasi.
• upload: Unggah data dari target komputasi.
• direct: Berikan URI sebagai string.

Tabel berikut menunjukkan opsi mode yang tersedia untuk input dan output jenis model yang berbeda.

Jenis	upload	download	ro_mount	rw_mount	direct
custom input file
custom input folder		✓	✓		✓
mlflow masukan		✓	✓
custom output file	✓			✓	✓
custom output folder	✓			✓	✓
mlflow hasil	✓			✓	✓

Prasyarat

• Langganan Azure dengan versi gratis atau berbayar Azure Pembelajaran Mesin. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai.
• Ruang kerja Azure Machine Learning.

Untuk menjalankan sampel kode dalam artikel ini dan bekerja dengan Azure Pembelajaran Mesin V2 CLI atau Python Azure Pembelajaran Mesin V2 SDK, Anda juga memerlukan:

Azure CLI

• Azure CLI versi 2.38.0 atau lebih baru terinstal.

• V2 ekstensi diinstal ml dengan menjalankan perintah berikut. Untuk informasi selengkapnya, lihat Menginstal, menyiapkan, dan menggunakan CLI (v2).

  az extension add -n ml
  

Python SDK

• Python 3.8 atau yang lebih besar terinstal.

• Azure Pembelajaran Mesin SDK v2 untuk Python diinstal dengan menjalankan perintah berikut:

  pip install azure-ai-ml azure-identity
  

Catatan

V2 memberikan kompatibilitas mundur penuh. Anda masih dapat menggunakan aset model dari V1 SDK atau CLI. Semua model yang terdaftar di CLI v1 atau SDK diberi jenis custom.

Mendaftarkan model dengan menggunakan antarmuka pengguna studio

Untuk mendaftarkan model dengan menggunakan antarmuka pengguna studio Azure Pembelajaran Mesin:

1. Di ruang kerja Anda di studio, pilih Model dari navigasi kiri.

2. Pada halaman Daftar Model, pilih Daftar, dan pilih salah satu lokasi berikut dari daftar dropdown:

   • Dari file lokal
   • Dari output pekerjaan
   • Dari datastore
   • Dari file lokal (berdasarkan kerangka kerja)

3. Pada layar Daftarkan model pertama:

   1. Navigasikan ke file lokal, datastore, atau output pekerjaan untuk model Anda.
   2. Pilih jenis model input: Jenis MLflow, Triton, atau Tidak Ditentukan.

4. Pada layar Pengaturan model, berikan nama dan pengaturan opsional lainnya untuk model terdaftar Anda, dan pilih Berikutnya.

5. Pada layar Tinjau, tinjau konfigurasi lalu pilih Daftar.

Mendaftarkan model dengan menggunakan Azure CLI atau Python SDK

Cuplikan kode berikut mencakup cara mendaftarkan model sebagai aset di Azure Pembelajaran Mesin dengan menggunakan Azure CLI atau Python SDK. Cuplikan ini menggunakan jenis model dan mlflow .custom

• customjenis mengacu pada file model atau folder yang dilatih dengan standar kustom yang saat ini tidak didukung azure Pembelajaran Mesin.
• mlflow jenis mengacu pada model yang dilatih dengan MLflow. Model terlatih MLflow berada dalam folder yang berisi file MLmodel, file model, file dependensi conda, dan file requirements.txt.

Tip

Anda dapat mengikuti versi Python dari sampel berikut dengan menjalankan notebook model.ipynb di repositori azureml-examples .

Menyambungkan ke ruang kerja Anda

Ruang kerja adalah sumber daya tingkat teratas untuk Azure Machine Learning, menyediakan tempat terpusat untuk bekerja dengan semua artefak yang Anda buat saat Anda menggunakan Azure Machine Learning. Di bagian ini, Anda menyambungkan ke ruang kerja Azure Pembelajaran Mesin untuk membuat model terdaftar.

Azure CLI

1. Masuk ke Azure dengan menjalankan az login dan mengikuti perintah.

2. Dalam perintah berikut, ganti <subscription-id>tempat penampung , <workspace-name>, <resource-group>, dan <location> dengan nilai untuk lingkungan Anda.

   az account set --subscription <subscription-id>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

Python SDK

1. Impor pustaka yang diperlukan:

   from azure.ai.ml import MLClient, Input
   from azure.ai.ml.entities import Model
   from azure.ai.ml.constants import AssetTypes
   from azure.identity import DefaultAzureCredential
   

2. Konfigurasikan detail ruang kerja dan dapatkan handel ke ruang kerja. Dalam cuplikan kode berikut, ganti <subscription-id>tempat penampung , <resource-group>, dan <workspace-name> dengan nilai untuk lingkungan Anda.

   subscription_id = "<subscription-id>"
   resource_group = "<resource-group>"
   workspace = "<workspace-name>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

Membuat model terdaftar

Anda dapat membuat model terdaftar dari model yang:

• Terletak di komputer lokal Anda.
• Terletak di datastore Azure Pembelajaran Mesin.
• Output dari pekerjaan Azure Pembelajaran Mesin.

File atau folder lokal

Azure CLI

1. Buat nama> file YAML<.yml. Dalam file, berikan nama untuk model terdaftar Anda, jalur ke file model lokal, dan deskripsi. Contohnya:

   $schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
   name: local-file-example
   path: mlflow-model/model.pkl
   description: Model created from local file.
   

2. Jalankan perintah berikut, menggunakan nama file YAML Anda:

   az ml model create -f <file-name>.yml
   

Untuk contoh lengkapnya, lihat model YAML.

Python SDK

Contoh berikut menunjukkan pembuatan model terdaftar dari file lokal.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Penyimpanan data

Anda dapat membuat model dari jalur cloud dengan menggunakan salah satu format URI yang didukung.

Azure CLI

Contoh berikut menggunakan skema singkatan azureml untuk menunjuk ke jalur di datastore dengan menggunakan sintaks azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Untuk contoh lengkapnya, lihat referensi CLI.

Python SDK

Contoh berikut menggunakan skema singkatan azureml untuk menunjuk ke jalur di datastore dengan menggunakan sintaks azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Output pekerjaan

Jika data model Anda berasal dari output pekerjaan, Anda memiliki dua opsi untuk menentukan jalur model. Anda dapat menggunakan format URI MLflow runs: atau azureml://jobs format URI.

Catatan

Kata kunci yang dicadangkan artefak mewakili output dari lokasi artefak default.

• MLflow berjalan: Format URI

  Opsi ini dioptimalkan untuk pengguna MLflow, yang mungkin sudah terbiasa dengan format URI MLflow runs: . Opsi ini membuat model dari artefak di lokasi artefak default, di mana semua model dan artefak yang dicatat MLflow berada. Opsi ini juga menetapkan silsilah data antara model terdaftar dan model yang dijalankan berasal.

  Format: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

  Contoh:

  Azure CLI

  az ml model create --name my-registered-model --version 1 --path runs:/my_run_0000000000/model/ --type mlflow_model
  

  Python SDK

  from azure.ai.ml.entities import Model
  from azure.ai.ml.constants import ModelType
  
  run_model = Model(
      path="runs:/my_run_0000000000/model/"
      name="my-registered-model",
      description="Model created from run.",
      type=ModelType.MLFLOW_MODEL
  )
  
  ml_client.models.create_or_update(run_model) 
  

---

• format URI azureml://jobs

  Opsi azureml://jobs URI referensi memungkinkan Anda mendaftarkan model dari artefak di salah satu jalur output pekerjaan. Format ini selaras dengan azureml://datastores format URI referensi, dan juga mendukung referensi artefak dari output bernama selain lokasi artefak default.

  Jika Anda tidak secara langsung mendaftarkan model Anda dalam skrip pelatihan dengan menggunakan MLflow, Anda dapat menggunakan opsi ini untuk membuat silsilah data antara model terdaftar dan pekerjaan tempat model tersebut dilatih.

  Format: azureml://jobs/<run-id>/outputs/<output-name>/paths/<path-to-model>

  • Lokasi artefak default: azureml://jobs/<run-id>/outputs/artifacts/paths/<path-to-model>/. Lokasi ini setara dengan MLflow runs:/<run-id>/<model>.
  • Folder output bernama: azureml://jobs/<run-id>/outputs/<named-output-folder>
  • File tertentu dalam folder output bernama: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-filename>
  • Jalur folder tertentu dalam folder output bernama: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-folder-name>

  Contoh:

  Azure CLI

  Simpan model dari folder output bernama:

  az ml model create --name run-model-example --version 1 --path azureml://jobs/my_run_0000000000/outputs/artifacts/paths/model/
  

  Untuk contoh lengkapnya, lihat referensi CLI.

  Python SDK

  Simpan model dari output bernama:

  from azure.ai.ml.entities import Model
  from azure.ai.ml.constants import AssetTypes
  
  job_name = "<JOB_NAME>"
  
  run_model = Model(
      path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
      name="run-model-example",
      description="Model created from run.",
      type=AssetTypes.MLFLOW_MODEL,
  )
  # Uncomment after adding required details above
  # ml_client.models.create_or_update(run_model)

  Untuk contoh lengkapnya, lihat model notebook.

---

Menggunakan model untuk pelatihan

Azure CLI v2 dan Python SDK juga memungkinkan Anda menggunakan model sebagai input atau output dalam pekerjaan pelatihan.

Menggunakan model sebagai input dalam pekerjaan pelatihan

Azure CLI

1. Buat file YAML spesifikasi pekerjaan, <nama> file.yml. Di bagian inputs pekerjaan, tentukan:

   • Model type, yang dapat berupa mlflow_model, custom_model, atau triton_model.
   • Tempat path model Anda berada, yang bisa menjadi salah satu jalur yang tercantum dalam komentar contoh berikut.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for models:
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   command: |
     ls ${{inputs.my_model}}
   inputs:
     my_model:
       type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
       path: ../../assets/model/mlflow-model
   environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
   

2. Jalankan perintah berikut, ganti nama file YAML Anda.

   az ml job create -f <file-name>.yml
   

Untuk contoh lengkapnya, lihat repositori GitHub model.

Python SDK

Kelas Input memungkinkan Anda untuk mendefinisikan:

• Jenis aset model, yang bisa menjadi salah satu nilai berikut:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• ke path data model Anda, yang bisa menjadi salah satu lokasi berikut:

  • Jalur lokal: <model-folder>/<model-filename>
  • Azure Pembelajaran Mesin datastore:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • Eksekusi MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Pekerjaan: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Aset model: azureml:<my_model>:<version>

Contoh berikut memasukkan model MLflow dari folder lokal.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Menulis model sebagai output untuk pekerjaan

Pekerjaan Anda dapat menulis model ke penyimpanan berbasis cloud Anda dengan menggunakan output.

Azure CLI

1. Buat nama> file <YAML spesifikasi pekerjaan.yml. Isi bagian outputs dengan jenis dan jalur model output.

   $schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
   
   # Possible Paths for Model:
   # Local path: mlflow-model/model.pkl
   # AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
   # MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
   # Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
   # Model Asset: azureml:<my_model>:<version>
   
   code: src
   command: >-
     python hello-model-as-output.py 
     --input_model ${{inputs.input_model}} 
     --custom_model_output ${{outputs.output_folder}}
   inputs:
     input_model: 
       type: mlflow_model # mlflow_model,custom_model, triton_model
       path: ../../assets/model/mlflow-model
   outputs:
     output_folder: 
       type: custom_model # mlflow_model,custom_model, triton_model
   environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
   

2. Buat pekerjaan dengan menggunakan CLI:

   az ml job create --file <file-name>.yml
   

Untuk contoh lengkapnya, lihat repositori GitHub model.

Python SDK

Kelas Output memungkinkan Anda untuk mendefinisikan:

• Jenis aset model, yang bisa menjadi salah satu nilai berikut:

  • AssetTypes.CUSTOM_MODEL
  • AssetTypes.MLFLOW_MODEL
  • AssetTypes.TRITON_MODEL

• path untuk data model Anda, yang bisa menjadi salah satu lokasi berikut:

  • Jalur lokal: mlflow-model/model.pkl
  • Azure Pembelajaran Mesin datastore:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
  • Eksekusi MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
  • Pekerjaan: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
  • Aset model: azureml:<my_model>:<version>

Contoh berikut membuat output yang memasang datastore default Anda dalam mode baca-tulis. Kode hanya memuat model MLflow lokal sebagai input dan mengekspor model yang sama dengan output pekerjaan yang disimpan di datastore yang dipasang.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Mengelola model

Azure CLI dan Python SDK juga memungkinkan Anda mengelola siklus hidup aset model Azure Pembelajaran Mesin Anda.

List

Azure CLI

Cantumkan semua model di ruang kerja Anda:

az ml model list

Cantumkan semua versi model dengan nama tertentu:

az ml model list --name run-model-example

Python SDK

Cantumkan semua model di ruang kerja Anda:

models = ml_client.models.list()
for model in models:
    print(model.name)

Cantumkan semua versi model dengan nama tertentu:

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

tampilkan

Dapatkan detail model tertentu:

Azure CLI

az ml model show --name run-model-example --version 1

Python SDK

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Pembaruan

Perbarui properti yang dapat diubah dari model tertentu:

Penting

Untuk model, hanya description dan tags dapat diperbarui. Semua properti lain tidak dapat diubah, dan jika Anda perlu mengubahnya, Anda harus membuat versi model baru.

Azure CLI

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

Python SDK

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Arsip

Pengarsipan model menyembunyikannya dari kueri daftar seperti az ml model list secara default. Anda dapat terus mereferensikan dan menggunakan model yang diarsipkan di alur kerja Anda.

Anda dapat mengarsipkan semua versi atau hanya versi model tertentu. Jika Anda tidak menentukan versi, semua versi model diarsipkan. Jika Anda membuat versi model baru di bawah kontainer model yang diarsipkan, versi baru juga secara otomatis diatur sebagai diarsipkan.

Azure CLI

Arsipkan semua versi model:

az ml model archive --name run-model-example

Arsipkan versi model tertentu:

az ml model archive --name run-model-example --version 1

Python SDK

Arsipkan semua versi model:

ml_client.models.archive(name="run-model-example")

Arsipkan versi model tertentu:

ml_client.models.archive(name="run-model-example", version="1")

Konten terkait

• Berbagi model, komponen, dan lingkungan di seluruh ruang kerja dengan registri
• Pustaka klien paket Azure Pembelajaran Mesin untuk Python - versi 1.16.1
• Ekstensi ml Azure CLI
• MLflow dan Azure Machine Learning
• Menyebarkan model MLflow ke titik akhir online