Peluncuran progresif model MLflow ke Titik Akhir Online

Artikel
10/19/2023

Dalam artikel ini, Anda mempelajari bagaimana Anda dapat memperbarui dan menyebarkan model MLflow secara progresif ke Titik Akhir Online tanpa menyebabkan gangguan layanan. Anda menggunakan penyebaran biru-hijau, juga dikenal sebagai strategi peluncuran yang aman, untuk memperkenalkan versi baru layanan web ke produksi. Strategi ini akan memungkinkan Anda meluncurkan versi baru layanan web Anda ke subset kecil pengguna atau permintaan sebelum meluncurkannya sepenuhnya.

Tentang contoh ini

Titik Akhir Online memiliki konsep Titik Akhir dan Penyebaran. Titik akhir mewakili API yang digunakan pelanggan untuk menggunakan model, sementara penyebaran menunjukkan implementasi spesifik DARI API tersebut. Perbedaan ini memungkinkan pengguna untuk memisahkan API dari implementasi dan mengubah implementasi yang mendasar tanpa memengaruhi konsumen. Contoh ini akan menggunakan konsep tersebut untuk memperbarui model yang disebarkan di titik akhir tanpa memperkenalkan gangguan layanan.

Model yang akan kami sebarkan didasarkan pada Himpunan Data Penyakit Jantung UCI. Database berisi 76 atribut, tetapi kami menggunakan subset 14 di antaranya. Model ini mencoba memprediksi adanya penyakit jantung pada pasien. Bilangan bulat bernilai dari 0 (tanpa kehadiran) hingga 1 (kehadiran). Ini telah dilatih menggunakan pengklasifikasi XGBBoost dan semua pra-pemrosesan yang diperlukan telah dipaketkan sebagai scikit-learn alur, menjadikan model ini alur end-to-end yang beralih dari data mentah ke prediksi.

Informasi dalam artikel ini didasarkan pada sampel kode yang terkandung dalam repositori azureml-examples. Untuk menjalankan perintah secara lokal tanpa harus menyalin/menempelkan file, kloning repositori, lalu ubah direktori menjadi sdk/using-mlflow/deploy.

Ikuti di Jupyter Notebooks

Anda bisa mengikuti sampel ini di buku catatan berikut. Di repositori kloning, buka notebook: mlflow_sdk_online_endpoints_progresive.ipynb.

Prasyarat

Sebelum mengikuti langkah-langkah dalam artikel ini, pastikan Anda memiliki prasyarat berikut:

Langganan Azure. Jika Anda tidak memiliki langganan Azure, buat akun gratis sebelum Anda memulai. Coba versi gratis atau berbayar Azure Machine Learning.
Kontrol akses berbasis peran Azure (Azure RBAC) digunakan untuk memberikan akses ke operasi di Azure Machine Learning. Untuk melakukan langkah-langkah dalam artikel ini, akun pengguna Anda harus diberi peran pemilik atau kontributor untuk ruang kerja Azure Pembelajaran Mesin, atau peran kustom yang memungkinkan Microsoft.Machine Pembelajaran Services/workspaces/onlineEndpoints/*. Untuk informasi selengkapnya, lihat Mengelola akses ke ruang kerja Azure Machine Learning.

Selain itu, Anda harus:

Instal Azure CLI dan ekstensi ml ke Azure CLI. Untuk informasi selengkapnya, lihat Menginstal, menyiapkan, dan menggunakan CLI (v2).

Instal paket mlflow Mlflow SDK dan plug-in Azure Pembelajaran Mesin untuk MLflow azureml-mlflow.
```
pip install mlflow azureml-mlflow
```
Jika Anda tidak menjalankan komputasi azure Pembelajaran Mesin, konfigurasikan URI pelacakan MLflow atau URI registri MLflow untuk menunjuk ke ruang kerja yang sedang Anda kerjakan. Pelajari cara mengonfigurasi MLflow untuk Azure Pembelajaran Mesin.

Menyambungkan ke ruang kerja Anda

Pertama, mari kita sambungkan ke ruang kerja Azure Pembelajaran Mesin tempat kita akan bekerja.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Ruang kerja adalah sumber daya tingkat teratas untuk Azure Machine Learning, menyediakan tempat terpusat untuk bekerja dengan semua artefak yang Anda buat saat Anda menggunakan Azure Machine Learning. Di bagian ini, kita akan menyambungkan ke ruang kerja tempat Anda akan melakukan tugas penyebaran.

Impor pustaka yang diperlukan:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import ManagedOnlineEndpoint, ManagedOnlineDeployment, Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Konfigurasikan detail ruang kerja dan dapatkan handel ke ruang kerja:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Mengimpor pustaka yang diperlukan

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client

Konfigurasikan klien MLflow dan klien penyebaran:

mlflow_client = mlflow.MLflowClient()
deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Mendaftarkan model di registri

Pastikan model Anda terdaftar di registri Azure Machine Learning. Penyebaran model yang tidak terdaftar tidak didukung di Azure Machine Learning. Anda dapat mendaftarkan model baru menggunakan MLflow SDK:

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Membuat titik akhir online

Titik akhir online adalah titik akhir yang digunakan untuk inferensi online (real-time). Titik akhir online berisi penyebaran yang siap menerima data dari klien dan dapat mengirim respons kembali secara real time.

Kita akan mengeksploitasi fungsionalitas ini dengan menyebarkan beberapa versi model yang sama di bawah titik akhir yang sama. Namun, penyebaran baru akan menerima 0% dari lalu lintas saat mengemis. Setelah kami yakin tentang model baru agar berfungsi dengan benar, kami akan secara progresif memindahkan lalu lintas dari satu penyebaran ke penyebaran lainnya.

Titik akhir memerlukan nama, yang harus unik di wilayah yang sama. Mari kita pastikan untuk membuat yang tidak ada:

ENDPOINT_SUFIX=$(cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w ${1:-5} | head -n 1)
ENDPOINT_NAME="heart-classifier-$ENDPOINT_SUFIX"

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

Mengonfigurasi titik akhir

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: heart-classifier-edp
auth_mode: key

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An endpoint to serve predictions of the UCI heart disease problem",
    auth_mode="key",
)

Kita dapat mengonfigurasi properti titik akhir ini menggunakan file konfigurasi. Kami mengonfigurasi mode autentikasi titik akhir menjadi "kunci" dalam contoh berikut:

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Mari kita tulis konfigurasi ini ke dalam JSON file:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Buat titik akhir:

az ml online-endpoint create -n $ENDPOINT_NAME -f endpoint.yml

ml_client.online_endpoints.begin_create_or_update(endpoint).result()

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Mendapatkan rahasia autentikasi untuk titik akhir.
```
ENDPOINT_SECRET_KEY=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME | jq -r ".accessToken")
```
```
endpoint_secret_key = ml_client.online_endpoints.list_keys(
    name=endpoint_name
).access_token
```
Fungsionalitas ini tidak tersedia di MLflow SDK. Buka studio Azure Pembelajaran Mesin, navigasikan ke titik akhir, dan ambil kunci rahasia dari sana.

Membuat penyebaran biru

Sejauh ini, titik akhir kosong. Tidak ada penyebaran di atasnya. Mari kita buat yang pertama dengan menyebarkan model yang sama dengan yang kita kerjakan sebelumnya. Kami akan menyebut penyebaran ini "default", mewakili "penyebaran biru" kami.

Konfigurasikan penyebaran

blue-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: default
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

blue_deployment_name = "default"

Konfigurasikan persyaratan perangkat keras penyebaran Anda:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Jika titik akhir Anda tidak memiliki konektivitas keluar, gunakan kemasan model (pratinjau) dengan menyertakan argumen with_package=True:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

blue_deployment_name = "default"

Untuk mengonfigurasi persyaratan perangkat keras penyebaran, Anda perlu membuat file JSON dengan konfigurasi yang diinginkan:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

Catatan

Spesifikasi lengkap konfigurasi ini dapat ditemukan di Skema penyebaran online terkelola (v2).

Tulis konfigurasi ke file:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Membuat penyebaran

az ml online-deployment create --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

Jika titik akhir Anda tidak memiliki konektivitas keluar, gunakan kemasan model (pratinjau) dengan menyertakan bendera --with-package:

az ml online-deployment create --with-package --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

Tip

Kami mengatur bendera --all-traffic dalam perintah buat, yang akan menetapkan semua lalu lintas ke penyebaran baru.

ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Menetapkan semua lalu lintas ke penyebaran

Sejauh ini, titik akhir memiliki satu penyebaran, tetapi tidak ada lalu lintas yang ditetapkan untuk itu. Mari kita tetapkan.
Langkah ini tidak diperlukan di Azure CLI karena kami menggunakan --all-traffic selama pembuatan.
```
endpoint.traffic = { blue_deployment_name: 100 }
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Tulis konfigurasi ke file:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Perbarui konfigurasi titik akhir:
Langkah ini tidak diperlukan di Azure CLI karena kami menggunakan --all-traffic selama pembuatan.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```

Membuat input sampel untuk menguji penyebaran

sample.yml

{
    "input_data": {
        "columns": [
            "age",
            "sex",
            "cp",
            "trestbps",
            "chol",
            "fbs",
            "restecg",
            "thalach",
            "exang",
            "oldpeak",
            "slope",
            "ca",
            "thal"
        ],
        "data": [
            [ 48, 0, 3, 130, 275, 0, 0, 139, 0, 0.2, 1, 0, "normal" ]
        ]
    }
}

Kode berikut mengambil sampel 5 pengamatan dari himpunan data pelatihan, menghapus target kolom (karena model akan memprediksinya), dan membuat permintaan dalam file sample.json yang dapat digunakan dengan penyebaran model.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

with open("sample.json", "w") as f:
    f.write(
        json.dumps(
            {"input_data": json.loads(samples.to_json(orient="split", index=False))}
        )
    )

Kode berikut mengambil sampel 5 pengamatan dari himpunan data pelatihan, menghapus target kolom (karena model akan memprediksinya), dan membuat permintaan.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

Menguji penyebarannya

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    df=samples
)

Membuat penyebaran hijau di bawah titik akhir

Mari kita bayangkan bahwa ada versi baru dari model yang dibuat oleh tim pengembangan dan siap untuk berada dalam produksi. Pertama-tama kita dapat mencoba menerbangkan model ini dan setelah yakin, kita dapat memperbarui titik akhir untuk merutekan lalu lintas ke dalamnya.

Mendaftarkan versi model baru

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

Mari kita dapatkan nomor versi model baru:

VERSION=$(az ml model show -n heart-classifier --label latest | jq -r ".version")

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)
version = model.version

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Mengonfigurasi penyebaran baru

green-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: xgboost-model
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

Kami akan menamai penyebaran sebagai berikut:

GREEN_DEPLOYMENT_NAME="xgboost-model-$VERSION"

green_deployment_name = f"xgboost-model-{version}"

Konfigurasikan persyaratan perangkat keras penyebaran Anda:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Jika titik akhir Anda tidak memiliki konektivitas keluar, gunakan kemasan model (pratinjau) dengan menyertakan argumen with_package=True:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

green_deployment_name = f"xgboost-model-{version}"

Untuk mengonfigurasi persyaratan perangkat keras penyebaran, Anda perlu membuat file JSON dengan konfigurasi yang diinginkan:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

Tip

Kami menggunakan konfirmasi perangkat keras yang sama yang ditunjukkan deployment-config-filedalam . Namun, tidak ada persyaratan untuk memiliki konfigurasi yang sama. Anda dapat mengonfigurasi perangkat keras yang berbeda untuk model yang berbeda tergantung pada persyaratannya.

Tulis konfigurasi ke file:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Membuat penyebaran baru

az ml online-deployment create -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

Jika titik akhir Anda tidak memiliki konektivitas keluar, gunakan kemasan model (pratinjau) dengan menyertakan bendera --with-package:

az ml online-deployment create --with-package -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

ml_client.online_deployments.begin_create_or_update(green_deployment).result()

new_deployment = deployment_client.create_deployment(
    name=green_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Menguji penyebaran tanpa mengubah lalu lintas

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name $GREEN_DEPLOYMENT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=green_deployment_name
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    deployment_name=green_deployment_name, 
    df=samples
)

Tip

Perhatikan bagaimana sekarang kami menunjukkan nama penyebaran yang ingin kami panggil.

Memperbarui lalu lintas secara progresif

Salah satu kami yakin dengan penyebaran baru, kami dapat memperbarui lalu lintas untuk merutekan beberapa darinya ke penyebaran baru. Lalu lintas dikonfigurasi pada tingkat titik akhir:

Konfigurasikan lalu lintas:

Langkah ini tidak diperlukan di Azure CLI

endpoint.traffic = {blue_deployment_name: 90, green_deployment_name: 10}

traffic_config = {"traffic": {blue_deployment_name: 90, green_deployment_name: 10}}

Tulis konfigurasi ke file:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

Memperbarui titik akhir

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=90 $GREEN_DEPLOYMENT_NAME=10"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Jika Anda memutuskan untuk mengalihkan seluruh lalu lintas ke penyebaran baru, perbarui semua lalu lintas:

Langkah ini tidak diperlukan di Azure CLI

endpoint.traffic = {blue_deployment_name: 0, green_deployment_name: 100}

traffic_config = {"traffic": {blue_deployment_name: 0, green_deployment_name: 100}}

Tulis konfigurasi ke file:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

Memperbarui titik akhir

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=0 $GREEN_DEPLOYMENT_NAME=100"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Karena penyebaran lama tidak menerima lalu lintas apa pun, Anda dapat menghapusnya dengan aman:
```
az ml online-deployment delete --endpoint-name $ENDPOINT_NAME --name default
```
```
ml_client.online_deployments.begin_delete(
    name=blue_deployment_name, 
    endpoint_name=endpoint_name
)
```
```
deployment_client.delete_deployment(
    blue_deployment_name, 
    endpoint=endpoint_name
)
```
Tip

Perhatikan bahwa pada titik ini, "penyebaran biru" sebelumnya telah dihapus dan "penyebaran hijau" baru telah menggantikan "penyebaran biru".

Membersihkan sumber daya

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(name=endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Penting

Perhatikan bahwa menghapus titik akhir juga menghapus semua penyebaran di bawahnya.

Bagikan melalui

Peluncuran progresif model MLflow ke Titik Akhir Online

Tentang contoh ini

Ikuti di Jupyter Notebooks

Prasyarat

Menyambungkan ke ruang kerja Anda

Mendaftarkan model di registri

Membuat titik akhir online

Membuat penyebaran biru

Membuat penyebaran hijau di bawah titik akhir

Memperbarui lalu lintas secara progresif

Membersihkan sumber daya

Langkah berikutnya

Saran dan Komentar

Saran dan Komentar

Sumber Daya Tambahan: