MLflow-modellek fokozatos bevezetése online végpontokra

Cikk
10/19/2023

Ebből a cikkből megtudhatja, hogyan frissítheti és helyezheti üzembe az MLflow-modelleket az online végpontokon szolgáltatáskimaradás nélkül. A kék-zöld üzembe helyezést, más néven biztonságos bevezetési stratégiát használva új webszolgáltatás-verziót vezet be éles környezetben. Ez a stratégia lehetővé teszi, hogy a webszolgáltatás új verzióját a felhasználók vagy kérések egy kis részhalmazára gördíthesse, mielőtt teljesen üzembe tenné.

A példa ismertetése

Az online végpontok a végpontok és az üzembe helyezés fogalmával rendelkeznek. A végpont azt az API-t jelöli, amelyet az ügyfelek a modell használatára használnak, míg az üzembe helyezés az API konkrét implementációját jelzi. Ezzel a különbségtételsel a felhasználók leválaszthatják az API-t a megvalósításról, és anélkül módosíthatják az alapul szolgáló implementációt, hogy az hatással van a fogyasztóra. Ez a példa ezeket a fogalmakat fogja használni a végpontokon üzembe helyezett modell frissítéséhez szolgáltatáskimaradás bevezetése nélkül.

Az üzembe helyezhető modell az UCI szívbetegségek adatkészletén alapul. Az adatbázis 76 attribútumot tartalmaz, de 14 részhalmazt használunk. A modell megpróbálja megjósolni a szívbetegség jelenlétét egy betegben. Az egész szám értéke 0 (nincs jelenlét) és 1 (jelenlét). A betanítás egy XGBBoost osztályozóval történt, és az összes szükséges előfeldolgozás folyamatként scikit-learn lett csomagolva, így ez a modell egy teljes körű folyamat, amely a nyers adatoktól az előrejelzésekig tart.

A cikkben szereplő információk az azureml-examples adattárban található kódmintákon alapulnak . Ha helyileg szeretné futtatni a parancsokat fájlok másolása/beillesztése nélkül, klónozza az adattárat, majd módosítsa a könyvtárakat a következőre sdk/using-mlflow/deploy: .

Követés a Jupyter Notebooksban

Ezt a mintát a következő jegyzetfüzetekben követheti nyomon. A klónozott adattárban nyissa meg a jegyzetfüzetet: mlflow_sdk_online_endpoints_progresive.ipynb.

Előfeltételek

A cikkben ismertetett lépések végrehajtása előtt győződjön meg arról, hogy rendelkezik a következő előfeltételekkel:

Azure-előfizetés. Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot. Próbálja ki az Azure Machine Tanulás ingyenes vagy fizetős verzióját.
Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure Machine Tanulás műveleteihez való hozzáférést biztosítják. A jelen cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure Machine Tanulás munkaterület tulajdonosi vagy közreműködői szerepkörét, vagy egy egyéni szerepkört, amely lehetővé teszi a Microsoft.Machine Tanulás Services/workspaces/onlineEndpoints/* használatát. További információ: Azure Machine-Tanulás-munkaterülethez való hozzáférés kezelése.

Emellett a következőkre lesz szüksége:

Telepítse az Azure CLI-t és az ml-bővítményt az Azure CLI-re. További információ: A parancssori felület (v2) telepítése, beállítása és használata.

Telepítse a Mlflow SDK-csomagot mlflow és az Azure Machine Tanulás beépülő modult az MLflow-hozazureml-mlflow.
```
pip install mlflow azureml-mlflow
```
Ha nem az Azure Machine Tanulás számítási környezetben fut, konfigurálja az MLflow-nyomkövetési URI-t vagy az MLflow beállításjegyzékének URI-ját, hogy a munkaterületre mutasson, amelyen éppen dolgozik. Megtudhatja, hogyan konfigurálhatja az MLflow-t az Azure Machine Tanulás.

Csatlakozás a munkaterülethez

Először is csatlakozzunk az Azure Machine Tanulás munkaterülethez, ahol dolgozni fogunk.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

A munkaterület az Azure Machine Learning legfelső szintű erőforrása, amely egy központi helyet biztosít az Azure Machine Learning használata során létrehozott összetevőkkel való munkához. Ebben a szakaszban ahhoz a munkaterülethez csatlakozunk, amelyben üzembe helyezési feladatokat fog végrehajtani.

Importálja a szükséges kódtárakat:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import ManagedOnlineEndpoint, ManagedOnlineDeployment, Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Konfigurálja a munkaterület részleteit, és szerezze be a munkaterülethez a leírót:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

A szükséges kódtárak importálása

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client

Konfigurálja az MLflow-ügyfelet és az üzembehelyezési ügyfelet:

mlflow_client = mlflow.MLflowClient()
deployment_client = get_deploy_client(mlflow.get_tracking_uri())

A modell regisztrálása a beállításjegyzékben

Győződjön meg arról, hogy a modell regisztrálva van az Azure Machine Tanulás beállításjegyzékében. A nem regisztrált modellek üzembe helyezése nem támogatott az Azure Machine Tanulás. Új modellt az MLflow SDK használatával regisztrálhat:

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Online végpont létrehozása

Az online végpontok az online (valós idejű) következtetéshez használt végpontok. Az online végpontok olyan üzemelő példányokat tartalmaznak, amelyek készen állnak adatok fogadására az ügyfelektől, és valós időben tudnak válaszolni.

Ezt a funkciót úgy fogjuk kihasználni, hogy ugyanazon modell több verzióját helyezzük üzembe ugyanabban a végpontban. Az új üzembe helyezés azonban a forgalom 0%-át kapja meg a könyörgéskor. Miután meggyőződtünk arról, hogy az új modell megfelelően működik, fokozatosan át fogjuk helyezni a forgalmat az egyik üzembe helyezésről a másikra.

A végpontoknak egy névre van szükségük, amelynek egyedinek kell lennie ugyanabban a régióban. Hozzunk létre egy nem létezőt:

ENDPOINT_SUFIX=$(cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w ${1:-5} | head -n 1)
ENDPOINT_NAME="heart-classifier-$ENDPOINT_SUFIX"

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

A végpont konfigurálása

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: heart-classifier-edp
auth_mode: key

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An endpoint to serve predictions of the UCI heart disease problem",
    auth_mode="key",
)

A végpont tulajdonságait konfigurációs fájl használatával konfigurálhatjuk. A végpont hitelesítési módját a következő példában "kulcsként" konfiguráljuk:

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Írjuk ezt a konfigurációt egy JSON fájlba:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Hozza létre a végpontot:

az ml online-endpoint create -n $ENDPOINT_NAME -f endpoint.yml

ml_client.online_endpoints.begin_create_or_update(endpoint).result()

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

A végpont hitelesítési titkos kódjának lekérése.
```
ENDPOINT_SECRET_KEY=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME | jq -r ".accessToken")
```
```
endpoint_secret_key = ml_client.online_endpoints.list_keys(
    name=endpoint_name
).access_token
```
Ez a funkció nem érhető el az MLflow SDK-ban. Lépjen az Azure Machine Tanulás studióba, keresse meg a végpontot, és onnan kérje le a titkos kulcsot.

Kék üzembe helyezés létrehozása

A végpont egyelőre üres. Nincsenek központi telepítések rajta. Hozzuk létre az elsőt ugyanazzal a modellel, amelyen korábban is dolgoztunk. Ezt az üzemelő példányt "alapértelmezettnek" nevezzük, amely a "kék üzembe helyezést" jelöli.

A telepítés konfigurálása

blue-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: default
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

blue_deployment_name = "default"

Konfigurálja az üzembe helyezés hardverkövetelményeit:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modell csomagolását (előzetes verzió) a következő argumentummal with_package=True:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

blue_deployment_name = "default"

Az üzembe helyezés hardverkövetelményeinek konfigurálásához létre kell hoznia egy JSON-fájlt a kívánt konfigurációval:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

Feljegyzés

Ennek a konfigurációnak a teljes specifikációja megtalálható a felügyelt online üzembehelyezési sémában (v2).

Írja be a konfigurációt egy fájlba:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Az üzembe helyezés létrehozása

az ml online-deployment create --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

Ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modell csomagolását (előzetes verzió) a jelzővel --with-package:

az ml online-deployment create --with-package --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

Tipp.

A jelölőt --all-traffic a létrehozási parancsban állítjuk be, amely az összes forgalmat hozzárendeli az új üzembe helyezéshez.

ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Az összes forgalom hozzárendelése az üzembe helyezéshez

A végpontnak egy üzemelő példánya van, de egyik forgalom sincs hozzá rendelve. Rendeljük hozzá.
Ez a lépés nem szükséges az Azure CLI-ben, mivel a létrehozás során használtuk.--all-traffic
```
endpoint.traffic = { blue_deployment_name: 100 }
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Írja be a konfigurációt egy fájlba:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Frissítse a végpont konfigurációját:
Ez a lépés nem szükséges az Azure CLI-ben, mivel a létrehozás során használtuk.--all-traffic
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```

Mintabemenet létrehozása az üzembe helyezés teszteléséhez

sample.yml

{
    "input_data": {
        "columns": [
            "age",
            "sex",
            "cp",
            "trestbps",
            "chol",
            "fbs",
            "restecg",
            "thalach",
            "exang",
            "oldpeak",
            "slope",
            "ca",
            "thal"
        ],
        "data": [
            [ 48, 0, 3, 130, 275, 0, 0, 139, 0, 0.2, 1, 0, "normal" ]
        ]
    }
}

Az alábbi kód 5 megfigyelést mintáz a betanítási adatkészletből, eltávolítja az target oszlopot (ahogy a modell előrejelzi), és létrehoz egy kérést a fájlban sample.json , amely a modell üzembe helyezéséhez használható.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

with open("sample.json", "w") as f:
    f.write(
        json.dumps(
            {"input_data": json.loads(samples.to_json(orient="split", index=False))}
        )
    )

Az alábbi kód 5 megfigyelést mintáz a betanítási adathalmazból, eltávolítja az target oszlopot (ahogy a modell előrejelzi), és létrehoz egy kérést.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

Az üzemelő példány tesztelése

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    df=samples
)

Zöld üzembe helyezés létrehozása a végpont alatt

Tegyük fel, hogy a fejlesztőcsapat által létrehozott modell új verziója készen áll az éles üzemre. Először megpróbálhatjuk irányítani ezt a modellt, és ha biztosak vagyunk benne, frissíthetjük a végpontot, hogy a forgalmat hozzá irányíthassuk.

Új modellverzió regisztrálása

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

Szerezzük be az új modell verziószámát:

VERSION=$(az ml model show -n heart-classifier --label latest | jq -r ".version")

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)
version = model.version

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Új üzembe helyezés konfigurálása

green-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: xgboost-model
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

Az üzembe helyezést a következőképpen nevezzük el:

GREEN_DEPLOYMENT_NAME="xgboost-model-$VERSION"

green_deployment_name = f"xgboost-model-{version}"

Konfigurálja az üzembe helyezés hardverkövetelményeit:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modell csomagolását (előzetes verzió) a következő argumentummal with_package=True:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

green_deployment_name = f"xgboost-model-{version}"

Az üzembe helyezés hardverkövetelményeinek konfigurálásához létre kell hoznia egy JSON-fájlt a kívánt konfigurációval:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

Tipp.

Ugyanazt a hardveres megerősítést használjuk, amely a deployment-config-file. Nincs azonban olyan követelmény, hogy ugyanazzal a konfigurációval rendelkezzen. A követelményektől függően különböző hardvereket konfigurálhat különböző modellekhez.

Írja be a konfigurációt egy fájlba:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Az új üzembe helyezés létrehozása

az ml online-deployment create -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

Ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modell csomagolását (előzetes verzió) a jelzővel --with-package:

az ml online-deployment create --with-package -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

ml_client.online_deployments.begin_create_or_update(green_deployment).result()

new_deployment = deployment_client.create_deployment(
    name=green_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Az üzembe helyezés tesztelése a forgalom módosítása nélkül

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name $GREEN_DEPLOYMENT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=green_deployment_name
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    deployment_name=green_deployment_name, 
    df=samples
)

Tipp.

Figyelje meg, hogyan jelezzük most a meghívni kívánt üzembe helyezés nevét.

A forgalom fokozatos frissítése

Az új üzembe helyezéssel kapcsolatban biztosak vagyunk abban, hogy frissíthetjük a forgalmat, hogy egy részét az új üzembe helyezéshez irányíthassuk. A forgalom a végpont szintjén van konfigurálva:

A forgalom konfigurálása:

Ez a lépés nem kötelező az Azure CLI-ben

endpoint.traffic = {blue_deployment_name: 90, green_deployment_name: 10}

traffic_config = {"traffic": {blue_deployment_name: 90, green_deployment_name: 10}}

Írja be a konfigurációt egy fájlba:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

A végpont frissítése

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=90 $GREEN_DEPLOYMENT_NAME=10"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Ha úgy dönt, hogy a teljes forgalmat az új üzembe helyezésre váltja, frissítse az összes forgalmat:

Ez a lépés nem kötelező az Azure CLI-ben

endpoint.traffic = {blue_deployment_name: 0, green_deployment_name: 100}

traffic_config = {"traffic": {blue_deployment_name: 0, green_deployment_name: 100}}

Írja be a konfigurációt egy fájlba:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

A végpont frissítése

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=0 $GREEN_DEPLOYMENT_NAME=100"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Mivel a régi üzembe helyezés nem fogad forgalmat, biztonságosan törölheti azt:
```
az ml online-deployment delete --endpoint-name $ENDPOINT_NAME --name default
```
```
ml_client.online_deployments.begin_delete(
    name=blue_deployment_name, 
    endpoint_name=endpoint_name
)
```
```
deployment_client.delete_deployment(
    blue_deployment_name, 
    endpoint=endpoint_name
)
```
Tipp.

Figyelje meg, hogy ezen a ponton a korábbi "kék üzembe helyezést" törölték, és az új "zöld üzembe helyezés" vette át a "kék üzembe helyezés" helyét.

Erőforrások törlése

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(name=endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Fontos

Figyelje meg, hogy a végpont törlése az alatta lévő összes üzembe helyezést is törli.

Megosztás a következőn keresztül:

MLflow-modellek fokozatos bevezetése online végpontokra

A példa ismertetése

Követés a Jupyter Notebooksban

Előfeltételek

Csatlakozás a munkaterülethez

A modell regisztrálása a beállításjegyzékben

Online végpont létrehozása

Kék üzembe helyezés létrehozása

Zöld üzembe helyezés létrehozása a végpont alatt

A forgalom fokozatos frissítése

Erőforrások törlése

Következő lépések

További források