MLflow-modellek üzembe helyezése online végpontokon

Cikk
02/01/2024

ÉRVÉNYES:Azure CLI ml-bővítmény 2-es verzió (aktuális)

Ebből a cikkből megtudhatja, hogyan helyezheti üzembe az MLflow-modellt egy online végponton valós idejű következtetés céljából. Az MLflow-modell online végponton való üzembe helyezésekor nem kell pontozószkriptet vagy környezetet megadnia – ezt a funkciót kód nélküli üzembe helyezésnek nevezzük.

Kód nélküli üzembe helyezés esetén az Azure Machine Tanulás:

Dinamikusan telepíti a fájlban megadott Python-csomagokat conda.yaml . Ezért a függőségek a tároló futásideje alatt települnek.
Egy MLflow alaprendszerképet/válogatott környezetet biztosít, amely a következő elemeket tartalmazza:
- azureml-inference-server-http
- mlflow-skinny
- Pontozási szkript a következtetéshez.

Tipp.

Nyilvános hálózati hozzáféréssel nem rendelkező munkaterületek: Ahhoz, hogy MLflow-modelleket helyezhessen üzembe az online végpontokon kimenő kapcsolat nélkül, be kell csomagolnia a modelleket (előzetes verzió). A modellcsomagolás használatával elkerülheti az internetkapcsolat szükségességét, amelyhez az Azure Machine Tanulás egyébként szükség lenne az MLflow-modellekhez szükséges Python-csomagok dinamikus telepítésére.

Tudnivalók a példáról

A példa bemutatja, hogyan helyezhet üzembe MLflow-modellt egy online végponton az előrejelzések végrehajtásához. A példa egy Diabetes-adatkészleten alapuló MLflow-modellt használ. Ez az adatkészlet 10 alapváltozót tartalmaz: életkor, nem, testtömegindex, átlagos vérnyomás és hat vérszérummérés 442 diabéteszes betegtől. Emellett az érdeklődésre adott választ is tartalmazza, amely a betegség progressziójának mennyiségi mértéke az alapkonfiguráció után egy évvel.

A modell betanítása regresszor használatával scikit-learn történt, és az összes szükséges előfeldolgozás folyamatként lett csomagolva, így ez a modell egy teljes körű folyamat, amely a nyers adatoktól az előrejelzésekig tart.

A cikkben szereplő információk az azureml-examples adattárban található kódmintákon alapulnak . Ha helyileg szeretné futtatni a parancsokat a YAML és más fájlok másolása/beillesztése nélkül, klónozza az adattárat, majd módosítsa a könyvtárakat a következőre cli, ha az Azure CLI-t használja. Ha a Pythonhoz készült Azure Machine Tanulás SDK-t használja, módosítsa a címtárakat a következőresdk/python/endpoints/online/mlflow: .

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Követés a Jupyter Notebookban

Az Azure Machine Tanulás Python SDK használatának lépéseit az MLflow-modell online végpontok jegyzetfüzetében való megnyitásával követheti a klónozott adattárban.

Előfeltételek

A cikkben ismertetett lépések végrehajtása előtt győződjön meg arról, hogy rendelkezik a következő előfeltételekkel:

Azure-előfizetés. Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot. Próbálja ki az Azure Machine Tanulás ingyenes vagy fizetős verzióját.
Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókjához hozzá kell rendelni az Azure Machine Tanulás munkaterület tulajdonosi vagy közreműködői szerepkörét, vagy egy egyéni szerepkört, amely lehetővé tesziMicrosoft.MachineLearningServices/workspaces/onlineEndpoints/*. A szerepkörökről további információt az Azure Machine Tanulás-munkaterülethez való hozzáférés kezelése című témakörben talál.
A munkaterületen MLflow-modellnek kell lennie. Ez a cikk egy, a Diabetes-adatkészlethez betanított modellt regisztrál a munkaterületen.
Emellett a következőket kell elvégeznie:
- Telepítse az Azure CLI-t és az ml Azure CLI-bővítményt. A parancssori felület telepítéséről további információt a PARANCSSOR telepítése és beállítása (v2) című témakörben talál.
- Telepítse az Azure Machine Tanulás Pythonhoz készült SDK-t.
```
pip install azure-ai-ml azure-identity
```
- Telepítse az MLflow SDK-csomagot mlflow és az Azure Machine Tanulás beépülő modult az MLflow-hozazureml-mlflow.
```
pip install mlflow azureml-mlflow
```
- Ha nem az Azure Machine Tanulás számítási környezetben futtat kódot, konfigurálja az MLflow nyomkövetési URI-ját vagy az MLflow beállításjegyzékének URI-ját, hogy az az Azure Machine Tanulás munkaterületre mutasson, amelyen éppen dolgozik. További információ az MLflow munkaterülethez való csatlakoztatásáról: MLflow konfigurálása az Azure Machine-Tanulás.
Az Azure Machine Tanulás Studióban való munkavégzéshez nincsenek további előfeltételek.

Csatlakozás a munkaterülethez

Először csatlakozzon az Azure Machine Tanulás munkaterülethez, ahol dolgozni fog.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

A munkaterület az Azure Machine Learning legfelső szintű erőforrása, amely egy központi helyet biztosít az Azure Machine Learning használata során létrehozott összetevőkkel való munkához. Ebben a szakaszban csatlakozzon ahhoz a munkaterülethez, amelyben üzembe helyezési feladatokat fog végrehajtani.

Importálja a szükséges kódtárakat:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
Model,
Environment,
CodeConfiguration,
)
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import AssetTypes

Konfigurálja a munkaterület részleteit, és szerezze be a munkaterülethez a leírót:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

A szükséges kódtárak importálása

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client
from mlflow.tracking import MlflowClient

Az MLflow-ügyfél inicializálása
```
mlflow_client = MlflowClient()
```

Az üzembehelyezési ügyfél konfigurálása

deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Regisztrálja a modellt

Csak regisztrált modelleket helyezhet üzembe online végpontokon. Ebben az esetben már rendelkezik a modell helyi másolatával az adattárban, ezért csak a munkaterületen lévő beállításjegyzékben kell közzétennie a modellt. Ezt a lépést kihagyhatja, ha az üzembe helyezni kívánt modell már regisztrálva van.

MODEL_NAME='sklearn-diabetes'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "endpoints/online/ncd/sklearn-diabetes/model"

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"
model = ml_client.models.create_or_update(
        Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Mi történik, ha a modellt futtatás közben naplózták?

Ha a modellt futtatás közben naplózták, közvetlenül regisztrálhatja.

A modell regisztrálásához ismernie kell a tárolási helyet. Ha az MLflow szolgáltatását autolog használja, a modell elérési útja a modell típusától és keretrendszerétől függ. A modell mappájának nevének azonosításához ellenőrizze a feladatok kimenetét. Ez a mappa egy .MLModel

Ha a log_model módszerrel manuálisan naplózza a modelleket, akkor adja át a modell elérési útját argumentumként a metódusnak. Ha például naplózza a modellt, mlflow.sklearn.log_model(my_model, "classifier")akkor a rendszer meghívja a modell tárolási classifierútvonalát.

Az Azure Machine Tanulás CLI v2 használatával hozzon létre egy modellt egy betanítási feladat kimenetéből. Az alábbi példában egy névvel ellátott $MODEL_NAME modell regisztrálva van egy azonosítóval $RUN_IDrendelkező feladat összetevőivel. A modell tárolási útvonala $MODEL_PATH.

az ml model create --name $MODEL_NAME --path azureml://jobs/$RUN_ID/outputs/artifacts/$MODEL_PATH

Feljegyzés

Az elérési út $MODEL_PATH az a hely, ahol a modellt futtatáskor tárolták.

model_name = 'sklearn-diabetes'

ml_client.models.create_or_update(
    Model(
        path=f"azureml://jobs/{RUN_ID}/outputs/artifacts/{MODEL_PATH}"
        name=model_name,
        type=AssetTypes.MLFLOW_MODEL
    )
)

Feljegyzés

Az elérési út MODEL_PATH az a hely, ahol a modellt futtatáskor tárolták.

model_name = 'sklearn-diabetes'

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"runs://{RUN_ID}/{MODEL_PATH}"
)
version = registered_model.version

Feljegyzés

Az elérési út MODEL_PATH az a hely, ahol a modellt futtatáskor tárolták.

MLflow-modell üzembe helyezése online végponton

Konfigurálja a végpontot, ahol a modell üzembe lesz helyezve. Az alábbi példa a végpont nevét és hitelesítési módját konfigurálja:

Állítson be egy végpontnevet a következő parancs futtatásával (cserélje le YOUR_ENDPOINT_NAME egy egyedi névre):

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

A végpont konfigurálása:

create-endpoint.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An online endpoint to generate predictions for the diabetes dataset",
    auth_mode="key",
    tags={"foo": "bar"},
)

A végpont tulajdonságait konfigurációs fájl használatával konfigurálhatja. Ebben az esetben a végpont hitelesítési módját "kulcs" értékre konfigurálja.


# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Írja be ezt a konfigurációt egy JSON fájlba:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Hozza létre a végpontot:

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/ncd/create-endpoint.yaml

ml_client.begin_create_or_update(endpoint)

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Konfigurálja az üzembe helyezést. Az üzembe helyezés a tényleges következtetést okozó modell üzemeltetéséhez szükséges erőforrások készlete.
sklearn-deployment.yaml
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-deployment
endpoint_name: my-endpoint
model:
  name: mir-sample-sklearn-ncd-model
  version: 1
  path: sklearn-diabetes/model
  type: mlflow_model
instance_type: Standard_DS3_v2
instance_count: 1
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
```
Másik lehetőségként, ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modellcsomagolót (előzetes verzió) az alábbi argumentummal with_package=True:
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1,
    with_package=True,
)
```
```
blue_deployment_name = "blue"
```
Az üzembe helyezés hardverkövetelményeinek konfigurálásához hozzon létre egy JSON-fájlt a kívánt konfigurációval:
```
deploy_config = {
    "instance_type": "Standard_F4s_v2",
    "instance_count": 1,
}
```
Feljegyzés

A konfiguráció teljes specifikációjáról további információt a Felügyelt online üzembehelyezési séma (v2) című témakörben talál.

Írja be a konfigurációt egy fájlba:
```
deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))
```
Ezt a lépést az üzembe helyezési szakaszban fogja végrehajtani.
Feljegyzés

A modell automatikus generálása scoring_script és environment csak a pyfunc modell íze támogatott. Az MLflow-modell központi telepítéseinek testreszabása című témakörben talál egy másik modell-ízt.
Hozza létre az üzembe helyezést:
```
az ml online-deployment create --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
Ha a végpont nem rendelkezik kimenő kapcsolattal, használja a modell csomagolását (előzetes verzió) a jelzővel --with-package:
```
az ml online-deployment create --with-package --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
```
ml_client.online_deployments.begin_create_or_update(blue_deployment)
```
```
blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)    
```
1. A Végpontok lapon válassza a Létrehozás lehetőséget a valós idejű végpontok lapon.
2. Válassza ki a korábban regisztrált MLflow-modellt, majd kattintson a Kiválasztás gombra.
  
  Feljegyzés
  
  A konfigurációs oldal egy megjegyzést tartalmaz, amely tájékoztatja arról, hogy a pontozási szkript és a környezet automatikusan létrejön a kiválasztott MLflow-modellhez.
3. Új végponton való üzembe helyezéshez válassza az Új lehetőséget.
4. Adjon nevet a végpontnak és az üzembe helyezésnek, vagy tartsa meg az alapértelmezett neveket.
5. Válassza az Üzembe helyezés lehetőséget a modell végponton való üzembe helyezéséhez.
Rendelje hozzá az összes forgalmat az üzembe helyezéshez. A végpontnak egy üzemelő példánya van, de egyik forgalom sincs hozzá rendelve.
Ez a lépés nem szükséges az Azure CLI-ben, mivel a jelölőt a --all-traffic létrehozás során használta. Ha módosítania kell a forgalmat, használhatja a parancsot az ml online-endpoint update --traffic. A forgalom frissítéséről további információt a forgalom fokozatos frissítéséről szóló cikkben talál.
```
endpoint.traffic = {"blue": 100}
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Írja be a konfigurációt egy fájlba:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Ez a lépés nem szükséges a stúdióban.
Frissítse a végpont konfigurációját:
Ez a lépés nem szükséges az Azure CLI-ben, mivel a jelölőt a --all-traffic létrehozás során használta. Ha módosítania kell a forgalmat, használhatja a parancsot az ml online-endpoint update --traffic. A forgalom frissítéséről további információt a forgalom fokozatos frissítéséről szóló cikkben talál.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```
Ez a lépés nem szükséges a stúdióban.

A végpont meghívása

Ha az üzembe helyezés elkészült, a kérések kiszolgálására is használhatja. Az üzembe helyezés tesztelésének egyik módja a beépített meghívási képesség használata a használt üzembehelyezési ügyfélprogramban. Az alábbi JSON egy mintakérés az üzembe helyezéshez.

sample-request-sklearn.json

{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}

Feljegyzés

input_data ebben a példában ahelyett, inputs hogy az MLflow szolgáltatásban használták. Ennek az az oka, hogy az Azure Machine Tanulás eltérő bemeneti formátumot igényel ahhoz, hogy automatikusan létre lehessen hozni a végpontokhoz tartozó swagger-szerződéseket. A várt bemeneti formátumokról további információt az Azure Machine Tanulás és a beépített MLflow-kiszolgálón üzembe helyezett modellek közötti különbségek című témakörben talál.

Küldjön egy kérést a végpontnak az alábbiak szerint:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample-request-sklearn.json",
)

# Read the sample request that's in the json file to construct a pandas data frame
with open("sample-request-sklearn.json", "r") as f:
    sample_request = json.loads(f.read())
    samples = pd.DataFrame(**sample_request["input_data"])

deployment_client.predict(endpoint=endpoint_name, df=samples)

A válasz hasonló lesz a következő szöveghez:

[ 
  11633.100167144921,
  8522.117402884991
]

Fontos

Az MLflow kód nélküli üzembe helyezése esetén a helyi végpontokon keresztüli tesztelés jelenleg nem támogatott.

MLflow-modell üzembe helyezésének testreszabása

Az MLflow-modell üzembehelyezési definíciójában nem kell pontozószkriptet megadnia egy online végponthoz. Azonban dönthet úgy, hogy ezt megteszi, és testre szabja a következtetés végrehajtását.

Az MLflow-modell üzembe helyezését általában a következő esetekben érdemes testre szabni:

A modellnek nincs PyFunc íze.
Testre kell szabnia a modell futási módját, például egy adott ízt kell használnia a modell betöltéséhez, a használatával mlflow.<flavor>.load_model().
A pontozási rutinban elő- és utófeldolgozást kell végeznie, ha azt nem maga a modell végzi el.
A modell kimenete nem jeleníthető meg szépen táblázatos adatokban. Ez például egy kép tenzora.

Fontos

Ha pontozószkriptet ad meg egy MLflow-modell üzembe helyezéséhez, azt a környezetet is meg kell adnia, ahol az üzembe helyezés futni fog.

Lépések

MLflow-modell üzembe helyezése egyéni pontozószkripttel:

Azonosítsa azt a mappát, amelyben az MLflow-modell található.

a. Lépjen az Azure Machine Tanulás studióba.

b. Lépjen a Modellek szakaszra.

c. Válassza ki az üzembe helyezni kívánt modellt, és lépjen az Összetevők lapra.

d. Jegyezze fel a megjelenő mappát. Ezt a mappát a modell regisztrálásakor adták meg.

Hozzon létre egy pontozó szkriptet. Figyelje meg, hogy a korábban azonosított mappanév model hogyan szerepel a init() függvényben.

Tipp.

Az alábbi pontozási szkript példaként szolgál arra vonatkozóan, hogyan hajthat végre következtetést egy MLflow-modellel. Ezt a szkriptet az igényeihez igazíthatja, vagy módosíthatja annak bármely részét a forgatókönyvnek megfelelően.

score.py

import logging
import os
import json
import mlflow
from io import StringIO
from mlflow.pyfunc.scoring_server import infer_and_parse_json_input, predictions_to_json


def init():
    global model
    global input_schema
    # "model" is the path of the mlflow artifacts when the model was registered. For automl
    # models, this is generally "mlflow-model".
    model_path = os.path.join(os.getenv("AZUREML_MODEL_DIR"), "model")
    model = mlflow.pyfunc.load_model(model_path)
    input_schema = model.metadata.get_input_schema()


def run(raw_data):
    json_data = json.loads(raw_data)
    if "input_data" not in json_data.keys():
        raise Exception("Request must contain a top level key named 'input_data'")

    serving_input = json.dumps(json_data["input_data"])
    data = infer_and_parse_json_input(serving_input, input_schema)
    predictions = model.predict(data)

    result = StringIO()
    predictions_to_json(predictions, result)
    return result.getvalue()

Figyelmeztetés

MLflow 2.0-s tanácsadás: A megadott pontozási szkript az MLflow 1.X és az MLflow 2.X használatával is működik. Javasoljuk azonban, hogy ezen verziók várható bemeneti/kimeneti formátumai eltérőek lehetnek. Ellenőrizze a környezetdefiníciót, amellyel meggyőződhet arról, hogy a várt MLflow-verziót használja. Figyelje meg, hogy az MLflow 2.0 csak a Python 3.8+-ban támogatott.

Hozzon létre egy környezetet, ahol a pontozási szkript végrehajtható. Mivel a modell egy MLflow-modell, a conda követelményeit is meg kell adni a modellcsomagban. Az MLflow-modellben található fájlokkal kapcsolatos további részletekért lásd az MLmodel formátumot. Ezt követően a környezetet a fájlból származó conda-függőségek használatával fogja létrehozni. Azonban a csomagot azureml-inference-server-httpis tartalmaznia kell, amely az Azure Machine Tanulás online üzembe helyezéséhez szükséges.

A Conda definíciós fájlja a következő:

conda.yml
```
channels:
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
  - mlflow
  - scikit-learn==1.2.2
  - cloudpickle==2.2.1
  - psutil==5.9.4
  - pandas==2.0.0
  - azureml-inference-server-http
name: mlflow-env
```
Feljegyzés

A azureml-inference-server-http csomag hozzá lett adva az eredeti conda függőségi fájlhoz.

Ezt a conda függőségi fájlt fogja használni a környezet létrehozásához:
A környezet az üzembe helyezési konfigurációban lesz beágyazottan létrehozva.
```
environment = Environment(
    conda_file="sklearn-diabetes/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
Ez a művelet nem támogatott az MLflow SDK-ban
1. Lépjen az oldalmenü Környezetek lapjára.
2. Válassza az Egyéni környezetek>létrehozása lapot.
3. Ebben az esetben sklearn-mlflow-online-py37adja meg a környezet nevét.
4. A Környezeti forrás kiválasztása beállításnál válassza a Meglévő Docker-rendszerkép használata opcionális Conda-fájllal lehetőséget.
5. A Tárolóregisztrációs adatbázis lemezképének elérési útja mezőbe írja be a következőt mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:
6. A Tovább gombra kattintva lépjen a Testreszabás szakaszra.
7. Másolja ki a fájl tartalmát, sklearn-diabetes/environment/conda.yml és illessze be a szövegmezőbe.
8. A Tovább gombra kattintva lépjen a Címkék lapra, majd ismét a Tovább gombra.
9. A Véleményezés lapon válassza a Létrehozás lehetőséget. A környezet használatra kész.
Hozza létre az üzembe helyezést:
Üzembehelyezési konfigurációs fájl létrehozása deployment.yml:
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-diabetes-custom
endpoint_name: my-endpoint
model: azureml:sklearn-diabetes@latest
environment: 
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
  conda_file: sklearn-diabetes/environment/conda.yml
code_configuration:
  code: sklearn-diabetes/src
  scoring_script: score.py
instance_type: Standard_F2s_v2
instance_count: 1
```
Hozza létre az üzembe helyezést:
```
az ml online-deployment create -f deployment.yml
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    environment=environment,
    code_configuration=CodeConfiguration(
        code="sklearn-diabetes/src",
        scoring_script="score.py"
    ),
    instance_type="Standard_F4s_v2",
    instance_count=1,
)
```
Ez a művelet nem támogatott az MLflow SDK-ban
1. A Végpontok lapon válassza a +Létrehozás lehetőséget.
2. Válassza ki a korábban regisztrált MLflow-modellt.
3. A speciális beállítások megnyitásához válassza a További beállítások lehetőséget a végpontlétrehozó varázslóban.
4. Adja meg a végpont nevét és hitelesítési típusát, majd a Tovább gombra kattintva ellenőrizze, hogy a kiválasztott modellt használja-e az üzembe helyezéshez.
5. A Tovább gombra kattintva továbbléphet a _Deployment (Üzembe helyezés) lapra.
6. A Tovább gombra kattintva lépjen a Kód + környezet lapra. Ha MLflow formátumban regisztrált modellt választ ki, nem kell pontozószkriptet vagy környezetet megadnia ezen a lapon. Ebben a szakaszban azonban meg szeretne adni egyet.
7. Válassza ki a környezet testreszabása és a pontozási szkript melletti csúszkát.
8. Tallózással válassza ki a korábban létrehozott pontozószkriptet.
9. Válassza ki az egyéni környezeteket a környezettípushoz.
10. Válassza ki a korábban létrehozott egyéni környezetet, és válassza a Tovább gombot.
11. Végezze el a varázslót a modell végponton való üzembe helyezéséhez.
Az üzembe helyezés befejezése után készen áll a kérések kiszolgálására. Az üzembe helyezés tesztelésének egyik módja egy mintakérelemfájl és a invoke metódus használata.

sample-request-sklearn.json
```
{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}
```
Küldjön egy kérést a végpontnak az alábbiak szerint:
```
az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json
```
```
ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    request_file="sample-request-sklearn.json",
)
```
Ez a művelet nem támogatott az MLflow SDK-ban
1. Lépjen a Végpontok lapra, és válassza ki a létrehozott új végpontot.
2. Lépjen a Teszt lapra.
3. Illessze be a fájl tartalmát a sample-request-sklearn.json bemeneti adatokba a végpont teszteléséhez.
4. Válassza ki a Teszt lehetőséget.
5. Az előrejelzések a "Teszteredmények" alatt jelennek meg a mező jobb oldalán.
A válasz hasonló lesz a következő szöveghez:
```
{
  "predictions": [ 
    11633.100167144921,
    8522.117402884991
  ]
}
```
Figyelmeztetés

MLflow 2.0-s tanácsadás: Az MLflow 1.X-ben a predictions kulcs hiányzik.

Az erőforrások eltávolítása

Ha végzett a végpont használatával, törölje a társított erőforrásokat:

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Share via

MLflow-modellek üzembe helyezése online végpontokon

Tudnivalók a példáról

Követés a Jupyter Notebookban

Előfeltételek

Csatlakozás a munkaterülethez

Regisztrálja a modellt

Mi történik, ha a modellt futtatás közben naplózták?

MLflow-modell üzembe helyezése online végponton

A végpont meghívása

MLflow-modell üzembe helyezésének testreszabása

Lépések

Az erőforrások eltávolítása

További források

Share via

MLflow-modellek üzembe helyezése online végpontokon

Tudnivalók a példáról

Követés a Jupyter Notebookban

Előfeltételek

Csatlakozás a munkaterülethez

Regisztrálja a modellt

Mi történik, ha a modellt futtatás közben naplózták?

MLflow-modell üzembe helyezése online végponton

A végpont meghívása

MLflow-modell üzembe helyezésének testreszabása

Lépések

Az erőforrások eltávolítása

Kapcsolódó tartalom

További források