Nasazení modelů MLflow do online koncových bodů

Článek
02/02/2024

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

V tomto článku se dozvíte , jak nasadit model MLflow do online koncového bodu pro odvozování v reálném čase. Když nasadíte model MLflow do online koncového bodu, nemusíte zadávat bodovací skript ani prostředí – tato funkce se označuje jako nasazení bez kódu.

Pro bez nasazení kódu Učení Azure Machine:

Dynamicky instaluje balíčky Pythonu conda.yaml poskytnuté v souboru. Proto se závislosti nainstalují během modulu runtime kontejneru.
Poskytuje základní image nebo kurátorované prostředí MLflow, které obsahuje následující položky:
- azureml-inference-server-http
- mlflow-skinny
- Bodovací skript pro odvozování.

Tip

Pracovní prostory bez přístupu k veřejné síti: Než budete moct modely MLflow nasadit do online koncových bodů bez výchozího připojení, musíte modely zabalit (Preview). Pomocí balení modelů se můžete vyhnout nutnosti připojení k internetu, které by jinak azure machine Učení vyžadovaly dynamicky instalovat nezbytné balíčky Pythonu pro modely MLflow.

O příkladu

Příklad ukazuje, jak můžete nasadit model MLflow do online koncového bodu pro provádění predikcí. V příkladu se používá model MLflow založený na datové sadě Diabetes. Tato datová sada obsahuje 10 základních proměnných: věk, pohlaví, index tělesné hmotnosti, průměrný krevní tlak a šest měření krevního séru získané od 442 pacientů s cukrovkou. Obsahuje také odezvu zájmu, kvantitativní míru progrese onemocnění jeden rok po základní hodnotě.

Model byl natrénován pomocí scikit-learn regresoru a veškeré požadované předběžné zpracování bylo zabaleno jako kanál, takže tento model představuje kompletní kanál, který přechází z nezpracovaných dat na predikce.

Informace v tomto článku vycházejí z ukázek kódu obsažených v úložišti azureml-examples . Pokud chcete příkazy spustit místně, aniž byste museli kopírovat nebo vkládat YAML a další soubory, naklonujte úložiště a pak změňte adresáře na cli, pokud používáte Azure CLI. Pokud používáte sadu Azure Machine Učení SDK pro Python, změňte adresáře na sdk/python/endpoints/online/mlflow.

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Sledování v Poznámkovém bloku Jupyter

Postup použití sady Azure Machine Učení Python SDK můžete provést otevřením modelu Nasazení MLflow do poznámkového bloku online koncových bodů v naklonovaném úložišti.

Požadavky

Než budete postupovat podle kroků v tomto článku, ujistěte se, že máte následující požadavky:

Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet. Vyzkoušejte bezplatnou nebo placenou verzi služby Azure Machine Učení.
Řízení přístupu na základě role v Azure (Azure RBAC) slouží k udělení přístupu k operacím ve službě Azure Machine Learning. Pokud chcete provést kroky v tomto článku, musí mít váš uživatelský účet přiřazenou roli vlastníka nebo přispěvatele pro pracovní prostor azure machine Učení nebo vlastní roli, která povoluje Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*. Další informace o rolích najdete v tématu Správa přístupu k pracovnímu prostoru azure machine Učení.
V pracovním prostoru musíte mít zaregistrovaný model MLflow. Tento článek zaregistruje model natrénovaný pro datovou sadu Diabetes v pracovním prostoru.
Potřebujete také:
- Nainstalujte Azure CLI a ml rozšíření do Azure CLI. Další informace o instalaci rozhraní příkazového řádku najdete v tématu Instalace a nastavení rozhraní příkazového řádku (v2).
- Nainstalujte sadu Azure Machine Učení SDK pro Python.
```
pip install azure-ai-ml azure-identity
```
- Nainstalujte balíček mlflow MLflow SDK a modul plug-in Azure Machine Učení pro MLflow azureml-mlflow.
```
pip install mlflow azureml-mlflow
```
- Pokud ve výpočetním Učení Azure nespouštět kód, nakonfigurujte identifikátor URI registru MLflow nebo identifikátor URI registru MLflow tak, aby odkazoval na pracovní prostor Azure Machine Učení, na kterém pracujete. Další informace o připojení MLflow k pracovnímu prostoru najdete v tématu Konfigurace MLflow pro azure machine Učení.
Při práci v studio Azure Machine Learning nejsou žádné další požadavky.

Připojení k pracovnímu prostoru

Nejprve se připojte k pracovnímu prostoru Azure Machine Učení, kde budete pracovat.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Pracovní prostor je prostředek nejvyšší úrovně pro Azure Machine Learning, který nabízí centralizované místo, kde můžete pracovat se všemi artefakty, které vytvoříte při použití služby Azure Machine Learning. V této části se připojte k pracovnímu prostoru, ve kterém budete provádět úlohy nasazení.

Import požadovaných knihoven:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
Model,
Environment,
CodeConfiguration,
)
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import AssetTypes

Nakonfigurujte podrobnosti pracovního prostoru a získejte popisovač pracovního prostoru:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Import potřebných knihoven

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client
from mlflow.tracking import MlflowClient

Inicializace klienta MLflow
```
mlflow_client = MlflowClient()
```

Konfigurace klienta nasazení

deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Registrace modelu

Do online koncových bodů můžete nasadit jenom registrované modely. V tomto případě už máte místní kopii modelu v úložišti, takže model je potřeba publikovat jenom do registru v pracovním prostoru. Tento krok můžete přeskočit, pokud už je model, který se pokoušíte nasadit, zaregistrovaný.

MODEL_NAME='sklearn-diabetes'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "endpoints/online/ncd/sklearn-diabetes/model"

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"
model = ml_client.models.create_or_update(
        Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Co když se váš model zaprotokoloval uvnitř spuštění?

Pokud se váš model zaprotokoloval uvnitř spuštění, můžete ho zaregistrovat přímo.

Pokud chcete model zaregistrovat, potřebujete znát umístění, kde je uložený. Pokud používáte funkci MLflow autolog , cesta k modelu závisí na typu modelu a rozhraní. Měli byste zkontrolovat výstup úloh a identifikovat název složky modelu. Tato složka obsahuje soubor s názvem MLModel.

Pokud metodu log_model používáte k ručnímu protokolování modelů, předejte cestu k modelu jako argument metodě. Pokud například zapíšete model pomocí mlflow.sklearn.log_model(my_model, "classifier"), pak cesta, kde je model uložen, je volána classifier.

Pomocí Azure Machine Učení CLI v2 vytvořte model z výstupu trénovací úlohy. V následujícím příkladu je pojmenovaný $MODEL_NAME model registrován pomocí artefaktů úlohy s ID $RUN_ID. Cesta, ve které je model uložen, je $MODEL_PATH.

az ml model create --name $MODEL_NAME --path azureml://jobs/$RUN_ID/outputs/artifacts/$MODEL_PATH

Poznámka:

Cesta $MODEL_PATH je umístění, ve kterém byl model uložen ve spuštění.

model_name = 'sklearn-diabetes'

ml_client.models.create_or_update(
    Model(
        path=f"azureml://jobs/{RUN_ID}/outputs/artifacts/{MODEL_PATH}"
        name=model_name,
        type=AssetTypes.MLFLOW_MODEL
    )
)

Poznámka:

Cesta MODEL_PATH je umístění, ve kterém byl model uložen ve spuštění.

model_name = 'sklearn-diabetes'

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"runs://{RUN_ID}/{MODEL_PATH}"
)
version = registered_model.version

Poznámka:

Cesta MODEL_PATH je umístění, ve kterém byl model uložen ve spuštění.

Nasazení modelu MLflow do online koncového bodu

Nakonfigurujte koncový bod, ve kterém se model nasadí. Následující příklad nakonfiguruje režim názvu a ověřování koncového bodu:

Nastavte název koncového bodu spuštěním následujícího příkazu (nahraďte YOUR_ENDPOINT_NAME jedinečným názvem):

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

Konfigurace koncového bodu:

create-endpoint.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An online endpoint to generate predictions for the diabetes dataset",
    auth_mode="key",
    tags={"foo": "bar"},
)

Vlastnosti tohoto koncového bodu můžete nakonfigurovat pomocí konfiguračního souboru. V tomto případě konfigurujete režim ověřování koncového bodu na klíč.


# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Tuto konfiguraci zapište do JSON souboru:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Vytvořte koncový bod:

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/ncd/create-endpoint.yaml

ml_client.begin_create_or_update(endpoint)

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Nakonfigurujte nasazení. Nasazení je sada prostředků vyžadovaných pro hostování modelu, který provádí skutečné odvozování.

sklearn-deployment.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-deployment
endpoint_name: my-endpoint
model:
  name: mir-sample-sklearn-ncd-model
  version: 1
  path: sklearn-diabetes/model
  type: mlflow_model
instance_type: Standard_DS3_v2
instance_count: 1

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1
)

Případně pokud váš koncový bod nemá výchozí připojení, použijte balíček modelu (Preview) zahrnutím argumentu with_package=True:

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1,
    with_package=True,
)

blue_deployment_name = "blue"

Pokud chcete nakonfigurovat požadavky na hardware vašeho nasazení, vytvořte soubor JSON s požadovanou konfigurací:

deploy_config = {
    "instance_type": "Standard_F4s_v2",
    "instance_count": 1,
}

Poznámka:

Podrobnosti o úplné specifikaci této konfigurace najdete v tématu Schéma spravovaného online nasazení (v2).

Zapište konfiguraci do souboru:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Poznámka:

Automatické generování scoring_script modelu a environment podporuje se pouze pro pyfunc variantu modelu. Pokud chcete použít jinou variantu modelu, přečtěte si téma Přizpůsobení nasazení modelu MLflow.

Vytvořte nasazení:
```
az ml online-deployment create --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
Pokud váš koncový bod nemá výchozí připojení, použijte balení modelů (Preview) zahrnutím příznaku --with-package:
```
az ml online-deployment create --with-package --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
```
ml_client.online_deployments.begin_create_or_update(blue_deployment)
```
```
blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)    
```
1. Na stránce Koncové body vyberte na kartě Koncové body v reálném čase možnost Vytvořit.
2. Zvolte model MLflow, který jste zaregistrovali dříve, a pak vyberte tlačítko Vybrat .
  
  Poznámka:
  
  Stránka konfigurace obsahuje poznámku, která vás informuje o automatickém generování hodnoticího skriptu a prostředí pro vybraný model MLflow.
3. Vyberte Možnost Nový , která se má nasadit do nového koncového bodu.
4. Zadejte název koncového bodu a nasazení nebo ponechte výchozí názvy.
5. Výběrem možnosti Nasadit nasadíte model do koncového bodu.
Přiřaďte veškerý provoz k nasazení. Zatím má koncový bod jedno nasazení, ale žádný z jeho provozu se k němu neřadí.
Tento krok není vyžadován v Azure CLI, protože jste příznak použili --all-traffic při vytváření. Pokud potřebujete změnit provoz, můžete použít příkaz az ml online-endpoint update --traffic. Další informace o tom, jak aktualizovat provoz, naleznete v tématu Progresivní aktualizace provozu.
```
endpoint.traffic = {"blue": 100}
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Zapište konfiguraci do souboru:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Tento krok není vyžadován v sadě Studio.
Aktualizujte konfiguraci koncového bodu:
Tento krok není vyžadován v Azure CLI, protože jste příznak použili --all-traffic při vytváření. Pokud potřebujete změnit provoz, můžete použít příkaz az ml online-endpoint update --traffic. Další informace o tom, jak aktualizovat provoz, naleznete v tématu Progresivní aktualizace provozu.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```
Tento krok není vyžadován v sadě Studio.

Vyvolání koncového bodu

Jakmile je nasazení připravené, můžete ho použít k odeslání žádosti. Jedním ze způsobů, jak otestovat nasazení, je použití integrované funkce vyvolání v klientovi nasazení, který používáte. Následující JSON je ukázkový požadavek na nasazení.

sample-request-sklearn.json

{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}

Poznámka:

input_data se používá v tomto příkladu místo inputs toho, že se používá v obsluhě MLflow. Důvodem je to, že služba Azure Machine Učení vyžaduje, aby bylo možné automaticky generovat kontrakty swaggeru pro koncové body v jiném vstupním formátu. Další informace o očekávaných vstupních formátech najdete v tématu Rozdíly mezi modely nasazenými ve službě Azure Machine Učení a integrovaným serverem MLflow.

Odešlete do koncového bodu žádost následujícím způsobem:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample-request-sklearn.json",
)

# Read the sample request that's in the json file to construct a pandas data frame
with open("sample-request-sklearn.json", "r") as f:
    sample_request = json.loads(f.read())
    samples = pd.DataFrame(**sample_request["input_data"])

deployment_client.predict(endpoint=endpoint_name, df=samples)

Odpověď bude podobná následujícímu textu:

[ 
  11633.100167144921,
  8522.117402884991
]

Důležité

U MLflow bez nasazení kódu se v současné době nepodporuje testování prostřednictvím místních koncových bodů .

Přizpůsobení nasazení modelů MLflow

V definici nasazení modelu MLflow do online koncového bodu nemusíte zadávat bodovací skript. Můžete se ale rozhodnout, jak se má odvozovat, a přizpůsobit způsob, jakým se odvozuje.

Nasazení modelu MLflow obvykle budete chtít přizpůsobit, když:

Model na něm nemá příchuť PyFunc .
Musíte přizpůsobit způsob spuštění modelu, například použít konkrétní příchuť pro načtení modelu pomocí mlflow.<flavor>.load_model().
V rutině bodování je potřeba provést předběžné zpracování nebo zpracování, pokud to samotný model neprovádí.
Výstup modelu nemůže být pěkně reprezentován v tabulkových datech. Jedná se například o tenzor představující obrázek.

Důležité

Pokud se rozhodnete zadat bodovací skript pro nasazení modelu MLflow, budete také muset určit prostředí, ve kterém se nasazení spustí.

Kroky

Nasazení modelu MLflow pomocí vlastního hodnoticího skriptu:

Určete složku, ve které se nachází váš model MLflow.

a. Přejděte na studio Azure Machine Learning.

b. Přejděte do části Modely .

c. Vyberte model, který se pokoušíte nasadit, a přejděte na kartu Artefakty .

d. Poznamenejte si zobrazenou složku. Tato složka byla zadána při registraci modelu.

Vytvořte bodovací skript. Všimněte si, že název model složky, který jste dříve identifikovali, je součástí init() funkce.

Tip

Následující bodovací skript je k dispozici jako příklad, jak provést odvozování pomocí modelu MLflow. Tento skript můžete přizpůsobit vašim potřebám nebo změnit libovolnou jeho část tak, aby odrážel váš scénář.

score.py

import logging
import os
import json
import mlflow
from io import StringIO
from mlflow.pyfunc.scoring_server import infer_and_parse_json_input, predictions_to_json


def init():
    global model
    global input_schema
    # "model" is the path of the mlflow artifacts when the model was registered. For automl
    # models, this is generally "mlflow-model".
    model_path = os.path.join(os.getenv("AZUREML_MODEL_DIR"), "model")
    model = mlflow.pyfunc.load_model(model_path)
    input_schema = model.metadata.get_input_schema()


def run(raw_data):
    json_data = json.loads(raw_data)
    if "input_data" not in json_data.keys():
        raise Exception("Request must contain a top level key named 'input_data'")

    serving_input = json.dumps(json_data["input_data"])
    data = infer_and_parse_json_input(serving_input, input_schema)
    predictions = model.predict(data)

    result = StringIO()
    predictions_to_json(predictions, result)
    return result.getvalue()

Upozorňující

Poradce pro MLflow 2.0: Zadaný skript bodování bude fungovat s MLflow 1.X i MLflow 2.X. Doporučujeme však, aby se očekávané formáty vstupu a výstupu v těchto verzích mohly lišit. Zkontrolujte definici prostředí, která se používá, abyste měli jistotu, že používáte očekávanou verzi MLflow. Všimněte si, že MLflow 2.0 se podporuje jenom v Pythonu 3.8 nebo novějším.

Vytvořte prostředí, ve kterém lze spustit bodovací skript. Vzhledem k tomu, že se jedná o model MLflow, jsou požadavky na conda také specifikovány v balíčku modelu. Další podrobnosti o souborech zahrnutých v modelu MLflow naleznete ve formátu MLmodel. Pak vytvoříte prostředí pomocí závislostí conda ze souboru. Musíte ale také zahrnout balíčekazureml-inference-server-http, který je nutný pro online nasazení ve službě Azure Machine Učení.

Definiční soubor conda je následující:

conda.yml
```
channels:
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
  - mlflow
  - scikit-learn==1.2.2
  - cloudpickle==2.2.1
  - psutil==5.9.4
  - pandas==2.0.0
  - azureml-inference-server-http
name: mlflow-env
```
Poznámka:

Balíček azureml-inference-server-http byl přidán do původního souboru závislostí conda.

K vytvoření prostředí použijete tento soubor závislostí conda:
Prostředí se vytvoří v konfiguraci nasazení.
```
environment = Environment(
    conda_file="sklearn-diabetes/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
Tato operace není podporována v sadě MLflow SDK.
1. V boční nabídce přejděte na kartu Prostředí .
2. Vyberte kartu Vlastní prostředí>Vytvořit.
3. Zadejte název prostředí, v tomto případě sklearn-mlflow-online-py37.
4. Pro výběr zdroje prostředí zvolte Použít existující image Dockeru s volitelným souborem conda.
5. Do cesty image registru kontejneru zadejte mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04.
6. Výběrem možnosti Další přejděte do oddílu Přizpůsobit .
7. Zkopírujte obsah sklearn-diabetes/environment/conda.yml souboru a vložte ho do textového pole.
8. Výběrem možnosti Další přejděte na stránku Značky a pak znovu na další .
9. Na stránce Revize vyberte Vytvořit. Prostředí je připravené k použití.
Vytvořte nasazení:
Vytvořte konfigurační soubor nasazení deployment.yml:
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-diabetes-custom
endpoint_name: my-endpoint
model: azureml:sklearn-diabetes@latest
environment: 
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
  conda_file: sklearn-diabetes/environment/conda.yml
code_configuration:
  code: sklearn-diabetes/src
  scoring_script: score.py
instance_type: Standard_F2s_v2
instance_count: 1
```
Vytvořte nasazení:
```
az ml online-deployment create -f deployment.yml
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    environment=environment,
    code_configuration=CodeConfiguration(
        code="sklearn-diabetes/src",
        scoring_script="score.py"
    ),
    instance_type="Standard_F4s_v2",
    instance_count=1,
)
```
Tato operace není podporována v sadě MLflow SDK.
1. Na stránce Koncové body vyberte +Vytvořit.
2. Vyberte model MLflow, který jste zaregistrovali dříve.
3. Výběrem možnosti Další možnosti v průvodci vytvořením koncového bodu otevřete upřesňující možnosti.
4. Zadejte název a typ ověřování pro koncový bod a pak vyberte Další , abyste viděli, že vybraný model se používá pro vaše nasazení.
5. Pokud chcete pokračovat na stránku _Deployment, vyberte Další.
6. Výběrem možnosti Další přejděte na stránku Kód + prostředí . Když vyberete model zaregistrovaný ve formátu MLflow, nemusíte na této stránce zadávat bodovací skript ani prostředí. V této části však chcete zadat jednu z těchto částí.
7. Vyberte posuvník vedle možnosti Přizpůsobit prostředí a bodovací skript.
8. Přejděte a vyberte bodovací skript, který jste vytvořili dříve.
9. Vyberte vlastní prostředí pro typ prostředí.
10. Vyberte vlastní prostředí, které jste vytvořili dříve, a vyberte Další.
11. Dokončete průvodce nasazením modelu do koncového bodu.
Jakmile se nasazení dokončí, je připravené obsluhovat žádosti. Jedním ze způsobů, jak otestovat nasazení, je použití ukázkového souboru požadavku spolu s metodou invoke .

sample-request-sklearn.json
```
{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}
```
Odešlete do koncového bodu žádost následujícím způsobem:
```
az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json
```
```
ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    request_file="sample-request-sklearn.json",
)
```
Tato operace není podporována v sadě MLflow SDK.
1. Přejděte na kartu Koncové body a vyberte vytvořený nový koncový bod.
2. Přejděte na kartu Test .
3. Vložte obsah souboru do vstupních sample-request-sklearn.json dat a otestujte pole koncového bodu.
4. Vyberte Test.
5. Předpovědi se zobrazí v části Výsledky testů na pravé straně pole.
Odpověď bude podobná následujícímu textu:
```
{
  "predictions": [ 
    11633.100167144921,
    8522.117402884991
  ]
}
```
Upozorňující

Poradce pro MLflow 2.0: V MLflow 1.X predictions chybí klíč.

Vyčištění prostředků

Po dokončení používání koncového bodu odstraňte přidružené prostředky:

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Share via

Nasazení modelů MLflow do online koncových bodů

O příkladu

Sledování v Poznámkovém bloku Jupyter

Požadavky

Připojení k pracovnímu prostoru

Registrace modelu

Co když se váš model zaprotokoloval uvnitř spuštění?

Nasazení modelu MLflow do online koncového bodu

Vyvolání koncového bodu

Přizpůsobení nasazení modelů MLflow

Kroky

Vyčištění prostředků

Další materiály

Share via

Nasazení modelů MLflow do online koncových bodů

O příkladu

Sledování v Poznámkovém bloku Jupyter

Požadavky

Připojení k pracovnímu prostoru

Registrace modelu

Co když se váš model zaprotokoloval uvnitř spuštění?

Nasazení modelu MLflow do online koncového bodu

Vyvolání koncového bodu

Přizpůsobení nasazení modelů MLflow

Kroky

Vyčištění prostředků

Související obsah

Další materiály