MLflow modellerinin Çevrimiçi Uç Noktalara aşamalı dağıtımı

Makale
10/19/2023

Bu makalede, hizmet kesintisine neden olmadan MLflow modellerini aşamalı olarak nasıl güncelleştirebileceğinizi ve Çevrimiçi Uç Noktalara dağıtabileceğinizi öğreneceksiniz. Web hizmetinin yeni bir sürümünü üretime tanıtmak için güvenli dağıtım stratejisi olarak da bilinen mavi-yeşil dağıtımı kullanırsınız. Bu strateji, web hizmetinin yeni sürümünü tamamen kullanıma sunmadan önce kullanıcıların veya isteklerin küçük bir alt kümesine dağıtmanıza olanak sağlar.

Bu örnek hakkında

Çevrimiçi Uç Noktalar, Uç Nokta ve Dağıtım kavramına sahiptir. Uç nokta, müşterilerin modeli kullanmak için kullandığı API'yi temsil ederken, dağıtım bu API'nin belirli bir uygulamasını gösterir. Bu ayrım, kullanıcıların API'yi uygulamadan ayırmasına ve tüketiciyi etkilemeden temel alınan uygulamayı değiştirmesine olanak tanır. Bu örnek, hizmet kesintisine neden olmadan uç noktalarda dağıtılan modeli güncelleştirmek için bu tür kavramları kullanacaktır.

Dağıtacağımız model, UCI Kalp Hastalığı Veri Kümesini temel alır. Veritabanı 76 öznitelik içeriyor, ancak bunların 14'ünün alt kümesini kullanıyoruz. Model, bir hastada kalp hastalığının varlığını tahmin etmeye çalışır. 0 'dan (iletişim durumu yok) 1'e (iletişim durumu) değerlenen tamsayıdır. Sınıflandırıcı kullanılarak XGBBoost eğitilmiştir ve gerekli tüm ön işleme işlem scikit-learn hattı olarak paketlenmiştir ve bu da modeli ham verilerden tahminlere giden uçtan uca bir işlem hattı haline getirmiştir.

Bu makaledeki bilgiler, azureml-examples deposunda yer alan kod örneklerini temel alır. Dosyaları kopyalamak/yapıştırmak zorunda kalmadan komutları yerel olarak çalıştırmak için depoyu kopyalayın ve dizinleri olarak sdk/using-mlflow/deploydeğiştirin.

Jupyter Notebooks'ta takip edin

Aşağıdaki not defterlerinde bu örneği izleyebilirsiniz. Kopyalanan depoda not defterini açın: mlflow_sdk_online_endpoints_progresive.ipynb.

Önkoşullar

Bu makaledeki adımları takip etmeden önce aşağıdaki önkoşullara sahip olduğunuzdan emin olun:

Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun. Azure Machine Learning'in ücretsiz veya ücretli sürümünü deneyin.
Azure Machine Learning’deki işlemlere erişim vermek için Azure rol tabanlı erişim denetimleri (Azure RBAC) kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure Machine Learning çalışma alanı için sahip veya katkıda bulunan rolü ya da Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* izni veren özel bir rol atanmalıdır. Daha fazla bilgi için bkz . Azure Machine Learning çalışma alanına erişimi yönetme.

Ayrıca şunları yapmanız gerekir:

Azure CLI'yi ve ml uzantısını Azure CLI'ya yükleyin. Daha fazla bilgi için bkz . CLI'yi (v2) yükleme, ayarlama ve kullanma.

Mlflow SDK paketini mlflow ve MLflow azureml-mlflowiçin Azure Machine Learning eklentisini yükleyin.
```
pip install mlflow azureml-mlflow
```
Azure Machine Learning işlemde çalışmıyorsanız, MLflow izleme URI'sini veya MLflow'un kayıt defteri URI'sini üzerinde çalıştığınız çalışma alanına işaret eden şekilde yapılandırın. Azure Machine Learning için MLflow yapılandırmayı öğrenin.

Çalışma alanınıza bağlanma

İlk olarak üzerinde çalışacağımız Azure Machine Learning çalışma alanına bağlanalım.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Çalışma alanı Azure Machine Learning'in en üst düzey kaynağıdır. Azure Machine Learning'i kullanırken oluşturduğunuz tüm yapıtlarla çalışmak için merkezi bir konum sağlar. Bu bölümde, dağıtım görevlerini gerçekleştirdiğiniz çalışma alanına bağlanacağız.

Gerekli kitaplıkları içeri aktarın:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import ManagedOnlineEndpoint, ManagedOnlineDeployment, Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Çalışma alanı ayrıntılarını yapılandırın ve çalışma alanına bir tanıtıcı alın:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Gerekli kitaplıkları içeri aktarma

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client

MLflow istemcisini ve dağıtım istemcisini yapılandırın:

mlflow_client = mlflow.MLflowClient()
deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Modeli kayıt defterine kaydetme

Modelinizin Azure Machine Learning kayıt defterine kayıtlı olduğundan emin olun. Azure Machine Learning'de kayıtlı olmayan modellerin dağıtımı desteklenmez. MLflow SDK'sını kullanarak yeni bir model kaydedebilirsiniz:

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Çevrimiçi uç nokta oluşturma

Çevrimiçi uç noktalar, çevrimiçi (gerçek zamanlı) çıkarım için kullanılan uç noktalardır. Çevrimiçi uç noktalar istemcilerden veri almaya hazır dağıtımlar içerir ve gerçek zamanlı olarak yanıtlar gönderebilir.

Aynı modelin birden çok sürümünü aynı uç nokta altına dağıtarak bu işlevden yararlanacağız. Ancak yeni dağıtım, yalvarma sırasında trafiğin %0'ını alır. Yeni modelin doğru çalışacağından emin olduktan sonra trafiği aşamalı olarak bir dağıtımdan diğerine taşıyacağız.

Uç noktalar, aynı bölgede benzersiz olması gereken bir ad gerektirir. Var olmayan bir tane oluşturduğunuzdan emin olalım:

ENDPOINT_SUFIX=$(cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w ${1:-5} | head -n 1)
ENDPOINT_NAME="heart-classifier-$ENDPOINT_SUFIX"

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

import random
import string

# Creating a unique endpoint name by including a random suffix
allowed_chars = string.ascii_lowercase + string.digits
endpoint_suffix = "".join(random.choice(allowed_chars) for x in range(5))
endpoint_name = "heart-classifier-" + endpoint_suffix

print(f"Endpoint name: {endpoint_name}")

Uç noktayı yapılandırma

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: heart-classifier-edp
auth_mode: key

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An endpoint to serve predictions of the UCI heart disease problem",
    auth_mode="key",
)

Bir yapılandırma dosyası kullanarak bu uç noktanın özelliklerini yapılandırabiliriz. Aşağıdaki örnekte uç noktanın kimlik doğrulama modunu "anahtar" olacak şekilde yapılandırıyoruz:

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Şimdi bu yapılandırmayı bir JSON dosyaya yazalım:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Uç noktayı oluşturun:

az ml online-endpoint create -n $ENDPOINT_NAME -f endpoint.yml

ml_client.online_endpoints.begin_create_or_update(endpoint).result()

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Uç nokta için kimlik doğrulama gizli dizisini alma.
```
ENDPOINT_SECRET_KEY=$(az ml online-endpoint get-credentials -n $ENDPOINT_NAME | jq -r ".accessToken")
```
```
endpoint_secret_key = ml_client.online_endpoints.list_keys(
    name=endpoint_name
).access_token
```
Bu işlev MLflow SDK'sında kullanılamaz. Azure Machine Learning stüdyosu gidin, uç noktaya gidin ve oradan gizli anahtarı alın.

Mavi dağıtım oluşturma

Şu ana kadar uç nokta boş. Üzerinde dağıtım yok. Şimdi daha önce üzerinde çalıştığımız modeli dağıtarak ilk modeli oluşturalım. "Mavi dağıtımımızı" temsil eden bu dağıtımı "varsayılan" olarak adlandıracağız.

Dağıtımı yapılandırma

blue-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: default
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

blue_deployment_name = "default"

Dağıtımınızın donanım gereksinimlerini yapılandırın:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Uç noktanızın çıkış bağlantısı yoksa, bağımsız değişkenini with_package=Trueekleyerek model paketlemeyi (önizleme) kullanın:

blue_deployment = ManagedOnlineDeployment(
    name=blue_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

blue_deployment_name = "default"

Dağıtımınızın donanım gereksinimlerini yapılandırmak için istenen yapılandırmaya sahip bir JSON dosyası oluşturmanız gerekir:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

Not

Bu yapılandırmanın tam belirtimi Yönetilen çevrimiçi dağıtım şemasında (v2) bulunabilir.

Yapılandırmayı bir dosyaya yazın:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Dağıtımı oluşturma

az ml online-deployment create --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

Uç noktanızın çıkış bağlantısı yoksa, bayrağını --with-packageekleyerek model paketlemeyi (önizleme) kullanın:

az ml online-deployment create --with-package --endpoint-name $ENDPOINT_NAME -f blue-deployment.yml --all-traffic

İpucu

Yeni dağıtıma tüm trafiği atayacak olan create komutunda bayrağını --all-traffic ayarlarız.

ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Tüm trafiği dağıtıma atama

Şu ana kadar uç noktanın tek bir dağıtımı var, ancak trafiğinden hiçbiri bu dağıtıma atanmadı. Şimdi atayalım.
Oluşturma sırasında kullandığımız --all-traffic için azure CLI'da bu adım gerekli değildir.
```
endpoint.traffic = { blue_deployment_name: 100 }
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Yapılandırmayı bir dosyaya yazın:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Uç nokta yapılandırmasını güncelleştirin:
Oluşturma sırasında kullandığımız --all-traffic için azure CLI'da bu adım gerekli değildir.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```

Dağıtımı test etmek için örnek giriş oluşturma

sample.yml

{
    "input_data": {
        "columns": [
            "age",
            "sex",
            "cp",
            "trestbps",
            "chol",
            "fbs",
            "restecg",
            "thalach",
            "exang",
            "oldpeak",
            "slope",
            "ca",
            "thal"
        ],
        "data": [
            [ 48, 0, 3, 130, 275, 0, 0, 139, 0, 0.2, 1, 0, "normal" ]
        ]
    }
}

Aşağıdaki kod eğitim veri kümesinden 5 gözlem örneği alır, sütunu kaldırır target (modelin tahmin edeceği gibi) ve dosyada sample.json model dağıtımıyla kullanılabilecek bir istek oluşturur.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

with open("sample.json", "w") as f:
    f.write(
        json.dumps(
            {"input_data": json.loads(samples.to_json(orient="split", index=False))}
        )
    )

Aşağıdaki kod eğitim veri kümesinden 5 gözlem örneği alır, sütunu kaldırır target (modelin tahmin edeceği gibi) ve bir istek oluşturur.

samples = (
    pd.read_csv("data/heart.csv")
    .sample(n=5)
    .drop(columns=["target"])
    .reset_index(drop=True)
)

Dağıtımı test etme

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    df=samples
)

Uç noktanın altında yeşil dağıtım oluşturma

Geliştirme ekibi tarafından oluşturulan modelin yeni bir sürümü olduğunu ve üretime hazır olduğunu düşünelim. İlk olarak bu modeli uçurmayı deneyebiliriz ve emin olduktan sonra trafiği bu modele yönlendirmek için uç noktayı güncelleştirebiliriz.

Yeni model sürümü kaydetme

MODEL_NAME='heart-classifier'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "model"

Şimdi yeni modelin sürüm numarasını alalım:

VERSION=$(az ml model show -n heart-classifier --label latest | jq -r ".version")

model_name = 'heart-classifier'
model_local_path = "model"

model = ml_client.models.create_or_update(
     Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)
version = model.version

model_name = 'heart-classifier'
model_local_path = "model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Yeni dağıtım yapılandırma

green-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: xgboost-model
endpoint_name: heart-classifier-edp
model: azureml:heart-classifier@latest
instance_type: Standard_DS2_v2
instance_count: 1

Dağıtımı aşağıdaki gibi adlandıracağız:

GREEN_DEPLOYMENT_NAME="xgboost-model-$VERSION"

green_deployment_name = f"xgboost-model-{version}"

Dağıtımınızın donanım gereksinimlerini yapılandırın:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

Uç noktanızın çıkış bağlantısı yoksa, bağımsız değişkenini with_package=Trueekleyerek model paketlemeyi (önizleme) kullanın:

green_deployment = ManagedOnlineDeployment(
    name=green_deployment_name,
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_DS2_v2",
    instance_count=1,
    with_package=True,
)

green_deployment_name = f"xgboost-model-{version}"

Dağıtımınızın donanım gereksinimlerini yapılandırmak için istenen yapılandırmaya sahip bir JSON dosyası oluşturmanız gerekir:

deploy_config = {
    "instance_type": "Standard_DS2_v2",
    "instance_count": 1,
}

İpucu

içinde belirtilen donanım onayını deployment-config-filekullanıyoruz. Ancak, aynı yapılandırmaya sahip olmak için herhangi bir gereksinim yoktur. Gereksinimlere bağlı olarak farklı modeller için farklı donanım yapılandırabilirsiniz.

Yapılandırmayı bir dosyaya yazın:

deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))

Yeni dağıtımı oluşturma

az ml online-deployment create -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

Uç noktanızın çıkış bağlantısı yoksa, bayrağını --with-packageekleyerek model paketlemeyi (önizleme) kullanın:

az ml online-deployment create --with-package -n $GREEN_DEPLOYMENT_NAME --endpoint-name $ENDPOINT_NAME -f green-deployment.yml

ml_client.online_deployments.begin_create_or_update(green_deployment).result()

new_deployment = deployment_client.create_deployment(
    name=green_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)

Trafiği değiştirmeden dağıtımı test edin

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name $GREEN_DEPLOYMENT_NAME --request-file sample.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=green_deployment_name
    request_file="sample.json",
)

deployment_client.predict(
    endpoint=endpoint_name, 
    deployment_name=green_deployment_name, 
    df=samples
)

İpucu

Şimdi çağırmak istediğimiz dağıtımın adını nasıl gösterdiğimize dikkat edin.

Trafiği aşamalı olarak güncelleştirme

Yeni dağıtımdan emin olduğumuzdan, trafiği güncelleştirerek bir kısmını yeni dağıtıma yönlendirebiliriz. Trafik uç nokta düzeyinde yapılandırılır:

Trafiği yapılandırın:

Azure CLI'da bu adım gerekli değil

endpoint.traffic = {blue_deployment_name: 90, green_deployment_name: 10}

traffic_config = {"traffic": {blue_deployment_name: 90, green_deployment_name: 10}}

Yapılandırmayı bir dosyaya yazın:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

Uç noktayı güncelleştirme

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=90 $GREEN_DEPLOYMENT_NAME=10"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Trafiğin tamamını yeni dağıtıma geçmeye karar verirseniz tüm trafiği güncelleştirin:

Azure CLI'da bu adım gerekli değil

endpoint.traffic = {blue_deployment_name: 0, green_deployment_name: 100}

traffic_config = {"traffic": {blue_deployment_name: 0, green_deployment_name: 100}}

Yapılandırmayı bir dosyaya yazın:

traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))

Uç noktayı güncelleştirme

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "default=0 $GREEN_DEPLOYMENT_NAME=100"

ml_client.begin_create_or_update(endpoint).result()

deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)

Eski dağıtım herhangi bir trafik almadığından güvenli bir şekilde silebilirsiniz:
```
az ml online-deployment delete --endpoint-name $ENDPOINT_NAME --name default
```
```
ml_client.online_deployments.begin_delete(
    name=blue_deployment_name, 
    endpoint_name=endpoint_name
)
```
```
deployment_client.delete_deployment(
    blue_deployment_name, 
    endpoint=endpoint_name
)
```
İpucu

Bu noktada, eski "mavi dağıtımın" silindiğini ve yeni "yeşil dağıtımın" "mavi dağıtımın" yerini aldığına dikkat edin.

Kaynakları temizleme

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(name=endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Önemli

Bir uç nokta silindiğinde, altındaki tüm dağıtımların da silindiğini fark edin.

Share via

MLflow modellerinin Çevrimiçi Uç Noktalara aşamalı dağıtımı

Bu örnek hakkında

Jupyter Notebooks'ta takip edin

Önkoşullar

Çalışma alanınıza bağlanma

Modeli kayıt defterine kaydetme

Çevrimiçi uç nokta oluşturma

Mavi dağıtım oluşturma

Uç noktanın altında yeşil dağıtım oluşturma

Trafiği aşamalı olarak güncelleştirme

Kaynakları temizleme

Sonraki adımlar

Ek kaynaklar