Partilhar via

Atualizar pontos de extremidade de implantação para SDK v2

  • Artigo

Com o SDK/CLI v1, você pode implantar modelos em ACI ou AKS como serviços Web. Suas implantações de modelo v1 e serviços Web existentes continuarão a funcionar como estão, mas usar SDK/CLI v1 para implantar modelos em ACI ou AKS como serviços Web agora é considerado como legado. Para implantações de novos modelos, recomendamos a atualização para v2.

Na v2, oferecemos endpoints gerenciados ou pontos de extremidade Kubernetes. Para obter uma comparação de v1 e v2, consulte Pontos de extremidade e implantação.

Há vários funis de implantação, como pontos de extremidade online gerenciados, pontos de extremidade online do kubernetes (incluindo Serviços Kubernetes do Azure e Kubernetes habilitados para Arc) na v2 e Webservices de Instâncias de Contêiner do Azure (ACI) e Serviços Kubernetes (AKS) na v1. Neste artigo, vamos nos concentrar na comparação da implantação em webservices ACI (v1) e pontos de extremidade online gerenciados (v2).

Exemplos neste artigo mostram como:

  • Implantar seu modelo no Azure
  • Pontuação usando o endpoint
  • Excluir o webservice/endpoint

Criar recursos de inferência

  • SDK v1

    1. Configure um modelo, um ambiente e um script de pontuação:

      # configure a model. example for registering a model 
from azureml.core.model import Model
model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx")

# configure an environment
from azureml.core import Environment
env = Environment(name='myenv')
python_packages = ['nltk', 'numpy', 'onnxruntime']
for package in python_packages:
    env.python.conda_dependencies.add_pip_package(package)

# configure an inference configuration with a scoring script
from azureml.core.model import InferenceConfig
inference_config = InferenceConfig(
    environment=env,
    source_directory="./source_dir",
    entry_script="./score.py",
)

    2. Configure e implante um serviço Web ACI:

      from azureml.core.webservice import AciWebservice

# defince compute resources for ACI
deployment_config = AciWebservice.deploy_configuration(
    cpu_cores=0.5, memory_gb=1, auth_enabled=True
)

# define an ACI webservice
service = Model.deploy(
    ws,
    "myservice",
    [model],
    inference_config,
    deployment_config,
    overwrite=True,
)

# create the service 
service.wait_for_deployment(show_output=True)

Para obter mais informações sobre como registrar modelos, consulte Registrar um modelo a partir de um arquivo local.

  • SDK v2

    1. Configure um modelo, um ambiente e um script de pontuação:

      from azure.ai.ml.entities import Model
# configure a model
model = Model(path="../model-1/model/sklearn_regression_model.pkl")

# configure an environment
from azure.ai.ml.entities import Environment
env = Environment(
    conda_file="../model-1/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1",
)

# configure an inference configuration with a scoring script
from azure.ai.ml.entities import CodeConfiguration
code_config = CodeConfiguration(
        code="../model-1/onlinescoring", scoring_script="score.py"
    )

    2. Configure e crie um ponto de extremidade online:

      import datetime
from azure.ai.ml.entities import ManagedOnlineEndpoint

# create a unique endpoint name with current datetime to avoid conflicts
online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# define an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint",
    auth_mode="key",
    tags={"foo": "bar"},
)

# create the endpoint:
ml_client.begin_create_or_update(endpoint)

    3. Configure e crie uma implantação online:

      from azure.ai.ml.entities import ManagedOnlineDeployment

# define a deployment
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    code_configuration=code_config,
    instance_type="Standard_F2s_v2",
    instance_count=1,
)

# create the deployment:
ml_client.begin_create_or_update(blue_deployment)

# blue deployment takes 100 traffic
endpoint.traffic = {"blue": 100}
ml_client.begin_create_or_update(endpoint)

Para obter mais informações sobre conceitos para pontos de extremidade e implantações, consulte O que são pontos de extremidade online?

Submeter um pedido

  • SDK v1

    import json
data = {
    "query": "What color is the fox",
    "context": "The quick brown fox jumped over the lazy dog.",
}
data = json.dumps(data)
predictions = service.run(input_data=data)
print(predictions)

  • SDK v2

    # test the endpoint (the request will route to blue deployment as set above)
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    request_file="../model-1/sample-request.json",
)

# test the specific (blue) deployment
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

Eliminar recursos

  • SDK v1

    service.delete()

  • SDK v2

    ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

Mapeamento das principais funcionalidades no SDK v1 e SDK v2

Funcionalidade no SDK v1 Mapeamento aproximado no SDK v2
azureml.core.model.Model classe azure.ai.ml.entities.Model classe
azureml.core.Environment classe azure.ai.ml.entities.Environment classe
azureml.core.model.InferenceConfig classe azure.ai.ml.entities.CodeConfiguration classe
azureml.core.webservice.AciWebservice classe classe azure.ai.ml.entities.OnlineDeployment (e classe azure.ai.ml.entities.ManagedOnlineEndpoint)
Model.deploy ou Webservice.deploy ml_client.begin_create_or_update(online_deployment)
Webservice.run ml_client.online_endpoints.invoke
Webservice.excluir ml_client.online_endpoints.delete

Para obter mais informações, consulte,

v2 documentos:

v1 documentos: