Entender e criar pontos de extremidade em lote
Para obter um modelo para gerar previsões em lote, você poderá implantar o modelo em um ponto de extremidade em lote.
Você aprenderá a usar pontos de extremidade em lote para pontuação de lote assíncrona.
Previsões em lote
Para obter previsões em lotes, você pode implantar um modelo em um endpoint. Um ponto de extremidade é um ponto de extremidade HTTPS que você pode chamar para disparar um trabalho de pontuação em lotes. A vantagem desse endpoint é que você pode iniciar o trabalho de pontuação em lote a partir de outro serviço, como o Azure Synapse Analytics ou o Azure Databricks. Um ponto de extremidade em lote permite integrar a pontuação em lote a um pipeline de transformação e ingestão de dados existentes.
Sempre que o ponto de extremidade é invocado, um trabalho de pontuação em lote é enviado para o workspace do Azure Machine Learning. O trabalho normalmente usa um cluster de computação para avaliar várias entradas. Os resultados podem ser armazenados em um armazenamento de dados, conectado ao workspace do Azure Machine Learning.
Criar um ponto de extremidade em lote
Para implantar um modelo em um ponto de extremidade em lote, primeiro você precisará criar o ponto de extremidade em lote.
Para criar um endpoint de batch, você usará a classe BatchEndpoint. Os nomes de ponto de extremidade em lote precisam ser exclusivos em uma região do Azure.
Para criar um ponto de extremidade, use o seguinte comando:
# create a batch endpoint
endpoint = BatchEndpoint(
name="endpoint-example",
description="A batch endpoint",
)
ml_client.batch_endpoints.begin_create_or_update(endpoint)
Dica
Explore a documentação de referência para criar um ponto de extremidade em lote com o SDK do Python v2.
Implantar um modelo em um ponto de extremidade em lote
Você pode implantar vários modelos em um ponto de extremidade em lote. Sempre que você chamar o ponto de extremidade em lote, que dispara um trabalho de pontuação em lote, a implantação padrão será usada, a menos que especificado o contrário.
Usar clusters de computação para implantações em lote
A computação ideal a ser usada para implantações em lote é o cluster de computação do Azure Machine Learning. Se você quiser que o trabalho de pontuação em lote processe os novos dados em lotes paralelos, será necessário provisionar um cluster de computação com mais de uma instância máxima.
Para criar um cluster de computação, você pode usar a classe AMLCompute.
from azure.ai.ml.entities import AmlCompute
cpu_cluster = AmlCompute(
name="aml-cluster",
type="amlcompute",
size="STANDARD_DS11_V2",
min_instances=0,
max_instances=4,
idle_time_before_scale_down=120,
tier="Dedicated",
)
cpu_cluster = ml_client.compute.begin_create_or_update(cpu_cluster)