Proteja seus pontos de extremidade online gerenciados com isolamento de rede

Artigo
03/05/2024

APLICA-SE A:Extensão de ML da CLI do Azure v2 (atual)SDK do Python azure-ai-ml v2 (atual)

Neste artigo, você irá usar o isolamento de rede para proteger um ponto de extremidade online gerenciado. Você irá criar um ponto de extremidade online gerenciado que usa o ponto de extremidade privado de um espaço de trabalho do Azure Machine Learning para o recebimento seguro das comunicações. Você também irá configurar o espaço de trabalho com uma rede virtual gerenciada que permite apenas a saída de comunicações aprovadas para as implantações. Para terminar, você criará uma implantação que usa os pontos de extremidade privados da rede virtual gerenciada do espaço de trabalho para a saída das comunicações.

Para obter exemplos que usam o método herdado para o isolamento de rede, confira os arquivos de implantação deploy-moe-vnet-legacy.sh (para implantação usando um modelo genérico) e deploy-moe-vnet-mlflow-legacy.sh (para implantação usando um modelo do MLflow) no repositório azureml-examples do GitHub.

Pré-requisitos

Para usar o Azure Machine Learning, você precisa ter uma assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar. Experimente hoje mesmo a versão gratuita ou paga do Azure Machine Learning.
Instalar e configurar a CLI do Azure e a extensão ml na CLI do Azure. Para obter mais informações, confira Instalar, configurar e usar a CLI (v2).
Dica

A rede virtual gerenciada do Azure Machine Learning foi introduzida em 23 de maio de 2023. Se você tiver uma versão mais antiga da extensão de aprendizado de máquina, talvez seja necessário atualizá-la para que os exemplos neste artigo funcionem. Para atualizar a extensão, use o seguinte comando da CLI do Azure:
```
az extension update -n ml
```
Os exemplos de CLI neste artigo pressupõem que você esteja usando o shell Bash (ou compatível). Por exemplo, de um sistema Linux ou Subsistema do Windows para Linux.
Você precisa ter um Grupo de Recursos do Azure, no qual você (ou a entidade de serviço usada) precisa ter o acesso de Contributor. Você terá um grupo de recursos desse tipo se tiver configurado sua extensão ml.
Se você quiser usar uma identidade gerenciada atribuída pelo usuário para criar e gerenciar pontos de extremidade online e implantações online, a identidade deverá ter as permissões adequadas. Para obter detalhes sobre as permissões necessárias, veja Configurar a autenticação do serviço. Por exemplo, você precisa atribuir a permissão RBAC adequada para o Key Vault do Azure na identidade.

Migrar do método de isolamento de rede herdado para a rede virtual gerenciada

Se você já usou o método herdado anteriormente para isolamento de rede de pontos de extremidade online gerenciados e deseja migrar para usar uma rede virtual gerenciada de workspace para proteger seus pontos de extremidade, siga estas etapas:

Exclua todos os cálculos em seu workspace.
Habilite a rede virtual gerenciada para seu workspace. Para obter mais informações sobre como configurar uma rede gerenciada para seu workspace, consulte Isolamento de Rede Virtual Gerenciada do Workspace.
Configure pontos de extremidade privados para comunicação de saída com recursos privados que seus pontos de extremidade online gerenciados precisam acessar. Esses recursos privados incluem uma conta de armazenamento, o Azure Key Vault e o ACR (Registro de Contêiner do Azure).
(Opcional) Se você estiver se integrando a um registro de usuário, configure pontos de extremidade privados para comunicação de saída com seu registro, sua conta de armazenamento e seu ACR.

Limitações

O sinalizador v1_legacy_mode precisa estar desabilitado (false) no seu workspace do Azure Machine Learning. Se esse sinalizador estiver habilitado, você não poderá criar um ponto de extremidade online gerenciado. Para obter mais informações, confira Isolamento de rede com a API v2.
Se o workspace do Azure Machine Learning tiver um ponto de extremidade privado criado antes de 24 de maio de 2022, você deverá recriar o ponto de extremidade privado do workspace antes de configurar seus pontos de extremidade online para usar um ponto de extremidade privado. Para obter mais informações sobre como criar um ponto de extremidade privado para seu workspace, confira Como configurar um ponto de extremidade privado para o workspace do Azure Machine Learning.

Dica

Para confirmar quando um espaço de trabalho foi criado, você pode verificar as propriedades do workspace.

No Estúdio, vá para a seção Directory + Subscription + Workspace (canto superior direito do Studio) e selecione View all properties in Azure Portal. Selecione a exibição JSON no canto superior direito da página "Visão geral" e escolha a versão mais recente da API. Nessa página, você pode marcar o valor de properties.creationTime.

Como alternativa, use az ml workspace show com a CLI, my_ml_client.workspace.get("my-workspace-name") com o SDK ou curl em um workspace com a API REST.
Ao usar o isolamento de rede com pontos de extremidade online, você pode usar recursos associados ao workspace (Registro de Contêiner do Azure [ACR], conta de armazenamento, Key Vault e Application Insights) de um grupo de recursos diferente do seu workspace. No entanto, esses recursos precisam pertencer à mesma assinatura e locatário do seu workspace.

Observação

O isolamento de rede descrito neste artigo se aplica a operações de plano de dados, ou seja, operações resultantes de solicitações de pontuação (ou distribuição de modelos). As operações do painel de controle (como solicitações para criar, atualizar, excluir ou recuperar chaves de autenticação) são enviadas ao Azure Resource Manager por meio da rede pública.

Preparar seu sistema

Crie as variáveis de ambiente usadas por esse exemplo executando os comandos a seguir. Substitua <YOUR_WORKSPACE_NAME> pelo nome a ser usado para o seu espaço de trabalho. Substitua <YOUR_RESOURCEGROUP_NAME> pelo grupo de recursos que conterá seu espaço de trabalho.

Dica

antes de criar um novo workspace, você deve criar um Grupo de Recursos do Azure para armazená-lo. Para obter mais informações, confira Gerenciar Grupos de Recursos do Azure.
```
export RESOURCEGROUP_NAME="<YOUR_RESOURCEGROUP_NAME>"
export WORKSPACE_NAME="<YOUR_WORKSPACE_NAME>"
```
Crie seu espaço de trabalho. O parâmetro -m allow_only_approved_outbound configura uma rede virtual gerenciada para o espaço de trabalho e bloqueia a saída de tráfego, exceto para destinos aprovados.
```
az ml workspace create -g $RESOURCEGROUP_NAME -n $WORKSPACE_NAME -m allow_only_approved_outbound
```
Como alternativa, se quiser permitir que a implantação envie o tráfego de saída para a internet remova a marca de comentário do código a seguir e execute-o em vez disso.
```
# az ml workspace create -g $RESOURCEGROUP_NAME -n $WORKSPACE_NAME -m allow_internet_outbound
```
Para obter mais informações sobre como criar um novo espaço de trabalho ou atualizar seu espaço de trabalho existente para usar uma rede virtual gerenciada, confira Configurar uma rede virtual gerenciada para permitir a saída para a internet.

Quando o workspace é configurado com um ponto de extremidade privado, o Registro de Contêiner do Azure do workspace deve ser configurado para camada Premium para permitir o acesso por meio do ponto de extremidade privado. Para obter mais informações, confira Níveis de serviço do Registro de Contêiner do Azure. Além disso, o workspace deve ser definido com a propriedade image_build_compute, pois a criação da implantação envolve a criação de imagens. Consulte Configurar builds de imagem para obter mais informações.
Configure os padrões para a CLI de forma a evitar transmitir os valores diversas vezes para o seu espaço de trabalho e grupo de recursos.
```
az configure --defaults workspace=$WORKSPACE_NAME group=$RESOURCEGROUP_NAME
```
Clone o repositório de exemplos para obter os exemplos de arquivos para o ponto de extremidade e a implantação e, a seguir, vá para o diretório da /cli do repositório.
```
git clone --depth 1 https://github.com/Azure/azureml-examples
cd /cli
```

Os comandos deste tutorial estão no arquivo deploy-managed-online-endpoint-workspacevnet.sh no diretório cli, e os arquivos de configuração YAML estão no subdiretório endpoints/online/managed/sample/.

Criar um ponto de extremidade online protegido gerenciado

Para criar um ponto de extremidade online gerenciado seguro, crie o ponto de extremidade no seu espaço de trabalho e defina o public_network_access do ponto de extremidade como disabled para controlar o recebimento das comunicações. A seguir, o ponto de extremidade precisará usar o ponto de extremidade privado do espaço de trabalho para o recebimento das comunicações.

Como o espaço de trabalho está configurado para ter uma rede virtual gerenciada, todas as implantações do ponto de extremidade usarão os pontos de extremidade privados da rede virtual gerenciada para a saída de comunicações.

Defina o nome do ponto de extremidade.

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

Crie um ponto de extremidade com o public_network_access desabilitado para bloquear a entrada de tráfego.
```
az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml --set public_network_access=disabled
```
Se você desabilitar o acesso à rede pública para o ponto de extremidade, a única maneira de invocar o ponto de extremidade é usar um ponto de extremidade privado, que pode acessar o workspace, na sua rede virtual. Para obter mais informações, confira Proteger as solicitações de pontuação de entrada e Configurar um ponto de extremidade privado para um workspace do Azure Machine Learning.

Como alternativa, se quiser permitir que o ponto de extremidade receba solicitações de pontuação da internet remova a marca de comentário do código a seguir e execute-o em vez disso.
```
# az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
```

Crie uma implantação na rede virtual gerenciada do espaço de trabalho.

az ml online-deployment create --name blue --endpoint $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

Obtenha o status da implantação.

az ml online-endpoint show -n $ENDPOINT_NAME

Teste o ponto de extremidade com uma solicitação de pontuação, usando a CLI.

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Obtenha os logs da implantação.

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

Exclua o ponto de extremidade se não precisar mais dele.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

Exclua todos os recursos criados neste artigo. Substitua <resource-group-name> pelo nome do grupo de recursos usado neste exemplo:
```
az group delete --resource-group <resource-group-name>
```

Solução de problemas

A criação de ponto de extremidade online tem uma falha com uma mensagem V1LegacyMode == true

O workspace do Azure Machine Learning pode ser configurado como v1_legacy_mode, o que desabilita as APIs v2. Os pontos de extremidade online gerenciados são um recurso da plataforma da API v2 e não funcionarão se v1_legacy_mode estiver habilitado no workspace.

Importante

Antes de desabilitar v1_legacy_mode, verifique com sua equipe de segurança de rede. Ele pode ter sido habilitado pela sua equipe de segurança de rede por um motivo.

Para obter informações sobre como desabilitar v1_legacy_mode, confira Isolamento de rede com a v2.

Falha na criação de ponto de extremidade online com autenticação baseada em chave

Use o comando a seguir para listar as regras de rede do Azure Key Vault para o seu workspace. Substitua <keyvault-name> pelo nome do seu cofre de chaves:

az keyvault network-rule list -n <keyvault-name>

A resposta para esse comando é semelhante ao documento JSON a seguir:

{
    "bypass": "AzureServices",
    "defaultAction": "Deny",
    "ipRules": [],
    "virtualNetworkRules": []
}

Se o valor bypass não for AzureServices, use as diretrizes em Configurar as configurações de rede do cofre de chaves para defini-lo como AzureServices.

As implantações online falham com um erro de download de imagem