Chaves gerenciadas pelo cliente para Azure Machine Learning

Azure Machine Learning é criado com base em vários serviços do Azure. Embora os dados armazenados sejam criptografados usando chaves de criptografia fornecidas pela Microsoft, você pode aprimorar a segurança fornecendo também suas chaves (gerenciadas pelo cliente). As chaves fornecidas por você são armazenadas no Azure Key Vault. Seus dados podem ser armazenados em um conjunto de outros recursos que você gerencia na sua assinatura do Azure ou no lado do servidor dos recursos gerenciados da Microsoft (versão prévia).

Além das chaves gerenciadas pelo cliente (CMK), o Azure Machine Learning fornece um sinalizador hbi_workspace. O sinalizador controla a quantidade de dados coletados pela Microsoft para fins de diagnóstico e habilita a criptografia adicional em ambientes gerenciados da Microsoft. Esse sinalizador também habilita os seguintes comportamentos:

• Inicia a criptografia do disco de rascunho local no seu cluster de cálculo do Azure Machine Learning, contanto que você não tenha criado nenhum cluster anterior nessa assinatura. De outro modo, você precisará gerar um tíquete de suporte para habilitar a criptografia do disco de rascunho dos seus clusters de computação.
• Limpa o disco de rascunho local entre os trabalhos.
• Transmite com segurança as credenciais para sua conta de armazenamento, o registro de contêiner e a conta SSH (Secure Shell) da camada de execução para seus clusters de computação usando seu cofre de chaves.

O sinalizador hbi_workspace não afeta a criptografia em trânsito. Ele afeta apenas a criptografia em repouso.

Pré-requisitos

• Uma assinatura do Azure.
• Uma instância do Azure Key Vault. O cofre de chaves contém as chaves usadas para criptografar seus serviços.

O cofre de chaves precisa habilitar a exclusão temporária e a proteção contra limpeza. A identidade gerenciada para os serviços protegidos por uma chave gerenciada pelo cliente precisa ter as seguintes permissões no cofre de chaves:

• Encapsular chave
• Decodificar Chave
• Obter

Por exemplo, a identidade gerenciada do Azure Cosmos DB precisaria ter essas permissões para o cofre de chaves.

Limitações

• Após a criação do workspace, a chave de criptografia gerenciada pelo cliente para os recursos dos quais o workspace depende só pode ser trocada por outra chave no recurso original do Azure Key Vault.
• A menos que você esteja usando a versão prévia do lado do servidor, os dados criptografados são armazenados nos recursos de um grupo de recursos gerenciados pela Microsoft na sua assinatura. Você não pode criar esses recursos com antecedência nem transferir a propriedade deles para si. O ciclo de vida de dados é gerenciado de maneira indireta por meio das APIs do Azure ML, conforme você cria objetos no serviço do Azure Machine Learning.
• Você não pode excluir recursos gerenciados pela Microsoft usados ​​para chaves gerenciadas pelo cliente sem também excluir o workspace.
• Você não pode criptografar o disco do sistema operacional do cluster de computação usando suas chaves gerenciadas pelo cliente. Você precisa usar chaves gerenciadas pela Microsoft.

Aviso

Não exclua o grupo de recursos que contém essa instância do Azure Cosmos DB nem os recursos criados automaticamente nele. Se você precisar excluir o grupo de recursos ou os serviços gerenciados pela Microsoft que estão nele, exclua o workspace do Azure Machine Learning que os usa. Os recursos do grupo de recursos são excluídos quando o workspace associado é excluído.

Chaves gerenciadas pelo cliente

Quando você não usa uma chave gerenciada pelo cliente, a Microsoft cria e gerencia esses recursos em uma assinatura do Azure de propriedade da Microsoft e usa uma chave gerenciada pela Microsoft para criptografar os dados.

Quando você usa uma chave gerenciada pelo cliente, esses recursos estão em sua assinatura do Azure e criptografados com sua chave. Embora esses recursos existam em sua assinatura, a Microsoft os gerencia. Esses recursos são criados e configurados automaticamente quando você cria seu workspace do Azure Machine Learning.

Esses recursos gerenciados pela Microsoft estão localizados em um novo grupo de recursos do Azure criado na sua assinatura. Esse grupo de recursos é separado do grupo de recursos para seu workspace. Ele contém os recursos gerenciados pela Microsoft com os quais sua chave é usada. A fórmula para nomear o grupo de recursos é: <Azure Machine Learning workspace resource group name><GUID>.

Dica

As Unidades de solicitação para o Azure Cosmos DB são dimensionadas automaticamente conforme necessário.

Se o workspace do Azure Machine Learning usar um ponto de extremidade privado, esse grupo de recursos também conterá uma Rede Virtual do Azure gerenciada pela Microsoft. Essa rede virtual ajuda a proteger as comunicações entre os serviços gerenciados e o workspace. Você não pode fornecer sua rede virtual para uso com os recursos gerenciados pela Microsoft. Você também não pode modificar a rede virtual. Por exemplo, você não pode alterar o intervalo de endereços IP que ela usa.

Importante

Se sua assinatura não tiver cota suficiente para esses serviços, ocorrerá uma falha.

Ao usar uma chave gerenciada pelo cliente, os custos da sua assinatura serão maiores porque esses recursos estão em sua assinatura. Use a Calculadora de Preços do Azure para estimar os custos.

Criptografia de dados em recursos de computação

O Azure Machine Learning usa recursos de computação para treinar e implantar modelos de machine learning. A tabela a seguir descreve as opções de computação e como cada uma delas criptografa os dados:

Computação	Criptografia
Serviço de Kubernetes do Azure	Os dados são criptografados com uma chave gerenciada pela Microsoft ou uma chave gerenciada pelo cliente. Para mais informações, confira Traga suas próprias chaves com os discos do Azure no Serviço de Kubernetes do Azure.
Instância de computação do Azure Machine Learning	O disco de rascunho local será criptografado se você habilitar o sinalizador hbi_workspace para o workspace.
Cluster de computação do Azure Machine Learning	Disco do sistema operacional é criptografado no Azure Armazenamento com chaves gerenciadas pela Microsoft. O disco temporário é criptografado se você habilitar o sinalizador hbi_workspace para o workspace.

Cluster de computação

Os clusters de cálculo têm armazenamento em disco local do sistema operacional e podem montar dados de contas de armazenamento na sua assinatura durante um trabalho. Ao montar dados a partir da sua conta de armazenamento em um trabalho, você pode habilitar chaves gerenciadas pelo cliente nessas contas de armazenamento para criptografia.

O disco do sistema operacional de cada nó de computação armazenado no Armazenamento do Microsoft Azure é sempre criptografado com chaves gerenciadas pela Microsoft em contas de armazenamento do Azure Machine Learning, e não com chaves gerenciadas pelo cliente. Esse destino de computação é temporário e, portanto, os dados armazenados no disco do sistema operacional são excluídos após o cluster ser reduzido verticalmente. Geralmente, os clusters são reduzidos verticalmente quando não há trabalhos na fila, o dimensionamento automático está ativado e o número mínimo de nós está definido como zero. A máquina virtual subjacente é desprovisionada e o disco do sistema operacional é excluído.

Não há suporte para o Azure Disk Encryption do disco do SO. Cada máquina virtual também tem um disco temporário local para operações do SO. Caso deseje, você pode usar o disco para preparar os dados de treinamento. Se você criar o workspace com o parâmetro hbi_workspace definido como TRUE, o disco temporário será criptografado. Esse ambiente tem uma curta duração (durante o trabalho), e o suporte da criptografia é limitado apenas a chaves gerenciadas pelo sistema.

Instância de computação

O disco do SO para uma instância de computação é criptografado com chaves gerenciadas pela Microsoft em contas de armazenamento do Azure Machine Learning. Se o workspace foi criado com o parâmetro hbi_workspace definido como TRUE, o disco temporário local na instância de computação é criptografado com chaves gerenciadas da Microsoft. Não há suporte para criptografia de chave gerenciada pelo cliente em discos temporários e sistema operacional.

Armazenamento de metadados criptografados do workspace

Ao trazer sua própria chave de criptografia, os metadados do serviço são armazenados em recursos dedicados na sua assinatura do Azure. A Microsoft cria um grupo de recursos separado na sua assinatura para essa finalidade: azureml-rg-workspacename_GUID. Somente a Microsoft pode modificar os recursos nesse grupo de recursos gerenciado.

A Microsoft cria os seguintes recursos para armazenar metadados para o seu workspace:

Serviço	Uso	Dados de exemplo
Azure Cosmos DB	Armazena dados do histórico de trabalhos, metadados de computação e metadados de ativos.	Os dados podem incluir o nome do trabalho, status, número de sequência e status; nome do cluster de cálculo, número de núcleos e número de nós; nomes e marcas do armazenamento de dados, descrições em ativos como modelos e nomes de rótulo de dados.
IA do Azure Search	Armazena índices que ajudam a consultar o conteúdo de machine learning.	Esses índices são criados com base nos dados armazenados no Azure Cosmos DB.
Armazenamento do Azure	Armazena metadados relacionados aos dados de pipeline do Azure Machine Learning.	Os dados podem incluir nomes de pipeline do designer, layout de pipeline e propriedades de execução.

Do ponto de vista do gerenciamento do ciclo de vida dos dados, os dados nos recursos acima são criados e excluídos conforme você cria e exclui os objetos correspondentes no Azure Machine Learning.

Seu workspace do Azure Machine Learning lê e grava dados usando a respectiva identidade gerenciada. Essa identidade tem acesso aos recursos por meio de uma atribuição de função (controle de acesso baseado em função do Azure) nos recursos de dados. A chave de criptografia que você fornece é usada para criptografar dados armazenados em recursos gerenciados pela Microsoft. A chave também é usada para criar índices para a Pesquisa de IA do Azure em runtime.

Mais controles de rede são configurados quando você cria um ponto de extremidade de link privado em seu workspace para permitir a conectividade de entrada. Essa configuração inclui a criação de uma conexão de ponto de extremidade de link privado com a instância do Azure Cosmos DB. O acesso à rede é restrito apenas a serviços confiáveis da Microsoft.

(Versão prévia) Criptografia de metadados pelo serviço

Uma nova arquitetura para o workspace com criptografia de chaves gerenciadas pelo cliente está disponível em versão prévia, reduzindo os custos quando comparados com a arquitetura atual e diminuindo a probabilidade de conflitos com políticas do Azure. Nesse novo modelo, os dados criptografados são armazenados pelo serviço em recursos gerenciados pela Microsoft, em vez de em sua assinatura.

Os dados que antes eram armazenados no Azure Cosmos DB da sua assinatura, agora são armazenados em recursos multilocatários gerenciados pela Microsoft, usando criptografia no nível do documento com sua chave de criptografia. Os índices de pesquisa que antes eram armazenados na Pesquisa de IA do Azure em sua assinatura, agora são armazenados em recursos gerenciados pela Microsoft provisionados e dedicados para cada workspace. O custo da instância de pesquisa de IA do Azure é cobrado no workspace do Azure Machine Learning no Gerenciamento de Custos da Microsoft.

Os metadados de pipelines que antes eram armazenados em uma conta de armazenamento dentro de um grupo de recursos gerenciados, agora são armazenados na conta de armazenamento em sua assinatura associada ao workspace do Azure Machine Learning. Como esse recurso do Armazenamento do Microsoft Azure é gerenciado separadamente na sua assinatura, você é responsável por definir as configurações de criptografia.

Para aceitar essa versão prévia, defina enableServiceSideCMKEncryption em uma API REST ou em seu modelo do Bicep ou do Resource Manager. Você também pode usar o portal do Azure. A disponibilidade da versão prévia varia de acordo com o tipo de workspace:

Kind	Com suporte
Padrão	Yes
Hub	Não
Project	Não

Observação

Durante essa versão prévia, não há suporte para a troca de chaves e os recursos de rotulagem de dados. Atualmente, não há suporte para criptografia do lado do servidor em referência a um Azure Key Vault para armazenar sua chave de criptografia que tem o acesso à rede pública desabilitado.

Para obter um modelo que cria um workspace com criptografia de metadados do lado do serviço, consulte https://github.com/azure/azure-quickstart-templates/tree/master/quickstarts/microsoft.machinelearningservices/machine-learning-workspace-cmk-service-side-encryption.

Sinalizador hbi_workspace

Você poderá definir o sinalizador hbi_workspace somente quando criar um workspace. Ele não pode ser alterado para um workspace existente.

Quando esse sinalizador é definido como TRUE, ele pode aumentar a dificuldade de solucionar problemas porque menos dados de telemetria são enviados à Microsoft. Há menos visibilidade sobre taxas de sucesso ou tipos de problema. A Microsoft pode não conseguir reagir de forma proativa quando esse sinalizador é TRUE.

Para habilitar o sinalizador hbi_workspace ao criar o workspace do Azure Machine Learning, siga as etapas em um dos seguintes artigos:

• Criar e gerenciar um workspace usando o portal do Azure ou o SDK do Python
• Criar e gerenciar um workspace usando a CLI do Azure
• Criar um workspace usando o Terraform da Hashicorp
• Criar um workspace usando modelos do Azure Resource Manager

Próximas etapas

• Configurar chaves gerenciadas pelo cliente com o Azure Machine Learning