Ключи, управляемые клиентом, для Машинного обучения Azure

Машинное обучение Azure задействует несколько служб Azure. Хотя сохраненные данные шифруются с помощью ключей шифрования, предоставляемых Корпорацией Майкрософт, вы можете повысить безопасность, предоставив также собственные (управляемые клиентом) ключи. Предоставленные ключи хранятся в Azure Key Vault. Данные можно хранить в наборе других ресурсов, управляемых в подписке Azure, или (предварительная версия) на управляемых ресурсах Майкрософт.

Помимо ключей, управляемых клиентом (CMK), Машинное обучение Azure предоставляет флаг hbi_workspace. Включение этого флага сокращает объем данных, собираемых корпорацией Майкрософт в целях диагностики, и обеспечивает дополнительное шифрование в управляемых майкрософт средах. Кроме того, этот флаг активирует следующее поведение:

• Начинает шифрование локального диска с нуля в Машинное обучение Azure вычислительном кластере, если вы не создали предыдущие кластеры в этой подписке. В противном случае необходимо создать запрос в службу поддержки, чтобы включить шифрование царапина диска для вычислительных кластеров.
• Очищает локальный временный диск между заданиями.
• Безопасно передает учетные данные для учетной записи хранения, реестра контейнеров и учетной записи Secure Shell (SSH) из уровня выполнения в вычислительные кластеры с помощью хранилища ключей.

Флаг hbi_workspace не влияет на шифрование при передаче. Это влияет только на шифрование неактивных данных.

Необходимые компоненты

• Подписка Azure.
• Экземпляр хранилища ключей Azure. Хранилище ключей содержит ключи для шифрования служб.

Хранилище ключей должно включить обратимое удаление и защиту от очистки. Управляемое удостоверение для служб, которые помогают защититься с помощью ключа, управляемого клиентом, должно иметь следующие разрешения в хранилище ключей:

• Упаковка ключа
• Распаковка ключа
• Получить

Эти разрешения потребуются, например, управляемому удостоверению для Azure Cosmos DB для хранилища ключей.

Ограничения

• После создания рабочей области ключ шифрования, управляемый клиентом, для ресурсов, от которым зависит рабочая область, можно обновить только до другого ключа в исходном ресурсе Azure Key Vault.
• Если вы не используете предварительную версию на стороне сервера, зашифрованные данные хранятся в ресурсах в группе ресурсов, управляемой корпорацией Майкрософт, в вашей подписке. Вы не можете создать эти ресурсы перед вами или передать их владение. Жизненный цикл данных управляется косвенно через API Машинное обучение Azure при создании объектов в службе Машинное обучение Azure.
• Вы не можете удалить управляемые корпорацией Майкрософт ресурсы, используемые для ключей, управляемых клиентом, без удаления рабочей области.
• Вы не можете зашифровать диск ОПЕРАЦИОННОй системы вычислительного кластера с помощью ключей, управляемых клиентом. Необходимо использовать ключи, управляемые корпорацией Майкрософт.

Предупреждение

Не удаляйте группу ресурсов, содержащую экземпляр Azure Cosmos DB или любые ресурсы, которые автоматически создаются в этой группе. Если вам нужно удалить группу ресурсов или управляемые корпорацией Майкрософт службы в ней, необходимо удалить рабочую область службы "Машинное обучение Azure", в которой она используется. Ресурсы группы ресурсов удаляются при удалении связанной рабочей области.

Ключи, управляемые клиентом

Если вы не используете управляемый клиентом ключ, корпорация Майкрософт создает ресурсы в подписке Azure, принадлежащей Майкрософт, и использует управляемый корпорацией Майкрософт ключ для шифрования данных.

При использовании ключа, управляемого клиентом, ресурсы находятся в подписке Azure и шифруются с помощью ключа. Хотя эти ресурсы существуют в подписке, корпорация Майкрософт управляет ими. Эти ресурсы автоматически создаются и настраиваются при создании рабочей области Машинное обучение Azure.

Эти управляемые корпорацией Майкрософт ресурсы находятся в новой группе ресурсов Azure, созданной в вашей подписке. Эта группа ресурсов отделена от группы ресурсов для рабочей области. Он содержит управляемые корпорацией Майкрософт ресурсы, с которыми используется ключ. Формула именования группы ресурсов: <Azure Machine Learning workspace resource group name><GUID>

Совет

Единицы запросов для Azure Cosmos DB автоматически масштабируемые по мере необходимости.

Если ваша Машинное обучение Azure рабочая область использует частную конечную точку, эта группа ресурсов также содержит виртуальную сеть, управляемую корпорацией Майкрософт. Эта виртуальная сеть помогает защитить обмен данными между управляемыми службами и рабочей областью. Вы не можете предоставить собственную виртуальную сеть для использования с управляемыми корпорацией Майкрософт ресурсами. Вы также не можете изменить виртуальную сеть. Например, нельзя изменить диапазон IP-адресов, который он использует.

Внимание

Если у вашей подписки недостаточно квоты для этих служб, произойдет сбой.

При использовании ключа, управляемого клиентом, затраты на подписку выше, так как эти ресурсы находятся в вашей подписке. Для оценки затрат используйте калькулятор цен Azure.

Шифрование данных в вычислительных ресурсах

Машинное обучение Azure использует ресурсы вычислений для обучения и развертывания моделей машинного обучения. В следующей таблице описаны параметры вычислений и способ шифрования данных.

Службы вычислений	Шифрование
Служба Azure Kubernetes	Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом. Дополнительные сведения см. в статье "Перенос собственных ключей с дисками Azure" в Служба Azure Kubernetes.
Вычислительная операция Машинного обучения Azure	Локальный диск царапин шифруется, если включить hbi_workspace флаг рабочей области.
Вычислительный кластер Машинного обучения Azure	Диск ОС шифруется в служба хранилища Azure с помощью ключей, управляемых Корпорацией Майкрософт. Временный диск шифруется при включении флага hbi_workspace рабочей области.

Вычислительный кластер

Вычислительные кластеры имеют локальное хранилище дисков ОС и могут подключать данные из учетных записей хранения в подписке во время задания. При подключении данных из собственной учетной записи хранения в задании можно включить ключи, управляемые клиентом, в этих учетных записях хранения для шифрования.

Диск ОС для каждого вычислительного узла хранится в служба хранилища Azure и всегда шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure, а не с ключами, управляемыми клиентом. Этот целевой объект вычислений является временным, поэтому данные, хранящиеся на диске ОС, удаляются после уменьшения масштаба кластера. Кластеры обычно масштабируются, если задания не помещаются в очередь, автомасштабирование включено, а минимальное число узлов равно нулю. Базовая виртуальная машина отозвана, а диск ОС удаляется.

Шифрование дисков Azure не поддерживается для диска ОС. Каждая виртуальная машина также имеет локальный временный диск для операций ОС. При необходимости можно использовать диск для размещения данных для обучения. Если вы создаете рабочую область с заданным параметром hbi_workspace TRUE, временный диск шифруется. Эта среда является короткой (только во время задания), а поддержка шифрования ограничена только ключами, управляемыми системой.

Вычислительная операция

Диск ОС для вычислительного экземпляра шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure. Если вы создаете рабочую область с hbi_workspace заданным параметром TRUE, локальный временный диск на вычислительном экземпляре шифруется с помощью ключей, управляемых Корпорацией Майкрософт. Шифрование ключей, управляемых клиентом, не поддерживается для ос и временных дисков.

Хранение зашифрованных метаданных рабочей области

При вводе собственного ключа шифрования метаданные службы хранятся в выделенных ресурсах в подписке Azure. Корпорация Майкрософт создает отдельную группу ресурсов в подписке для этой цели: azureml-rg-workspacename_GUID. Только корпорация Майкрософт может изменять ресурсы в этой управляемой группе ресурсов.

Корпорация Майкрософт создает следующие ресурсы для хранения метаданных для рабочей области:

Service	Использование	Демонстрационные данные
Azure Cosmos DB	Хранит данные журнала заданий, метаданные вычислений и метаданные ресурса.	Данные могут включать имя задания, состояние, порядковый номер и состояние; имя вычислительного кластера, количество ядер и количество узлов; имена и теги хранилища данных, а также описания ресурсов, таких как модели; и имена меток данных.
Поиск с использованием ИИ Azure	Хранит индексы, которые помогают запрашивать содержимое машинного обучения.	Эти индексы основаны на данных, хранящихся в Azure Cosmos DB.
Хранилище Azure	Сохраняет метаданные, связанные с данными конвейера Машинное обучение Azure.	Данные могут включать имена конвейеров конструктора, макет конвейера и свойства выполнения.

С точки зрения управления жизненным циклом данных данные в предыдущих ресурсах создаются и удаляются при создании и удалении соответствующих объектов в Машинное обучение Azure.

Ваша Машинное обучение Azure рабочая область считывает и записывает данные с помощью управляемого удостоверения. Это удостоверение предоставляется доступ к ресурсам через назначение ролей (управление доступом на основе ролей Azure) для ресурсов данных. Предоставленный ключ шифрования используется для шифрования данных, хранящихся в управляемых корпорацией Майкрософт ресурсах. Во время выполнения ключ также используется для создания индексов для поиска ИИ Azure.

Дополнительные сетевые элементы управления настраиваются при создании конечной точки приватного канала в рабочей области, чтобы обеспечить входящие подключения. Эта конфигурация включает создание подключения конечной точки приватного канала к экземпляру Azure Cosmos DB. Доступ к сети ограничен только доверенными службы Майкрософт.

(предварительная версия) Шифрование метаданных на стороне службы

Новая архитектура для рабочей области шифрования ключей, управляемой клиентом, доступна в предварительной версии, что снижает затраты по сравнению с текущей архитектурой и снижает вероятность конфликтов политик Azure. В этой новой модели зашифрованные данные хранятся на стороне службы на управляемых корпорацией Майкрософт ресурсах, а не в подписке.

Данные, ранее хранящиеся в Azure Cosmos DB в вашей подписке, хранятся в мультитенантных ресурсах, управляемых Корпорацией Майкрософт, с шифрованием на уровне документа с помощью ключа шифрования. Индексы поиска, ранее хранящиеся в службе "Поиск ИИ Azure" в подписке, хранятся в управляемых майкрософт ресурсах, подготовленных для каждой рабочей области. Плата за экземпляр поиска ИИ Azure взимается в соответствии с вашей рабочей областью Машинное обучение Azure в Службе управления затратами Майкрософт.

Метаданные конвейеров, ранее хранящиеся в учетной записи хранения в управляемой группе ресурсов, теперь хранятся в учетной записи хранения в подписке, связанной с рабочей областью Машинное обучение Azure. Так как этот служба хранилища Azure ресурс управляется отдельно в подписке, вы несете ответственность за настройку параметров шифрования в ней.

Чтобы выбрать эту предварительную версию, задайте enableServiceSideCMKEncryption rest API или в шаблоне Bicep или Resource Manager. Кроме того, можно использовать портал Azure. Доступность предварительной версии зависит от типа рабочей области:

Вид	Поддерживается
По умолчанию.	Да
Узел	No
Project	No

Примечание.

Во время этой предварительной версии возможности смены ключей и меток данных не поддерживаются. Шифрование на стороне сервера в настоящее время не поддерживается в ссылке на Azure Key Vault для хранения ключа шифрования с отключенным доступом к общедоступной сети.

Шаблон, создающий рабочую область с шифрованием метаданных на стороне службы, см. в разделе https://github.com/azure/azure-quickstart-templates/tree/master/quickstarts/microsoft.machinelearningservices/machine-learning-workspace-cmk-service-side-encryption.

флаг hbi_workspace

Флаг можно задать hbi_workspace только при создании рабочей области. Вы не можете изменить его для существующей рабочей области.

Если этот флаг TRUEзадан, это может увеличить трудности при устранении неполадок, так как меньше данных телеметрии отправляются в корпорацию Майкрософт. Существует меньше видимости показателей успеха или типов проблем. Корпорация Майкрософт может не реагировать как упреждающее, если этот флаг имеется TRUE.

Чтобы включить hbi_workspace флаг при создании рабочей области Машинное обучение Azure, выполните действия, описанные в одной из следующих статей:

• Создание рабочей области и управление ею с помощью портал Azure или пакета SDK для Python
• Создание рабочей области и управление ею с помощью Azure CLI
• Создание рабочей области с помощью HashiCorp Terraform
• Создание рабочей области с помощью шаблонов Azure Resource Manager

Следующие шаги

• Настройка ключей, управляемых клиентом, с помощью Машинное обучение Azure