Поток сетевого трафика при использовании защищенной рабочей области
Когда вы помещаете рабочую область Машинное обучение Azure и связанные ресурсы в виртуальную сеть Azure, она изменяет сетевой трафик между ресурсами. Без виртуальной сети сетевой трафик передается через общедоступный Интернет или в центре обработки данных Azure. После внедрения виртуальной сети также может потребоваться ужесточить безопасность сети. Например, может потребоваться заблокировать входящий и исходящий обмен данными между виртуальной сетью и общедоступным Интернетом. Однако Машинному обучению Azure требуется доступ к некоторым ресурсам в интернете. Например, он использует Azure Resource Manager для развертываний и операций управления.
В этой статье перечислены необходимый трафик из общедоступного Интернета и из нее. В ней также объясняется, как сетевой трафик проходит между средой разработки клиента и защищенной рабочей областью Машинного обучения Azure в следующих сценариях:
Развертывание Студии машинного обучения Azure при помощи следующих средств:
- Используемая рабочая область
- AutoML
- Автор
- Наборы данных и хранилища данных
Студия машинного обучения Azure — это веб-интерфейс, который выполняется частично в веб-браузере. Он вызывает службы Azure для выполнения таких задач, как обучение модели, использование конструктора или просмотр наборов данных. Некоторые из этих вызовов используют другой поток связи, отличный от использования пакета SDK Машинное обучение Azure, Azure CLI, REST API или Visual Studio Code.
Используя Студия машинного обучения Azure, пакет SDK Машинное обучение Azure, Azure CLI или REST API для работы:
- Вычислительными экземплярами и кластерами
- Служба Azure Kubernetes (AKS)
- Образы Docker, управляемые Машинное обучение Azure
Если сценарий или задача не перечислены здесь, он должен работать с защищенной рабочей областью или без нее.
Предположения
В этой статье предполагается использование следующей конфигурации:
- Рабочая область Машинное обучение Azure использует частную конечную точку для взаимодействия с виртуальной сетью.
- Учетная запись хранения Azure, хранилище ключей и реестр контейнеров, используемые рабочей областью, также использует частную конечную точку для взаимодействия с виртуальной сетью.
- Клиентские рабочие станции используют VPN-шлюз или Azure ExpressRoute для доступа к виртуальной сети.
Требования к входящим и исходящим данным
| Сценарий | Обязательные входящие | Обязательные исходящие | Дополнительная настройка |
|---|---|---|---|
| Доступ к рабочей области из студии | Нет данных |
|
Может потребоваться использовать пользовательский DNS-сервер. Дополнительные сведения см. в статье "Использование рабочей области с пользовательским DNS-сервером". |
| Использование AutoML, конструктора, набора данных и хранилища данных из студии | Неприменимо | Неприменимо |
|
| Использование вычислительного экземпляра и вычислительного кластера |
|
|
При использовании брандмауэра создайте определяемые пользователем маршруты. Дополнительную информацию см. в статье Настройка входящего и исходящего сетевого трафика. |
| Использование Служба Azure Kubernetes | Нет данных | Сведения о конфигурации исходящего трафика для AKS см. в разделе "Безопасная Служба Azure Kubernetes среда вывода". | |
| Использование образов Docker, управляемых Машинное обучение Azure | Нет данных | Реестр артефактов Microsoft | Если реестр контейнеров для рабочей области находится за виртуальной сетью, настройте рабочую область для создания образов с помощью вычислительного кластера. Дополнительные сведения см. в статье "Защита рабочей области Машинное обучение Azure с помощью виртуальных сетей". |
Цели учетных записей хранения
Машинное обучение Azure использует несколько учетных записей хранения. Каждый хранит разные данные и имеет разные цели:
Ваше хранилище: учетные записи хранения в подписке Azure хранят данные и артефакты, такие как модели, обучающие данные, журналы обучения и скрипты Python. Например, учетная запись хранения по умолчанию для рабочей области находится в вашей подписке. В этом хранилище Машинное обучение Azure вычислительный экземпляр и данные доступа к вычислительным кластерам в этом хранилище через порты 445 (S МБ) и 443 (HTTPS).
При использовании вычислительного экземпляра или вычислительного кластера учетная запись хранения подключается в качестве общей папки через протокол S МБ. Вычислительный экземпляр и кластер используют эту общую папку для хранения таких элементов, как данные, модели, записные книжки Jupyter и наборы данных. Вычислительный экземпляр и кластер используют частную конечную точку при доступе к учетной записи хранения.
Хранилище Майкрософт: Машинное обучение Azure вычислительный экземпляр и вычислительный кластер используют пакетная служба Azure. Они получают доступ к хранилищу, расположенному в подписке Майкрософт. Это хранилище используется только для управления вычислительным экземпляром или кластером. Ваши данные в нем не хранятся. Вычислительный экземпляр и вычислительный кластер обращаются к данным больших двоичных объектов, таблиц и очередей в этом хранилище с помощью порта 443 (HTTPS).
Машинное обучение Azure хранит метаданные в экземпляре Azure Cosmos DB. По умолчанию этот экземпляр размещается в подписке Майкрософт, а корпорация Майкрософт управляет ею. При необходимости можно использовать экземпляр Azure Cosmos DB в подписке Azure. Дополнительные сведения см. в статье Шифрование данных с помощью службы «Машинное обучение Azure».
Сценарий. Доступ к рабочей области из студии
Примечание.
Сведения в этом разделе относятся к использованию рабочей области из Студия машинного обучения Azure. Если вы используете пакет SDK для Машинное обучение Azure, REST API, Azure CLI или Visual Studio Code, сведения в этом разделе не применяются к вам.
При доступе к рабочей области из студии потоки сетевого трафика приведены следующим образом:
- Для проверки подлинности в ресурсах конфигурация использует идентификатор Microsoft Entra.
- Для операций управления и развертывания конфигурация использует Azure Resource Manager.
- Для задач, относящихся к Машинное обучение Azure, конфигурация использует службу Машинное обучение Azure.
- Для доступа к Студия машинного обучения Azure конфигурация использует Azure Front Door.
- Для большинства операций с хранилищем трафик проходит через частную конечную точку хранилища по умолчанию для рабочей области. Использование AutoML, конструктора, набора данных и хранилища данных из раздела студии в этой статье описывает исключения.
- Кроме того, необходимо настроить решение DNS, позволяющее разрешать имена ресурсов в виртуальной сети. Дополнительные сведения см. в статье "Использование рабочей области с пользовательским DNS-сервером".
Сценарий. Использование AutoML, конструктора, набора данных и хранилища данных из студии
Следующие признаки Студии машинного обучения Azure используют профилирование данных.
- Набор данных. Изучение набора данных из студии.
- Конструктор. Визуализация выходных данных модуля.
- AutoML: просмотр предварительного просмотра или профиля данных и выбор целевого столбца.
- Маркировка. Используйте метки для подготовки данных к проекту машинного обучения.
Профилирование данных зависит от способности управляемой службы Машинное обучение Azure получить доступ к учетной записи хранения Azure по умолчанию для рабочей области. Управляемая служба не существует в виртуальной сети, поэтому она не может напрямую получить доступ к учетной записи хранения в виртуальной сети. Вместо этого для доступа к хранилищу в рабочей области используется субъект-служба.
Совет
При создании рабочей области можно указать субъект-службу. Если вы этого не сделали, он создается для вас и имеет то же имя, что и ваша рабочая область.
Чтобы разрешить доступ к учетной записи хранения, настройте учетную запись хранения, чтобы разрешить экземпляр ресурса рабочей области или выберите "Разрешить службам Azure" в списке доверенных служб доступ к этой учетной записи хранения. Этот параметр позволяет управляемой службе получать доступ к хранилищу через сеть центра обработки данных Azure.
Затем добавьте субъект-службу для рабочей области в роль читателя в частную конечную точку учетной записи хранения. Azure использует эту роль для проверки сведений о рабочей области и подсети хранилища. Если они одинаковы, Azure разрешает доступ. Наконец, субъекту-службе также требуется доступ к учетной записи хранения для участника данных большого двоичного объекта.
Дополнительные сведения см. в разделе "Безопасные учетные записи хранения Azure" статьи "Защита рабочей области Машинное обучение Azure с помощью виртуальных сетей".
Сценарий. Использование вычислительного экземпляра и вычислительного кластера
Машинное обучение Azure вычислительный экземпляр и вычислительный кластер — это управляемые службы, на которых размещается Корпорация Майкрософт. Они созданы на основе пакетной службы Azure. Хотя они существуют в управляемой корпорацией Майкрософт среде, они также внедряются в виртуальную сеть.
При создании вычислительного экземпляра или вычислительного кластера в виртуальной сети также создаются следующие ресурсы:
Группа безопасности сети с необходимыми правилами исходящего трафика. Эти правила разрешают входящий доступ из Машинное обучение Azure (TCP через порт 44224) и пакетная служба Azure (TCP на портах 29876-29877).
Внимание
Если вы используете брандмауэр для блокировки доступа к Интернету в виртуальной сети, необходимо настроить брандмауэр, чтобы разрешить этот трафик. Например, с помощью Брандмауэр Azure можно создать определяемые пользователем маршруты. Дополнительную информацию см. в статье Настройка входящего и исходящего сетевого трафика.
Подсистема балансировки нагрузки с общедоступным IP-адресом.
Также разрешите исходящий доступ к следующим тегам службы. Для каждого тега замените region регион Azure вычислительного экземпляра или кластера:
Storage.region: этот исходящий доступ используется для подключения к учетной записи хранения Azure в пакетная служба Azure управляемой виртуальной сети.Keyvault.region: этот исходящий доступ используется для подключения к учетной записи Azure Key Vault в пакетная служба Azure управляемой виртуальной сети.
Доступ к данным из вычислительного экземпляра или кластера проходит через частную конечную точку учетной записи хранения для виртуальной сети.
При использовании Visual Studio Code в вычислительном экземпляре необходимо разрешить другой исходящий трафик. Дополнительную информацию см. в статье Настройка входящего и исходящего сетевого трафика.
Сценарий. Использование сетевых конечных точек
Безопасность для входящих и исходящих подключений настраивается отдельно для управляемых конечных точек в Сети.
Входящий обмен данными
Вы можете защитить входящий обмен данными с URL-адресом оценки конечной точки в Сети с помощью public_network_access флага в конечной точке. Задание флага для disabled обеспечения того, чтобы конечная точка в Сети получала трафик только из виртуальной сети клиента через частную конечную точку рабочей области Машинное обучение Azure.
Флаг public_network_access рабочей области Машинное обучение Azure также управляет видимостью веб-конечной точки. В этом флаге disabledконечные точки оценки можно получить только из виртуальных сетей, содержащих частную конечную точку для рабочей области. Если этот флаг имеется enabled, конечная точка оценки может быть получена из виртуальной сети и общедоступных сетей.
Исходящее взаимодействие
Вы можете защитить исходящее взаимодействие от развертывания на уровне рабочей области с помощью изоляции управляемой виртуальной сети для рабочей области Машинное обучение Azure. Использование этого параметра приводит к тому, что Машинное обучение Azure создать управляемую виртуальную сеть для рабочей области. Любые развертывания в управляемой виртуальной сети рабочей области могут использовать частные конечные точки виртуальной сети для исходящего взаимодействия.
Устаревший метод сетевой изоляции для защиты исходящего трафика работал путем отключения флага egress_public_network_access развертывания. Настоятельно рекомендуется защитить исходящее взаимодействие для развертываний с помощью управляемой рабочей области виртуальной сети . В отличие от устаревшего подхода, egress_public_network_access флаг развертывания больше не применяется при использовании управляемой рабочей области виртуальной сети с развертыванием. Вместо этого правила, заданные для исходящего трафика управляемой виртуальной сети рабочей области.
Сценарий: использование Службы Azure Kubernetes
Сведения о требуемой конфигурации исходящего трафика для Служба Azure Kubernetes см. в статье "Защита среды вывода Машинное обучение Azure с помощью виртуальных сетей".
Примечание.
Подсистема балансировки нагрузки Служба Azure Kubernetes не совпадает с подсистемой балансировки нагрузки, которая Машинное обучение Azure создает. Если вы хотите разместить модель как защищенное приложение, доступное только в виртуальной сети, используйте внутреннюю подсистему балансировки нагрузки, которая Машинное обучение Azure создает. Если вы хотите разрешить общедоступный доступ, используйте общедоступную подсистему балансировки нагрузки, которая Машинное обучение Azure создает.
Если для модели требуется дополнительная возможность входящего или исходящего подключения, например для внешнего источника данных, используйте группу безопасности сети или брандмауэр, чтобы разрешить трафик.
Сценарий. Использование образов Docker, управляемых Машинное обучение Azure
Машинное обучение Azure предоставляет образы Docker, которые можно использовать для обучения моделей или вывода. Эти изображения размещаются в Реестр артефактов Microsoft.
Если вы предоставляете собственные образы Docker, например в предоставленном реестре контейнеров, вам не нужен исходящий обмен данными с реестром артефактов.
Совет
Если реестр контейнеров защищен в виртуальной сети, Машинное обучение Azure его нельзя использовать для создания образов Docker. Вместо этого необходимо назначить вычислительный кластер Машинного обучения Azure для компиляции изображений. Дополнительные сведения см. в статье "Защита рабочей области Машинное обучение Azure с помощью виртуальных сетей".
Следующие шаги
Теперь, когда вы узнали, как потоки сетевого трафика в защищенной конфигурации, узнайте больше о защите Машинное обучение Azure в виртуальной сети, прочитав статью обзора об изоляции виртуальной сети и конфиденциальности.
Дополнительные сведения о рекомендациях см. в статье "Рекомендации по Машинному обучению Azure для обеспечения безопасности предприятий".