Настройка управляемой сети для центров Azure AI Studio
Внимание
Некоторые функции, описанные в этой статье, могут быть доступны только в предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
У нас есть два аспекта сетевой изоляции. Одним из них является изоляция сети для доступа к центру Azure AI Studio. Другой — это сетевая изоляция вычислительных ресурсов для концентратора и проекта (например, для вычислительных экземпляров, бессерверных и управляемых сетевых конечных точек). В этом документе объясняется, что последний выделен на схеме. Вы можете использовать встроенную сетевую изоляцию концентратора для защиты вычислительных ресурсов.
Необходимо настроить следующие конфигурации сетевой изоляции.
- Выберите режим изоляции сети. У вас есть два варианта: разрешить исходящий режим интернета или разрешить только утвержденный исходящий режим.
- Если вы используете интеграцию Visual Studio Code с разрешенным только утвержденным режимом исходящего трафика, создайте правила исходящего трафика, описанные в разделе "Использование Visual Studio Code ".
- Если вы используете модели HuggingFace в моделях с разрешенным только утвержденным режимом исходящего трафика, создайте правила исходящего трафика, описанные в разделе об использовании моделей HuggingFace.
- Если вы используете одну из моделей с открытым исходным кодом, разрешая только утвержденный режим исходящего трафика, создайте правила исходящего трафика, описанные в разделе azure AI .
Архитектура и режимы изоляции сети
При включении изоляции управляемой виртуальной сети для концентратора создается управляемая виртуальная сеть. Управляемые вычислительные ресурсы, создаваемые для концентратора, автоматически используют эту управляемую виртуальную сеть. Управляемая виртуальная сеть может использовать частные конечные точки для ресурсов Azure, используемых центром, например служба хранилища Azure, Azure Key Vault и Реестр контейнеров Azure.
Существует три разных режима конфигурации для исходящего трафика из управляемой виртуальной сети:
Исходящий режим | Description | Сценарии |
---|---|---|
Разрешить исходящий интернет | Разрешить весь исходящий трафик через Интернет из управляемой виртуальной сети. | Требуется неограниченный доступ к ресурсам машинного обучения в Интернете, например пакетам Python или предварительно обученным моделям.1 |
Разрешить только утвержденный исходящий трафик | Исходящий трафик разрешен путем указания тегов службы. | * Вы хотите свести к минимуму риск кражи данных, но необходимо подготовить все необходимые артефакты машинного обучения в частной среде. * Необходимо настроить исходящий доступ к утвержденному списку служб, тегов служб или полных доменных имен. |
Выключено | Входящий и исходящий трафик не ограничены. | Требуется общедоступный входящий и исходящий трафик из концентратора. |
1 . Правила исходящего трафика можно использовать с разрешением только утвержденного режима исходящего трафика, чтобы добиться того же результата, что и использование исходящего трафика в Интернете. Различия описаны ниже.
- Всегда используйте частные конечные точки для доступа к ресурсам Azure.
- Необходимо добавить правила для каждого исходящего подключения, который необходимо разрешить.
- Добавление правил исходящего трафика полного доменного имени увеличивает затраты, так как этот тип правила использует Брандмауэр Azure. Если вы используете правила исходящего полного доменного имени, плата за Брандмауэр Azure включается в выставление счетов. Дополнительные сведения см. на странице цен.
- Правила по умолчанию разрешают только утвержденный исходящий трафик , чтобы свести к минимуму риск кражи данных. Любые добавленные правила исходящего трафика могут увеличить риск.
Управляемая виртуальная сеть предварительно настроена с обязательными правилами по умолчанию. Он также настроен для подключений к частной конечной точке к концентратору, хранилища концентратора по умолчанию, реестра контейнеров и хранилища ключей, если они настроены как закрытые или режим изоляции концентратора, чтобы разрешить только утвержденный исходящий трафик. Выбрав режим изоляции, вам может потребоваться добавить только другие требования к исходящему трафику.
На следующей схеме показана управляемая виртуальная сеть, настроенная для разрешения исходящего трафика в Интернет:
На следующей схеме показана управляемая виртуальная сеть, настроенная для разрешения только утвержденного исходящего трафика:
Примечание.
В этой конфигурации хранилище, хранилище ключей и реестр контейнеров, используемые центром, помечаются как закрытые. Так как они помечены как частные, частная конечная точка используется для взаимодействия с ними.
Необходимые компоненты
Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:
Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
Поставщик ресурсов Microsoft.Network должен быть зарегистрирован для вашей подписки Azure. Этот поставщик ресурсов используется концентратором при создании частных конечных точек для управляемой виртуальной сети.
Сведения о регистрации поставщиков ресурсов см. в статье Устранение ошибок регистрации поставщика ресурсов.
Удостоверение Azure, используемое при развертывании управляемой сети, требует следующих действий управления доступом на основе ролей Azure (Azure RBAC) для создания частных конечных точек:
- Microsoft.MachineLearningServices/workspaces/privateEndpointConnections/read
- Microsoft.MachineLearningServices/workspaces/privateEndpointConnections/write
Ограничения
- Azure AI Studio в настоящее время не поддерживает создание собственной виртуальной сети, она поддерживает только изоляцию управляемой виртуальной сети.
- После включения изоляции управляемой виртуальной сети azure AI его нельзя отключить.
- Управляемая виртуальная сеть использует подключение к частной конечной точке для доступа к частным ресурсам. Для ресурсов Azure, таких как учетная запись хранения, невозможно одновременно иметь частную конечную точку и конечную точку службы. Для всех сценариев мы рекомендуем использовать частные конечные точки.
- Управляемая виртуальная сеть удаляется при удалении ИИ Azure.
- Защита от кражи данных автоматически включена для режима только одобренного исходящего трафика. При добавлении других правил исходящего трафика, таких как FQDN, Майкрософт не может гарантировать защиту от кражи данных и их передачи в эти исходящие точки назначения.
- При использовании правил исходящего трафика полное доменное имя увеличивается стоимость управляемой виртуальной сети, так как правила FQDN используют Брандмауэр Azure. Дополнительные сведения см. на странице цен.
- В правилах исходящего трафика FQDN поддерживаются только порты 80 и 443.
- При использовании вычислительного экземпляра с управляемой сетью используйте
az ml compute connect-ssh
команду для подключения к вычислительным ресурсам с помощью SSH.
Настройка управляемой виртуальной сети для разрешения исходящего трафика в Интернет
Совет
Создание управляемой виртуальной сети откладывается до создания вычислительного ресурса или подготовки вручную. При предоставлении автоматического создания может потребоваться около 30 минут , чтобы создать первый вычислительный ресурс, так как он также подготавливает сеть.
Создайте новый концентратор:
Войдите в портал Azure и выберите Azure AI Studio в меню "Создание ресурса".
Выберите +Создать ИИ Azure.
Укажите необходимые сведения на вкладке "Основные сведения".
На вкладке "Сеть" выберите "Приватный" с исходящим интернетом.
Чтобы добавить правило исходящего трафика, выберите " Добавить определяемые пользователем правила исходящего трафика" на вкладке "Сеть ". На боковой панели правил исходящего трафика укажите следующие сведения:
- Имя правила: имя правила. Имя должно быть уникальным для этого концентратора.
- Тип назначения: частная конечная точка является единственным вариантом, если сетевая изоляция является частной с исходящим интернетом. Управляемая виртуальная сеть концентратора не поддерживает создание частной конечной точки для всех типов ресурсов Azure. Список поддерживаемых ресурсов см. в разделе "Частные конечные точки".
- Подписка: подписка, содержащая ресурс Azure, для которого требуется добавить частную конечную точку.
- Группа ресурсов: группа ресурсов, содержащая ресурс Azure, для которой требуется добавить частную конечную точку.
- Тип ресурса: тип ресурса Azure.
- Имя ресурса: имя ресурса Azure.
- Вложенный ресурс: подресурс типа ресурса Azure.
Выберите Сохранить, чтобы сохранить правило. Вы можете продолжать добавлять правила исходящего трафика, определяемые пользователем.
Продолжайте создавать концентратор как обычный.
Обновите существующий концентратор:
Войдите в портал Azure и выберите концентратор, для которого требуется включить изоляцию управляемой виртуальной сети.
Выберите "Сеть", а затем выберите "Приватный" с исходящим интернетом.
Чтобы добавить правило исходящего трафика, выберите " Добавить определяемые пользователем правила исходящего трафика" на вкладке "Сеть ". На боковой панели правил исходящего трафика укажите те же сведения, что и при создании концентратора в разделе "Создание нового концентратора".
Чтобы удалить правило исходящего трафика, выберите команду delete для правила.
Нажмите кнопку "Сохранить " в верхней части страницы, чтобы сохранить изменения в управляемой виртуальной сети.
Настройка управляемой виртуальной сети для разрешения только одобренного исходящего трафика
Совет
Управляемая виртуальная сеть автоматически подготавливается при создании вычислительного ресурса. При предоставлении автоматического создания может потребоваться около 30 минут , чтобы создать первый вычислительный ресурс, так как он также подготавливает сеть. Если вы настроили правила исходящего трафика полного доменного имени, первое полное доменное имя добавляет около 10 минут к времени подготовки.
Создайте новый концентратор:
Войдите в портал Azure и выберите Azure AI Studio в меню "Создание ресурса".
Выберите +Создать ИИ Azure.
Укажите необходимые сведения на вкладке "Основные сведения".
На вкладке "Сеть" выберите "Приватный" с утвержденным исходящим трафиком.
Чтобы добавить правило исходящего трафика, выберите " Добавить определяемые пользователем правила исходящего трафика" на вкладке "Сеть ". На боковой панели правил исходящего трафика укажите следующие сведения:
- Имя правила: имя правила. Имя должно быть уникальным для этого концентратора.
- Тип назначения: частная конечная точка, тег службы или полное доменное имя. Тег службы и полное доменное имя доступны только в том случае, если сетевая изоляция является частной с утвержденным исходящим трафиком.
Если тип назначения является частной конечной точкой, укажите следующие сведения:
- Подписка: подписка, содержащая ресурс Azure, для которого требуется добавить частную конечную точку.
- Группа ресурсов: группа ресурсов, содержащая ресурс Azure, для которой требуется добавить частную конечную точку.
- Тип ресурса: тип ресурса Azure.
- Имя ресурса: имя ресурса Azure.
- Вложенный ресурс: подресурс типа ресурса Azure.
Совет
Управляемая виртуальная сеть концентратора не поддерживает создание частной конечной точки для всех типов ресурсов Azure. Список поддерживаемых ресурсов см. в разделе "Частные конечные точки".
Если тип назначения является тегом службы, укажите следующие сведения:
- Тег службы: тег службы, добавляемый в утвержденные правила исходящего трафика.
- Протокол: протокол, позволяющий тегу службы.
- Диапазоны портов: диапазоны портов, позволяющие тегу службы.
Если тип назначения — полное доменное имя, укажите следующие сведения:
- Назначение полного доменного имени: полное доменное имя для добавления в утвержденные правила исходящего трафика.
Выберите Сохранить, чтобы сохранить правило. Вы можете продолжать добавлять правила исходящего трафика, определяемые пользователем.
Продолжайте создавать концентратор как обычный.
Обновите существующий концентратор:
Войдите в портал Azure и выберите концентратор, для которого требуется включить изоляцию управляемой виртуальной сети.
Выберите "Сеть", а затем выберите "Приватный" с утвержденным исходящим трафиком.
Чтобы добавить правило исходящего трафика, выберите " Добавить определяемые пользователем правила исходящего трафика" на вкладке "Сеть ". На боковой панели правил исходящего трафика укажите те же сведения, что и при создании концентратора в предыдущем разделе "Создание нового концентратора".
Чтобы удалить правило исходящего трафика, выберите команду delete для правила.
Нажмите кнопку "Сохранить " в верхней части страницы, чтобы сохранить изменения в управляемой виртуальной сети.
Подготовка управляемой виртуальной сети вручную
Управляемая виртуальная сеть автоматически подготавливается при создании вычислительного экземпляра. При использовании автоматической подготовки может потребоваться около 30 минут , чтобы создать первый вычислительный экземпляр, так как он также подготавливает сеть. Если вы настроили правила исходящего трафика полного доменного имени (доступно только с разрешенным только утвержденным режимом), первое полное доменное имя добавляет около 10 минут к времени подготовки. Если у вас есть большой набор правил исходящего трафика, подготовленных в управляемой сети, может потребоваться больше времени для завершения подготовки. Увеличение времени подготовки может привести к истечении времени ожидания создания первого вычислительного экземпляра.
Чтобы сократить время ожидания и избежать потенциальных ошибок времени ожидания, рекомендуется вручную подготовить управляемую сеть. Дождитесь завершения подготовки перед созданием вычислительного экземпляра.
Примечание.
Чтобы создать сетевое развертывание, необходимо вручную подготовить управляемую сеть или сначала создать вычислительный экземпляр, который будет автоматически подготавливать его.
Используйте вкладки Azure CLI или пакета SDK для Python, чтобы узнать, как вручную подготовить управляемую виртуальную сеть.
Управление правилами исходящего трафика
- Войдите в портал Azure и выберите концентратор, для которого требуется включить изоляцию управляемой виртуальной сети.
- Выберите Сети. Раздел "Исходящий доступ azure AI" позволяет управлять правилами исходящего трафика.
Чтобы добавить правило исходящего трафика, выберите " Добавить определяемые пользователем правила исходящего трафика" на вкладке "Сеть ". На боковой панели правил исходящего трафика Azure AI укажите следующие сведения:
Чтобы включить или отключить правило, используйте переключатель в столбце "Активный".
Чтобы удалить правило исходящего трафика, выберите команду delete для правила.
Список обязательных правил
Совет
Эти правила автоматически добавляются в управляемую виртуальную сеть.
Частные конечные точки:
- Если режим изоляции управляемой виртуальной сети имеет
Allow internet outbound
значение, правила исходящего трафика частной конечной точки автоматически создаются в соответствии с необходимыми правилами из управляемой виртуальной сети для концентратора и связанных ресурсов с отключенным доступом к общедоступной сети (Key Vault, учетная запись хранения, реестр контейнеров, концентратор). - Если режим изоляции управляемой виртуальной сети имеет
Allow only approved outbound
значение, правила исходящего трафика частной конечной точки автоматически создаются в соответствии с необходимыми правилами из управляемой виртуальной сети для концентратора и связанных ресурсов независимо от режима доступа к общедоступной сети для этих ресурсов (Key Vault, учетной записи хранения, реестра контейнеров, концентратора).
Правила тега исходящей службы:
AzureActiveDirectory
Azure Machine Learning
BatchNodeManagement.region
AzureResourceManager
AzureFrontDoor.FirstParty
MicrosoftContainerRegistry
AzureMonitor
Правила тега службы для входящего трафика :
AzureMachineLearning
Список определенных правил исходящего трафика сценария
Сценарий. Доступ к пакетам общедоступного машинного обучения
Чтобы разрешить установку пакетов Python для обучения и развертывания, добавьте правила для исходящего полного доменного имени, чтобы разрешить трафик следующим именам узлов:
Примечание.
Это не полный список узлов, необходимых для всех ресурсов Python в Интернете, а только наиболее часто используемые узлы. Например, если необходим доступ к репозиторию GitHub или другому узлу, необходимо определить и добавить необходимые узлы для этого сценария.
Имя узла | Целевые назначения |
---|---|
anaconda.com *.anaconda.com |
Используется для установки пакетов по умолчанию. |
*.anaconda.org |
Используется для получения данных репозитория. |
pypi.org |
Используется для вывода списка зависимостей из индекса по умолчанию, если таковые имеются, а индекс не перезаписывается параметрами пользователя. Если индекс перезаписан, необходимо также разрешить *.pythonhosted.org . |
pytorch.org *.pytorch.org |
Используется в некоторых примерах на основе PyTorch. |
*.tensorflow.org |
Используется в некоторых примерах на основе Tensorflow. |
Сценарий. Использование Visual Studio Code
Visual Studio Code использует определенные узлы и порты для установления удаленного подключения.
Узлы
Если вы планируете использовать Visual Studio Code с концентратором, добавьте правила полного доменного имени исходящего трафика, чтобы разрешить трафик на следующие узлы:
*.vscode.dev
vscode.blob.core.windows.net
*.gallerycdn.vsassets.io
raw.githubusercontent.com
*.vscode-unpkg.net
*.vscode-cdn.net
*.vscodeexperiments.azureedge.net
default.exp-tas.com
code.visualstudio.com
update.code.visualstudio.com
*.vo.msecnd.net
marketplace.visualstudio.com
pkg-containers.githubusercontent.com
github.com
Порты
Необходимо разрешить сетевой трафик портам 8704–8710. Сервер VS Code динамически выбирает первый доступный порт в этом диапазоне.
Сценарий. Использование моделей HuggingFace
Если вы планируете использовать модели HuggingFace с концентратором, добавьте правила полного доменного имени исходящего трафика, чтобы разрешить трафик на следующие узлы:
- docker.io
- *.docker.io
- *.docker.com
- production.cloudflare.docker.com
- cnd.auth0.com
- cdn-lfs.huggingface.co
Сценарий: курируемый СИ Azure
Эти модели включают динамическую установку зависимостей во время выполнения и требуют исходящих правил FQDN , чтобы разрешить трафик на следующие узлы:
*.anaconda.org *.anaconda.com anaconda.com pypi.org *.pythonhosted.org *.pytorch.org pytorch.org
Частные конечные точки
Частные конечные точки в настоящее время поддерживаются для следующих служб Azure:
- Центр AI Studio
- Поиск с использованием ИИ Azure
- Службы ИИ Azure
- Управление API Azure
- Реестр контейнеров Azure
- Azure Cosmos DB (все вложенные типы ресурсов)
- Azure Data Factory
- База данных Azure для MariaDB
- База данных Azure для MySQL
- База данных Azure для PostgreSQL — Отдельный сервер
- Гибкий сервер Базы данных Azure для PostgreSQL
- Azure Databricks
- Центры событий Azure
- Azure Key Vault
- Машинное обучение Azure
- реестры Машинное обучение Azure
- Кэш Redis для Azure
- Azure SQL Server
- служба хранилища Azure (все подтипы ресурсов)
При создании частной конечной точки укажите тип ресурса и подресурс , к которому подключается конечная точка. Некоторые ресурсы имеют несколько типов и подресурсов. Дополнительные сведения см . в разделе о частной конечной точке.
При создании частной конечной точки для ресурсов зависимостей концентратора, таких как служба хранилища Azure, Реестр контейнеров Azure и Azure Key Vault, ресурс может находиться в другой подписке Azure. Однако ресурс должен находиться в том же клиенте, что и концентратор.
Частная конечная точка автоматически создается для подключения, если целевой ресурс является ресурсом Azure, перечисленным выше. Для частной конечной точки ожидается допустимый идентификатор целевого объекта. Допустимый целевой идентификатор подключения может быть идентификатором Azure Resource Manager родительского ресурса. Идентификатор целевого объекта также ожидается в целевом объекте подключения или в metadata.resourceid
. Дополнительные сведения о подключениях см. в статье "Добавление нового подключения в Azure AI Studio".
Цены
Функция управляемой виртуальной сети концентратора бесплатна. Однако плата взимается за следующие ресурсы, используемые управляемой виртуальной сетью:
Приватный канал Azure . Частные конечные точки, используемые для защиты обмена данными между управляемой виртуальной сетью и ресурсами Azure, зависят от Приватный канал Azure. Дополнительные сведения о ценах см. в Приватный канал Azure ценах.
Правила для исходящего трафика FQDN. Правила для исходящего трафика FQDN реализованы с помощью брандмауэра Azure. Если вы используете правила исходящего полного доменного имени, плата за Брандмауэр Azure включается в выставление счетов. Брандмауэр Azure SKU является стандартным. Брандмауэр Azure подготавливается для каждого концентратора.
Внимание
Брандмауэр не создается, пока не будет добавлено правило полного доменного имени исходящего трафика. Если вы не используете правила FQDN, плата за Брандмауэр Azure не взимается. Дополнительные сведения о ценах см. в Брандмауэр Azure ценах.