Сетевая изоляция в потоке запросов
Поток запросов можно защитить с помощью частных сетей. В этой статье описываются требования к использованию потока запросов в среде, защищенной частными сетями.
Задействованные службы
При разработке приложения LLM с помощью потока запроса требуется безопасная среда. Вы можете сделать следующие службы частными с помощью параметра сети.
- Рабочее пространство: вы можете сделать рабочую область Машинное обучение Azure частной и ограничить входящий и исходящий трафик.
- Вычислительный ресурс: можно также ограничить правило для входящего или исходящего трафика вычислительных ресурсов в рабочем пространстве.
- Учетная запись хранения: вы можете ограничить доступность учетной записи хранения определенной виртуальной сетью.
- Реестр контейнера: вы также хотите защитить реестр контейнеров с помощью виртуальной сети.
- Конечная точка: необходимо ограничить доступ к конечной точке для служб Azure или IP-адреса.
- Связанные с Azure Cognitive Services, такие как Azure OpenAI, безопасность содержимого Azure и поиск ИИ Azure, можно использовать конфигурацию сети, чтобы сделать их частным, а затем использовать частную конечную точку, чтобы позволить Машинное обучение Azure службам взаимодействовать с ними.
- Другие ресурсы, отличные от Azure, такие как SerpAPI и т. д. Если у вас есть строгое правило исходящего трафика, необходимо добавить полное доменное имя для доступа к ним.
Параметры в другой сети
В машинном обучении Azure есть два варианта защиты сетевой изоляции, создание собственной сети или использование управляемой виртуальной сети рабочей области. Дополнительные сведения о ресурсах безопасной рабочей области.
Ниже приведена таблица для иллюстрации параметров в разных сетях, настроенных для потока запроса.
| Входящий трафик | Исходящие | Тип вычислений в разработке | Вывод типа вычислений | Параметры сети для рабочей области |
|---|---|---|---|---|
| Общедоступный | Общедоступный | Бессерверный (рекомендуется), вычислительный экземпляр | Управляемая конечная точка в сети (рекомендуется), конечная точка K8s online | Управляемое (рекомендуется) /Bring you own |
| Private | Public | Бессерверный (рекомендуется), вычислительный экземпляр | Управляемая конечная точка в сети (рекомендуется), конечная точка K8s online | Управляемое (рекомендуется) /Bring you own |
| Общедоступные | Личные | Бессерверный (рекомендуется), вычислительный экземпляр | Управляемая сетевая конечная точка | Управляется |
| Private | Private | Бессерверный (рекомендуется), вычислительный экземпляр | Управляемая сетевая конечная точка | Управляется |
- В сценарии частной виртуальной сети рекомендуется использовать управляемую виртуальную сеть с поддержкой рабочей области. Это самый простой способ защитить рабочую область и связанные ресурсы.
- Вы также можете использовать одну рабочую область для разработки потока запроса с виртуальной сетью и другой рабочей областью для развертывания потока запроса с помощью управляемой конечной точки в сети с управляемой виртуальной сетью рабочей области.
- Мы не поддержали смешанное использование управляемой виртуальной сети и привезли собственную виртуальную сеть в одну рабочую область. И так как управляемая конечная точка в Сети поддерживает только управляемую виртуальную сеть, вы не можете развернуть поток запросов в управляемой конечной точке в сети в рабочей области, в которой включена собственная виртуальная сеть.
Безопасный поток запроса с помощью управляемой рабочей области виртуальной сети
Управляемая рабочая область виртуальной сети — это рекомендуемый способ поддержки сетевой изоляции в потоке запросов. Она обеспечивает легкое управление конфигурацией для защиты рабочей области. После включения управляемой виртуальной сети на уровне рабочей области ресурсы, связанные с рабочей областью в той же виртуальной сети, будут использовать тот же параметр сети на уровне рабочей области. Вы также можете настроить рабочую область для использования частной конечной точки для доступа к другим ресурсам Azure, таким как Azure OpenAI, безопасность содержимого Azure и поиск azure AI. Вы также можете настроить полное доменное имя для утверждения исходящего трафика к ресурсам, отличных от Azure, используемых потоком запросов, например SerpAPI и т. д.
Выполните требования Изоляции сети с управляемым рабочим пространством, чтобы включить виртуальную сеть с управляемым рабочим пространством.
Внимание
Создание управляемой виртуальной сети откладывается до создания вычислительного ресурса или подготовки вручную. Следующую команду можно использовать для активации подготовки сети вручную.
az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>Добавьте MSI рабочего пространства как
Storage File Data Privileged Contributorв связанную с ним учетную запись хранения.2.1 Перейдите к портал Azure, найдите рабочую область.
2.2. Поиск учетной записи хранения, связанной с рабочей областью.
2.3 Переход на страницу назначения ролей учетной записи хранения.
2.4. Найдите роль участника привилегированного участника файлов хранилища.
2.5 Назначение роли участника привилегированного участника файлов хранилища управляемому удостоверению рабочей области.
Примечание.
Эта операция может занять несколько минут.
Если вы хотите взаимодействовать с частными Службами Azure Cognitive Services, необходимо добавить соответствующие определенные пользователем правила исходящего трафика в связанный ресурс. Рабочая область Машинное обучение Azure создает частную конечную точку в связанном ресурсе с автоутверждением. Если состояние зависло в ожидании, перейдите к связанному ресурсу, чтобы утвердить частную конечную точку вручную.
Если вы ограничиваете исходящий трафик только для разрешения определенных назначений, необходимо добавить соответствующее правило исходящего трафика, определяемое пользователем, чтобы разрешить соответствующее FQDN (полное доменное имя).
В рабочих областях, включающих управляемую виртуальную сеть, можно развернуть поток запросов только в управляемой сетевой конечной точке. Вы можете следовать за безопасностью управляемых конечных точек в Сети с помощью сетевой изоляции , чтобы защитить управляемую конечную точку в Сети.
Безопасный поток запроса использует собственную виртуальную сеть
Сведения о том, как настроить ресурсы, связанные с Машинным обучением Azure, как частные, см. в разделе Защита ресурсов рабочего пространства.
Если у вас есть строгое правило для исходящего трафика, вам необходимо ознакомиться с разделом Требуется общий доступ в Интернет.
Добавьте MSI рабочего пространства как
Storage File Data Privileged Contributorв связанную с ним учетную запись хранения. Выполните шаг 2 в потоке запросов Secure с управляемой виртуальной сетью рабочей области.Если вы используете бессерверный тип вычислений в разработке потока, необходимо задать настраиваемую виртуальную сеть на уровне рабочей области. Дополнительные сведения о защите среды обучения Машинное обучение Azure с помощью виртуальных сетей
serverless_compute: custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name> no_public_ip: false # Set to true if you don't want to assign public IP to the computeТем временем информация о частных службах Azure Cognitive Services поможет сделать их частными.
Если вы хотите развернуть поток запросов в рабочем пространстве, защищенном собственной виртуальной сетью, можно развернуть его в кластере AKS, который находится в той же виртуальной сети. Чтобы защитить кластер AKS, следуйте инструкциям из раздела Защита среды вывода Службы Azure Kubernetes. Дополнительные сведения о развертывании потока запроса в кластере ASK с помощью кода.
Вы можете либо создать частную конечную точку в той же виртуальной сети, либо использовать пиринг между виртуальными сетями, чтобы установить связь между ними.
Известные ограничения
- Студия ИИ не поддерживает собственную виртуальную сеть, она поддерживает только управляемую виртуальную сеть рабочей области.
- Управляемая конечная точка в Сети с выбранным исходящим трафиком поддерживает только рабочую область с управляемой виртуальной сетью. Если вы хотите использовать собственную виртуальную сеть, может потребоваться одно рабочее пространство для разработки потока запросов с использованием вашей виртуальной сети и другое рабочее пространство, чтобы развертывать поток запросов с помощью управляемой сетевой конечной точки с управляемой виртуальной сетью рабочего пространства.