Использование Приватного канала Azure для Фабрики данных Azure
Область применения:
Фабрика данных Azure 
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
С помощью Приватного канала Azure можно подключаться к развертыванию различных платформ как служб (PaaS) в Azure через частную конечную точку. Частная конечная точка — это частный IP-адрес в определенной виртуальной сети и подсети. Список развертываний PaaS, поддерживающих возможности Приватного канала, см. на странице документации Приватного канала.
Защита обмена данными между сетями клиентов и Фабрикой данных
Виртуальную сеть Azure можно настроить как логическое представление сети в облаке. Такой подход дает следующие преимущества:
- Вы можете защитить ресурсы Azure от атак в общедоступных сетях.
- Вы можете обеспечить безопасное взаимодействие сетей и фабрики данных.
Локальные сети можно также подключать к виртуальной сети. Настройте VPN-подключение по протоколу IPsec (подключение типа "сеть — сеть"). Можно также настроить подключение Azure ExpressRoute. Это частное пиринговое соединение.
Вы также можете установить локальную среду выполнения интеграции на локальном компьютере или в виртуальной машине в виртуальной сети. Это позволит вам:
- выполнять действия копирования между облачными хранилищами данных и хранилищем данных в частной сети;
- обрабатывать действия преобразования для вычислительных ресурсов в локальной сети или виртуальной сети Azure.
Между Фабрикой данных Azure и виртуальной сетью клиента требуется несколько коммуникационных каналов, как показано в следующей таблице.
| Домен | Порт | Description |
|---|---|---|
adf.azure.com |
443 | Портал фабрики данных, необходимый для разработки и мониторинга фабрики данных. |
*.{region}.datafactory.azure.net |
443 | Требуется локальной среде выполнения интеграции для подключения к фабрике данных. |
*.servicebus.windows.net |
443 | Требуется локальной среде выполнения интеграции для интерактивной разработки. |
download.microsoft.com |
443 | Требуется локальной среде выполнения интеграции для скачивания обновлений. |
Примечание.
Отключение доступа к общедоступной сети применяется только к локальной среде выполнения интеграции, а не к среде выполнения интеграции Azure или среде выполнения интеграции SQL Server Integration Services.
Связь со службой "Фабрика данных" осуществляется с помощью Приватного канала и обеспечивает безопасную закрытую связь.
Включение службы "Приватный канал" для каждого из предыдущих каналов связи обеспечивает следующие функциональные возможности.
Поддерживается:
- Вы можете осуществлять разработку и мониторинг на портале фабрики данных в виртуальной сети, даже если вы блокируете все исходящие подключения. Если вы создали частную конечную точку для портала, другие пользователи по-прежнему могут получить доступ к порталу фабрики данных через общедоступную сеть.
- Взаимодействие между локальной средой выполнения интеграции и службой "Фабрика данных" может быть безопасно реализовано в среде частной сети. Трафик между локальной средой IR и Фабрикой данных передается по приватному каналу.
Не поддерживается в текущей версии:
- Интерактивная разработка, в которой используется локальная среда выполнения интеграции, например проверка подключения, просмотр списка папок и списка таблиц, получение схемы и предварительный просмотр данных, осуществляется через Приватный канал. Обратите внимание, что трафик проходит через приватную ссылку, если включена автономная интерактивная разработка. См . автономные интерактивные разработки.
Примечание.
Получение IP-адреса и журнал отправки не поддерживаются, если включена автономная интерактивная разработка.
- Новая версия локальной среды выполнения интеграции, которая может быть автоматически скачана из центра загрузки Майкрософт при включении автоматического обновления, в настоящее время не поддерживается.
Для функций, которые в настоящее время не поддерживаются, необходимо настроить ранее упомянутый домен и порт в виртуальной сети или в корпоративном брандмауэре.
Подключение к Фабрике данных через закрытую конечную точку применимо только к локальной среде выполнения интеграции в фабрике данных. Эта функция не поддерживается в Azure Synapse Analytics.
Предупреждение
Если вы включаете приватный канал в фабрике данных и одновременно блокируете общий доступ, рекомендуется хранить свои учетные данные в хранилище ключей Azure, чтобы обеспечить их безопасность.
Настройка частной конечной точки для обмена данными между локальной средой выполнения интеграции и Фабрикой данных
В этом разделе описывается настройка частной конечной точки для обмена данными между локальной средой выполнения интеграции и Фабрикой данных.
Создание частной конечной точки и настройка приватного канала для Фабрики данных
Частная конечная точка создается в виртуальной сети для обмена данными между локальной средой выполнения интеграции и службой Фабрики данных. Выполните инструкции из раздела Настройка канала частной конечной точки для Фабрики данных.
Убедитесь, что конфигурация DNS правильна
Выполните инструкции из раздела Изменения DNS для частных конечных точек, чтобы проверить или настроить параметры DNS.
Добавьте полные доменные имена Azure Relay и центра загрузки в список разрешений брандмауэра
Если локальная среда выполнения интеграции установлена на виртуальной машине в виртуальной сети, разрешите исходящий трафик к указанным ниже полным доменным именам в NSG виртуальной сети.
Если локальная среда выполнения интеграции установлена на компьютере в локальной среде, разрешите исходящий трафик к приведенным ниже полным доменным именам в брандмауэре локальной среды и в NSG виртуальной сети.
| Домен | Порт | Description |
|---|---|---|
*.servicebus.windows.net |
443 | Требуется локальной среде выполнения интеграции для интерактивной разработки |
download.microsoft.com |
443 | Требуется локальной среде выполнения интеграции для скачивания обновлений |
Если вы не разрешаете предыдущий исходящий трафик в брандмауэре и NSG, локальная среда IR отображается со статусом Ограничено. Но вы по-прежнему можете использовать ее для выполнения действий. Не работают только интерактивная разработка и автоматическое обновление.
Примечание.
Если одна фабрика данных (общая) имеет локальную среду IR, и эту локальную среду IR используют также другие фабрики данных (связанные), необходимо создать частную конечную точку для общей фабрики данных. Другие связанные фабрики данных могут использовать этот приватный канал для обмена данными между локальной средой IR и Фабрикой данных.
Примечание.
В настоящее время мы не поддерживаем создание частной связи между локальной средой выполнения интеграции и рабочей областью Synapse Analytics. И локальная среда выполнения интеграции по-прежнему может взаимодействовать с Synapse, даже если защита от кражи данных включена в рабочей области Synapse.
Изменения DNS для частных конечных точек
При создании частной конечной точки запись ресурса DNS CNAME для Фабрики данных обновляется и получает псевдоним в поддомене с префиксом privatelink. По умолчанию мы также создаем частную зону DNS, соответствующую поддомену privatelink, с записями A ресурсов DNS для частных конечных точек.
URL-адреса конечной точки фабрики данных из-за пределов виртуальной сети с частной конечной точкой разрешаются в общедоступную конечную точку службы Фабрики данных. Если разрешение выполняется из виртуальной сети, в которой размещается эта конечная точка, то к качестве URL-адреса конечной точки Azure Purview используется IP-адрес частной конечной точки.
В приведенном выше примере записи ресурсов DNS для Фабрики данных DataFactoryA при разрешении из-за пределов виртуальной сети, в которой размещается частная конечная точка, будут следующими:
| Имя. | Тип | значение |
|---|---|---|
| DataFactoryA.{region}.datafactory.azure.net | CNAME | < Общедоступная конечная точка Фабрики данных > |
| < Общедоступная конечная точка Фабрики данных > | а | < Общедоступный IP-адрес Фабрики данных > |
Записи ресурсов DNS для DataFactoryA (если они разрешаются в виртуальной сети, в которой размещена частная конечная точка) будут следующими:
| Имя. | Тип | значение |
|---|---|---|
| DataFactoryA.{region}.datafactory.azure.net | CNAME | DataFactoryA.{region}.privatelink.datafactory.azure.net |
| DataFactoryA.{region}.privatelink.datafactory.azure.net | а | < IP-адрес частной конечной точки > |
При использовании пользовательского DNS-сервера в сети клиенты должны иметь возможность разрешить полное доменное имя для конечной точки фабрики данных в IP-адрес частной конечной точки. Необходимо настроить DNS-сервер для делегирования поддомена Приватного канала в частную зону DNS для виртуальной сети. Также можно настроить записи A для DataFactoryA. {region}.datafactory.azure.net с IP-адресом частной конечной точки.
Примечание.
В настоящее время существует только одна конечная точка портала Фабрики данных, поэтому для портала в зоне DNS существует только одна частная конечная точка. При попытке создать вторую или последующую частную конечную точку портала ранее созданная частная запись DNS для портала будет перезаписана.
Настройка канала частной конечной точки для Фабрики данных
В этом разделе рассматривается настройка канала частной конечной точки для Фабрики данных.
Можно указать, следует ли подключать локальную среду выполнения интеграции к Фабрике данных через общедоступную или частную конечную точку на этапе создания фабрики данных, как показано ниже:
После создания можно в любое время изменить свой выбор на странице портала Фабрики данных в колонке Сеть. После включения в этой колонке частной конечной точки необходимо также добавить частную конечную точку в фабрику данных.
Для частной конечной точки требуется виртуальная сеть и подсеть для канала. В данном примере виртуальная машина в подсети будет использоваться для запуска локальной среды выполнения интеграции (SHIR), подключаясь по каналу частной конечной точки.
Создание виртуальной сети
При отсутствии виртуальной сети, которую можно было бы использовать в канале частной конечной точки, необходимо создать ее и назначить подсеть.
Войдите на портал Azure.
В левом верхнем углу экрана выберите элементы Создать ресурс>Сеть>Виртуальная сеть или найдите раздел Виртуальная сеть с помощью функции поиска.
В подменю Создать виртуальную сеть введите или выберите следующую информацию на вкладке Основные сведения:
Параметр Value Сведения о проекте Отток подписок Выберите свою подписку Azure. Группа ресурсов Выберите группу ресурсов для виртуальной сети. Сведения об экземпляре Имя. Укажите имя виртуальной сети. Область/регион Важно. Выберите тот же регион, который использует частная конечная точка. Откройте вкладку IP-адрес или щелкните Далее: IP-адреса внизу страницы.
На вкладке IP-адреса укажите следующие сведения:
Параметр Значение Диапазон IPv4-адресов Введите 10.1.0.0/16. В разделе Имя подсети выберите по умолчанию.
В окне Изменение подсети введите следующие сведения:
Параметр Значение Имя подсети Укажите имя своей подсети. Диапазон адресов подсети Введите 10.1.0.0/24. Выберите Сохранить.
Перейдите на вкладку Просмотр и создание или нажмите кнопку Просмотр и создание.
Нажмите кнопку создания.
Создание виртуальной машины для локальной среды IR
Необходимо также создать или назначить существующую виртуальную машину для запуска локальной среды выполнения интеграции в новой подсети, созданной в предыдущих шагах.
В левой верхней части портала выберите Создать ресурс>Вычисления>Виртуальная машина или выполните поиск по словам виртуальная машина в поле поиска.
В разделе Создание виртуальной машины на вкладке Основные сведения введите или выберите следующие значения:
Параметр Значение Сведения о проекте Отток подписок Выберите свою подписку Azure. Группа ресурсов Выберите группу ресурсов. Сведения об экземпляре Virtual machine name Введите имя виртуальной машины. Область/регион Выберите регион, используемый для виртуальной сети. Параметры доступности Выберите Избыточность инфраструктуры не требуется. Изображения Выберите Windows Server 2019 Datacenter-Gen1 (или любой другой образ Windows, поддерживающий локальную среду выполнения интеграции). Экземпляр точки Azure Выберите Нет. Размер Выберите размер виртуальной машины или используйте значение по умолчанию. Учетная запись администратора Username Введите имя пользователя. Пароль Введите пароль. Подтверждение пароля Повторно введите пароль. Выберите вкладку Сети или Далее: диски, а затем >Далее: сеть.
На вкладке Сети укажите следующее.
Параметр Значение Сетевой интерфейс Виртуальная сеть Выберите созданную ранее виртуальную сеть. Подсеть Выберите созданную подсеть. Общедоступный IP-адрес Выберите Отсутствует. Группа безопасности сети сетевого адаптера Базовый. Общедоступные входящие порты Выберите Отсутствует. Выберите Review + create (Просмотреть и создать).
Проверьте параметры, а затем нажмите кнопку Создать.
Примечание.
Azure предоставляет IP-адрес исходящего доступа по умолчанию для виртуальных машин, которые либо не назначены общедоступным IP-адресом, либо находятся в серверном пуле внутренней подсистемы балансировки нагрузки Azure. Механизм IP-адреса исходящего трафика по умолчанию предоставляет исходящий IP-адрес, который нельзя настроить.
IP-адрес исходящего доступа по умолчанию отключен при возникновении одного из следующих событий:
- Общедоступный IP-адрес назначается виртуальной машине.
- Виртуальная машина размещается в серверном пуле стандартной подсистемы балансировки нагрузки с правилами исходящего трафика или без нее.
- Ресурс шлюза NAT Azure назначается подсети виртуальной машины.
Виртуальные машины, созданные с помощью масштабируемых наборов виртуальных машин в гибком режиме оркестрации, не имеют исходящего доступа по умолчанию.
Дополнительные сведения об исходящих подключениях в Azure см. в статье об исходящем доступе по умолчанию в Azure и использовании преобразования исходящих сетевых адресов (SNAT) для исходящих подключений.
Создание частной конечной точки
В последнюю очередь необходимо создать частную конечную точку в фабрике данных.
На странице портала Фабрики данных Azure выберите вкладку Сети> и Подключения к частной конечной точке, а затем выберите Добавить частную конечную точку.
В окне Создание частной конечной точки на вкладке Основы введите или выберите следующую информацию:
Параметр Значение Сведения о проекте Отток подписок Выберите свою подписку. Группа ресурсов Выберите группу ресурсов. Сведения об экземпляре Имя. Введите имя конечной точки. Область/регион Выберите регион виртуальной сети, созданной в предыдущем шаге. Выберите вкладку Ресурс или нажмите кнопку Далее: ресурс в нижней части экрана.
В области Ресурс введите или выберите следующую информацию:
Параметр Значение Способ подключения Выберите Подключиться к ресурсу Azure в моем каталоге. Отток подписок Выберите свою подписку. Тип ресурса Выберите Microsoft.Datafactory/factories. Ресурс Выбор фабрики данных. Целевой подресурс Если вы хотите использовать частную конечную точку для обмена данными между локальной средой выполнения интеграции и службой "Фабрика данных", выберите параметр datafactory для Целевого подресурса. Если вы хотите использовать закрытую частную точку для создания и мониторинга фабрики данных в виртуальной сети, выберите значение Портал для Целевого подресурса. Выберите вкладку "Конфигурация" или кнопку "Далее" в нижней части экрана.
В окне Конфигурация введите или выберите следующую информацию:
Параметр Значение Сеть Виртуальная сеть Выберите созданную ранее виртуальную сеть. Подсеть Выберите созданную подсеть. Интеграция с частной зоной DNS Интегрировать с частной зоной DNS Не изменяйте значение по умолчанию Да. Отток подписок Выберите свою подписку. Использование Azure DNS для частных доменов Оставьте значение по умолчанию для обоих подресурсов целевого объекта: 1. datafactory: (новый) privatelink.datafactory.azure.net. 2. portal: (новый) privatelink.adf.azure.com. Выберите Review + create (Просмотреть и создать).
Нажмите кнопку создания.
Ограничение доступа к ресурсам фабрики данных с помощью приватного канала
Если вы хотите ограничить доступ к ресурсам фабрики данных в подписках с помощью приватного канала, следуйте указаниям из статьи Использование портала для создания приватного канала для управления ресурсами Azure.
Известная проблема
Невозможно получить доступ к ресурсу PaaS, если обе стороны имеют доступ к приватному каналу и частной конечной точке. Это известное ограничение приватного канала и частной конечной точки.
Например, клиент A использует приватную ссылку для доступа к порталу фабрики данных A в виртуальной сети A. Если фабрика данных A не блокирует общедоступный доступ, клиент B может получить доступ к порталу фабрики данных A в виртуальной сети B через общедоступную сеть. Но если клиент Б создает частную конечную точку для фабрики данных Б в виртуальной сети Б, клиент Б больше не может получить доступ к фабрике данных A через общедоступную сеть в виртуальной сети Б.