Поделиться через

Определяемые пользователем параметры маршрута для Azure Databricks

  • Статья

Если рабочая область Azure Databricks развертывается в вашей виртуальной сети, можете использовать настраиваемые маршруты, также известные как определяемые пользователем маршруты (UDR), чтобы обеспечить правильную маршрутизацию сетевого трафика для рабочей области. Например, если подключить виртуальную сеть к локальной сети, трафик может проходить через локальную сеть и не дойти до уровня управления Azure Databricks. Эту проблему могут решить определяемые пользователем маршруты.

Определяемые пользователем маршруты требуются для каждого типа исходящих подключений из виртуальной сети. Теги служб Azure и IP-адреса можно использовать для определения элементов управления доступом к сети в определяемых пользователем маршрутах. Databricks рекомендует использовать теги служб Azure, чтобы предотвратить сбои служб из-за изменений IP-адресов.

Настройка определяемых пользователем маршрутов с помощью тегов службы Azure

Databricks рекомендует использовать теги службы Azure, представляющие группу префиксов IP-адресов из данной службы Azure. Корпорация Майкрософт управляет префиксами адресов, входящих в тег службы, и автоматически обновляет этот тег при изменении адресов. Это помогает предотвратить сбои служб из-за изменений IP-адресов и удаляет необходимость периодически искать эти IP-адреса и обновлять их в таблице маршрутов. Однако если политики организации запрещают теги служб, можно также указать маршруты в качестве IP-адресов.

Используя теги служб, определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Исходный код Префикс адреса Тип следующего прыжка
Значение по умолчанию Тег службы Azure Databricks Интернет
По умолчанию. Тег службы SQL Azure Интернет
По умолчанию. тег службы служба хранилища Azure Интернет
По умолчанию. тег службы Центры событий Azure Интернет

Примечание.

Вы можете добавить тег службы Microsoft Entra ID (ранее Azure Active Directory), чтобы упростить проверку подлинности идентификатора Microsoft Entra из кластеров Azure Databricks в ресурсы Azure.

Если в рабочей области включена Приватный канал Azure, тег службы Azure Databricks не требуется.

Тег службы Azure Databricks представляет IP-адреса для необходимых исходящих подключений к плоскости управления Azure Databricks, безопасного подключения к кластеру (SCC) и веб-приложения Azure Databricks.

Тег службы SQL Azure представляет IP-адреса для необходимых исходящих подключений к хранилищу метаданных Azure Databricks, а тег службы служба хранилища Azure представляет IP-адреса для хранилища BLOB-объектов артефактов и хранилища BLOB-объектов журнала. Тег службы Центры событий Azure представляет необходимые исходящие подключения для ведения журнала в Концентратор событий Azure.

Некоторые теги служб позволяют более детально контролировать, ограничив диапазоны IP-адресов указанным регионом. Например, таблица маршрутов для рабочей области Azure Databricks в регионах западной части США может выглядеть следующим образом:

Имя. Префикс адреса Тип следующего прыжка
adb-servicetag AzureDatabricks Интернет
хранилище метаданных adb Sql.WestUS Интернет
хранилище adb-storage Storage.WestUS Интернет
adb-eventhub EventHub.WestUS Интернет

Чтобы получить теги служб, необходимые для определяемых пользователем маршрутов, см . теги службы виртуальной сети.

Настройка определяемых пользователем маршрутов с IP-адресами

Databricks рекомендует использовать теги службы Azure, но если политики организации не разрешают теги служб, можно использовать IP-адреса для определения элементов управления доступом к сети на определяемых пользователем маршрутах.

Сведения зависят от того, включена ли для рабочей области Служба безопасного подключения кластера (SCC):

  • Если для рабочей области включено безопасное подключение кластера, вам потребуется определяемый пользователем маршрут, чтобы разрешить кластерам подключаться к ретранслятору с защитным подключением кластера на уровне управления. Не забудьте включить системы, отмеченные как IP-адрес ретрансляции безопасного подключения кластера для вашего региона.
  • Если для рабочей области отключено безопасное подключение кластера, то существует входящее подключение от преобразования сетевых адресов уровня управления, однако TCP SYN-ACK низкого уровня для этого подключения, с технической точки зрения являются исходящими данными, для которых требуется определяемый пользователем маршрут. Не забудьте включить системы, помеченные как IP-адрес преобразования сетевых адресов для уровня управления для своего региона.

В определяемых пользователем маршрутах должны использоваться следующие правила. Они должны связывать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Исходный код Префикс адреса Тип следующего прыжка
Значение по умолчанию IP-адрес преобразования сетевых адресов (NAT) уровня управления (если безопасное подключение кластера отключено) Интернет
По умолчанию. IP-адрес ретранслятора безопасного подключения кластера (если функция безопасного подключения кластера включена) Интернет
По умолчанию. IP-адрес Webapp Интернет
По умолчанию. IP-адрес хранилища метаданных Интернет
По умолчанию. IP-адрес хранилища больших двоичных объектов артефакта Интернет
По умолчанию. IP-адрес хранилища больших двоичных объектов журнала Интернет
По умолчанию. IP-адрес хранилища рабочей области — конечная точка хранилища BLOB-объектов Интернет
По умолчанию. IP-адрес хранилища рабочей области — конечная точка ADLS 2-гоdfs поколения Интернет
По умолчанию. IP-адрес Центров событий Интернет

Если в рабочей области включена Приватный канал Azure, определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Исходный код Префикс адреса Тип следующего прыжка
Значение по умолчанию IP-адрес хранилища метаданных Интернет
По умолчанию. IP-адрес хранилища больших двоичных объектов артефакта Интернет
По умолчанию. IP-адрес хранилища больших двоичных объектов журнала Интернет
По умолчанию. IP-адрес Центров событий Интернет

Чтобы получить IP-адреса, необходимые для определяемых пользователем маршрутов, используйте таблицы и инструкции в регионах Azure Databricks, в частности: