Поделиться через

Рекомендации по сети для федерации Lakehouse

  • Статья

В этой статье приведены рекомендации по настройке жизнеспособного сетевого пути между кластерами Azure Databricks или хранилищами SQL и внешней системой баз данных, к которым вы подключаетесь с помощью Федерации Lakehouse.

Учитывайте следующие важные сведения:

  • Весь сетевой трафик находится непосредственно между кластерами Azure Databricks (или хранилищами SQL) и внешней системой баз данных. Ни каталог Unity, ни плоскость управления Azure Databricks не находятся в сетевом пути.
  • Вычисления Azure Databricks (то есть кластеры и хранилища SQL) всегда развертываются в облаке, но внешняя система баз данных может быть локальной или размещенной на любом поставщике облачных служб, если между вычислительными ресурсами Azure Databricks и внешней базой данных существует жизнеспособный сетевой путь.
  • Если у вас есть ограничения на входящий или исходящий сетевой трафик для вычислений Azure Databricks или внешней системы базы данных, ознакомьтесь со следующими разделами, чтобы помочь вам создать жизнеспособный сетевой путь.

Дополнительные сведения о сети в рабочих областях Azure Databricks см. в статье "Сеть".

Система базы данных и Azure Databricks вычисляют как доступные из Интернета

Подключение должно работать без какой-либо конфигурации.

Система базы данных имеет ограничения доступа к сети

Если у внешней системы базы данных есть ограничения на входящий или исходящий доступ к сети, а кластер Azure Databricks или хранилище SQL доступны из Интернета, выполните следующие конфигурации в зависимости от типа вычислений:

Классические вычислительные ресурсы:

Настройте одно из следующих сетевых решений:

  • Стабильный исходящий IP-адрес в вычислительных ресурсах Azure Databricks.

    Настройте стабильный IP-адрес вместе с подсистемой балансировки нагрузки, шлюзом NAT, интернет-шлюзом или эквивалентом, и подключите его к подсети, в которой развернуты вычислительные ресурсы Azure Databricks. Это позволяет вычислительным ресурсам совместно использовать стабильный общедоступный IP-адрес, который можно разрешить в списке на стороне внешней базы данных.

    Внешняя система базы данных должна разрешать стабильный IP-адрес вычислений Azure Databricks для трафика входящего и исходящего трафика.

    • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительные ресурсы Azure Databricks)

      Настройте Приватный канал подключение между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

    Бессерверные вычислительные ресурсы:

    Обратитесь к группе учетной записи Azure Databricks, чтобы узнать о планах поддержки безопасного сетевого доступа к внешним базам данных из бессерверных вычислений.

Вычислительные ресурсы Azure Databricks имеют ограничения доступа к сети

Если внешняя система баз данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют ограничения на входящий или исходящий доступ к сети (это возможно только в том случае, если вы находитесь в управляемой клиентом сети), выполните одну из следующих конфигураций:

  • Разрешить имя узла внешней базы данных в правилах брандмауэра подсети, в которой развернуты вычислительные ресурсы Azure Databricks.

    Если вы решили разрешить список IP-адресов внешней базы данных, а не имени узла, убедитесь, что у внешней базы данных есть стабильный IP-адрес.

  • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительная среда Azure Databricks)

    Настройте Приватный канал подключение между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

Вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер

Если внешняя система базы данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер (который возможен только в том случае, если вы находитесь в управляемой клиентом сети), добавьте имя узла системы базы данных на пользовательский DNS-сервер, чтобы его можно было разрешить.