Рекомендации по сетевым технологиям для Федерации Lakehouse

В этой статье приведены рекомендации по настройке жизнеспособного сетевого пути между кластерами Azure Databricks или хранилищами SQL и внешней системой баз данных, к которым вы подключаетесь с помощью Федерации Lakehouse.

При настройке сетевого подключения для Lakehouse Federation следует учитывать следующее:

  • Весь сетевой трафик для федеративных запросов находится непосредственно между кластерами Azure Databricks (или хранилищами SQL) и внешней системой баз данных. Ни Unity Catalog, ни плоскость управления Azure Databricks не находятся на пути сетевого трафика.
  • Подключения, использующие OAuth, имеют дополнительное требование. Когда соединение проходит проверку подлинности с помощью OAuth, обмен маркерами OAuth происходит из плоскости управления Azure Databricks, а не плоскости вычислений. Плоскость управления должна быть в состоянии достичь конечной точки OAuth внешней системы. Внесения в список разрешённых только плоскости вычислений недостаточно для таких подключений. Инструкции для конкретного соединителя см. в разделе о сети или ограничениях соответствующей страницы подключения, например запуск федеративных запросов в Snowflake (OAuth) или запуск федеративных запросов на Microsoft SQL Server. HTTP-подключения являются исключением; Они направляют OAuth через бессерверную плоскость вычислений, а не плоскость управления.
  • Вычисления Azure Databricks (то есть кластеры и хранилища SQL) всегда развертываются в облаке, но внешняя система баз данных может быть локальной или размещенной на любом поставщике облачных служб, если между вычислительными ресурсами Azure Databricks и внешней базой данных существует жизнеспособный сетевой путь.
  • Если у вас есть ограничения на входящий или исходящий сетевой трафик для вычислений Azure Databricks или внешней системы базы данных, ознакомьтесь со следующими разделами, чтобы помочь вам создать жизнеспособный сетевой путь.

Дополнительные сведения о сети в рабочих областях Azure Databricks см. в статье "Сеть".

Система баз данных и Azure Databricks доступны из Интернета

Подключение должно работать без какой-либо конфигурации.

Система базы данных имеет ограничения доступа к сети

Если у внешней системы базы данных есть ограничения на входящий или исходящий доступ к сети, а кластер Azure Databricks или хранилище SQL доступны из Интернета, настройте одно из следующих сетевых решений для подключения из классических вычислительных ресурсов:

  • Стабильный исходящий IP-адрес на вычислительных ресурсах Azure Databricks.

    На классической вычислительной плоскости настройте стабильный IP-адрес с подсистемой балансировки нагрузки, шлюзом NAT, интернет-шлюзом или эквивалентом и подключите его к подсети, в которой развернуты вычислительные ресурсы Azure Databricks. Это позволяет вычислительному ресурсу совместно использовать стабильный общедоступный IP-адрес, который можно разрешить на стороне внешней базы данных.

  • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительные ресурсы Azure Databricks)

    На классической вычислительной плоскости настройте подключение приватного канала между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

Поддерживается Приватный канал Azure для соединителя SQL Server в бессерверной вычислительной среде. См. статью "Создание правил частной конечной точки".

Вычислительные ресурсы Azure Databricks имеют ограничения доступа к сети

Если внешняя система баз данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют ограничения на входящий или исходящий доступ к сети (это возможно только в том случае, если вы находитесь в управляемой клиентом сети), выполните одну из следующих конфигураций:

  • Включите имя хоста внешней базы данных в список разрешенных в правилах брандмауэра для той подсети, в которой развернуты вычислительные ресурсы Azure Databricks.

    Если вы решили включить в белый список IP-адрес внешней базы данных вместо имени узла, убедитесь, что у внешней базы данных стабильный IP-адрес.

  • Приватный канал (только если внешняя база данных находится в том же облаке, что и вычислительная среда Azure Databricks)

    Настройте подключение приватного канала между сетью, в которой развернута база данных, и сеть, в которой развернуты вычислительные ресурсы Azure Databricks.

Вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер

Если внешняя система базы данных доступна из Интернета, а вычислительные ресурсы Azure Databricks имеют пользовательский DNS-сервер (который возможен только в том случае, если вы находитесь в управляемой клиентом сети), добавьте имя узла системы базы данных на пользовательский DNS-сервер, чтобы его можно было разрешить.

Рекомендации по работе с сетью Snowflake

  • Если вычислительные ресурсы Azure Databricks не могут получить доступ к OCSP-серверу Snowflake, попытки подключения могут завершиться ошибкой при проверке сертификата. Рекомендуется разрешить исходящий трафик к OCSP-серверу Snowflake. Если ваша конфигурация с ограничением исходящего трафика или частным подключением не допускает такой трафик, установите для параметра подключения Snowflake disableOCSPChecks значение true. Дополнительные параметры подключения см. в разделе "Дополнительные параметры подключения".
  • Last updated on