Настройка частного подключения к ресурсам Azure

В этой статье описывается, как настроить приватное подключение из бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Если вы настроите ресурс Azure только для приема подключений из частных конечных точек, любое подключение к ресурсу из классических вычислительных ресурсов Databricks также должно использовать частные конечные точки.

Чтобы настроить брандмауэр служба хранилища Azure для бессерверного доступа к вычислительным ресурсам с помощью подсетей, см. Configure брандмауэр для бессерверного доступа к вычислительным ресурсам (устаревшая версия). Сведения об управлении существующими правилами частной конечной точки см. в статье "Управление правилами частной конечной точки".

Примечание.

Azure Databricks взимает плату за сетевые расходы при подключении бессерверных функций к ресурсам клиентов. Ознакомьтесь с разделом "Общие сведения о затратах на бессерверные сети Databricks".

Обзор частного подключения для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурациями сетевого подключения (NCC). Администраторы учетных записей создают NCCs в консоли учетной записи, а один NCC можно подключить к одной или нескольким рабочим областям.

При добавлении частной конечной точки в NCC Azure Databricks создает запрос частной конечной точки к ресурсу Azure. После утверждения запроса владелец ресурса Azure Databricks использует эту частную конечную точку для доступа к ресурсам из бессерверной вычислительной плоскости. Частная конечная точка предназначена для учетной записи Azure Databricks и доступна только из авторизованных рабочих областей.

Поддержка частных конечных точек NCC обеспечивается для хранилищ SQL, задач, ноутбуков, декларативных конвейеров Lakeflow Spark и конечных точек обслуживания моделей.

Примечание.

• Частные конечные точки NCC поддерживаются для управляемых вами источников данных и учетной записи хранилища рабочей области. Дополнительные сведения о настройке частных конечных точек для учетной записи хранения рабочей области см. в статье "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

• Обслуживание модели использует путь к хранилищу BLOB-объектов Azure для загрузки артефактов модели, поэтому создайте частную конечную точку для идентификатора подресурса BLOB-объекта. Вам потребуется DFS для записи моделей в Unity Catalog из бессерверных вычислительных ноутбуков.

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Лазурный

Требования

• Ваша учетная запись и рабочая область должны находиться на тарифе Premium.
• Вы должны быть администратором учетной записи Azure Databricks.
• Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
• Каждый регион может иметь 100 частных конечных точек, распределенных по мере необходимости между 1–10 NCCs.
• Каждый NCC может быть подключен к максимум 50 рабочим областям.

Шаг 1. Создание конфигурации сетевого подключения

Databricks рекомендует совместно использовать NCC между рабочими областями в одном бизнес-подразделении и регионе. Например, если в некоторых рабочих областях используется Приватный канал, а в других рабочих областях включен брандмауэр, используйте отдельные NCC для этих вариантов использования.

1. Перейдите в консоль учетной записи как администратор.
2. На боковой панели нажмите кнопку "Безопасность".
3. Щелкните конфигурации сетевого подключения.
4. Нажмите кнопку "Добавить конфигурацию сети".
5. Введите имя для NCC (Центра управления сетью).
6. Выберите регион. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку Добавить.

Шаг 2. Присоединение NCC к рабочей области

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните название рабочей области.
3. Щелкните Обновить рабочую область.
4. В поле конфигураций сетевого подключения выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион Azure для рабочей области и NCC.
5. Щелкните Обновить.
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные службы в рабочей области.

Шаг 3. Создание правил частной конечной точки

Необходимо создать правило частной конечной точки в NCC для каждого ресурса Azure.

1. Получите список идентификаторов ресурсов Azure для всех мест назначения.
   1. На другой вкладке браузера используйте портал Azure перейдите к службам Azure источника данных.
   2. На странице Обзор просмотрите раздел Основное.
   3. Щелкните ссылку Представление JSON. Идентификатор ресурса службы отображается в верхней части страницы.
   4. Скопируйте идентификатор ресурса в другое место. Повторите для всех пунктов назначения. Дополнительные сведения о том, как найти идентификатор ресурса, см. в разделе значения частной зоны DNS частной конечной точки Azure.
2. Вернитесь на вкладку браузера консоли учетной записи.
3. На боковой панели нажмите кнопку "Безопасность".
4. Щелкните конфигурации сетевого подключения.
5. Выберите NCC, созданный на шаге 1.
6. В правилах частной конечной точки нажмите кнопку Добавить правило.
7. В поле идентификатор ресурса назначения в Azure вставьте идентификатор вашего ресурса.
8. В поле Azure идентификатор подресурса укажите идентификатор назначения и тип подресурса. Каждое правило частной конечной точки должно использовать другой идентификатор подресурса. Список поддерживаемых типов подресурсов см. в разделе "Поддерживаемые ресурсы".
9. Нажмите кнопку Добавить.
10. Подождите несколько минут, пока все правила конечной точки не будут иметь состояние PENDING.

Шаг 4. Утверждение новых частных конечных точек на ресурсах

Пока администратор не утвердит их на стороне ресурса, конечные точки не вступают в силу. Утверждение с помощью портала Azure:

1. На портале Azure перейдите к ресурсу.

2. На боковой панели щелкните "Сеть".

3. Щелкните подключения к частной конечной точке.

4. Перейдите на вкладку "Закрытый доступ ".

5. В разделе подключения к частной конечной точкепросмотрите список частных конечных точек.

6. Установите флажок рядом с каждым элементом, чтобы подтвердить, и нажмите кнопку Подтвердить над списком.

7. Вернитесь к NCC в Azure Databricks и обновите страницу браузера, пока все правила конечной точки не будут иметь состояние ESTABLISHED.

   

(Необязательно) Шаг 5. Настройка ресурсов для запрета доступа к общедоступной сети

Если вы еще не ограничивали ресурсы только разрешенными сетями, это можно сделать сейчас.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранения данных для источника данных.
3. На боковой панели щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение — включено из всех сетей. Измените значение " Отключено"

Настройка Приватный канал для шлюза приложение Azure версии 2

Если вы настраиваете Приватный канал на ресурс шлюза приложение Azure версии 2, необходимо использовать REST API конфигураций сетевого подключения вместо пользовательского интерфейса консоли учетной записи. для шлюза приложение Azure версии 2 требуются дополнительные параметры: идентификатор ресурса, идентификатор группы и доменные имена.

1. Используйте следующий вызов API для создания правила для частной конечной точки с конфигурацией доменного имени.

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Если необходимо изменить доменные имена для существующего правила частной конечной точки, используйте следующий запрос PATCH:

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Чтобы получить список, просмотр или удаление правил частной конечной точки шлюза приложений, используйте стандартные операции API конфигураций сетевого подключения, описанные в API конфигураций сетевого подключения.

Шаг 7. Перезапуск ресурсов бессерверной вычислительной плоскости и проверка подключения

1. Подождите еще пять минут, пока изменения будут распространяться.
2. Перезапустите все запущенные бессерверные ресурсы плоскости вычислений в рабочих областях, к которым подключена NCC. Если у вас нет ресурсов вычислений без серверной инфраструктуры, запустите их.
3. Убедитесь, что все ресурсы запускаются успешно.
4. Выполните по крайней мере один запрос к источнику данных, чтобы убедиться, что бессерверное хранилище SQL может получить доступ к источнику данных.

Дальнейшие шаги

• Управление правилами частной конечной точки: обновление, проверка и удаление правил частной конечной точки. См. Управление правилами частной конечной точки.
• Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам. Настройте правила брандмауэра сети для управления доступом к службам Azure с помощью подсетей, а не частных конечных точек. См . раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам (устаревшая версия)".
• Настройка политик сети: реализация дополнительных элементов управления безопасностью сети и политик для управления бессерверным вычислительным подключением. См. Что такое управление исходящим трафиком в бессерверной архитектуре?.
• Общие сведения о бессерверной сетевой безопасности. Сведения о параметрах безопасности сети для бессерверных вычислений. См. сведения о сети бессерверных вычислительных плоскостей.

Azure China

Требования Azure для Китая

• Ваша учетная запись и рабочая область должны находиться на тарифе Premium.
• Вы должны быть администратором учетной записи Azure Databricks.
• Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
• Каждая учетная запись может содержать до 20 частных конечных точек в Azure Китае.
• Каждый NCC может быть подключен к максимум 50 рабочим областям.

Примечание.

В Azure China NCCs поддерживаются только в регионе "Северный Китай 3". Так как NCC может быть присоединен только к рабочей области в том же регионе, ваша рабочая область также должна находиться в Китае Северная 3.

Step 1. Создание конфигурации сетевого подключения (Azure Китай)

Databricks рекомендует совместно использовать NCC между рабочими областями в одном бизнес-подразделении и регионе. Например, если некоторые рабочие области используют Приватный канал и другие рабочие области используют разные конфигурации подключения, используйте отдельные NCCs для этих вариантов использования.

Примечание.

Включение брандмауэра (доступ на основе подсети) недоступно в Azure China. Частные конечные точки — это единственный поддерживаемый метод подключения для бессерверных вычислений в Azure Китае.

1. Перейдите в консоль учетной записи как администратор.
2. На боковой панели нажмите кнопку "Безопасность".
3. Щелкните конфигурации сетевого подключения.
4. Нажмите кнопку "Добавить конфигурацию сети".
5. Введите имя для NCC (Центра управления сетью).
6. Выберите Китай Норт 3 в качестве региона. Это должно соответствовать региону рабочей области.
7. Нажмите кнопку Добавить.

Шаг 2: Присоедините NCC к рабочей области (Azure China)

1. На боковой панели консоли учетной записи щелкните "Рабочие области".
2. Щелкните название рабочей области.
3. Щелкните Обновить рабочую область.
4. В поле конфигураций сетевого подключения выберите NCC. Если это не видно, убедитесь, что вы выбрали регион Azure Северный Китай 3 как для пространства работы, так и для NCC.
5. Щелкните Обновить.
6. Подождите 10 минут, пока изменения вступают в силу.
7. Перезапустите все запущенные бессерверные службы в рабочей области.

Шаг 3. Создайте правила для частной конечной точки (Azure Китая)

Необходимо создать правило частной конечной точки в NCC для каждого ресурса Azure. Список ресурсов, поддерживаемых в Azure Китае, см. в разделе Supported resources.

1. Получите список идентификаторов ресурсов Azure для всех мест назначения.
   1. На другой вкладке браузера используйте портал Azure перейдите к службам Azure источника данных.
   2. На странице Обзор просмотрите раздел Основное.
   3. Щелкните ссылку Представление JSON. Идентификатор ресурса службы отображается в верхней части страницы.
   4. Скопируйте идентификатор ресурса в другое место. Повторите для всех пунктов назначения. Дополнительные сведения о том, как найти идентификатор ресурса, см. в разделе значения частной зоны DNS частной конечной точки Azure.
2. Вернитесь на вкладку браузера консоли учетной записи.
3. На боковой панели нажмите кнопку "Безопасность".
4. Щелкните конфигурации сетевого подключения.
5. Выберите NCC, созданный на шаге 1.
6. В правилах частной конечной точки нажмите кнопку Добавить правило.
7. В поле идентификатор ресурса назначения в Azure вставьте идентификатор вашего ресурса.
8. В поле Azure идентификатор подресурса укажите идентификатор назначения и тип подресурса. Каждое правило частной конечной точки должно использовать другой идентификатор подресурса.
9. Нажмите кнопку Добавить.
10. Подождите несколько минут, пока все правила конечной точки не будут иметь состояние PENDING.

Шаг 4: Утвердите новые частные конечные точки на ваших ресурсах (в Azure Китай)

Конечные точки не начинают действовать, пока администратор не одобрит их на стороне ресурса. Утверждение с помощью портала Azure:

1. На портале Azure перейдите к ресурсу.

2. На боковой панели щелкните "Сеть".

3. Щелкните подключения к частной конечной точке.

4. Перейдите на вкладку "Закрытый доступ ".

5. В разделе подключения к частной конечной точкепросмотрите список частных конечных точек.

6. Установите флажок рядом с каждым элементом, чтобы подтвердить, и нажмите кнопку Подтвердить над списком.

7. Вернитесь к NCC в Azure Databricks и обновите страницу браузера, пока все правила конечной точки не будут иметь состояние ESTABLISHED.

   

(необязательно) Шаг 5. Установите для ресурсов запрет доступа к общедоступной сети (Azure в Китае)

Если вы еще не ограничивали ресурсы только разрешенными сетями, это можно сделать сейчас.

1. Перейдите на портал Azure.
2. Перейдите к учетной записи хранения данных для источника данных.
3. На боковой панели щелкните "Сеть".
4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение — включено из всех сетей. Измените значение " Отключено"

Настройка Приватный канал для шлюза приложение Azure Gateway версии 2 (Azure China)

Если вы настраиваете Приватный канал на ресурс шлюза приложение Azure версии 2, необходимо использовать REST API конфигураций сетевого подключения вместо пользовательского интерфейса консоли учетной записи. для шлюза приложение Azure версии 2 требуются дополнительные параметры: идентификатор ресурса, идентификатор группы и доменные имена.

1. Используйте следующий вызов API для создания правила для частной конечной точки с конфигурацией доменного имени.

   curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Если необходимо изменить доменные имена для существующего правила частной конечной точки, используйте следующий запрос PATCH:

   curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Чтобы получить список, просмотр или удаление правил частной конечной точки шлюза приложений, используйте стандартные операции API конфигураций сетевого подключения, описанные в API конфигураций сетевого подключения.

Шаг 7: перезапустите бессерверные ресурсы вычислительной плоскости и проверьте подключение в Azure в Китае

1. Подождите еще пять минут, пока изменения будут распространяться.
2. Перезапустите все запущенные бессерверные ресурсы плоскости вычислений в рабочих областях, к которым подключена NCC. Если у вас нет ресурсов вычислений без серверной инфраструктуры, запустите их.
3. Убедитесь, что все ресурсы запускаются успешно.
4. Выполните по крайней мере один запрос к источнику данных, чтобы убедиться, что бессерверное хранилище SQL может получить доступ к источнику данных.

Дальнейшие действия (Azure Китай)

• Управление правилами частной конечной точки: обновление, проверка и удаление правил частной конечной точки. См. Управление правилами частной конечной точки.
• Общие сведения о бессерверной сетевой безопасности. Сведения о параметрах безопасности сети для бессерверных вычислений. См. сведения о сети бессерверных вычислительных плоскостей.