Настройка частного подключения к ресурсам Azure

В этой статье описывается, как настроить приватное подключение из бессерверных вычислений с помощью пользовательского интерфейса консоли учетной записи Azure Databricks. Вы также можете использовать API конфигураций сетевого подключения.

Если вы настроите ресурс Azure только для приема подключений из частных конечных точек, любое подключение к ресурсу из классических вычислительных ресурсов Databricks также должно использовать частные конечные точки.

Чтобы настроить брандмауэр Azure Storage для бессерверного доступа к вычислительным ресурсам с помощью подсетей, см. Configure брандмауэр для бессерверного доступа к вычислительным ресурсам (устаревшая версия). Сведения об управлении существующими правилами частной конечной точки см. в статье "Управление правилами частной конечной точки".

Примечание.

Azure Databricks взимает плату за сетевые расходы при подключении бессерверных функций к ресурсам клиентов. Ознакомьтесь с разделом "Общие сведения о затратах на бессерверные сети Databricks".

Обзор частного подключения для бессерверных вычислений

Бессерверное сетевое подключение управляется конфигурациями сетевого подключения (NCC). Администраторы учетных записей создают NCC в консоли учетной записи, и NCC можно подключить к одной или нескольким рабочим областям.

При добавлении частной конечной точки в NCC Azure Databricks создает запрос частной конечной точки к ресурсу Azure. После принятия запроса на стороне ресурса частная конечная точка используется для доступа к ресурсам из бессерверной вычислительной плоскости. Частная конечная точка предназначена для учетной записи Azure Databricks и доступна только из авторизованных рабочих областей.

Поддержка частных конечных точек NCC обеспечивается для хранилищ SQL, задач, ноутбуков, декларативных конвейеров Lakeflow Spark и конечных точек обслуживания моделей.

Примечание.

  • Частные конечные точки NCC поддерживаются для управляемых вами источников данных и учетной записи хранилища рабочей области. Дополнительные сведения о настройке частных конечных точек для учетной записи хранения рабочей области см. в статье "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

  • Обслуживание модели использует путь к хранилищу BLOB-объектов Azure для загрузки артефактов модели, поэтому создайте частную конечную точку для идентификатора подресурса BLOB-объекта. Вам потребуется DFS для записи моделей в Unity Catalog из бессерверных вычислительных ноутбуков.

Дополнительные сведения о контроллерах сети см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

Требования

  • Ваша учетная запись и рабочая область должны находиться на тарифе Premium.
  • Вы должны быть администратором учетной записи Azure Databricks.
  • Каждая учетная запись Azure Databricks может содержать до 10 NCCs в каждом регионе.
  • Каждый регион может иметь 100 частных конечных точек, распределенных по мере необходимости между 1–10 NCCs.
  • Каждый NCC может быть подключен к максимум 50 рабочим областям.

Шаг 1. Создание конфигурации сетевого подключения

Databricks рекомендует совместно использовать NCC между рабочими пространствами в рамках одного бизнес-подразделения и в тех, которые имеют одинаковые свойства подключения для региона. Например, если в некоторых рабочих областях используется Private Link, а в других рабочих областях включен брандмауэр, используйте отдельные NCC для этих вариантов использования.

  1. Перейдите в консоль учетной записи как администратор.
  2. На боковой панели нажмите кнопку "Безопасность".
  3. Щелкните конфигурации сетевого подключения.
  4. Нажмите кнопку "Добавить конфигурацию сети".
  5. Введите имя для NCC (Центра управления сетью).
  6. Выберите регион. Это должно соответствовать региону рабочей области.
  7. Нажмите кнопку Добавить.

Шаг 2. Присоединение NCC к рабочей области

  1. На боковой панели консоли учетной записи щелкните "Рабочие области".
  2. Щелкните название рабочей области.
  3. Щелкните Обновить рабочую область.
  4. В поле конфигураций сетевого подключения выберите NCC. Если он не отображается, убедитесь, что вы выбрали один и тот же регион Azure для рабочей области и NCC.
  5. Щелкните Обновить.
  6. Подождите 10 минут, пока изменения вступают в силу.
  7. Перезапустите все запущенные бессерверные службы в рабочей области.

Шаг 3. Создание правил частной конечной точки

Необходимо создать правило частной конечной точки в NCC для каждого ресурса Azure.

  1. Получите список идентификаторов ресурсов Azure для всех мест назначения.
    1. На другой вкладке браузера используйте портал Azure перейдите к службам Azure источника данных.
    2. На странице Обзор просмотрите раздел Основное.
    3. Щелкните ссылку Представление JSON. Идентификатор ресурса службы отображается в верхней части страницы.
    4. Скопируйте идентификатор ресурса в другое место. Повторите для всех пунктов назначения. Дополнительные сведения о том, как найти идентификатор ресурса, см. в разделе значения частной зоны DNS частной конечной точки Azure.
  2. Вернитесь на вкладку браузера консоли учетной записи.
  3. На боковой панели нажмите кнопку "Безопасность".
  4. Щелкните конфигурации сетевого подключения.
  5. Выберите NCC, созданный на шаге 1.
  6. В правилах частной конечной точки нажмите кнопку Добавить правило.
  7. В поле идентификатор ресурса назначения в Azure вставьте идентификатор вашего ресурса.
  8. В поле Azure идентификатор подресурса укажите идентификатор назначения и тип подресурса. Каждое правило частной конечной точки должно использовать другой идентификатор подресурса. Список поддерживаемых типов подресурсов см. в разделе "Поддерживаемые ресурсы".
  9. Нажмите кнопку Добавить.
  10. Подождите несколько минут, пока все правила конечной точки не будут иметь состояние PENDING.

Шаг 4. Утверждение новых частных конечных точек на ресурсах

Конечные точки не вступают в силу, пока администратор с правами на ресурс не утверждает новую частную конечную точку. Чтобы утвердить частную конечную точку с помощью портала Azure, сделайте следующее:

  1. На портале Azure перейдите к ресурсу.

  2. На боковой панели щелкните "Сеть".

  3. Щелкните подключения к частной конечной точке.

  4. Перейдите на вкладку "Закрытый доступ ".

  5. В разделе подключения к частной конечной точкепросмотрите список частных конечных точек.

  6. Установите флажок рядом с каждым элементом, чтобы подтвердить, и нажмите кнопку Подтвердить над списком.

  7. Вернитесь к NCC в Azure Databricks и обновите страницу браузера, пока все правила конечной точки не будут иметь состояние ESTABLISHED.

    список частных конечных точек

(Необязательно) Шаг 5. Настройка ресурсов для запрета доступа к общедоступной сети

Если вы еще не ограничили доступ к своим ресурсам, разрешив его только для разрешенных сетей, вы можете сделать это.

  1. Перейдите на портал Azure.
  2. Перейдите к учетной записи хранения данных для источника данных.
  3. На боковой панели щелкните "Сеть".
  4. В поле "Общедоступный сетевой доступ" проверьте значение. По умолчанию значение — включено из всех сетей. Измените значение " Отключено"

Настройка Private Link для шлюза Azure App версии 2

Если вы настраиваете Private Link на ресурс шлюза Azure App версии 2, необходимо использовать REST API конфигураций сетевого подключения вместо пользовательского интерфейса консоли учетной записи. Azure App шлюз версии 2 требует дополнительных параметров конфигурации, таких как идентификатор ресурса, идентификатор группы и доменные имена.

  1. Используйте следующий вызов API для создания правила для частной конечной точки с конфигурацией доменного имени. 
    curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Если необходимо изменить доменные имена для существующего правила частной конечной точки, используйте следующий запрос PATCH: 
    curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Чтобы получить список, просмотр или удаление правил частной конечной точки шлюза приложений, используйте стандартные операции API конфигураций сетевого подключения, описанные в API конфигураций сетевого подключения.

Шаг 7. Перезапуск ресурсов бессерверной вычислительной плоскости и проверка подключения

  1. После предыдущего шага подождите пять дополнительных минут, чтобы изменения распространялись.
  2. Перезапустите все запущенные бессерверные ресурсы плоскости вычислений в рабочих областях, к которым подключена NCC. Если у вас нет ресурсов вычислений без серверной инфраструктуры, запустите их.
  3. Убедитесь, что все ресурсы запускаются успешно.
  4. Выполните по крайней мере один запрос к источнику данных, чтобы убедиться, что бессерверное хранилище SQL может получить доступ к источнику данных.

Дальнейшие шаги

  • Last updated on