Включите поддержку брандмауэра для учетной записи хранения рабочего пространства

Каждая рабочая область Azure Databricks имеет связанную учетную запись хранения Azure в управляемой группе ресурсов, известной как учетная запись хранения workspace. Эта учетная запись содержит данные системы рабочей области (выходные данные задания, параметры системы и журналы), корневой каталог файловой системы Databricks и в некоторых случаях каталог рабочих областей каталога Unity. Доступ к учетной записи хранения рабочей области можно ограничить только авторизованными ресурсами и сетями, используя Azure CLI или PowerShell.

Что такое поддержка брандмауэра для учетной записи хранения данных рабочей области?

По умолчанию учетная запись хранения рабочей области принимает прошедшие проверку подлинности подключения из всех сетей. При включении поддержки брандмауэра Azure Databricks блокирует доступ к общедоступной сети и ограничивает доступ только к авторизованным ресурсам. Это может потребоваться настроить, если в вашей организации есть политики Azure, требующие частных учетных записей хранения.

Если поддержка брандмауэра включена, службы за пределами Azure Databricks, которым требуется доступ к учетной записи хранения рабочей области, должны использовать частные конечные точки с Private Link. Azure Databricks бессерверные вычисления должны использовать конечные точки службы или частные конечные точки для доступа к учетной записи хранения рабочей области.

Azure Databricks создает коннектор доступа с управляемым удостоверением Azure для доступа к учетной записи хранилища рабочей области.

Требования

• Ваша рабочая область должна поддерживать внедрение VNet для подключений с классической вычислительной плоскости.

• Рабочая область должна обеспечить безопасное подключение к кластеру (без общедоступного IP-адреса или NPIP) для подключений из традиционной вычислительной плоскости.

• Рабочая область должна находиться в плане "Премиум".

• Отдельная подсеть необходима для частных конечных точек учетной записи хранения. Это в дополнение к основным двум подсетям для базовых функций Azure Databricks.

  Подсеть должна находиться в той же виртуальной сети, что и рабочая область или отдельная виртуальная сеть, к которым может получить доступ рабочая область. Используйте минимальный размер /28 в нотации CIDR.

• Если вы используете Cloud Fetch с Microsoft Fabric в службе Power BI, необходимо всегда использовать шлюз виртуальной сети или локальный шлюз для частного доступа к учетной записи хранилища рабочей области. См. шаг 2 (рекомендуется): настройка частных конечных точек для виртуальных сетей клиента Cloud Fetch.

• Для методов развертывания Azure CLI или PowerShell необходимо создать соединитель доступа Azure Databricks и сохранить его идентификатор ресурса перед включением брандмауэра хранилища рабочей области по умолчанию. Для этого требуется использовать управляемое удостоверение, назначаемое системой или назначаемое пользователем. См. раздел Access Connector for Databricks. Соединитель доступа Azure Databricks нельзя использовать в управляемой группе ресурсов.

Подключите службы извне Azure Databricks к учетной записи хранения

Шаг 1. Создание частных конечных точек в учетной записи хранения

Создайте две частные конечные точки для учетной записи хранения вашей рабочей области из виртуальной сети, использованной для внедрения виртуальных сетей в целевой подресурс , значениями: dfs и blob.

Примечание.

Если вы получаете ошибку отклонения назначения в управляемой группе ресурсов, ваша рабочая область может предшествовать текущей модели разрешений на группы управляемых ресурсов. Прежде чем продолжить, обратитесь к команде вашей учетной записи Azure Databricks, чтобы обновить конфигурацию управляемой группы ресурсов.

Если вы получите предупреждение о запуске вычислительных ресурсов, остановите все вычислительные ресурсы в рабочей области перед выполнением шагов 1–4.

1. Перейдите в рабочую область.

2. В разделе Essentials щелкните имя управляемой группы ресурсов.

3. В разделе "Ресурсы" обратите внимание на имя учетной записи хранения рабочей области. Имя обычно начинается с dbstorage.

4. В поле поиска в верхней части портала введите и выберите частную конечную точку.

5. Нажмите кнопку + Создать.

6. В поле имени группы ресурсов задайте группу ресурсов.

   Внимание

   Группа ресурсов не должна совпадать с управляемой группой ресурсов, в которую входит учетная запись хранения рабочей области.

7. В поле "Имя" введите уникальное имя для этой частной конечной точки:

   • Для первой частной конечной точки, создаваемой для каждой исходной сети, создайте конечную точку DFS. Azure Databricks рекомендует добавить суффикс -dfs-pe.
   • Для второй частной конечной точки, создаваемой для каждой исходной сети, создайте конечную точку blob-объекта. Azure Databricks рекомендует добавить суффикс -blob-pe.

   Поле "Имя сетевого интерфейса" автоматически заполняется.

8. Установите поле Регион на регион вашей рабочей области.

9. Нажмите кнопку "Далее": ресурс.

10. В методе Connection выберите Connect к ресурсу Azure в моем каталоге.

11. В подписке выберите подписку, в которую входит ваша рабочая область.

12. В Тип ресурса выберите Microsoft.Storage/storageAccounts.

13. В Ресурсе выберите учетную запись хранилища вашей рабочей области.

14. В подресурсе Target выберите тип целевого ресурса.

    • Для первой частной конечной точки, создаваемой для каждой исходной сети, задайте для нее значение dfs.
    • Для второй частной конечной точки, созданной для каждой исходной сети, установите значение blob.

15. Щелкните Next: Virtual Network.

16. В поле Виртуальная сеть выберите виртуальную сеть.

17. В поле подсети выберите подсеть, которая выделена для частных конечных точек учетной записи хранения.

    Это поле может автоматически заполняться подсетью для частных конечных точек, но при необходимости вы можете задать его вручную. Не используйте две подсети рабочей области для основных функций рабочей области Azure Databricks, которые обычно называются private-subnet и public-subnet.

18. При необходимости измените конфигурацию частного IP-адреса и группу безопасности приложений .

19. Нажмите кнопку "Далее": DNS. Вкладка DNS автоматически заполняется правой подпиской и группой ресурсов, выбранной ранее. При необходимости измените их.

    Примечание.

    Если частная зона DNS для целевого типа подресурсов (dfs или blob) не привязана к VNet рабочей области, Azure создает новую частную зону DNS. Если частная зона DNS для этого типа подресурсов уже существует в виртуальной сети рабочей области, Azure автоматически выбирает ее. Виртуальная сеть может иметь только одну частную зону DNS для каждого типа подресурсов.

20. Нажмите Далее: Теги и при необходимости добавьте теги.

21. Нажмите Далее: Проверка + создание и проверьте поля.

22. Нажмите кнопку Создать.

Шаг 2 (рекомендуется): настройка частных конечных точек для виртуальных сетей клиента Cloud Fetch

Cloud Fetch — это механизм в ODBC и JDBC, который параллельно извлекает данные через облачное хранилище для ускорения доставки данных в средства бизнес-аналитики. Если вы извлекаете результаты запроса размером более 100 МБ из средств бизнес-аналитики, скорее всего, вы используете Cloud Fetch.

Примечание.

Если вы используете службу Microsoft Fabric Power BI вместе с Azure Databricks и включаете поддержку брандмауэра в учетной записи хранения рабочей области, необходимо настроить шлюз данных виртуальной сети или локальный шлюз данных, чтобы обеспечить частный доступ к этой учетной записи хранения. Это гарантирует, что сервис Fabric Power BI может продолжать доступ к аккаунту хранения рабочего пространства и что Cloud Fetch продолжает правильно функционировать.

Это требование не применяется к Power BI Desktop.

Если вы используете Cloud Fetch, создайте частные конечные точки в учетной записи хранения рабочей области из виртуальных сетей клиентов Cloud Fetch.

Для каждой исходной сети создайте для клиентов Cloud Fetch две частные конечные точки, использующие два различных значения целевого подресурса : и . Дополнительные сведения см. в шаге 1. Создание частных конечных точек в учетной записи хранения . В этих шагах для поля виртуальной сети при создании частной конечной точки убедитесь, что для каждого клиента Cloud Fetch укажите исходную виртуальную сеть.

Шаг 3. Подтверждение утверждений конечных точек

После создания всех частных конечных точек в учетной записи хранения убедитесь, что они утверждены. Они могут утвердиться автоматически или может потребоваться утвердить их в учетной записи хранения.

1. Перейдите в рабочую область на портале Azure.
2. В разделе Essentials щелкните имя управляемой группы ресурсов.
3. В разделе "Ресурсы" выберите учетную запись типа Storage account с именем, начинающимся с dbstorage.
4. На боковой панели щелкните "Сеть".
5. Щелкните подключения к частной конечной точке.
6. Проверьте состояние соединения , чтобы убедиться, что отображается статус Одобрено, или выберите их и нажмите кнопку Утвердить.

Подключения из бессерверных вычислений

Примечание.

Azure Databricks подключает все существующие учетные записи хранения рабочей области, в которых включены брандмауэры, в периметр безопасности сети, который разрешает использование тега службы AzureDatabricksServerless. Ожидается, что подключение завершится к концу 2026 года.

При включении поддержки брандмауэра Azure Databricks автоматически подключает учетную запись хранения для рабочей области к периметру безопасности сети, который позволяет тегу службы AzureDatabricksServerless. Это позволяет бессерверным вычислительным ресурсам Azure Databricks подключаться через конечные точки службы. Чтобы подключиться через частные конечные точки, добавьте правило частной конечной точки в NCC для учетной записи хранения рабочей области. См. раздел Настройка частного подключения к ресурсам Azure.

Если вы хотите управлять собственным периметром безопасности сети, вы можете отключить периметр безопасности сети, подготовленный Azure Databricks, и подключить собственный. Переключение приводит к краткой паузе в службе. Подготовьте периметр безопасности сети для замены заранее и запланируйте окно для проведения работ по обслуживанию.

Включите поддержку брандмауэра хранилища с помощью Azure CLI

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначаемого системой, в Cloud Shell выполните следующие действия:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначаемого пользователем, в Cloud Shell выполните следующие действия:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Чтобы отключить поддержку брандмауэра с помощью соединителя доступа, в Cloud Shell выполните следующие действия:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Включение поддержки брандмауэра хранилища с помощью PowerShell

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначаемого системой, в Cloud Shell выполните следующие действия:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначаемого пользователем, в Cloud Shell выполните следующие действия:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Чтобы отключить поддержку брандмауэра с помощью соединителя доступа, в Cloud Shell выполните следующие действия:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"