Активация приватного канала Azure в стандартном развертывании

  • Статья

В этой статье объясняется, как использовать Приватный канал Azure для обеспечения частного подключения между пользователями и рабочими областями Databricks, а также между кластерами на классической плоскости вычислений и основными службами на уровне управления в инфраструктуре рабочей области Databricks.

Примечание.

Введение в интерфейсные подключения в стандартном развертывании

Для поддержки частных интерфейсных подключений к веб-приложению Azure Databricks для клиентов, у которых нет общедоступного подключения к Интернету, необходимо добавить частную конечную точку проверки подлинности браузера для поддержки обратного вызова единого входа в веб-приложение Azure Databricks. Обычно эти подключения пользователей будут поступать через виртуальную сеть, которая обрабатывает подключения к локальной сети и VPN, и это называется транзитной виртуальной сетью.

Совет

Если вы реализуете только внутренние Приватный канал подключения, вам не требуется транзитная виртуальная сеть или частная конечная точка проверки подлинности браузера и может пропустить остальную часть этого раздела.

Частная конечная точка проверки подлинности браузера — это частное подключение с типом подресурсов browser_authentication. Он размещает частное подключение из транзитной виртуальной сети, которая позволяет идентификатору Microsoft Entra (ранее Azure Active Directory) перенаправлять пользователей после входа в правильный экземпляр уровня управления Azure Databricks.

  • Если вы планируете разрешить подключения из пользовательской клиентской транзитной сети к общедоступному Интернету, рекомендуется добавить частную конечную точку проверки подлинности браузера, но не требуется.
  • Если вы планируете запретить подключения из клиентской транзитной сети к общедоступному Интернету, необходимо добавить частную конечную точку проверки подлинности браузера.

Частная конечная точка проверки подлинности браузера предоставляется всем рабочим областям в регионе, который использует одну частную зону DNS. Кроме того, обратите внимание, что некоторые корпоративные решения DNS фактически ограничивают одну региональную частную конечную точку для проверки подлинности браузера.

Внимание

Чтобы разместить параметры частной сети для веб-проверки подлинности, Databricks настоятельно рекомендует создать рабочую область, называемую частной рабочей областью проверки подлинности веб-сайтов для каждого региона. Это позволяет решить проблему возможных последствий удаления рабочей области для других рабочих областей в этом регионе. Дополнительные сведения и контекст см . в шаге 4. Создание частной конечной точки для поддержки единого входа для доступа к веб-браузеру.

Схемы сетевых потоков и сетевых объектов

На следующей схеме показан сетевой поток в типичной реализации стандартного развертывания Приватный канал:

Приватный канал Azure сетевой поток.

На следующей схеме показана архитектура сетевого объекта:

Приватный канал Azure архитектуре сетевого объекта.

Чтобы сравнить это с Приватный канал упрощенном развертывании, см. схемы сетевых потоков и сетевых объектов.

Шаг 1. Создание групп ресурсов

  1. На портале Azure перейдите в колонку Группы ресурсов.
  2. Нажмите кнопку "Создать группу ресурсов", чтобы создать группу ресурсов для рабочей области. Задайте подписку Azure, регион и имя группы ресурсов. Щелкните Проверить и создать, а затем Создать.
  3. Повторите предыдущий шаг, чтобы создать группу ресурсов для Приватный канал ресурсов, таких как конечная точка и зона Приватный канал. Регион может не совпадать с регионом рабочей области. Используйте регион Azure, который планируется использовать для транзитной виртуальной сети. Если регионы рабочей области и транзитной виртуальной сети не совпадают, на передачу данных между регионами потребуются дополнительные затраты.

Шаг 2. Создание или подготовка виртуальной сети рабочей области

Возможно, у вас уже есть виртуальная сеть, которую вы будете использовать, либо вы можете создать новую виртуальную сеть специально для Azure Databricks.

Требования к диапазонам IP-адресов виртуальной сети и двум необходимым подсетям для рабочей области см. в статье Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети).

Диапазоны IP-адресов виртуальной сети и подсетей, используемые для Azure Databricks, определяют максимальное количество узлов кластера, которое можно использовать одновременно. Тщательно выбирайте эти значения в соответствии с требованиями вашей организации к сети и максимальным количеством узлов кластера, которое будет использоваться одновременно с Azure Databricks. См . адресное пространство и максимальные узлы кластера.

Например, можно создать виртуальную сеть со следующими значениями:

  • Диапазон IP-адресов: сначала удалите диапазон IP-адресов по умолчанию, а затем добавьте диапазон IP-адресов 10.28.0.0/23.
  • Создайте подсеть public-subnet с диапазоном 10.28.0.0/25.
  • Создайте подсеть private-subnet с диапазоном 10.28.0.128/25.
  • Создайте подсеть private-link с диапазоном 10.28.1.0/27.

Шаг 3. Подготовка рабочей области Azure Databricks и частных конечных точек

Разверните новую рабочую область Azure Databricks с указанными ниже параметрами.

Развернуть рабочую область с этими параметрами можно несколькими способами, включая пользовательский интерфейс на портале Azure, пользовательский шаблон (который можно применить через пользовательский интерфейс, с помощью Azure CLI или PowerShell) либо Terraform. Чтобы создать рабочую область с поддержкой Приватного канала с помощью пользовательского шаблона, используйте этот шаблон.

Независимо от выбранного подхода задайте эти значения при создании новой рабочей области:

  • Доступ по общедоступной сети (для интерфейсного Приватного канала) (publicNetworkAccess в шаблоне): определяет параметры интерфейсного варианта Приватного канала.
    • Если это Enabled значение задано (по умолчанию), пользователи и клиенты REST API в общедоступном Интернете могут получить доступ к Azure Databricks, хотя вы можете ограничить доступ к определенным диапазонам IP-адресов из утвержденных исходных сетей с помощью списков доступа к IP-адресам для рабочих областей.
    • Если задать значение Disabled, доступ пользователей из общедоступного Интернета будет запрещен. Если задано значение "Отключено", интерфейсное подключение можно получить только с помощью Приватный канал подключения, а не из общедоступного Интернета. Списки IP-адресов для доступа не действуют для подключений через Приватный канал.
    • Если нужно использовать только серверный Приватный канал (но не интерфейсный), задайте для доступа по общедоступной сети значение Enabled.
  • Обязательные правила NSG (для внутренних Приватный канал) (в шаблоне какrequiredNsgRules): возможные значения:
    • Все правила (по умолчанию): это значение находится в шаблоне как AllRules. Это означает, что для рабочей области требуется группа безопасности сети, которая включает правила Azure Databricks, которые разрешают подключения к общедоступному Интернету из плоскости вычислений в плоскость управления. Если вы не используете серверный Приватный канал, выберите этот параметр.
    • Нет правил Azure Databricks. Это значение находится в шаблоне NoAzureDatabricksRulesследующим образом: используйте это значение, если используется внутренний Приватный канал, что означает, что для подключения к плоскости управления Azure Databricks не требуются правила группы безопасности сети. Если вы используете серверный Приватный канал, выберите этот параметр.
  • Включить безопасное подключение к кластеру (без общедоступного IP-адреса или NPIP) (enableNoPublicIp в шаблоне): всегда используйте значение "Да" (true), чтобы устанавливать безопасное подключение к кластеру.

Сочетание параметров Доступ по общедоступной сети (publicNetworkAccess в шаблоне) и Обязательные правила NSG (requiredNsgRules в шаблоне) определяет то, какие типы Приватного канала поддерживаются.

В таблице ниже представлены поддерживаемые сценарии для двух основных вариантов использования Приватного канала: интерфейсного и серверного.

Сценарий Значение параметра "Доступ по общедоступной сети" Значение параметра "Обязательные правила NSG" Создаваемые конечные точки
Приватный канал не используется ни для интерфейсного, ни для серверного подключения Включен Все правила Н/Д
Рекомендуемая конфигурация: как интерфейсный, так и серверный Приватный канал. Интерфейсное подключение требует использования Приватного канала. Выключено NoAzureDatabricksRules Одна для серверного подключения (обязательно). Одна для интерфейсного подключения (обязательно). Кроме того, по одной частной конечной точке проверки подлинности браузера на регион.
Как интерфейсный, так и серверный Приватный канал. Гибридное подключение к интерфейсу позволяет Приватный канал или общедоступному Интернету, как правило, с помощью списков доступа к IP-адресам для рабочих областей. Используйте этот гибридный подход, если вы используете Приватный канал для локального доступа пользователей, но необходимо разрешить определенные диапазоны CIDR в Интернете. Дополнительные диапазоны можно использовать для таких служб Azure, как SCIM или Машинное обучение Azure, или для предоставления внешнего доступа для JDBC, облачной автоматизации или средств администрирования. Включен NoAzureDatabricksRules Одна для серверного подключения (обязательно). Одна конечная точка для интерфейсного подключения (необязательно). Кроме того, по одной частной конечной точке проверки подлинности браузера на регион.
Интерфейсное подключение только через Приватный канал. Интерфейсное подключение требует использования Приватного канала (доступ по общедоступной сети отключен). Приватный канал для серверного подключения не используется. Это неподдерживаемый сценарий. Это неподдерживаемый сценарий. Это неподдерживаемый сценарий.
Интерфейсное подключение только через Приватный канал. Гибридное подключение к интерфейсу позволяет Приватный канал или общедоступному Интернету, возможно, с помощью списков доступа к IP-адресам для рабочих областей. Приватный канал для серверного подключения не используется. Включен Все правила Одна конечная точка для интерфейсного подключения (необязательно). Кроме того, по одной частной конечной точке проверки подлинности браузера на регион.
Приватный канал только для серверного подключения. Интерфейс использует общедоступный Интернет, возможно, с помощью списков доступа к IP-адресам для рабочих областей. Приватный канал для интерфейсного подключения не применяется. Включен NoAzureDatabricksRules Одна конечная точка для серверного подключения (обязательно).

Задайте следующие параметры конфигурации рабочей области:

  • Для параметра Ценовая категория выберите значение Премиум (в шаблоне это значение premium).
  • Если вы включаете подключение к серверной части, задайте для параметра "Нет общедоступного IP-адреса " (безопасное подключение к кластеру) значение "Да " (в шаблоне это значение равно true).
  • Задайте для рабочей области Azure Databricks в собственной виртуальная сеть (виртуальная сеть) значение "Да" (в шаблоне это значение равноtrue)>

Примечание.

Как правило, необходимо включить Приватный канал при создании новой рабочей области. Однако если у вас есть рабочая область, у которой никогда не было доступа через интерфейсный или серверный Приватный канал, или если вы использовали значения по умолчанию для параметров Доступ по общедоступной сети ("Включено") и Обязательные правила NSG ("Все правила"), вы можете добавить интерфейсный Приватный канал позже. Однако доступ по общедоступной сети останется включенным, поэтому доступны будут только некоторые параметры конфигурации.

Создать рабочую область можно двумя способами:

Создание рабочей области и частных конечных точек в пользовательском интерфейсе портала Azure

Портал Azure автоматически включает два поля Приватного канала (Доступ к общедоступной сети и Обязательные правила NSG) при создании новой рабочей области Azure Databricks.

  1. Создайте рабочую область с собственной виртуальной сетью (внедрение виртуальной сети). Чтобы настроить подсети и задать их размер, выполните процедуру из раздела Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети), но пока не нажимайте кнопку Создать.

    Задайте значения в следующих полях:

    1. Для параметра Ценовая категория задайте значение premium. В противном случае поля Приватного канала не будут отображаться в пользовательском интерфейсе.
    2. Присвойте параметру Сеть > Развернуть рабочую область Azure Databricks с помощью безопасного подключения кластера (без общедоступного IP-адреса) значение Да.
    3. Задайте для рабочей области Azure Databricks в собственной виртуальная сеть (виртуальной сети)значение "Да".>
    4. Настройте подсети в соответствии с виртуальной сетью, созданной на предыдущем шаге. Подробные сведения см. в статье о внедрении виртуальной сети.
    5. Задайте относящиеся к Приватному каналу поля рабочей области Доступ по общедоступной сети и Обязательные правила NSG в соответствии с таблицей сценариев в разделе Шаг 3. Подготовка рабочей области Azure Databricks и частных конечных точек.

    На приведенном ниже снимке экрана показаны четыре наиболее важных поля для подключения через Приватный канал.

    портал Azure пользовательском интерфейсе рабочей области.

  2. Создайте частную конечную точку для серверного подключения.

    1. Найдите раздел Частные конечные точки под полями, показанными на предыдущем снимке экрана. Если вы не видите их, вероятно, не задана ценовая категорияПремиум.

      Список портал Azure частных конечных точек, отображаемый пустым.

    2. Выберите + Добавить.

      На портале Azure откроется колонка Создание частной конечной точки для созданной рабочей области.

      колонка портал Azure для создания частной конечной точки

      При создании частной конечной точки из рабочей области некоторые поля Azure для этого типа объектов не отображаются, так как они заполняются автоматически и недоступны для изменения. Некоторые поля отображаются, но не требуют изменения.

      • Поле Подресурс Azure Databricks отображается и автоматически заполняется значением databricks_ui_api. Это значение подресурса представляет текущий уровень управления Azure Databricks для рабочей области. Значение имени подресурса используется для частных конечных точек как для серверного, так и для интерфейсного подключения.

      • После настройки группы ресурсов, виртуальной сети и подсети поле Частная зона DNS заполняется автоматически, если вы используете встроенную службу DNS, созданную Azure, а не пользовательскую службу DNS.

        Внимание

        Azure может автоматически выбрать не ту частную зону DNS, которую вы хотите использовать. Проверьте значение поля Частная зона DNS и при необходимости измените его.

    3. Задайте расположение в соответствии с регионом рабочей области. Обратите внимание, что для серверного подключения регион частной конечной точки и регион рабочей области должны совпадать, однако для интерфейсного подключения регионы могут быть разными.

    4. В поле Виртуальная сеть укажите виртуальную сеть рабочей области.

    5. В качестве подсети укажите подсеть Приватного канала в рабочей области. Связанные сведения см. в разделе Требования к сети.

    6. Для типичного использования со встроенной службой Azure DNS установите для параметра Интеграция с частной зоной DNS значение Да. В дальнейших инструкциях предполагается, что вы выбрали вариант Да.

      Если ваша организация использует собственную пользовательскую службу DNS, возможно, потребуется выбрать значение Нет, но прежде чем продолжить, ознакомьтесь с этой статьей Майкрософт о настройке DNS. Если у вас возникли вопросы, обратитесь к группе учетной записи Azure Databricks.

    7. Нажмите кнопку ОК, чтобы создать частную конечную точку и вернуться в колонку создания рабочей области.

    8. В потоке создания рабочей области можно создать только одну частную конечную точку. Чтобы создать отдельную частную конечную точку для интерфейсного подключения из транзитной виртуальной сети, необходимо создать дополнительную частную конечную точку после развертывания рабочей области.

      Чтобы завершить создание рабочей области, щелкните Проверка и создание, а затем Создать.

      Подождите, пока рабочая область не будет развернута, а затем нажмите кнопку "Перейти к ресурсу". Это объект портала Azure для рабочей области Azure Databricks. Рекомендуем закрепить его на панели мониторинга Azure для быстрого доступа.

  3. Создайте дополнительную частную конечную точку для интерфейсного подключения транзитной виртуальной сети к уровню управления Azure Databricks.

    1. В объекте рабочей области на портале Azure щелкните Сеть.
    2. Выберите вкладку Подключения к частной конечной точке.
    3. Щелкните + Частная конечная точка.
    4. В качестве группы ресурсов выберите группу ресурсов для интерфейсного подключения.
    5. Частная конечная точка для интерфейсного подключения должна находиться в одном регионе с транзитной виртуальной сетью, но может находиться в разных регионах с рабочей областью или уровнем управления.

Создание рабочей области с помощью пользовательского шаблона и добавление интерфейсных частных конечных точек

Если вы не хотите использовать стандартный пользовательский интерфейс портала Azure для создания рабочей области, можно воспользоваться шаблоном для развертывания рабочей области. С шаблоном можно работать с помощью следующих средств:

Шаблон ARM для единого развертывания для Приватный канал создает следующие ресурсы:

  • Группы безопасности сети

  • Группы ресурсов

  • виртуальная сеть, включая подсети для рабочей области (две стандартные подсети) и Приватного канала (дополнительная подсеть);

  • Рабочая область Azure Databricks

  • Серверная конечная точка Приватный канал с частной зоной DNS

    Примечание.

    Шаблон не создает конечную точку для интерфейсного подключения из транзитной виртуальной сети. После создания рабочей области можно добавить эту конечную точку вручную.

  1. Шаблон можно развернуть непосредственно на главной странице шаблона.

  2. Чтобы развернуть его напрямую, щелкните Развернуть в Azure. Чтобы просмотреть исходный код, щелкните Обзор в GitHub.

    В обоих случаях задайте следующие значения параметров для шаблона:

    • Задайте для параметра pricingTier значение premium. Если оставить значение standard, на портал Azure будут скрыты поля конфигурации, относящиеся к Приватному каналу.
    • Задайте для enableNoPublicIp значение true.
    • Задайте publicNetworkAccess и requiredNsgRules в соответствии с таблицей в разделе Шаг 3. Подготовка рабочей области Azure Databricks и частных конечных точек.
    • Задайте в качестве значения параметра networkSecurityGroup идентификатор группы безопасности сети рабочей области.

  3. Дождитесь завершения развертывания рабочей области.

  4. Перейдите к новому ресурсу службы Azure Databricks, который представляет рабочую область. Это объект портала Azure для рабочей области Azure Databricks. Рекомендуем закрепить его на панели мониторинга Azure для быстрого доступа.

  5. (Только для интерфейсного Приватного канала) Создайте интерфейсное подключение к транзитной виртуальной сети.

    1. В области навигации слева щелкните Параметры>Сеть.
    2. Выберите вкладку Подключения к частной конечной точке.
    3. Щелкните + Частная конечная точка.
    4. В качестве группы ресурсов выберите группу ресурсов для интерфейсного подключения.
    5. Частная конечная точка для интерфейсного подключения должна находиться в одном регионе с транзитной виртуальной сетью, но может находиться в разных регионах с рабочей областью или уровнем управления.

Шаг 4. Создание частной конечной точки для поддержки единого входа для доступа к веб-браузеру

Внимание

Пропустите этот шаг, если вы не реализуете интерфейсные Приватный канал. Кроме того, если все рабочие области в регионе поддерживают Приватный канал интерфейсных подключений и клиентской сети (транзитная виртуальная сеть) разрешает общедоступный доступ к Интернету, конфигурация, описанная на этом шаге, рекомендуется, но необязательно.

Проверка подлинности пользователей в веб-приложении Azure Databricks использует OAuth в рамках реализации единого входа Microsoft Entra ID (ранее — Azure Active Directory). Во время проверки подлинности браузер пользователя подключается к уровню управления Azure Databricks. Кроме того, поток OAuth требует перенаправления обратного сетевого вызова из идентификатора Microsoft Entra. Если вы настроили интерфейсный Приватный канал, без дополнительной настройки сетевое перенаправление единого входа завершается ошибкой. Это означает, что пользователи в транзитной виртуальной сети не смогут пройти проверку подлинности в Azure Databricks. Обратите внимание, что эта проблема относится к входу пользователя в пользовательский интерфейс веб-приложения через интерфейсное подключение, но не относится к подключениям REST API, так как при проверке подлинности REST API не используются обратные вызовы единого входа.

Чтобы поддерживать проверку подлинности веб-браузера, если клиентская сеть ( транзитная виртуальная сеть) запрещает доступ к общедоступному Интернету, необходимо создать частную конечную точку проверки подлинности браузера для поддержки обратного вызова проверки подлинности единого входа. Частная конечная точка проверки подлинности браузера — это частная конечная точка с именем browser_authenticationподресурса. При создании частной конечной точки проверки подлинности браузера Azure Databricks автоматически настраивает записи DNS для обратного вызова из идентификатора Microsoft Entra ID во время входа единого входа. Изменения DNS вносятся по умолчанию в частной зоне DNS, связанной с виртуальной сетью рабочей области.

Для организации с несколькими рабочими областями важно понимать, что правильно настроенная конфигурация сети — это именно одна частная конечная точка проверки подлинности браузера для каждого региона Azure Databricks для каждой частной зоны DNS. Частная конечная точка проверки подлинности браузера настраивает частную веб-проверку подлинности для всех рабочих областей Приватный канал в регионе, который совместно используют одну частную зону DNS.

Например, если у вас есть 10 рабочих областей в регионе "Западная часть США", которые используют одну частную зону DNS, у вас будет одна частная конечная точка проверки подлинности браузера для поддержки этих рабочих областей.

Внимание

  • Если кто-нибудь удалит рабочую область, в которой размещена частная конечная точка проверки подлинности браузера для этого региона, проверка подлинности пользователей будет нарушена для всех остальных рабочих областей в регионе, которые использовали эту частную конечную точку и связанную конфигурацию DNS для обратных вызовов единого входа.
  • С целью снижения рисков из-за удаления рабочей области и реализации стандартной конфигурации для рабочих областей, Databricks настоятельно рекомендует создать частную рабочую область веб-проверки подлинности для каждого региона.
  • Для непроизводственных развертываний можно упростить реализацию, опустив дополнительную частную рабочую область веб-проверки подлинности. В этом случае конечная точка веб-проверки подлинности будет подключаться к одной из других рабочих областей в этом регионе.

Частная рабочая область веб-проверки подлинности — это рабочая область, созданная в том же регионе, что и рабочие области Azure Databricks. Ее единственное назначение — размещение подключения частной конечной точке проверки подлинности браузера из определенной транзитной виртуальной сети к рабочим областям Azure Databricks в этом регионе. Ни для чего другого частная рабочая область веб-проверки подлинности не используется. Например, не используйте ее для выполнения заданий или других рабочих нагрузок. Ей не нужны фактические пользовательские данные или входящие сетевые подключения, кроме подключения частной конечной точки проверки подлинности браузера. Вы можете настроить ее так, чтобы пользователи не имели к ней доступа. Если задать для параметра Доступ по общедоступной сети значение Отключено и не создавать интерфейсные частные конечные точки в рабочей области, пользователи не будут иметь возможности входа в рабочую область.

Наглядное представление работы частной рабочей области веб-проверки подлинности с другими объектами для подключения через Приватный канал см. на схеме ранее в этой статье.

Частная рабочая область проверки подлинности веб-сайтов выступает в качестве службы обратного вызова для всех рабочих областей в регионе для единого входа пользователя во время входа. После завершения входа в обычные рабочие области частная рабочая область проверки подлинности не используется до следующего входа.

Независимо от того, хотите ли вы создать частную рабочую область проверки подлинности в Интернете, необходимо выбрать одну рабочую область в регионе, в котором будет размещаться назначение частной конечной точки проверки подлинности браузера. В портал Azure выберите один объект рабочей области Azure Databricks, содержащий частную конечную точку проверки подлинности браузера. Во время выполнения фактический сетевой доступ осуществляется из транзитной виртуальной сети в идентификатор Microsoft Entra. После успешного входа с помощью идентификатора Microsoft Entra браузер пользователя перенаправляется на правильный экземпляр плоскости управления.

Совет

Databricks настоятельно рекомендует конфигурацию с частной рабочей областью веб-проверки подлинности, если у вас несколько рабочих областей с общей конфигурацией частной службы DNS. Вы можете исключить частную рабочую область проверки подлинности в Интернете для любого из следующих условий:

  • У вас есть только одна рабочая область в регионе, и вы уверены, что вы не добавите больше позже.
  • Вы уверены, что вам не нужно удалять рабочую область.
  • Непроизводственные развертывания.

В любом из этих случаев опустите частную рабочую область проверки подлинности в Интернете и выберите одну из рабочих областей для размещения частной конечной точки проверки подлинности браузера. Однако помните о рисках, которые в конечном итоге удаление этой рабочей области будет немедленно препятствовать проверке подлинности пользователей для других рабочих областей в регионе с поддержкой интерфейсных Приватный канал.

Чтобы создать частную конечную точку для поддержки единого входа:

  1. Рекомендуемый, но необязательный шаг: создайте частную рабочую область веб-проверки подлинности для размещения службы веб-проверки подлинности.

    1. Создайте группу ресурсов для размещения частной рабочей области веб-проверки подлинности. Создайте один для каждого региона, в котором развернуты рабочие области Azure Databricks.

    2. Создайте одну частную рабочую область веб-проверки подлинности для каждого региона, в котором развернуты рабочие области Azure Databricks.

      • Для создания рабочей области Azure Databricks можно использовать портал Azure, Azure CLI, PowerShell или Terraform.
      • Задайте для уровня "Премиум".
      • Задайте имя рабочей области WEB_AUTH_DO_NOT_DELETE_<region>, чтобы предотвратить ее удаление.
      • Для параметра Обязательные правила NSG (requiredNsgRules) задайте значение NoAzureDatabricksRules.
      • Включите параметр Безопасное подключение кластера (NPIP) (disablePublicIp).
      • Создайте рабочую область в том же регионе, в котором находятся другие рабочие области.
      • Внедрение виртуальной сети. Создайте или используйте виртуальную сеть, отличную от виртуальной сети для основной рабочей области.
      • Задайте для параметра Доступ по общедоступной сети (publicNetworkAccess) значение "Отключено".
      • Не помещайте рабочие нагрузки Azure Databricks в эту рабочую область.
      • Не добавляйте в нее частные конечные точки, кроме частной конечной точки проверки подлинности браузера. Например, не создавайте частную конечную точку с подресурсом databricks_ui_api для интерфейсного или серверного подключения к рабочей области, которое не требуется.

      Дополнительные сведения о развертывании рабочей области с помощью внедрения виртуальной сети см. в статье "Развертывание Azure Databricks" в виртуальной сети Azure (внедрение виртуальной сети).

      Чтобы создать рабочую область, можно использовать стандартный шаблон ARM "все в одном" и следовать приведенным выше требованиям для конфигурации рабочей области.

    3. После создания частной рабочей области проверки подлинности веб-сайта установите блокировку, чтобы предотвратить удаление этой рабочей области. Перейдите к экземпляру службы Azure Databricks на портале Azure. В левой области навигации нажмите Блокировки. Щелкните +Добавить. Задайте для параметра Тип блокировки значение Удаление. Укажите имя блокировки. Щелкните OK.

      Блокировка рабочей области.

  2. На портале Azure перейдите к экземпляру службы Azure Databricks, который представляет рабочую область.

    • Если вы используете частную рабочую область веб-проверки подлинности, перейдите к объекту экземпляра службы Azure Databricks для частной рабочей области веб-проверки подлинности.
    • Если вы не используете частную рабочую область веб-проверки подлинности, выберите одну рабочую область, в которой будет размещена частная конечная точка веб-проверки подлинности. Помните, что удаление этой рабочей области приведет к удалению записей DNS, которые необходимы для всех остальных рабочих областей в этом регионе, использующих интерфейсные подключения через Приватный канал. В портал Azure откройте колонку экземпляра службы Azure Databricks в этой рабочей области.

  3. Последовательно выберите Параметры>Сеть>Подключения к частной конечной точке.

  4. Нажмите кнопку + Добавить, чтобы создать частную конечную точку для этой рабочей области.

  5. На портале Azure откроется колонка Создание частной конечной точки в рамках процедуры создания рабочей области.

    Создание частной конечной точки.

  6. На шаге Ресурс укажите в поле Целевой подресурс значение browser_authentication.

    Обратите внимание, что поля Тип ресурса и Ресурс автоматически ссылаются на экземпляр рабочей области службы Azure Databricks, который вы изменяете.

    Настройка подресурса проверки подлинности браузера

  7. На шаге Виртуальная сеть выполните указанные ниже действия.

    Задайте виртуальную сеть частной конечной точки.

    • В качестве виртуальной сети выберите транзитную виртуальную сеть.
    • В качестве подсети укажите подсеть Приватного канала в транзитной виртуальной сети. Эта подсеть не должна быть любой из стандартных подсетей, используемых для внедрения виртуальной сети. Если вы еще не создали эту подсеть, сделайте это сейчас в другом окне браузера. Дополнительные сведения см. в разделе о требованиях к сети.

  8. На шаге DNS выполните указанные ниже действия.

    Задайте DNS частной конечной точки.

    • Для типичного использования со встроенной службой Azure DNS установите для параметра Интеграция с частной зоной DNS значение Да.

      Если ваша организация использует собственную службу DNS, можно задать для параметра Интеграция с частной зоной DNS значение Нет, но прежде чем продолжить, ознакомьтесь с этой статьей Майкрософт о настройке DNS. Если у вас возникли вопросы, обратитесь к группе учетной записи Azure Databricks.

      В дальнейших инструкциях в этой статье предполагается, что выбрано значение Да.

    • Проверьте, что в поле Группа ресурсов указана нужная группа ресурсов. Поле группы ресурсов может быть предварительно заполнено, но правильность значения не гарантируется. Задайте для нее ту же виртуальную сеть, что и для интерфейсной частной конечной точки.

      Внимание

      На этом шаге часто допускаются ошибки, поэтому будьте внимательны.

  9. Нажмите кнопку ОК, чтобы создать частную конечную точку.

  10. При интеграции со встроенной службой Azure DNS теперь можно убедиться в том, что служба DNS была настроена автоматически созданной частной конечной точкой проверки подлинности браузера. Например, в частной зоне DNS можно увидеть одну или несколько новых записей A с именами, которые заканчиваются на .pl-auth. Это записи, представляющие обратные вызовы единого входа для каждого экземпляра уровня управления в регионе. Если в регионе несколько экземпляров уровня управления Azure Databricks, записей A будет несколько.

    Подтвердите конфигурацию DNS.

Пользовательский DNS

При использовании собственной службы DNS необходимо правильно настроить ее для поддержки обратных вызовов проверки подлинности при едином входе. Чтобы получить рекомендации, обратитесь к группе учетных записей Azure Databricks.

Если вы используете интерфейсную частную конечную точку и пользователи получают доступ к рабочей области Azure Databricks из транзитной виртуальной сети, для которой включена собственная служба DNS, необходимо включить доступ к IP-адресу частной конечной точки для рабочей области по URL-адресу рабочей области.

Может потребоваться настроить условную пересылку в Azure или создать запись DNS A для URL-адреса рабочей области в собственной службе DNS (локальной или внутренней). Подробные инструкции по включению доступа к службам с поддержкой Приватного канала см. в статье Конфигурация DNS частной конечной точки Azure.

Например, если URL-адреса ресурсов напрямую сопоставляются с IP-адресами интерфейсных частных конечных точек во внутренней службе DNS, вам потребуются две записи.

  • Одна запись DNS A сопоставляет URL-адрес рабочей области сadb-1111111111111.15.azuredatabricks.net IP-адресом частной конечной точки внешнего интерфейса.

  • Одна или несколько записей DNS A сопоставляют URL-адрес ответа потока OAuth идентификатора Microsoft Entra с IP-адресом внешнего частного конечной точки, например westus.pl-auth.azuredatabricks.net. Так как в одном регионе может быть несколько экземпляров плоскости управления, может потребоваться добавить несколько A записей, по одному для каждого экземпляра уровня управления.

    Примечание.

    Если вы используете пользовательский DNS, чтобы получить набор доменов экземпляров уровня управления, которые необходимо использовать для регионов, которые вы хотите использовать, обратитесь к группе учетной записи Azure Databricks. В некоторых регионах имеется несколько экземпляров плоскости управления.

Помимо отдельных A записей, необходимых для доступа к частной конечной точке рабочей области, необходимо настроить по крайней мере один набор записей DNS OAuth (browser_authentication) в каждом регионе. Это обеспечивает доступ частного клиента через OAuth ко всем рабочим областям региона, так как browser_authentication частная конечная точка в плоскости управления предоставляется совместно между рабочими областями в этом регионе.

Кроме того, вы можете разрешить трафик OAuth исходящего трафика через общедоступную сеть, если доступ к общедоступному Интернету разрешен, и общий доступ к IP-адресу частной конечной точки для отдельных пользователей в рабочей области для всех бизнес-единиц будет проблемой из-за общего DNS.

После подготовки этих конфигураций вы сможете получить доступ к рабочей области Azure Databricks и запустить кластеры для рабочих нагрузок.

Шаг 5. Проверка проверки подлинности единого входа пользователя в рабочую область

Необходимо протестировать проверку подлинности в новой рабочей области. Для первой попытки проверки подлинности запустите рабочую область с портала Azure. В объекте рабочей области есть кнопка Запуск рабочей области, которая нам важна. Щелкнув его, Azure Databricks пытается войти в рабочую область и подготовить учетную запись пользователя администратора рабочей области. Важно протестировать проверку подлинности, чтобы убедиться в том, что рабочая область работает правильно.

  1. Нажмите кнопку "Запустить рабочую область".

  2. Проверьте сетевой доступ из транзитной виртуальной сети или сетевого расположения, к которому он обращается. Например, если локальная сеть имеет доступ к транзитной виртуальной сети, вы можете проверка единый вход пользователя из локальной сети. Подтвердите сетевой доступ из тестовой сети в транзитную подсеть.

    • Если вы включили интерфейсный Приватный канал, необходимо убедиться в том, что проверка подлинности проходит успешно из транзитной виртуальной сети. Если вы уже использовали ExpressRoute или VPN для подключения локальной сети к транзитной виртуальной сети, а также если вы являетесь пользователем в маршрутизируемом расположении, которое может подключиться к транзитной виртуальной сети, то вы можете проверить проверку подлинности Azure Databricks, выполнив вход из текущей сети.

    Если вы не находитесь в сетевом расположении, которое может получить доступ к транзитной подсети, можно проверить подключение, создав виртуальную машину в подсети транзитной подсети или сетевом расположении, которое может связаться с ним. Например, используйте виртуальную машину Windows 10:

    1. Перейдите к колонке виртуальной машины на портале Azure.
    2. Создайте виртуальную машину Windows 10 в тестовой виртуальной сети и подсети.
    3. Подключитесь к ней с помощью клиента RDP, например Удаленного рабочего стола (Майкрософт).

  3. На виртуальной машине или другом тестовом компьютере используйте веб-браузер для подключения к портал Azure и запуска рабочей области.

    1. На портале Azure найдите объект рабочей области Azure Databricks.
    2. Нажмите кнопку Запуск рабочей области, чтобы открыть вкладку и войти в Azure Databricks с помощью идентификатора пользователя, который применялся для входа на портал Azure.
    3. Убедитесь, что имя входа выполнено успешно.

Устранение неполадок проверки подлинности

Ошибка. Может появиться сообщение "Настроенные параметры конфиденциальности запрещают доступ к рабочей области <your-workspace-id> по текущей сети. Для получения дополнительной информации обратитесь к администратору".

Возможные причины этой ошибки:

  • Вы подключаетесь к рабочей области через общедоступный Интернет (а не через Приватный канал).
  • Вы настроили рабочую область так, чтобы она не поддерживала доступ по общедоступной сети.

Ознакомьтесь с предыдущими шагами в этом разделе.

Ошибка: "Ошибка браузера с кодом DNS_PROBE_FINISHED_NXDOMAIN

Эта ошибка означает, что сбой входа пользователя в веб-приложение Azure Databricks, так как не удалось найти соответствующую конфигурацию DNS для экземпляра уровня управления Azure Databricks в целевом регионе. Запись DNS, указывающая на имя <control-plane-instance-short-name>.pl-auth, не найдена. Возможно, вы неправильно настроили частную конечную точку проверки подлинности браузера. Внимательно просмотрите раздел на шаге 4. Создайте частную конечную точку для поддержки единого входа для доступа к веб-браузеру. Если у вас есть вопросы, обратитесь к группе учетной записи Azure Databricks.

Шаг 6. Тестирование серверного подключения через Приватный канал (требуется для серверного подключения)

Если вы добавили серверное подключение через Приватный канал, важно проверить правильность его работы. Просто войти в веб-приложение Azure Databricks для этого недостаточно.

Внимание

Если вы используете или планируете использовать группу безопасности сети или брандмауэр вокруг виртуальной сети для управления исходящими данными, необходимо открыть порты 443, 6666, 3306 и 8443-8451 в подсети частной конечной точки для исходящего трафика для подключений к плоскости управления Azure Databricks, включая безопасное ретранслятор подключения к кластеру.

  1. Если вы еще не вошли в рабочую область Azure Databricks, сделайте это по URL-адресу рабочей области или нажмите кнопку Запуск рабочей области в экземпляре службы Azure Databricks на портале Azure.

  2. В области навигации слева щелкните Вычисления.

  3. Щелкните Создать кластер, введите имя кластера и нажмите кнопку Создать кластер. Дополнительные сведения о создании кластеров см . в справочнике по конфигурации вычислений.

    Дождитесь успешного запуска кластера. Это может занять несколько минут. Обновите страницу, чтобы получить последний статус.

    Если не удается запустить, на странице кластера щелкните журнал событий и просмотрите последние записи. Для типичных Приватный канал неправильной настройки журнал событий содержит ошибку, аналогичную следующей после 10-15 минут ожидания:

    Cluster terminated. Reason: Control Plane Request Failure

    Если вы получите эту ошибку, внимательно просмотрите инструкции в этой статье. Если у вас есть вопросы, обратитесь к группе учетной записи Azure Databricks.

Удаление рабочей области Azure Databricks с частными конечными точками

Внимание

Если вы используете рекомендуемый, но необязательный способ развертывания с использованием частной рабочей области веб-проверки подлинности, важно никогда не удалять рабочую область или частную конечную точку проверки подлинности браузера, связанную с рабочей областью. См . шаг 4. Создание частной конечной точки для поддержки единого входа для доступа к веб-браузеру.

Azure блокирует удаление рабочей области Azure Databricks, если она имеет частные конечные точки.

Внимание

Прежде чем пытаться удалить рабочую область Azure Databricks, необходимо удалить частные конечные точки.

  1. На портале Azure откройте экземпляр службы Azure Databricks, который представляет рабочую область.
  2. В области навигации слева щелкните Параметры > Сеть.
  3. Выберите вкладку Подключения к частной конечной точке.
  4. Если у вас нет частной рабочей области веб-проверки подлинности, проверьте, не используется ли данная рабочая область в вашей организации в качестве ссылки CNAME OAuth и не предоставлен ли доступ к ней другим рабочим областям, использующим тот же экземпляр уровня управления. Если да, перед удалением частных конечных точек, которые могут использовать запись CNAME из этой рабочей области, настройте сетевые объекты других рабочих областей так, чтобы запись CNAME по-прежнему указывала на допустимую запись A зоны из другой рабочей области. См . шаг 4. Создание частной конечной точки для поддержки единого входа для доступа к веб-браузеру.
  5. Для каждой частной конечной точки выберите строку и щелкните значок "Удалить ". Нажмите кнопку Да для подтверждения удаления.

По завершении можно удалить рабочую область на портале Azure.

Просмотр или утверждение частных конечных точек, ожидающих утверждения

Если пользователь Azure, создавший частную конечную точку для транзитной виртуальной сети, не имеет разрешений владельца или участник для рабочей области, отдельный пользователь с разрешениями владельца или участник рабочей области должен вручную утвердить запрос на создание частной конечной точки, прежде чем он включен.

Возможные состояния подключения:

  • Утверждено: конечная точка утверждена, и дальнейших действий не требуется.
  • Ожидание. Конечная точка требует утверждения от пользователя с разрешениями владельца или участник для рабочей области.
  • Отключено: конечная точка отключена, так как связанный объект для этого подключения был удален.
  • Отклонено: конечная точка была отклонена.

Чтобы проверить состояние подключения, выполните указанные ниже действия.

  1. На портале Azure перейдите в рабочую область, содержащую одну или несколько частных конечных точек, которые вы недавно создали.

  2. Щелкните Сеть.

  3. Выберите вкладку Подключения к частной конечной точке.

  4. В списке конечных точек просмотрите столбец Состояние подключения.

    • Если все они имеют состояние подключения Утверждено, для утверждения частной конечной точки не требуется никаких действий.
    • Если любая из них находится в состоянии Ожидание, для нее требуется утверждение пользователем с разрешениями владельца или участника в рабочей области.

  5. Если у вас есть разрешения владельца или участника в рабочей области, выполните указанные ниже действия.

    1. Выберите одну или несколько строк конечных точек, ожидающих выполнения.

    2. Если вы утверждаете подключение, нажмите кнопку Утвердить.

      Если вы не утверждаете подключение, нажмите кнопку Отклонить.

    Если у вас нет разрешений владельца или участника в рабочей области, обратитесь к ее администратору с просьбой утвердить подключение.