Предоставление общего доступа к данным за брандмауэром с помощью SecureConnect

Important

Эта функция доступна в общедоступной предварительной версии.

На этой странице описано, как поставщики настраивают OpenSharing SecureConnect, чтобы предоставлять доступ к данным из облачного хранилища, находящегося за брандмауэром или приватной конечной точкой, без необходимости добавлять сеть каждого получателя в список разрешённых.

Как работает SecureConnect

Перед включением SecureConnect в учетной записи Azure Databricks поставщик выполняет однократную настройку. Эта конфигурация позволяет Azure Databricks получателям получить доступ к хранилищу поставщика за брандмауэром или частной конечной точкой. Azure Databricks затем направляет запросы получателей через управляемый прокси-сервер, поэтому поставщику не нужно обновлять брандмауэр хранилища при добавлении нового получателя.

Получатели получают доступ к общим данным с помощью существующей установки OpenSharing:

  • Получатели в Azure Databricks на бессерверных вычислительных ресурсах получают доступ к общим ресурсам без изменений в брандмауэре для каждого поставщика.
  • Получатели Azure Databricks на классических вычислительных ресурсах и открытые получатели добавляют в список разрешённых один набор IP-адресов плоскости управления Azure Databricks для региона поставщика.

Без SecureConnect поставщик должен добавить идентификатор сети каждого получателя в брандмауэр хранилища, координируясь с получателем и администратором облачной платформы для каждого нового получателя.

Требования

Настройка SecureConnect в качестве поставщика

Настройка SecureConnect включает настройку брандмауэра хранилища, чтобы разрешить доступ и включить SecureConnect для хранилищ метаданных и получателей.

Шаг 1. Настройка брандмауэра хранилища

В следующих инструкциях предполагается, что общие ресурсы и хранилище метаданных поставщика находятся в одном регионе. Для наименьшей стоимости сети сохраните регион общих активов так же, как и регион хранилища метаданных поставщика.

SecureConnect обращается к хранилищу через бессерверную плоскость данных. Следуйте одному из следующих параметров установки в зависимости от того, находится ли ваше хранилище в общедоступной или частной сети.

Вариант 1. Хранилище в общедоступной сети

Используйте этот параметр, если хранилище доступно через общедоступную сеть. Если хранилище находится за частной конечной точкой, см. следующий раздел.

Чтобы разрешить Azure Databricks доступ к ресурсам, свяжите ресурс Azure с периметром безопасности сети в режиме перехода и добавьте AzureDatabricksServerless.{region} тег службы в список разрешений, где {region} находится область уровня управления поставщика. См. статью Настройка периметра сетевой безопасности (NSP) Azure для ресурсов Azure.

Вариант 2. Хранилище в частной сети

Используйте этот параметр, если общее хранилище находится за частной конечной точкой и недоступно из общедоступной сети.

Администратор учетной записи должен настроить конфигурацию сетевого подключения (NCC) и подключить ее к хранилищу метаданных, на котором размещены общие данные. Дополнительные сведения о NCCs см. в разделе "Что такое конфигурация сетевого подключения(NCC)?".

NCC, подключённая к рабочей области, не может быть подключена к хранилищу метаданных. NCC, применённый к хранилищу метаданных для OpenSharing, действует на все общие ресурсы, подключённые к этому хранилищу метаданных.

Создайте правила NCC и частного конечного узла для вашей учетной записи хранения, но не подключайте NCC к рабочей области. SecureConnect также требует наличия правила для частной конечной точки как для blob, так и для dfs, поэтому создайте правило для частной конечной точки для каждого типа подресурса.

Сведения о настройке NCC и частной конечной точки см. в статье Настройка частного подключения к ресурсам Azure.

Подключите NCC к хранилищу метаданных OpenSharing:

  1. В качестве администратора учетной записи Azure Databricks перейдите в консоль учетной записи.
  2. На боковой панели щелкните значок Каталог.
  3. Щелкните имя хранилища метаданных OpenSharing, чтобы открыть сведения.
  4. В разделе Конфигурация подключения к сети OpenSharing (NCC) нажмите кнопку "Изменить".
  5. Найдите и выберите NCC, созданную для OpenSharing.
  6. Нажмите кнопку Сохранить.

Important

Если вы не можете подключить NCC к хранилищу метаданных, обратитесь к группе учетной записи Databricks, чтобы включить частное подключение для OpenSharing SecureConnect с помощью NCC.

Шаг 2. Включение SecureConnect в хранилище метаданных

Администратор хранилища метаданных может настроить хранилище метаданных, чтобы новые получатели автоматически использовали SecureConnect. По умолчанию новые и существующие получатели не регистрируются в SecureConnect. Необходимо настроить существующих получателей отдельно. См. шаг 3. Включение SecureConnect для отдельных получателей.

Чтобы включить SecureConnect в хранилище метаданных, выполните следующее:

  1. В рабочей области Azure Databricks щелкните Data icon.Catalog, чтобы открыть обозреватель каталогов.

  2. В верхней части панели Каталог щелкните значок шестерёнки и выберите OpenSharing.

    Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

  3. Щелкните "Параметры" в правом верхнем углу.

  4. Включите параметр Включить SecureConnect для новых получателей.

  5. Нажмите кнопку Сохранить.

Шаг 3. Включение SecureConnect для отдельных получателей

Владельцы получателя и пользователи с привилегией USE_RECIPIENT могут включать и отключать SecureConnect для каждого получателя. SecureConnect отключен для получателя по умолчанию, если только хранилище метаданных не было установлено, чтобы включить его для всех новых получателей при создании получателя.

Чтобы настроить SecureConnect на получателях, выполните указанные действия.

  1. В рабочей области Azure Databricks щелкните Data icon.Catalog.

  2. В верхней части панели Каталог щелкните значок шестерёнки и выберите OpenSharing.

    Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

  3. На вкладке "Общий доступ" щелкните вкладку "Получатели ".

  4. Включите SecureConnect для каждого нужного получателя.

(Необязательно) Шаг 4. Ограничьте доступ открытых получателей с помощью списков управления доступом IP (ACL)

Для открытых получателей можно ограничить, какие IP-адреса клиента разрешены для доступа к SecureConnect с помощью списков доступа к IP-адресам. Списки управления доступом по IP-адресам применяются только к открытым получателям.

В SecureConnect списки контроля доступа по IP (IP ACL) действуют как для доступа к конечной точке OpenSharing, так и для доступа к хранилищу. Без SecureConnect ACL по IP-адресам ограничивают доступ только к эндпоинту OpenSharing; URL-адреса хранилища остаются доступными с IP-адреса любого клиента.

Инструкции по настройке см. в статье Ограничение доступа получателей OpenSharing с помощью списков доступа по IP-адресам (обмен данными Databricks-to-Open).

Замечание

Изменения IP ACL для открытых получателей с поддержкой SecureConnect могут занять до 10 минут.

Поддерживаемые сценарии общего доступа

Important

Любая неподдерживаемая функция возвращается к прямому доступу от вычислительных ресурсов получателя к хранилищу. Поставщик должен вручную предоставить доступ к IP-адресам получателей в брандмауэре хранилища. См. Что такое протокол OpenSharing между Databricks и Databricks? или Что такое протокол обмена между Databricks и Open?.

SecureConnect поддерживает общий доступ к AWS, Azure и GCP.

MTLS to SecureConnect поддерживается только для бессерверных кластеров получателей.

Поддержка функций

Функция D2O (токен) D2O (OIDC)* D2O (Айсберг) D2D (бессерверная архитектура) D2D (классическая версия)
Таблицы с историей и без разделов ✓ ✓ ✗ ✓** ✓**
Таблицы без истории или с разбиением ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓*** ✓
Внешние таблицы ✓ ✓ ✗ ✓ ✓
Материализованные представления ✓ ✓ ✗ ✓*** ✓
Таблицы потоков ✓ ✓ ✗ ✓*** ✓
Volumes ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
Модели ИИ ✗ ✗ ✗ ✗ ✗

* Общий доступ к OIDC в настоящее время не работает, когда получатель также находится на Azure Databricks.

** Оптимизация облачных маркеров недоступна для SecureConnect.

*** Эти ресурсы материализуются и фильтруются на стороне поставщика. См. сведения о том, имеют ли получатели прямой доступ к базовым данным в общих представлениях, материализованных представлениях и таблицах потоковой передачи?

Ограничения

  • Ресурсы не могут быть подкреплены хранилищем Cloudflare R2.

Ограничения на стороне получателя, такие как поддержка mTLS и ограничения общего доступа Databricks to Open, см. в разделе "Ограничения".

Неподдерживаемые регионы

SecureConnect недоступна в Azure Китае, Azure для государственных организаций или в следующих регионах Azure:

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

Выставление счетов

С поставщиков взимается плата за передачу данных через SecureConnect. См. цены на передачу данных и подключение.

Использование по каждому получателю привязывается через поле recipient_id в таблице биллинговой системы, поэтому поставщики могут детализировать тарифицируемое использование SecureConnect по получателям. См. справочную таблицу по использованию системы выставления счетов.

Следующий запрос возвращает исходящие данные SecureConnect (в ГБ) для каждого получателя за последние 7 дней:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Чтобы преобразовать объём использования в стоимость, выполните соединение с таблицей системы ценообразования. См. справочник по системе ценообразования.

Дополнительные ресурсы

  • Last updated on