Что такое протокол совместного доступа Databricks-to-Open?

На этой странице представлен обзор того, как поставщики могут использовать протокол совместного использования Databricks-to-Open, чтобы предоставлять доступ к данным из вашей рабочей области Azure Databricks с поддержкой Unity Catalog любым пользователям на любой вычислительной платформе и в любом месте. Если вы являетесь получателем данных (пользователь или группа пользователей, которым предоставляется общий доступ к данным), см. вместо этого доступ к данным с помощью OpenSharing (для получателей).

Кому следует использовать протокол совместного использования Databricks-to-Open?

Существует три способа совместного использования данных с помощью OpenSharing:

  1. Протокол общего доступа Databricks to Open, описанный в этой статье, позволяет совместно использовать данные, управляемые в рабочей области с поддержкой каталога Unity Databricks с пользователями на любой вычислительной платформе.

    Этот подход использует сервер OpenSharing, встроенный в Azure Databricks, и полезен при управлении данными с помощью каталога Unity и хотите поделиться им с пользователями, которые не используют Databricks или не имеют доступа к рабочей области Databricks с поддержкой каталога Unity. Интеграция с каталогом Unity на стороне поставщика упрощает настройку и управление поставщиками.

  2. Управляемая клиентом реализация сервера OpenSharing с открытым кодом позволяет предоставлять общий доступ от любой платформы к любой платформе, независимо от того, используется ли Databricks или нет.

    См. проект открытый код.

  3. Протокол совместного использования Databricks-to-Databricks позволяет делиться данными из рабочей области с поддержкой Unity Catalog с пользователями, которые также имеют доступ к рабочей области Databricks с поддержкой Unity Catalog.

    См. Что такое протокол OpenSharing Databricks-to-Databricks?.

Общие сведения об OpenSharing и дополнительные сведения об этих трех подходах см. в статье "Что такое OpenSharing?".

Рабочий процесс совместного использования Databricks to-Open

В этом разделе представлен общий обзор рабочего процесса общего доступа Databricks to Open с ссылками на подробную документацию по каждому шагу.

В модели совместного использования Databricks-to-Open:

  1. Поставщик данных создает получателя, который является именованным объектом, который представляет пользователя или группу пользователей, с которыми поставщик данных хочет предоставить общий доступ к данным.

    Когда поставщик данных создает получателя, поставщик настраивает аутентификацию с помощью продолжительно действующего маркера носителя или федерации Open ID Connect (OIDC). Если поставщик использует маркер носителя, Azure Databricks создает файл учетных данных и ссылку активации, которую поставщик данных может отправить получателю для доступа к файлу учетных данных. В потоке федерации OIDC IdP получателя управляет аутентификацией на основе политики, созданной поставщиком.

    Дополнительные сведения см. в статье «Создание объекта получателя для пользователей, не использующих Databricks, с помощью bearer-токенов (совместное использование Databricks-to-Open)» или «Включение федерации OpenID Connect (OIDC) для получателей OpenSharing».

  2. Поставщик данных создает общую папку, которая представляет собой именованный объект, содержащий коллекцию таблиц, зарегистрированных в хранилище метаданных каталога Unity в учетной записи поставщика.

    Дополнительные сведения см. в разделе "Создание общих папок" для OpenSharing.

  3. Поставщик данных предоставляет получателю доступ к ресурсу.

    Дополнительные сведения см. в разделе "Управление доступом к общим папкам данных OpenSharing" (для поставщиков).

  4. В потоке маркеров носителя поставщик данных отправляет ссылку активации получателю через безопасный канал, а также инструкции по использованию ссылки активации для скачивания файла учетных данных, который получатель будет использовать для установления безопасного подключения к поставщику данных для получения общих данных.

    Дополнительные сведения см. в статье "Получение ссылки на активацию".

    В процессе федерации OIDC пользователи проходят аутентификацию через свой поставщик удостоверений. См. Включение федерации Open ID Connect (OIDC) для получателей OpenSharing.

  5. В потоке токенов доступа получатель данных следует ссылке активации, чтобы скачать файл доступа, а затем использовать его для доступа к общим данным.

    Общие данные доступны только для чтения. Пользователи могут получить доступ к данным с помощью выбранной платформы или инструментов. Подробнее см. Чтение данных, предоставленных с помощью токенов bearer.

    В процессе федерации OIDC пользователи проходят аутентификацию через свой поставщик удостоверений. См. Включение федерации Open ID Connect (OIDC) для получателей OpenSharing.

Конфигурации для конкретного поставщика

Многие поставщики имеют собственные сети OpenSharing для общего доступа. Инструкции по совместному использованию см. в следующих примерах:

Токены облака и доступ, основанный на каталогах

Если вы предоставляете доступ к соответствующим таблицам Delta с помощью общего доступа Databricks to-Open, Azure Databricks возвращает расположение облачного хранилища таблицы вместе с временными облачными учетными данными (облачными токенами), которые получатели могут использовать для чтения данных непосредственно из облачного хранилища. Это называется режимом доступа на основе каталогов и является частью протокола общего доступа Databricks to-Open. Он включен по умолчанию для новых совместно используемых активов, которые соответствуют требованиям. Если общая таблица не соответствует всем требованиям, получатели используют предварительно подписанный URL-адрес в обычном порядке.

Для получения информации о критериях соответствия и соображениях конфиденциальности данных см. Правила использования облачных маркеров.

Настройка поставщика и аспекты безопасности при совместном использовании данных из Databricks в Open

Хорошее управление маркерами — это ключ безопасного обмена данными при использовании модели общего доступа Databricks to-Open:

  • Поставщики данных в Azure Databricks, которые намерены использовать совместное использование Databricks-to-Open при предоставлении ресурсов общего доступа, должны настроить срок действия токена получателя по умолчанию при включении OpenSharing для хранилища метаданных Unity Catalog. Databricks рекомендует устанавливать конечный срок действия токенов. См. раздел "Включить OpenSharing" в хранилище метаданных.
  • Если необходимо изменить время существования маркера по умолчанию, см. раздел "Изменить время существования маркера получателя".
  • Поощряйте получателей безопасно управлять скачанным файлом учетных данных.
  • Дополнительные сведения об управлении токенами и безопасности обмена данными из Databricks в Open см. в разделе Управление токенами получателей.
  • Совместное использование Databricks to Open поддерживается между всеми типами облачных сред.

Поставщики данных могут обеспечить дополнительную безопасность, назначив списки IP-доступа, чтобы ограничить доступ получателя к определенным сетевым расположениям. См. Ограничение доступа получателей OpenSharing с помощью списков доступа по IP-адресам (обмен данными из Databricks в Open).

  • Last updated on