Что такое протокол OpenSharing Databricks-to-Databricks?

На этой странице приведен обзор того, как использовать OpenSharing Databricks-to-Databricks для безопасного обмена данными с любым пользователем Databricks независимо от учетной записи или облачной платформы, при условии, что у этого пользователя есть доступ к рабочей области с поддержкой Unity Catalog.

Кто должен использовать Databricks to Databricks OpenSharing?

Существует три способа совместного использования данных с помощью OpenSharing.

1. Протокол общего доступа Databricks-to-Databricks, описанный в этой статье, позволяет вам делиться данными из вашей рабочей области, поддерживающей каталог Unity, с пользователями, у которых также есть доступ к рабочей области Databricks с поддержкой каталога Unity.

   Этот подход использует сервер OpenSharing, встроенный в Azure Databricks, и обеспечивает поддержку совместного использования записных книжек, управления данными каталога Unity, аудита и отслеживания использования для поставщиков и получателей. Интеграция с каталогом Unity упрощает настройку и управление для поставщиков и получателей и повышает производительность.

2. Протокол общего доступа Databricks to Open позволяет совместно использовать данные, управляемые в рабочей области Databricks с поддержкой каталога Unity, с пользователями на любой вычислительной платформе.

   См. раздел "Что такое протокол общего доступа Databricks to-Open?".

3. Управляемая клиентом реализация сервера OpenSharing с открытым кодом позволяет предоставлять общий доступ от любой платформы к любой платформе, независимо от того, используется ли Databricks или нет.

   См. проект открытый код.

Общие сведения об OpenSharing и дополнительные сведения об этих трех подходах см. в статье "Что такое OpenSharing?".

Рабочий процесс Databricks to Databricks OpenSharing

В этом разделе представлен общий обзор рабочего процесса обмена Databricks to Databricks с ссылками на подробную документацию по каждому шагу.

В модели Databricks to Databricks OpenSharing:

1. Получатель данных предоставляет поставщику данных уникальный идентификатор общего доступа для хранилища метаданных каталога Databricks Unity, присоединенного к рабочей области Databricks, которую получатель (представляющий пользователя или группу пользователей) будет использовать для доступа к данным, которым поставщик данных предоставляет общий доступ.

   Дополнительные сведения см. в шаге 1. Запрос идентификатора общего доступа получателя.

2. Поставщик данных создает общую папку в хранилище метаданных каталога Unity поставщика. Этот именованный объект содержит коллекцию таблиц, представлений, томов и записных книжек, зарегистрированных в хранилище метаданных.

   Дополнительные сведения см. в разделе "Создание общих папок" для OpenSharing.

3. Поставщик данных создает объект получателя в хранилище метаданных каталога Unity поставщика. Этот именованный объект представляет пользователя или группу пользователей, которые получат доступ к данным, включенным в общую папку, а также идентификатор хранилища метаданных каталога Unity, присоединенного к рабочей области, которую пользователь или группа пользователей будут использовать для доступа к общей папке. Идентификатор общего доступа — это идентификатор ключа, который обеспечивает безопасное подключение.

   Дополнительные сведения см. в шаге 2. Создание получателя.

4. Поставщик данных предоставляет получателю доступ к ресурсу.

   Дополнительные сведения см. в разделе "Управление доступом к общим папкам данных OpenSharing" (для поставщиков).

5. Общий ресурс становится доступным в рабочем пространстве Databricks получателя, и получатели могут получить к нему доступ с помощью Catalog Explorer, интерфейса командной строки Databricks или команд SQL в записной книжке Azure Databricks либо в редакторе запросов Databricks SQL.

   Чтобы получить доступ к таблицам, представлениям, томам и записным книжкам в общей папке, администратор хранилища метаданных или привилегированный пользователь должен создать каталог из общей папки. Затем этот пользователь или другой пользователь, которому предоставлена соответствующая привилегия, может предоставить другим пользователям доступ к каталогу и объектам в каталоге. Предоставление разрешений на общие каталоги и ресурсы данных работает так же, как и с любыми другими ресурсами, зарегистрированными в каталоге Unity, при этом важно, чтобы пользователям было предоставлен доступ только для чтения для объектов в каталогах, созданных из общих папок OpenSharing.

   Общие записные книжки находятся на уровне каталога, и любой пользователь с USE CATALOG привилегией каталога может получить к ним доступ.

   Подробности см. в разделе Чтение данных, предоставленных через Databricks-to-Databricks OpenSharing (для получателей).

Улучшите скорость чтения таблиц с помощью совместного использования истории

Общие ресурсы таблиц Databricks-to-Databricks могут повысить производительность, позволяя делиться историческими данными. Журнал совместного использования повышает производительность, используя временные учетные данные безопасности из облачного хранилища, в корневом каталоге общей разностной таблицы поставщика, что приводит к производительности, которая сравнима с прямым доступом к исходным таблицам.

• Для новых общих папок таблицы укажите WITH HISTORY при создании общей папки таблицы. См. раздел "Добавление таблиц в общую папку". При совместном использовании таблицы с помощью вычислений в Databricks Runtime 16.2 и более поздних версий WITH HISTORY используется по умолчанию.
• Для существующих долей таблиц необходимо изменить долю, чтобы сохранить историю таблиц. См. обновление акций . При совместном использовании таблицы с помощью вычислений в Databricks Runtime 16.2 и более поздних версий WITH HISTORY используется по умолчанию.

При предоставлении доступа ко всей схеме, все таблицы в схеме по умолчанию делятся вместе с историей.

Note

Таблицы с включенным секционированием не получают преимущества от разделения истории. См. раздел Указание разделов таблиц для совместного использования

Требования к соответствию облачных токенов и соображения по конфиденциальности данных см. в разделе "Право на использование облачного токена".

Матрица поддержки Databricks to Databricks OpenSharing для облачных сред

OpenSharing Databricks-to-Databricks поддерживает общий доступ в пределах одного и того же типа среды. Коммерческие облака включают рабочие области с включенными элементами управления соответствием, например FedRAMP Moderate. Совместное использование с Azure для государственных организаций средами не поддерживается.

Это важно

Общий доступ между нормативными доменами доступен в Общедоступной предварительной версии.

В этой матрице каждая строка представляет среду поставщика (данные для обмена метаданными), а каждый столбец представляет среду получателя (хранилище метаданных, получающее общие данные).

Поставщик	Получатель: коммерческие облачные услуги	Получатель: AWS GovCloud	Получатель: AWS GovCloud DoD	Получатель: Azure China
Коммерческие облака	✓	✓	✓	✓
AWS GovCloud	✓	✓	✓
AWS GovCloud DoD	✓	✓	✓
Azure China	✓			✓

Limitations

Следующие ограничения применяются к совместному доступу к межрегиерному домену:

• Облачные токены используются, если общий ресурс не перемещается в AWS GovCloud или AWS GovCloud DoD либо из них. В следующих случаях таблицы используются для общего доступа с помощью предварительно подписанных URL-адресов.
  • Коммерческое облако предоставляет общие ресурсы AWS GovCloud или AWS GovCloud DoD либо получает их от них.
  • AWS GovCloud и AWS GovCloud DoD обмениваются друг с другом.