Предоставление общего доступа к данным с помощью протокола Delta Share Databricks to Databricks (для поставщиков)

В этой статье представлен обзор использования Databricks to Databricks Delta Share для безопасного совместного использования данных с любым пользователем Databricks независимо от учетной записи или облачного узла, если у этого пользователя есть доступ к рабочей области, включенной для каталога Unity.

Примечание.

Если вы являетесь получателем данных (пользователем или группой пользователей, которым предоставляется общий доступ к данным Databricks), см. статью "Доступ к данным" с помощью разностного общего доступа (для получателей).

Кто следует использовать databricks-to-Databricks Delta Sharing?

Существует три способа совместного использования данных с помощью разностного общего доступа.

1. Протокол общего доступа Databricks to Databricks, описанный в этой статье, позволяет совместно использовать данные из рабочей области с поддержкой каталога Unity пользователям, которые также имеют доступ к рабочей области Databricks с поддержкой каталога Unity.

   Этот подход использует сервер Delta Sharing, встроенный в Azure Databricks, и обеспечивает поддержку совместного использования записных книжек, управления данными каталога Unity, аудита и отслеживания использования для поставщиков и получателей. Интеграция с каталогом Unity упрощает настройку и управление для поставщиков и получателей и повышает производительность.

2. Открытый протокол общего доступа Databricks позволяет совместно использовать данные, управляемые в рабочей области с поддержкой каталога Unity Databricks с пользователями на любой вычислительной платформе.

   См. раздел "Общий доступ к данным" с помощью протокола открытого общего доступа (для поставщиков).

3. Управляемая клиентом реализация сервера с открытым исходным кодом Delta Sharing позволяет предоставлять общий доступ от любой платформы к любой платформе, независимо от того, используется ли Databricks или нет.

   См . github.com/delta-io/delta-sharing.

Общие сведения о разностном совместном использовании и дополнительные сведения об этих трех подходах см. в статье "Общий доступ к данным и ресурсам искусственного интеллекта" безопасно с помощью разностного общего доступа.

Рабочий процесс databricks to Databricks Delta Sharing

В этом разделе представлен общий обзор рабочего процесса обмена Databricks to Databricks с ссылками на подробную документацию по каждому шагу.

В модели databricks to-Databricks Delta Sharing:

1. Получатель данных предоставляет поставщику данных уникальный идентификатор общего доступа для хранилища метаданных каталога Databricks Unity, присоединенного к рабочей области Databricks, которую получатель (представляющий пользователя или группу пользователей) будет использовать для доступа к данным, которым поставщик данных предоставляет общий доступ.

   Дополнительные сведения см . в шаге 1. Запрос идентификатора общего доступа получателя.

2. Поставщик данных создает общую папку в хранилище метаданных каталога Unity поставщика. Этот именованный объект содержит коллекцию таблиц, представлений, томов и записных книжек, зарегистрированных в хранилище метаданных.

   Дополнительные сведения см. в разделе "Создание общих папок и управление ими для разностного общего доступа".

3. Поставщик данных создает объект получателя в хранилище метаданных каталога Unity поставщика. Этот именованный объект представляет пользователя или группу пользователей, которые получат доступ к данным, включенным в общую папку, а также идентификатор хранилища метаданных каталога Unity, присоединенного к рабочей области, которую пользователь или группа пользователей будут использовать для доступа к общей папке. Идентификатор общего доступа — это идентификатор ключа, который обеспечивает безопасное подключение.

   Дополнительные сведения см. в шаге 2. Создание получателя.

4. Поставщик данных предоставляет получателю доступ к общей папке.

   Дополнительные сведения см. в разделе "Управление доступом к общим папкам данных Delta Sharing" (для поставщиков).

5. Общая папка становится доступной в рабочей области Databricks получателя, и пользователи могут получить доступ к ней с помощью каталога Обозреватель, командной строки Databricks или команд SQL в записной книжке Azure Databricks или редакторе запросов Databricks SQL.

   Чтобы получить доступ к таблицам, представлениям, томам и записным книжкам в общей папке, администратор хранилища метаданных или привилегированный пользователь должен создать каталог из общей папки. Затем этот пользователь или другой пользователь, которому предоставлена соответствующая привилегия, может предоставить другим пользователям доступ к каталогу и объектам в каталоге. Предоставление разрешений на общие каталоги и ресурсы данных работает так же, как и с любыми другими ресурсами, зарегистрированными в каталоге Unity, при этом важно, чтобы пользователям было предоставлен доступ только для чтения для объектов в каталогах, созданных из общих папок Delta Share.

   Общие записные книжки живут на уровне каталога, и любой пользователь с USE CATALOG привилегиями в каталоге может получить к ним доступ.

   Дополнительные сведения см. в разделе "Чтение данных" с помощью Databricks to Databricks Delta Sharing (для получателей).