Поделиться через

Настройка разностного общего доступа для учетной записи (для поставщиков)

  • Статья

В этой статье описывается, как поставщики данных (организации, которые хотят безопасно использовать разностный общий доступ к данным) выполняют начальную настройку Delta Sharing в Azure Databricks.

Примечание.

Если вы являетесь получателем данных (организация, которая получает данные, которыми предоставляется общий доступ с помощью Delta Shared), см. вместо этого чтение данных с помощью Databricks to-Databricks Delta Sharing (для получателей).

Внимание

Поставщик, который хочет использовать сервер Delta Sharing, встроенный в Azure Databricks, должен иметь по крайней мере одну рабочую область, включенную для каталога Unity. Вам не нужно перенести все рабочие области в каталог Unity. Вы можете создать одну рабочую область с поддержкой каталога Unity для управления общими ресурсами. В некоторых учетных записях новые рабочие области включены автоматически для каталога Unity. См. Автоматическое включение каталога Unity.

Если создать рабочую область с поддержкой каталога Unity не является вариантом, можно использовать проект Delta Sharing с открытым исходным кодом для развертывания собственного сервера Delta Sharing и использования для совместного использования таблиц Delta с любой платформы.

Начальная настройка поставщика включает следующие действия.

  1. Включите разностный общий доступ в хранилище метаданных каталога Unity.
  2. (Необязательно) Установите интерфейс командной строки каталога Unity.
  3. Настройте аудит действия Delta Sharing.

Требования

Как поставщик данных, который настраивает учетную запись Azure Databricks, чтобы иметь возможность совместного использования данных, необходимо:

  • По крайней мере одна рабочая область Azure Databricks, включенная для каталога Unity.

    Вам не нужно перенести все рабочие области в каталог Unity, чтобы воспользоваться преимуществами поддержки Databricks для поставщиков Delta Sharing. См. раздел " Требуется ли каталог Unity для использования разностного общего доступа?".

    Получатели не должны иметь рабочую область с поддержкой каталога Unity.

  • Роль администратора учетной записи для хранилища метаданных каталога Unity и включения ведения журнала аудита.

  • Роль администратора хранилища метаданных или CREATE SHARE права и CREATE RECIPIENT привилегии. См . роли администратора.

    Примечание.

    Если рабочая область включена для каталога Unity автоматически, возможно, у вас нет администратора хранилища метаданных. Однако администраторы рабочих областей в таких рабочих областях имеют CREATE SHARE права и CREATE RECIPIENT привилегии в хранилище метаданных по умолчанию. Дополнительные сведения см. в разделе "Автоматическое включение прав администратора каталога Unity" и прав администратора рабочей области при автоматическом включении рабочих областей для каталога Unity.

Включение разностного общего доступа в хранилище метаданных

Выполните следующие действия для каждого хранилища метаданных каталога Unity, которое управляет данными, которые вы планируете предоставить общий доступ с помощью Delta Share.

Примечание.

Если вы планируете использовать разностный общий доступ только для обмена данными с пользователями в других хранилищах метаданных каталога Unity в вашей учетной записи, вам не нужно включить разностный обмен данными. Общий доступ к хранилищу метаданных в одной учетной записи Azure Databricks между Metastore включен по умолчанию.

  1. Как администратор учетной записи Azure Databricks войдите в консоль учетной записи.

  2. На боковой панели щелкните Значок каталога "Каталог".

  3. Щелкните имя хранилища метаданных, чтобы открыть его сведения.

  4. Установите флажок рядом с параметром "Включить разностный общий доступ", чтобы разрешить пользователю Databricks предоставлять доступ к данным за пределами своей организации.

  5. Настройте время существования маркера получателя.

    Эта конфигурация задает период времени, после которого истекает срок действия всех маркеров получателя и должен быть повторно создан. Маркеры получателей используются только в открытом протоколе общего доступа . Databricks рекомендует настроить время существования маркера по умолчанию, а не разрешить маркерам жить бесконечно.

    Примечание.

    Время существования маркера получателя для существующих получателей не обновляется автоматически при изменении времени существования маркера получателя по умолчанию для хранилища метаданных. Чтобы применить новое время существования маркера к указанному получателю, необходимо повернуть его маркер. См. раздел "Управление маркерами получателей" (открытый общий доступ).

    Чтобы задать время существования маркера получателя по умолчанию, выполните указанные ниже действия.

    1. Убедитесь, что срок действия набора включен (это значение по умолчанию).

      Если этот флажок снят, срок действия маркеров никогда не истекает. Databricks рекомендует устанавливать конечный срок действия маркеров.

    2. Введите число секунд, минут, часов или дней и выберите единицу измерения.

    3. Выберите Включить.

    Дополнительные сведения см. в разделе "Вопросы безопасности" для токенов.

  6. При необходимости введите имя вашей организации, с помощью которого получатель может определить, кто предоставляет им общий доступ.

  7. Выберите Включить.

(Необязательно) Установка интерфейса командной строки для каталога Unity

Для управления общими ресурсами и получателями можно использовать обозреватель каталогов, команды SQL или интерфейс командной строки каталога Unity. Интерфейс командной строки запускается в локальной среде и не требует вычислительных ресурсов Azure Databricks.

Чтобы установить интерфейс командной строки, ознакомьтесь с разделом "Что такое интерфейс командной строки Databricks?".

Включение ведения журнала аудита

Как администратор учетной записи Azure Databricks необходимо включить ведение журнала аудита для записи событий Delta Sharing, таких как:

  • Когда кто-то создает, изменяет, обновляет или удаляет общую папку или получателя
  • Когда получатель обращается к ссылке активации и скачивает учетные данные (только открытый общий доступ)
  • Когда получатель обращается к данным
  • Если учетные данные получателя поворачиваются или истекают (только открытый общий доступ)

Действие разностного общего доступа регистрируется на уровне учетной записи.

Чтобы включить ведение журнала аудита, следуйте инструкциям в справочнике по журналу диагностики.

Внимание

Действие разностного общего доступа регистрируется на уровне учетной записи. При настройке доставки журналов не введите значение для workspace_ids_filter.

Подробные сведения о том, как регистрируются события Delta Sharing, см. в статье "Аудит и мониторинг общего доступа к данным".

Предоставление разрешения на создание общих папок и получателей и управление ими

Администраторы хранилища метаданных имеют право создавать и управлять общими папками и получателями, включая предоставление общих папок получателям. Многие задачи поставщика можно делегировать администратором хранилища метаданных с помощью следующих привилегий:

Примечание.

Если рабочая область включена для каталога Unity автоматически, возможно, у вас нет администратора хранилища метаданных. Однако администраторы рабочих областей в таких рабочих областях имеют CREATE SHARE права и CREATE RECIPIENT привилегии в хранилище метаданных по умолчанию. Дополнительные сведения см. в разделе "Автоматическое включение прав администратора каталога Unity" и прав администратора рабочей области при автоматическом включении рабочих областей для каталога Unity.

  • CREATE SHARE в хранилище метаданных предоставляет возможность создавать общие папки.
  • CREATE RECIPIENT в хранилище метаданных предоставляет возможность создавать получателей.
  • USE RECIPIENT при предоставлении возможности перечислять и просматривать сведения обо всех получателях в хранилище метаданных.
  • USE SHARE в хранилище метаданных предоставляет возможность перечислять и просматривать сведения обо всех общих папках в хранилище метаданных.
  • USE RECIPIENTи USE SHARE, SET SHARE PERMISSION в сочетании дают пользователю возможность предоставлять общий доступ получателям.
  • USE SHARE и SET SHARE PERMISSION в сочетании дают пользователю возможность передавать права владения любой общей папкой.
  • Владельцы общих ресурсов и получателей могут обновлять эти объекты и предоставлять общий доступ получателям. Создатели объектов по умолчанию предоставляются права владения, но их можно передать.
  • Владельцы общих ресурсов могут добавлять таблицы и тома в общие папки, если у них есть SELECT доступ к таблицам и READ VOLUME доступ к томам.

Дополнительные сведения см. в разделе "Привилегии каталога Unity" и защищаемые объекты и разрешения, перечисленные для каждой задачи, описанной в руководстве по разностному совместному использованию.