Настройка OpenSharing для учетной записи (для поставщиков)

На этой странице описывается настройка OpenSharing на Azure Databricks для поставщиков данных (организации, которые хотят использовать OpenSharing для безопасного использования данных).

Если вы являетесь получателем данных (организацией, которая получает данные, к которым предоставлен общий доступ с помощью OpenSharing), см. Чтение данных, к которым предоставлен общий доступ с помощью Databricks-to-Databricks OpenSharing (для получателей).

Important

Для OpenSharing требуется рабочая область с поддержкой каталога Unity. Вы можете создать одну рабочую область с поддержкой каталога Unity для управления общими ресурсами. В некоторых учетных записях новые рабочие области для каталога Unity включаются автоматически. См. статью "Начало работы с каталогом Unity".

Если создать рабочую область с поддержкой каталога Unity не является вариантом, можно использовать проект OpenSharing с открытым исходным кодом для развертывания собственного сервера OpenSharing для совместного использования таблиц Delta с любой платформы.

Начальная настройка поставщика включает следующие действия.

  1. Включите OpenSharing в хранилище метаданных каталога Unity.
  2. (Необязательно) Установите CLI Unity Catalog.
  3. Предоставьте привилегии для создания общих папок и получателей.
  4. Настройте срок жизни (TTL) материализации данных.
  5. Настройка доступа к сети хранилища.

Требования

Как поставщик данных, который настраивает учетную запись Azure Databricks, чтобы иметь возможность совместного использования данных, необходимо:

  • По крайней мере одна рабочая область Azure Databricks, включенная в Unity Catalog.

    Вам не нужно перенести все рабочие области в каталог Unity, чтобы воспользоваться поддержкой Databricks для поставщиков OpenSharing. См. Нужен ли Unity Catalog для использования OpenSharing?.

    Получателям нет необходимости иметь рабочую область с поддержкой каталога Unity.

  • Роль администратора учетной записи для включения OpenSharing для хранилища метаданных Unity Catalog.

  • Роль администратора хранилища метаданных или права CREATE SHARE и привилегии CREATE RECIPIENT. См. Администраторы Metastore.

    Замечание

    Если рабочая область включена для каталога Unity автоматически, возможно, у вас нет администратора хранилища метаданных. Однако администраторы рабочих областей в таких рабочих областях имеют CREATE SHARE права и CREATE RECIPIENT привилегии в хранилище метаданных по умолчанию.

    Дополнительные сведения см. в статьях «Начало работы с Unity Catalog» и «Права администратора рабочей области при автоматическом включении рабочих областей для Unity Catalog».

  • Конфигурация облачного хранилища, которая разрешает доступ к сети от получателя.

Включение OpenSharing в хранилище метаданных

Не нужно включать OpenSharing в хранилище метаданных, если вы планируете использовать OpenSharing только для совместного использования данных с пользователями в других хранилищах метаданных каталога Unity в вашей учетной записи. В одной учетной записи Azure Databricks общий доступ к хранилищам метаданных включен по умолчанию.

В противном случае выполните следующие действия для каждого хранилища метаданных каталога Unity, которое управляет данными, которые вы планируете предоставить общий доступ с помощью OpenSharing.

  1. Как администратор учетной записи Azure Databricks войдите в консоль учетной записи.

  2. На боковой панели щелкните значок Каталог.

  3. Щелкните имя хранилища метаданных, чтобы открыть его сведения.

  4. Установите флажок рядом с Разрешить OpenSharing для участников вне вашей организации.

  5. Настройте срок действия жетона получателя.

    Эта конфигурация задает период времени, после которого у всех маркеров получателя истекает срок действия, и их необходимо повторно создать. Токены получателей используются только в протоколе совместного использования Databricks-to-Open. Маркеры действительны не более одного года после создания.

    Замечание

    Время существования маркера получателя для существующих получателей не обновляется автоматически при изменении времени существования маркера получателя по умолчанию для хранилища метаданных. Чтобы применить новое время существования маркера к указанному получателю, необходимо повернуть его маркер. См. Управление токенами получателей.

    Чтобы задать время существования токена получателя по умолчанию, выполните указанные ниже действия.

    1. Убедитесь, что установлен срок действия (это включено по умолчанию).
    2. Введите число секунд, минут, часов или дней и выберите единицу измерения. Маркеры действительны не более одного года после создания.
    3. Нажмите кнопку "Включить".

    Дополнительные сведения см. в разделе "Вопросы безопасности" для токенов.

  6. При совместном доступе с получателем Azure Databricks, который не находится в вашей учетной записи, введите имя организации.

    Замечание

    Указание удобочитаемого имени организации помогает получателям определять поставщиков общих служб и соответствующие объекты поставщика в списке поставщиков получателя.

  7. Нажмите кнопку "Включить".

(Необязательно) Установка интерфейса командной строки для каталога Unity

Для управления общими ресурсами и получателями можно использовать обозреватель каталогов, команды SQL или интерфейс командной строки каталога Unity. Интерфейс командной строки (CLI) выполняется в локальной среде и не требует вычислительных ресурсов Azure Databricks.

Чтобы установить интерфейс командной строки, ознакомьтесь с интерфейсом командной строки Databricks.

Предоставление разрешения на создание общих папок и получателей и управление ими

Администраторы Metastore могут создавать и управлять долями и получателями, включая предоставление долей получателям. Многие задачи поставщика можно делегировать администратором хранилища метаданных с помощью следующих привилегий:

  • CREATE SHARE в хранилище метаданных предоставляет возможность создавать общие папки.
  • CREATE RECIPIENT в хранилище метаданных предоставляет возможность создавать получателей.
  • USE RECIPIENT позволяет перечислить и просмотреть сведения обо всех получателях в мета-хранилище.
  • USE SHARE в метахранилище предоставляет возможность перечислять и просматривать детали всех распределений в хранилище метаданных.
  • USE RECIPIENTи USE SHARE,SET SHARE PERMISSION в сочетании дают пользователю возможность предоставлять общий доступ получателям.
  • Администратор хранилища метаданных может передавать владение любой общей долей.
  • Владельцы долей и получателей могут обновлять эти объекты и предоставлять доступ к долям получателям. Создатели объектов по умолчанию предоставляются права владения, но их можно передать.
  • Владельцы общих ресурсов могут добавлять таблицы и тома в общие ресурсы, если у них есть SELECT доступ к таблицам и READ VOLUME доступ к томам.

Дополнительные сведения см. в справочнике по привилегиям каталога Unity и разрешениям, перечисленным для описанных задач OpenSharing.

Настройка TTL материализации данных

В качестве учетной записи Azure Databricks или администратора хранилища метаданных можно настроить TTL материализации данных, которая определяет время кэширования материализованного результата. Материализация возникает, когда получатель запрашивает общие динамические представления, материализованные представления, потоковые таблицы и внешние таблицы. По умолчанию время жизни пакета (TTL) составляет восемь часов. Сам кэш будет вытеснен посредством материализации спустя дополнительные три часа, предоставляя больше времени на завершение существующих запросов.

Чтобы изменить это значение, сделайте следующее:

  1. В рабочей области Azure Databricks щелкните Data icon.Catalog, чтобы открыть обозреватель каталогов.

  2. В верхней части панели Каталог щелкните значок шестерёнки и выберите OpenSharing.

    Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

  3. На вкладке "Общий доступ со мной" щелкните имя организации в правом верхнем углу.

  4. Щелкните значок шестерёнки. в правом верхнем углу.

  5. В поле Materialization TTL введите желаемое значение TTL.

Разрешить сетевой доступ к хранилищу

Если базовое облачное хранилище настроено с помощью элементов управления доступом, добавьте сеть получателя в список разрешений, чтобы они могли читать общие таблицы.

Tip

Вместо ручной настройки правил сети и брандмауэра для каждого получателя используйте SecureConnect для доступа к брокеру через управляемый прокси-сервер.

Дополнительные сведения см. в статье "Настройка брандмауэров служба хранилища Azure и виртуальных сетей" и настройкапериметра безопасности сети Azure (NSP) для Azure ресурсов.

Дальнейшие действия

  • Last updated on