Доступ к данным, которым вы предоставили доступ с помощью OpenSharing (для получателей)

На этой странице объясняется, как получить доступ к данным, которым вы предоставили общий доступ с помощью OpenSharing. OpenSharing поддерживает несколько моделей общего доступа:

  • Совместное использование Databricks to Databricks для пользователей рабочей области Azure Databricks с каталогом Unity
  • Обмен данными из Databricks в Open для любого получателя, использующего любой инструмент
  • Открытый доступ к Databricks для поставщиков, использующих общий доступ к протоколу OpenSharing с открытым исходным кодом с получателями с помощью Azure Databricks

OpenSharing и получатели данных

OpenSharing — это открытый стандарт для безопасного доступа к данным. Пользователь Databricks, называемый поставщиком данных в этом контексте, может использовать OpenSharing в Azure Databricks для обмена данными с человеком или группой за пределами организации, называемой получателем данных.

Общий доступ к протоколам

То, как вы получаете доступ к данным, зависит от того, являетесь ли вы пользователем Databricks, а также от того, настроил ли ваш поставщик данных данные, которыми он делится с вами, для совместного доступа Databricks-to-Databricks, Databricks-to-Open или Open-to-Databricks.

В модели Databricks-to-Databricks необходимо быть пользователем в рабочей области Databricks, которая имеет поддержку Unity Catalog. Член вашей команды предоставляет поставщику данных уникальный идентификатор хранилища метаданных каталога Unity, а поставщик данных использует это для создания безопасного подключения к совместному доступу. Общие данные становятся доступными для доступа в рабочей области. При необходимости член вашей команды настраивает детализированный контроль доступа к этим данным.

В модели общего доступа Databricks to Open вы можете использовать любое средство(включая Databricks) для доступа к общим данным. Поставщик данных отправляет URL-адрес активации или ссылку портала через безопасный канал. Вы следуйте инструкциям, чтобы скачать файл учетных данных или URL-адрес, который позволяет получить доступ к данным, к которым вы предоставили доступ.

Общие данные предоставляются не напрямую службой Databricks, а поставщиками, которые работают в системе Azure Databricks.

В модели Open-to-Databricks можно использовать Azure Databricks для получения доступа к данным, предоставленным поставщиком данных с помощью протокола OpenSharing с открытым исходным кодом. Поставщик данных отправляет файл учетных данных через защищенный канал, который вы отправляете в Azure Databricks. Используя Catalog Explorer или ноутбук, вы можете получить доступ к данным, к которым вам предоставили доступ.

Замечание

Databricks может собирать информацию об использовании и доступе получателей данных к общим данным (включая установление личности любого человека или компании, которые получают доступ к данным с помощью файла учетных данных в связи с такой информацией) и может делиться ей с соответствующим поставщиком данных.

Получение доступа к данным, к которым вам предоставлен общий доступ

Доступ к данным зависит от того, какой протокол общего доступа используется поставщиком.

Получите доступ в модели Databricks-to-Databricks

В модели Databricks-to-Databricks:

  1. Поставщик данных отправляет инструкции по поиску уникального идентификатора хранилища метаданных каталога Unity, связанного с рабочей областью Databricks, и отправляете его в него.

    Идентификатор общего доступа — это строка, состоящая из облака, региона и UUID хранилища метаданных (уникальный идентификатор для хранилища метаданных) в формате <cloud>:<region>:<uuid>. Например: aws:eu-west-1:b0c978c8-3e68-4cdf-94af-d05c120ed1ef.

    Чтобы получить идентификатор общего доступа с помощью обозревателя каталогов, выполните следующие действия.

    1. В рабочей области Azure Databricks щелкните Data icon.Catalog.

    2. В верхней части панели Каталог щелкните значок шестерёнки и выберите OpenSharing.

      Кроме того, в правом верхнем углу нажмите кнопку "Общий доступ > к OpenSharing".

    3. На вкладке "Общий доступ со мной" выберите имя организации в Databricks для общего доступа в правом верхнем углу страницы и выберите "Копировать идентификатор общего доступа".

    Чтобы получить идентификатор общего доступа с помощью записной книжки или SQL-запроса Databricks, используйте функцию CURRENT_METASTORESQL по умолчанию. Если вы используете ноутбук, он должен работать в стандартном режиме или в выделенном режиме доступа в рабочей области, которая будет использоваться для доступа к общим данным.

    SELECT CURRENT_METASTORE();

  2. Поставщик данных создает следующее:

    • Укажите получателя в своей учетной записи Databricks для представления себя и пользователей вашей организации, которые будут получать доступ к данным.
    • Ресурс, представляющий собой таблицы, тома и представления, которые с вами будут разделены.

  3. Вы обращаетесь к данным, к которым вам предоставлен доступ. При необходимости вы или кто-то из сотрудников можете настроить подробный доступ к данным для пользователей. См. Чтение данных, предоставленных через Databricks-to-Databricks OpenSharing (для получателей).

Получите доступ в модели совместного использования Databricks-to-Open

В модели совместного использования Databricks-to-Open:

  1. Поставщик данных создает следующее:

    • Укажите получателя в своей учетной записи Databricks для представления себя и пользователей вашей организации, которые будут получать доступ к данным.
    • Общий ресурс, представляющий собой представление таблиц и секций, которыми вы предоставляете общий доступ.

  2. Поставщик данных отправляет URL-адрес активации (через безопасный канал) или URL-адрес портала. Следуйте инструкциям, чтобы скачать файл учетных данных или URL-адрес, который позволяет получить доступ к данным, предоставленным вам.

    Поддерживаются маркеры носителя и учетные данные клиента OAuth.

    Important

    Не делитесь ссылкой на активацию с кем-либо. Файл учетных данных можно скачать только один раз. Если вы снова посетите ссылку активации после скачивания файла учетных данных, кнопка "Скачать файл учетных данных" отключена.

    Если вы потеряете ссылку активации перед его использованием, обратитесь к поставщику данных.

  3. Сохраните файл учетных данных в безопасном месте.

    Не делитесь файлом учетных данных с кем-либо за пределами группы пользователей, у которых должен быть доступ к общим данным. Если вам потребуется передать его пользователю своей организации, Databricks рекомендует использовать диспетчер паролей.

Получите доступ к модели Open-to-Databricks

В модели Open-to-Databricks:

  1. Поставщик данных использует протокол OpenSharing с открытым кодом для создания общих папок и добавления ресурсов в общую папку.

  2. Поставщик данных отправляет URL-адрес активации (через безопасный канал) или URL-адрес портала. Следуйте инструкциям, чтобы скачать файл учетных данных или URL-адрес, который позволяет получить доступ к данным, предоставленным вам.

    Поддерживаются маркеры носителя и учетные данные клиента OAuth.

    Important

    Не делитесь ссылкой на активацию с кем-либо. Файл учетных данных можно скачать только один раз. Если вы снова посетите ссылку активации после скачивания файла учетных данных, кнопка "Скачать файл учетных данных" отключена.

    Если вы потеряете ссылку активации перед его использованием, обратитесь к поставщику данных.

  3. Сохраните файл учетных данных в рабочей области Azure Databricks.

    Не делитесь файлом учетных данных с кем-либо за пределами группы пользователей, у которых должен быть доступ к общим данным.

Прочитайте общие данные

Способ чтения данных, которыми с вами безопасно поделились через OpenSharing, зависит от того, получили ли вы файл учётных данных или используете рабочую область Databricks и предоставили поставщику данных свой идентификатор общего доступа (модель Databricks-to-Databricks).

Замечание

Если при попытке чтения общих папок возникает ошибка, которая говорит, что ресурс данных не существует, см. сообщение об ошибке "Не существует".

Чтение совместно используемых данных с помощью файла учетных данных (совместный доступ из Databricks в Open или из Open в Databricks)

Если вам был предоставлен доступ к данным с помощью bearer-токенов, используйте скачанный файл учетных данных для аутентификации в учетной записи поставщика данных и чтения предоставленных вам данных. Доступ сохраняется до тех пор, пока базовый маркер действителен, и поставщик продолжает предоставлять общий доступ к данным. Поставщики управляют сроками действия и ротацией токенов. Маркеры действительны не более одного года после создания. Обновления данных появляются почти в режиме реального времени. Вы можете считывать и создавать копии общих данных, но изменить исходные данные нельзя.

Сведения об использовании Azure Databricks для доступа к общим данным и чтению общих данных см. в статье "Импорт поставщика" и чтение общих данных в Azure Databricks.

Сведения о том, как использовать Apache Spark, pandas и Power BI для доступа к общим данным и их чтения, см. в статье Чтение данных, к которым предоставлен общий доступ с помощью токенов bearer.

Чтение общих данных с помощью федерации OIDC (из Databricks в Open Sharing)

Если данные были переданы вам с помощью протокола общего доступа Databricks to Open с федерацией OIDC, вы используете URL-адрес, который был отправлен вам для проверки подлинности в учетной записи поставщика данных и считывания общих данных. Доступ сохраняется до тех пор, пока поставщик продолжает предоставлять общий доступ к данным. Обновления данных появляются почти в режиме реального времени. Вы можете считывать и создавать копии общих данных, но изменить исходные данные нельзя.

Чтобы узнать, как получать доступ к общим данным и читать их с помощью потока федерации токенов OIDC в Tableau и Power BI, см. статью Чтение общих данных с использованием федерации Open ID Connect (OIDC) в потоке U2M. Сведения о том, как получать доступ к данным общего доступа и читать их с помощью потока федерации токенов OIDC в клиентском приложении Python, см. в статье Чтение данных общего доступа с помощью федерации Open ID Connect (OIDC) в потоке M2M.

Чтение общих данных через обмен между Databricks и Databricks

Если с вами были поделены данные с помощью модели Databricks-to-Databricks, для доступа к общим данным файл учетных данных не требуется. Databricks заботится о безопасном подключении, и общие данные автоматически обнаруживаются в рабочей области Databricks.

Чтобы узнать, как находить, читать и управлять этими общими данными в рабочей области Databricks, см. статью Чтение данных, опубликованных через Databricks-to-Databricks OpenSharing (для получателей).

Аудит использования общих данных

Если у вас есть доступ к рабочей области Azure Databricks, вы можете использовать журналы аудита Azure Databricks, чтобы понять, кто в вашей организации получает доступ к каким данным с помощью OpenSharing. См. статью "Аудит и мониторинг общего доступа к данным".

Дополнительные ресурсы

  • Last updated on