Подключение к каталогу Unity Azure Databricks и управление ими в Microsoft Purview (предварительная версия)

Статья
08/23/2023

В этой статье описано, как зарегистрировать Azure Databricks, а также как выполнять проверку подлинности и взаимодействовать с каталогом Unity Azure Databricks в Microsoft Purview. Дополнительные сведения о Microsoft Purview см. в вводной статье.

Важно!

Сейчас эта функция доступна в предварительной версии. Дополнительные условия использования предварительных версий Microsoft Azure включают дополнительные юридические условия, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или еще не выпущены в общедоступной версии.

Поддерживаемые возможности

Извлечение метаданных	Полная проверка	Добавочное сканирование	Сканирование с заданной областью	Классификация	Присвоение подписей	Политика доступа	Линии	Общий доступ к данным	Динамическое представление
Да	Да	Нет	Да	Нет	Нет	Нет	Нет	Нет	Нет

При сканировании каталога Azure Databricks Unity Microsoft Purview поддерживает:

Хранилище метаданных
Каталоги
Схемы
Таблицы, включая столбцы
Представления, включая столбцы

При настройке проверки можно выбрать сканирование всего каталога Unity или область сканирование в подмножество каталогов.

Примечание.

Этот соединитель приносит метаданные из каталога Unity Azure Databricks. Чтобы проверить метаданные области рабочей области Azure Databricks, обратитесь к соединителю хранилища метаданных Hive Для Azure Databricks.

Известные ограничения

В настоящее время проверка не поддерживается, если рабочая область Azure Databricks не разрешает доступ из общедоступной сети или если учетная запись Purview не включает доступ из всех сетей. Вскоре мы добавим эту поддержку.
При удалении объекта из источника данных в настоящее время при последующей проверке соответствующий ресурс в Microsoft Purview автоматически не удаляется.

Предварительные требования

У вас должна быть учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.
У вас должна быть активная учетная запись Microsoft Purview.
Вам потребуется Key Vault Azure, чтобы предоставить разрешения Microsoft Purview на доступ к секретам.
Для регистрации источника данных и управления им на портале управления Microsoft Purview требуются разрешения администратора источника и читателя данных. Дополнительные сведения о разрешениях см. в статье Управление доступом в Microsoft Purview.
Чтобы проверить каталог Azure Databricks Unity, Microsoft Purview подключается к хранилищу SQL в рабочей области и использует личный маркер доступа для проверки подлинности. Вам потребуется рабочая область Azure Databricks, которая включена в каталог Unity и подключена к хранилищу метаданных, которое вы хотите проверить. В рабочей области Azure Databricks:
- Создайте личный маркер доступа и сохраните его в виде секрета в Azure Key Vault.
  - Для всех объектов, которые вы хотите перенести в Microsoft Purview, пользователь должен иметь по крайней мере права SELECT для таблиц и представлений, USE CATALOG в каталоге объекта и USE SCHEMA в схеме объекта.
  - Чтобы проверить все объекты в хранилище метаданных каталога Unity, используйте пользователя с ролью администратора хранилища метаданных. Дополнительные сведения см. в статье Управление привилегиями в каталоге Unity и привилегиях каталога Unity и защищаемых объектах.
- Создайте хранилище SQL. Вы также можете использовать автоматическое создание начального хранилища, если применимо.
  - Запишите HTTP-путь. Его можно найти в рабочей области Azure Databricks —> хранилища SQL — хранилище —>> сведения о подключении —> путь HTTP.
  - Убедитесь, что пользователь имеет разрешение Can Use (Можно использовать ), чтобы подключиться к хранилищу SQL Azure Databricks. Дополнительные сведения см. в статье Управление доступом к хранилищу SQL.

Регистрация

В этом разделе описывается, как зарегистрировать рабочую область Azure Databricks в Microsoft Purview с помощью портала управления Microsoft Purview.

Перейдите к учетной записи Microsoft Purview.
Выберите Карта данных в левой области.
Нажмите Зарегистрировать.
В разделе Регистрация источников выберите Azure Databricks>Continue.
На экране Регистрация источников (Azure Databricks) выполните следующие действия.
1. В поле Имя введите имя, которое Microsoft Purview будет отображать в качестве источника данных.
2. В полях Подписка Azure и Имя рабочей области Databricks выберите подписку и рабочую область, которые нужно проверить, в раскрывающемся списке. URL-адрес рабочей области Databricks заполняется автоматически.
3. В поле Выберите коллекцию выберите коллекцию из списка или создайте новую. Это действие необязательно.
Нажмите Готово.

Проверка

Совет

Чтобы устранить неполадки со сканированием, выполните указанные ниже действия.

Убедитесь, что выполнены все предварительные требования.
Ознакомьтесь с нашей документацией по устранению неполадок сканирования.

Выполните следующие действия, чтобы проверить Azure Databricks для автоматической идентификации ресурсов. Дополнительные сведения о сканировании в целом см. в статье Сканирование и прием данных в Microsoft Purview.

Перейдите в раздел Источники.
Выберите зарегистрированный объект Azure Databricks.
Выберите + Создать сканирование.
Укажите следующие сведения.
1. Имя. Введите имя проверки.
2. Метод извлечения: Указывает на извлечение метаданных из хранилища метаданных Hive или каталога Unity. Выберите Каталог Unity.
3. Подключение через среду выполнения интеграции. Выберите среду выполнения интеграции с автоматическим разрешением по умолчанию.
4. Учетные данные. Выберите учетные данные для подключения к источнику данных. Убедитесь, что:
  - Выберите Проверка подлинности маркера доступа при создании учетных данных.
  - Укажите имя секрета личного маркера доступа, созданного в разделе Предварительные требования , в соответствующем поле.
  Дополнительные сведения см. в разделе Учетные данные для проверки подлинности источника в Microsoft Purview.
5. Путь HTTP: Укажите HTTP-путь Databricks SQL Warehouse, к которому будет подключаться Microsoft Purview, и выполните проверку, например /sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Его можно найти в рабочей области Azure Databricks —> хранилища SQL — хранилище —>> сведения о подключении —> путь HTTP.
Щелкните Проверить подключение , чтобы проверить параметры.
Нажмите Продолжить.
На странице Область сканирования выберите каталоги, которые нужно проверить.
В поле Триггер сканирования укажите, следует ли настроить расписание или запустить проверку один раз.
Просмотрите проверку и выберите Сохранить и запустить.

После успешного завершения сканирования узнайте, как просматривать и искать ресурсы.

Просмотр проверок и запусков сканирования

Чтобы просмотреть существующие проверки, выполните приведенные далее действия.

Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.
Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
Выберите сканирование с результатами, которые вы хотите просмотреть. На панели отображаются все предыдущие запуски сканирования, а также состояние и метрики для каждого запуска сканирования.
Выберите идентификатор запуска, чтобы проверка сведения о выполнении проверки.

Управление проверками

Чтобы изменить, отменить или удалить сканирование:

Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.
Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
Выберите проверку, которой вы хотите управлять. Далее вы можете:
- Измените сканирование, выбрав Изменить проверку.
- Отмените выполняемую проверку, выбрав Отмена выполнения проверки.
- Удалите сканирование, выбрав Удалить сканирование.

Примечание.

При удалении сканирования ресурсы каталога, созданные на основе предыдущих проверок, не удаляются.
Ресурс больше не будет обновляться с изменениями схемы, если исходная таблица изменилась и вы повторно просканируете исходную таблицу после изменения описания на вкладке Схема Microsoft Purview.

Обзор и поиск ресурсов

После сканирования Azure Databricks можно просмотреть каталог данных или выполнить поиск в каталоге данных , чтобы просмотреть сведения об активе.

При просмотре по типам источников вы увидите две записи для каталога Unity Azure Databricks и Azure Databricks соответственно. Первый содержит артефакты каталога Unity, включая хранилище метаданных и его каталоги,схемы/таблицы/представления, а второй содержит рабочую область.

Снимок экрана: просмотр ресурсов по типу источника.

В ресурсе рабочей области Azure Databricks на вкладке Свойства можно найти связанный каталог Unity.

Снимок экрана: поиск связанного каталога Unity с источником Azure Databricks.

Дальнейшие действия

Теперь, когда вы зарегистрировали источник, используйте следующие руководства, чтобы узнать больше о Microsoft Purview и ваших данных:

Поделиться через