Подключение к PostgreSQL и управление ими в Microsoft Purview

В этой статье описывается, как зарегистрировать PostgreSQL, а также как выполнять проверку подлинности и взаимодействовать с PostgreSQL в Microsoft Purview. Дополнительные сведения о Microsoft Purview см. в вводной статье.

Поддерживаемые возможности

Извлечение метаданных	Полная проверка	Добавочное сканирование	Сканирование с заданной областью	Классификация	Присвоение подписей	Политика доступа	Линии	Общий доступ к данным	Динамическое представление
Да	Да	Нет	Да	Нет	Нет	Нет	Да	Нет	Нет

Поддерживаемые версии сервера PostgreSQL— от 8.4 до 12.x.

При проверке источника PostgreSQL Microsoft Purview поддерживает:

• Извлечение технических метаданных, включая:

  • Сервер
  • Databases
  • Схемы
  • Таблицы, включая столбцы
  • Представления, включая столбцы

• Получение статического происхождения данных о связях ресурсов между таблицами и представлениями.

При настройке проверки можно выбрать сканирование всей базы данных PostgreSQL или область проверку на подмножество схем, соответствующих заданным именам или шаблонам имен.

Известные ограничения

При удалении объекта из источника данных в настоящее время при последующей проверке соответствующий ресурс в Microsoft Purview автоматически не удаляется.

Предварительные требования

• Учетная запись Azure с активной подпиской. Создайте учетную запись бесплатно.
• Активная учетная запись Microsoft Purview.
• Для регистрации источника данных и управления им на портале управления Microsoft Purview требуются разрешения администратора источника и читателя данных. Дополнительные сведения о разрешениях см. в статье Управление доступом в Microsoft Purview.

Примечание.

Если хранилище данных не является общедоступным (если хранилище данных ограничивает доступ из локальной сети, частной сети или определенных IP-адресов и т. д.), необходимо настроить локальную среду выполнения интеграции для подключения к нему.

• Если хранилище данных не является общедоступным, настройте последнюю локальную среду выполнения интеграции. Дополнительные сведения см. в руководстве по созданию и настройке локальной среды выполнения интеграции.
  • Убедитесь, что JDK 11 установлен на компьютере, где установлена локальная среда выполнения интеграции. Перезапустите компьютер после установки JDK, чтобы он вступил в силу.
  • Убедитесь, что на локальном компьютере среды выполнения интеграции установлен Распространяемый компонент Visual C++ (версия Visual Studio 2012 с обновлением 4 или более поздней). Если это обновление не установлено, его можно скачать здесь.

Необходимые разрешения для сканирования

Пользователь PostgreSQL должен иметь доступ на чтение к системным таблицам, чтобы получить доступ к расширенным метаданным.

Регистрация

В этом разделе описывается, как зарегистрировать PostgreSQL в Microsoft Purview с помощью портала управления Microsoft Purview.

Действия по регистрации

Чтобы зарегистрировать новый источник PostgreSQL в каталоге данных, выполните следующие действия.

1. Перейдите к учетной записи Microsoft Purview на портале управления Microsoft Purview.
2. Выберите Карта данных в области навигации слева.
3. Выберите Зарегистрировать
4. В разделе Регистрация источников выберите PostgreSQL. Нажмите Продолжить.

На экране Регистрация источников (PostgreSQL) выполните следующие действия.

1. Введите имя , которое источник данных будет указан в каталоге.

2. Введите имя сервера для подключения к источнику PostgreSQL. Это может быть:

   • Имя узла, используемое для подключения к серверу базы данных. Пример: MyDatabaseServer.com
   • IP-адрес. Пример: 192.169.1.2

3. Введите порт , используемый для подключения к серверу базы данных (5432 по умолчанию для PostgreSQL).

4. Выберите коллекцию или создайте новую (необязательно)

5. Завершите регистрацию источника данных.

   

Проверка

Выполните приведенные ниже действия, чтобы проверить PostgreSQL для автоматической идентификации ресурсов. Дополнительные сведения о сканировании в целом см. в статье Введение в сканирование и прием данных.

Проверка подлинности для сканирования

Поддерживаемый тип проверки подлинности для источника PostgreSQL — обычная проверка подлинности.

Создание и запуск сканирования

Чтобы создать и запустить проверку, выполните следующие действия.

1. Если сервер является общедоступным, перейдите к шагу 2. В противном случае необходимо убедиться, что настроена локальная среда выполнения интеграции:

   1. На портале управления Microsoft Purview перейдите в Центр управления и выберите Среды выполнения интеграции.
   2. Убедитесь, что локальная среда выполнения интеграции доступна. Если она не настроена, выполните описанные здесь действия, чтобы настроить локальную среду выполнения интеграции.

2. На портале управления Microsoft Purview перейдите в раздел Источники.

3. Выберите зарегистрированный источник PostgreSQL.

4. Выберите + Создать сканирование.

5. Укажите следующие сведения:

   1. Имя: имя сканирования

   2. Подключение через среду выполнения интеграции. Выберите среду выполнения интеграции Azure с автоматическим разрешением, если ваш сервер является общедоступным, или настроенную локальную среду выполнения интеграции, если она не является общедоступной.

   3. Учетные данные. Выберите учетные данные для подключения к источнику данных. Убедитесь, что:

      • При создании учетных данных выберите Обычная проверка подлинности .
      • Укажите имя пользователя, используемое для подключения к серверу базы данных, в поле Ввода имени пользователя.
      • Сохраните пароль пользователя, используемый для подключения к серверу базы данных, в секретном ключе.

   4. База данных. Укажите имя импортируемого экземпляра базы данных.

   5. Схема: перечисление подмножества схем для импорта, выраженных в виде списка, разделенного точкой с запятой. Например, schema1; schema2. Все пользовательские схемы импортируются, если этот список пуст. Все системные схемы (например, SysAdmin) и объекты по умолчанию игнорируются.

      Допустимые шаблоны имен схемы с использованием синтаксиса выражений SQL LIKE включают использование %. Пример: A%; %B; %C%; D

      • Начните с A или
      • Заканчивается на B или
      • Содержать C или
      • Равный D

      Использование символов NOT и специальных символов недопустимо.

   6. Максимальный доступный объем памяти (применяется при использовании локальной среды выполнения интеграции): максимальный объем памяти (в ГБ), доступный на виртуальной машине клиента для использования процессами сканирования. Это зависит от размера проверяемого источника PostgreSQL.

      Примечание.

      Как правило, укажите 1 ГБ памяти для каждых 1000 таблиц.

      

6. Выберите Проверить подключение, чтобы проверить параметры (доступные при использовании Azure Integration Runtime).

7. Нажмите Продолжить.

8. Выберите триггер сканирования. Вы можете настроить расписание или запустить проверку один раз.

9. Просмотрите проверку и выберите Сохранить и запустить.

Просмотр проверок и запусков сканирования

Чтобы просмотреть существующие проверки, выполните приведенные далее действия.

1. Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.
2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .
3. Выберите сканирование с результатами, которые вы хотите просмотреть. На панели отображаются все предыдущие запуски сканирования, а также состояние и метрики для каждого запуска сканирования.
4. Выберите идентификатор запуска, чтобы проверка сведения о выполнении проверки.

Управление проверками

Чтобы изменить, отменить или удалить сканирование:

1. Перейдите на портал управления Microsoft Purview. В левой области выберите Карта данных.

2. Выберите источник данных. Список существующих проверок для этого источника данных можно просмотреть в разделе Последние проверки или просмотреть все проверки на вкладке Сканирование .

3. Выберите проверку, которой вы хотите управлять. Далее вы можете:

   • Измените сканирование, выбрав Изменить проверку.
   • Отмените выполняемую проверку, выбрав Отмена выполнения проверки.
   • Удалите сканирование, выбрав Удалить сканирование.

Примечание.

• При удалении сканирования ресурсы каталога, созданные на основе предыдущих проверок, не удаляются.
• Ресурс больше не будет обновляться с изменениями схемы, если исходная таблица изменилась и вы повторно просканируете исходную таблицу после изменения описания на вкладке Схема Microsoft Purview.

Линии

После сканирования источника PostgreSQL можно просмотреть каталог данных или выполнить поиск в каталоге данных , чтобы просмотреть сведения об активе.

Перейдите на вкладку asset — lineage (Ресурс —> происхождение), и при необходимости вы увидите связь активов. Сведения о поддерживаемых сценариях происхождения происхождения данных PostgreSQL см. в разделе Поддерживаемые возможности. Дополнительные сведения о происхождении данных в целом см. в руководстве пользователя по происхождению данных и происхождению данных.

Дальнейшие действия

Теперь, когда вы зарегистрировали источник, следуйте приведенным ниже руководствам, чтобы узнать больше о Microsoft Purview и ваших данных.

• Аналитика ресурсов данных в Microsoft Purview
• Происхождение происхождения в Microsoft Purview
• Поиск Каталог данных