Бөлісу құралы:


Получение происхождения данных из Azure Synapse Analytics в Microsoft Purview

В этом документе описаны действия, необходимые для подключения рабочей области Azure Synapse с учетной записью Microsoft Purview для отслеживания происхождения данных и приема источников данных. В документе также содержатся сведения о покрытии действий область и поддерживаемых возможностях происхождения.

При подключении Azure Synapse Analytics к Microsoft Purview каждый раз, когда выполняется поддерживаемое действие конвейера, метаданные об исходных данных, выходных данных и действиях действия будут автоматически приниматься в Схема данных Microsoft Purview.

Если источник данных уже сканирован и существует в карте данных, процесс приема добавит сведения о происхождении данных из Azure Synapse Analytics в этот существующий источник. Если источник или выходные данные не существуют в карте данных и поддерживаются Azure Synapse Аналитика происхождения, Microsoft Purview автоматически добавит свои метаданные из Synapse Analytics в карту данных в корневой коллекции.

Это отличный способ отслеживать пространство данных, когда пользователи перемещают и преобразуют информацию с помощью Azure Synapse Analytics.

Поддерживаемые возможности Azure Synapse

В настоящее время Microsoft Purview фиксирует происхождение данных среды выполнения из следующих действий конвейера Azure Synapse:

Важно!

Microsoft Purview удаляет происхождение данных, если источник или назначение использует неподдерживаемую систему хранения данных.

поддержка действие Copy

хранение данных. Поддерживается
Хранилище BLOB-объектов Azure Да
Когнитивный поиск Azure Да
Azure Cosmos DB для NoSQL * Да
Azure Cosmos DB для MongoDB * Да
Azure Data Explorer * Да
Azure Data Lake Storage 1-го поколения Да
Azure Data Lake Storage 2-го поколения Да
База данных Azure для MariaDB * Да
База данных Azure для MySQL * Да
База данных Azure для PostgreSQL * Да
Файлы Azure Да
База данных Azure SQL * Да
Управляемый экземпляр SQL Azure * Да
аналитика Azure Synapse * Да
Выделенный пул SQL Azure (ранее — хранилище данных SQL) * Да
Хранилище таблиц Azure Да
Amazon S3 Да
Куст* Да
Oracle* Да
Таблица SAP (при подключении к SAP ECC или SAP S/4HANA) Да
SQL Server * Да
Teradata* Да

* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.

Если вы используете локальную Integration Runtime, обратите внимание на минимальную версию с поддержкой происхождения:

  • Любой вариант использования: версии 5.9.7885.3 или более поздней
  • Копирование данных из Oracle: версии 5.10 или более поздней
  • Копирование данных в Azure Synapse Analytics с помощью команды COPY или PolyBase версии 5.10 или более поздней

Ограничения происхождения действий копирования

В настоящее время, если вы используете следующие функции действия копирования, происхождение данных еще не поддерживается:

  • Копирование данных в Azure Data Lake Storage 1-го поколения в двоичном формате.
  • Параметр сжатия для двоичных файлов, файлов с разделителями, Excel, JSON и XML.
  • Параметры исходного раздела для базы данных Azure SQL, Управляемый экземпляр SQL Azure, аналитики Azure Synapse, SQL Server и таблицы SAP.
  • Копирование данных в приемник на основе файлов с параметром max rows per file.
  • Происхождение на уровне столбца в настоящее время не поддерживается действием копирования, если задан ресурс источника или приемника.

Помимо происхождения данных, схема ресурса данных (показанная на вкладке Актив —> Схема) отображается для следующих соединителей:

  • CSV-файлы и Parquet в больших двоичных объектах Azure, Файлы Azure, ADLS 1-го поколения, ADLS 2-го поколения и Amazon S3
  • Azure Data Explorer, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure Synapse Analytics, SQL Server, Teradata

поддержка Поток данных

хранение данных. Поддерживается
Хранилище BLOB-объектов Azure Да
Azure Cosmos DB для NoSQL * Да
Azure Data Lake Storage 1-го поколения Да
Azure Data Lake Storage 2-го поколения Да
База данных Azure для MySQL * Да
База данных Azure для PostgreSQL * Да
База данных Azure SQL * Да
Управляемый экземпляр SQL Azure * Да
аналитика Azure Synapse * Да
Выделенный пул SQL Azure (ранее — хранилище данных SQL) * Да

* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.

Ограничения происхождения потока данных

  • Происхождение потока данных может создавать набор ресурсов на уровне папки без видимости для соответствующих файлов.
  • Происхождение на уровне столбцов в настоящее время не поддерживается, если источник или приемник задан ресурсом.
  • Для активности потока данных Microsoft Purview поддерживает отображение только источника и приемника. Подробные данные о происхождении для преобразования потока данных пока не поддерживаются.

Доступ к защищенной учетной записи Microsoft Purview

Если учетная запись Microsoft Purview защищена брандмауэром, узнайте, как разрешить Azure Synapse доступ к защищенной учетной записи Microsoft Purview через частные конечные точки Microsoft Purview.

Перенос происхождения Azure Synapse в Microsoft Purview

Шаг 1. Подключение Azure Synapse рабочей области к учетной записи Microsoft Purview

Вы можете подключить рабочую область Azure Synapse к Microsoft Purview, и это подключение позволяет Azure Synapse отправлять сведения о происхождении в Microsoft Purview. Выполните действия, описанные в статье Подключение рабочей области Synapse к Microsoft Purview. Несколько рабочих областей Azure Synapse могут подключаться к одной учетной записи Microsoft Purview для целостного отслеживания происхождения.

Шаг 2. Запуск конвейера в рабочей области Azure Synapse

Конвейеры можно создавать с помощью действие Copy в рабочей области Azure Synapse. Вам не требуется какая-либо другая конфигурация для сбора данных о происхождении. Данные происхождения будут автоматически записываться во время выполнения действий.

Шаг 3. Мониторинг состояния отчетов о происхождении данных

После запуска конвейера Azure Synapse в представлении мониторинга конвейера Synapse можно проверка состояние отчетов о происхождении, нажав следующую кнопку Состояние происхождения. Те же сведения также доступны в разделе выходных данных действия JSON.>reportLineageToPurvew

Отслеживайте состояние отчетов о происхождении в представлении мониторинга конвейера.

Шаг 4. Просмотр сведений о происхождении в учетной записи Microsoft Purview

В учетной записи Microsoft Purview можно просмотреть ресурсы и выбрать тип "Azure Synapse Analytics". Вы также можете выполнить поиск по Каталог данных с помощью ключевых слов.

Просмотрите ресурсы Azure Synapse в Microsoft Purview.

Выберите действие "Учетная запись Synapse —> конвейер-> " и вы можете просмотреть сведения о происхождении.

Просмотрите Azure Synapse происхождения конвейера в Microsoft Purview.

На портале управления Microsoft Purview можно отслеживать ссылки Azure Synapse Analytics.

Дальнейшие действия

Руководство пользователя по происхождению данных каталога

Ссылка на Data Share Azure для происхождения данных