Получение происхождения данных из Azure Synapse Analytics в Microsoft Purview
В этом документе описаны действия, необходимые для подключения рабочей области Azure Synapse с учетной записью Microsoft Purview для отслеживания происхождения данных и приема источников данных. В документе также содержатся сведения о покрытии действий область и поддерживаемых возможностях происхождения.
При подключении Azure Synapse Analytics к Microsoft Purview каждый раз, когда выполняется поддерживаемое действие конвейера, метаданные об исходных данных, выходных данных и действиях действия будут автоматически приниматься в Схема данных Microsoft Purview.
Если источник данных уже сканирован и существует в карте данных, процесс приема добавит сведения о происхождении данных из Azure Synapse Analytics в этот существующий источник. Если источник или выходные данные не существуют в карте данных и поддерживаются Azure Synapse Аналитика происхождения, Microsoft Purview автоматически добавит свои метаданные из Synapse Analytics в карту данных в корневой коллекции.
Это отличный способ отслеживать пространство данных, когда пользователи перемещают и преобразуют информацию с помощью Azure Synapse Analytics.
Поддерживаемые возможности Azure Synapse
В настоящее время Microsoft Purview фиксирует происхождение данных среды выполнения из следующих действий конвейера Azure Synapse:
Важно!
Microsoft Purview удаляет происхождение данных, если источник или назначение использует неподдерживаемую систему хранения данных.
поддержка действие Copy
| хранение данных. | Поддерживается |
|---|---|
| Хранилище BLOB-объектов Azure | Да |
| Когнитивный поиск Azure | Да |
| Azure Cosmos DB для NoSQL * | Да |
| Azure Cosmos DB для MongoDB * | Да |
| Azure Data Explorer * | Да |
| Azure Data Lake Storage 1-го поколения | Да |
| Azure Data Lake Storage 2-го поколения | Да |
| База данных Azure для MariaDB * | Да |
| База данных Azure для MySQL * | Да |
| База данных Azure для PostgreSQL * | Да |
| Файлы Azure | Да |
| База данных Azure SQL * | Да |
| Управляемый экземпляр SQL Azure * | Да |
| аналитика Azure Synapse * | Да |
| Выделенный пул SQL Azure (ранее — хранилище данных SQL) * | Да |
| Хранилище таблиц Azure | Да |
| Amazon S3 | Да |
| Куст* | Да |
| Oracle* | Да |
| Таблица SAP (при подключении к SAP ECC или SAP S/4HANA) | Да |
| SQL Server * | Да |
| Teradata* | Да |
* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.
Если вы используете локальную Integration Runtime, обратите внимание на минимальную версию с поддержкой происхождения:
- Любой вариант использования: версии 5.9.7885.3 или более поздней
- Копирование данных из Oracle: версии 5.10 или более поздней
- Копирование данных в Azure Synapse Analytics с помощью команды COPY или PolyBase версии 5.10 или более поздней
Ограничения происхождения действий копирования
В настоящее время, если вы используете следующие функции действия копирования, происхождение данных еще не поддерживается:
- Копирование данных в Azure Data Lake Storage 1-го поколения в двоичном формате.
- Параметр сжатия для двоичных файлов, файлов с разделителями, Excel, JSON и XML.
- Параметры исходного раздела для базы данных Azure SQL, Управляемый экземпляр SQL Azure, аналитики Azure Synapse, SQL Server и таблицы SAP.
- Копирование данных в приемник на основе файлов с параметром max rows per file.
- Происхождение на уровне столбца в настоящее время не поддерживается действием копирования, если задан ресурс источника или приемника.
Помимо происхождения данных, схема ресурса данных (показанная на вкладке Актив —> Схема) отображается для следующих соединителей:
- CSV-файлы и Parquet в больших двоичных объектах Azure, Файлы Azure, ADLS 1-го поколения, ADLS 2-го поколения и Amazon S3
- Azure Data Explorer, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure Synapse Analytics, SQL Server, Teradata
поддержка Поток данных
| хранение данных. | Поддерживается |
|---|---|
| Хранилище BLOB-объектов Azure | Да |
| Azure Cosmos DB для NoSQL * | Да |
| Azure Data Lake Storage 1-го поколения | Да |
| Azure Data Lake Storage 2-го поколения | Да |
| База данных Azure для MySQL * | Да |
| База данных Azure для PostgreSQL * | Да |
| База данных Azure SQL * | Да |
| Управляемый экземпляр SQL Azure * | Да |
| аналитика Azure Synapse * | Да |
| Выделенный пул SQL Azure (ранее — хранилище данных SQL) * | Да |
* Microsoft Purview в настоящее время не поддерживает запрос или хранимую процедуру для происхождения или сканирования. Происхождение данных ограничено только источниками таблиц и представлений.
Ограничения происхождения потока данных
- Происхождение потока данных может создавать набор ресурсов на уровне папки без видимости для соответствующих файлов.
- Происхождение на уровне столбцов в настоящее время не поддерживается, если источник или приемник задан ресурсом.
- Для активности потока данных Microsoft Purview поддерживает отображение только источника и приемника. Подробные данные о происхождении для преобразования потока данных пока не поддерживаются.
Доступ к защищенной учетной записи Microsoft Purview
Если учетная запись Microsoft Purview защищена брандмауэром, узнайте, как разрешить Azure Synapse доступ к защищенной учетной записи Microsoft Purview через частные конечные точки Microsoft Purview.
Перенос происхождения Azure Synapse в Microsoft Purview
Шаг 1. Подключение Azure Synapse рабочей области к учетной записи Microsoft Purview
Вы можете подключить рабочую область Azure Synapse к Microsoft Purview, и это подключение позволяет Azure Synapse отправлять сведения о происхождении в Microsoft Purview. Выполните действия, описанные в статье Подключение рабочей области Synapse к Microsoft Purview. Несколько рабочих областей Azure Synapse могут подключаться к одной учетной записи Microsoft Purview для целостного отслеживания происхождения.
Шаг 2. Запуск конвейера в рабочей области Azure Synapse
Конвейеры можно создавать с помощью действие Copy в рабочей области Azure Synapse. Вам не требуется какая-либо другая конфигурация для сбора данных о происхождении. Данные происхождения будут автоматически записываться во время выполнения действий.
Шаг 3. Мониторинг состояния отчетов о происхождении данных
После запуска конвейера Azure Synapse в представлении мониторинга конвейера Synapse можно проверка состояние отчетов о происхождении, нажав следующую кнопку Состояние происхождения. Те же сведения также доступны в разделе выходных данных действия JSON.>reportLineageToPurvew
Шаг 4. Просмотр сведений о происхождении в учетной записи Microsoft Purview
В учетной записи Microsoft Purview можно просмотреть ресурсы и выбрать тип "Azure Synapse Analytics". Вы также можете выполнить поиск по Каталог данных с помощью ключевых слов.
Выберите действие "Учетная запись Synapse —> конвейер-> " и вы можете просмотреть сведения о происхождении.
Мониторинг ссылок Azure Synapse Analytics
На портале управления Microsoft Purview можно отслеживать ссылки Azure Synapse Analytics.