Нормализация активов

При приеме ресурсов в карту данных Microsoft Purview разные источники, обновляющие один и тот же ресурс данных, могут отправлять похожие, но немного разные полные имена. Хотя эти полные имена представляют один и тот же ресурс, незначительные различия, такие как дополнительный символ, могут привести к тому, что эти ресурсы на поверхности будут отображаться по-разному и дублировать записи в Microsoft Purview. Чтобы избежать сохранения повторяющихся записей и возникновения путаницы при использовании каталога данных, Microsoft Purview применяет нормализацию во время приема, чтобы убедиться, что все полные имена одного типа сущности имеют одинаковый формат.

Например, вы сканируете большой двоичный объект Azure с полным именем https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet. Этот большой двоичный объект также используется конвейером Фабрика данных Azure, который затем добавляет сведения о происхождении данных в ресурс. Конвейер ADF может быть настроен для чтения файла как https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquet. Хотя полное имя отличается, этот конвейер ADF использует один и тот же фрагмент данных. Нормализация гарантирует, что все метаданные из Хранилище BLOB-объектов Azure и Фабрика данных Azure будут видны в одном ресурсе , https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet.

Важно!

Приведенные ниже правила являются единственными видами потенциального dupilcation, распознаваемого в настоящее время Microsoft Purview. Если возникает случайное дублирование ресурсов, сравните полные имена ресурсов с проверка для различий каплитализации или дополнительных символов. Обновите все точки приема, например конвейеры ADF, чтобы полные имена совпадали.

Правила нормализации

Ниже приведены правила нормализации, применяемые Microsoft Purview.

Кодирование фигурных скобок

Область применения: Все ресурсы

Перед: https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

После: https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

Обрезка пространств разделов

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, Фабрика данных Azure, база данных Azure SQL, Управляемый экземпляр SQL Azure, пул Azure SQL, Azure Cosmos DB, Когнитивный поиск Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Перед: https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

После: https://myaccount.file.core.windows.net/myshare/folder A/folderB/

Удаление пространств имен узлов

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure SQL pool, Azure Cosmos DB, Когнитивный поиск Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Перед: https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

После: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Удаление квадратных скобок

Область применения: база данных Azure SQL, Управляемый экземпляр SQL Azure, пул Azure SQL

Перед: mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

После: mssql://foo.database.windows.net/bar/dbo/foo%20bar

Примечание.

Пробелы между двумя квадратными скобками будут закодированы

Схема в нижнем регистре

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure SQL пул, Azure Cosmos DB, Когнитивный поиск Azure, Azure Data Explorer, Amazon S3

Перед: HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

После: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Имя узла в нижнем регистре

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, база данных Azure SQL, Управляемый экземпляр SQL Azure, Azure SQL пул, Azure Cosmos DB, Когнитивный поиск Azure, Azure Data Explorer, Amazon S3

Перед: https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

После: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Расширение файла в нижнем регистре

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, Amazon S3

Перед: https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

После: https://myaccount.file.core.windows.net/myshare/folderA/data.txt

Удаление повторяющихся косой черты

Область применения: Большой двоичный объект Azure, Файлы Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, Фабрика данных Azure, база данных Azure SQL, Управляемый экземпляр SQL Azure, пул Azure SQL, Azure Cosmos DB, Когнитивный поиск Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Перед: https://myAccount.file.core.windows.net//myshare/folderA////folderB/

После: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Преобразование в схему ADL

Область применения: Azure Data Lake Storage 1-го поколения

Перед: https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

После: adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Удаление косой черты

Удаление косой черты из ресурсов более высокого уровня для BLOB-объектов Azure, ADLS 1-го поколения и ADLS 2-го поколения

Область применения: Большой двоичный объект Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения

Типы активов: "azure_blob_container", "azure_blob_service", "azure_storage_account", "azure_datalake_gen2_service", "azure_datalake_gen2_filesystem", "azure_datalake_gen1_account".

Перед: https://myaccount.core.windows.net/

После: https://myaccount.core.windows.net

Дальнейшие действия

Выполните сканирование в учетной записи Хранилище BLOB-объектов Azure на карте данных Microsoft Purview.