Normalisation des ressources

Lors de l’ingestion de ressources dans le mappage de données Microsoft Purview, différentes sources mettant à jour la même ressource de données peuvent envoyer des noms qualifiés similaires, mais légèrement différents. Bien que ces noms qualifiés représentent la même ressource, de légères différences telles qu’un caractère supplémentaire peuvent faire apparaître ces ressources en surface différentes et entraîner des entrées en double dans Microsoft Purview. Pour éviter de stocker des entrées en double et de provoquer une confusion lors de la consommation du catalogue de données, Microsoft Purview applique la normalisation pendant l’ingestion pour s’assurer que tous les noms complets du même type d’entité sont au même format.

Par exemple, vous analysez dans un objet blob Azure avec le nom https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquetqualifié . Cet objet blob est également consommé par un pipeline Azure Data Factory qui ajoute ensuite des informations de traçabilité à la ressource. Le pipeline ADF peut être configuré pour lire le fichier en tant que https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquet. Bien que le nom qualifié soit différent, ce pipeline ADF consomme le même élément de données. La normalisation garantit que toutes les métadonnées de Stockage Blob Azure et Azure Data Factory sont visibles sur une seule ressource, https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet.

Importante

Les règles répertoriées ci-dessous sont les seuls types de dupilcation potentielle que Microsoft Purview reconnaît actuellement. Si vous rencontrez une duplication accidentelle de ressources, comparez les noms complets des ressources à case activée pour connaître les différences de caplitalisation ou les caractères supplémentaires. Mettez à jour tous les points d’ingestion, par exemple vos pipelines ADF, afin que les noms qualifiés correspondent.

Règles de normalisation

Vous trouverez ci-dessous les règles de normalisation appliquées par Microsoft Purview.

Encoder des accolades

S’applique à : Toutes les ressources

Avant: https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

Après: https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

Découper les espaces de section

S’applique à : Objet blob Azure, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, pool Azure SQL, Azure Cosmos DB, Recherche cognitive Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Avant: https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

Après: https://myaccount.file.core.windows.net/myshare/folder A/folderB/

Supprimer les espaces de nom d’hôte

S’applique à : Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, pool Azure SQL, Azure Cosmos DB, Recherche cognitive Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Avant: https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

Après: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Supprimer les crochets

S’applique à : base de données Azure SQL, Azure SQL Managed Instance, pool Azure SQL

Avant: mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

Après: mssql://foo.database.windows.net/bar/dbo/foo%20bar

Remarque

Les espaces entre deux crochets seront encodés

Schéma en minuscules

S’applique à : Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, pool Azure SQL, Azure Cosmos DB, Recherche cognitive Azure, Azure Data Explorer, Amazon S3

Avant: HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

Après: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Nom d’hôte en minuscules

S’applique à : Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, pool Azure SQL, Azure Cosmos DB, Recherche cognitive Azure, Azure Data Explorer, Amazon S3

Avant: https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

Après: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Extension de fichier en minuscules

S’applique à : Blob Azure, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3

Avant: https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

Après: https://myaccount.file.core.windows.net/myshare/folderA/data.txt

Supprimer la barre oblique dupliquée

S’applique à : Objet blob Azure, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, pool Azure SQL, Azure Cosmos DB, Recherche cognitive Azure, Azure Data Explorer, Azure Data Share, Amazon S3

Avant: https://myAccount.file.core.windows.net//myshare/folderA////folderB/

Après: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Convertir en schéma ADL

S’applique à : Azure Data Lake Storage Gen1

Avant: https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Après: adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Supprimer la barre oblique de fin

Supprimer la barre oblique de fin des ressources de niveau supérieur pour Azure Blob, ADLS Gen1 et ADLS Gen2

S’applique à : Objet blob Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2

Types de ressources : « azure_blob_container », « azure_blob_service », « azure_storage_account », « azure_datalake_gen2_service », « azure_datalake_gen2_filesystem », « azure_datalake_gen1_account ».

Avant: https://myaccount.core.windows.net/

Après: https://myaccount.core.windows.net

Prochaines étapes

Analysez dans un compte Stockage Blob Azure dans la carte de données Microsoft Purview.