Ressourcennormalisierung

Beim Erfassen von Ressourcen in der Microsoft Purview Data Map können unterschiedliche Quellen, die dieselbe Datenressource aktualisieren, ähnliche, aber leicht unterschiedliche qualifizierte Namen senden. Während diese qualifizierten Namen dasselbe Objekt darstellen, können geringfügige Unterschiede wie ein zusätzliches Zeichen dazu führen, dass diese Objekte auf der Oberfläche anders aussehen und doppelte Einträge in Microsoft Purview verursachen. Um das Speichern doppelter Einträge zu vermeiden und bei der Verwendung der Unified Catalog zu Verwechslungen zu führen, wendet Microsoft Purview automatisch die Normalisierung während der Erfassung an, um sicherzustellen, dass alle vollqualifizierten Namen desselben Entitätstyps das gleiche Format aufweisen.

Beispielsweise scannen Sie ein Azure-Blob mit dem qualifizierten Namen https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet. Dieses Blob wird auch von einer Azure Data Factory-Pipeline genutzt, die dem Medienobjekt dann Herkunftsinformationen hinzugibt. Die ADF-Pipeline (Azure Data Factory) kann so konfiguriert sein, dass die Datei als https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquetgelesen wird. Obwohl sich der qualifizierte Name unterscheidet, verwendet diese ADF-Pipeline die gleichen Daten. Die Normalisierung stellt sicher, dass alle Metadaten aus Azure Blob Storage und Azure Data Factory auf einem einzelnen Medienobjekt sichtbar sind, https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet.

Wichtig

Die unten aufgeführten Regeln sind die einzigen Arten potenzieller Duplikate, die Microsoft Purview derzeit erkennt. Wenn eine versehentliche Ressourcenduplizierung auftritt, vergleichen Sie die vollqualifizierten Namen der Ressourcen, um nach Groß-/Kleinschreibungsunterschieden oder zusätzlichen Zeichen zu suchen. Aktualisieren Sie alle Erfassungspunkte, z. B. Ihre ADF-Pipelines, damit die qualifizierten Namen übereinstimmen.

Normalisierungsregeln

Dies sind die Normalisierungsregeln, die Von Microsoft Purview automatisch angewendet werden.

Codieren von geschweiften Klammern

Gilt für: Alle Ressourcen

Vor: https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

Nach: https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

Abschnittsräume kürzen

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Vor: https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

Nach: https://myaccount.file.core.windows.net/myshare/folder A/folderB/

Entfernen von Hostnamenräumen

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Vor: https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

Nach: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Entfernen von eckigen Klammern

Gilt für: Azure SQL-Datenbank, Azure SQL Managed Instance, Azure SQL-Pool

Vor: mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

Nach: mssql://foo.database.windows.net/bar/dbo/foo%20bar

Hinweis

Leerzeichen zwischen zwei eckigen Klammern werden codiert.

Kleinbuchstabenschema

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Vor: HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

Nach: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Hostname in Kleinbuchstaben

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Vor: https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

Nach: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Dateierweiterung in Kleinbuchstaben

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3

Vor: https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

Nach: https://myaccount.file.core.windows.net/myshare/folderA/data.txt

Doppelte Schrägstriche entfernen

Gilt für: Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Azure SQL Database, Azure SQL Managed Instance, Azure SQL Pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Azure Data Share, Amazon S3

Vor: https://myAccount.file.core.windows.net//myshare/folderA////folderB/

Nach: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Konvertieren in ein ADL-Schema

Gilt für: Azure Data Lake Storage Gen1

Vor: https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Nach: adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Entfernen des nachgestellten Schrägstrichs

Entfernen Sie den nachgestellten Schrägstrich aus übergeordneten Ressourcen für Azure Blob, ADLS Gen1 und ADLS Gen2.

Gilt für: Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2

Objekttypen: "azure_blob_container", "azure_blob_service", "azure_storage_account", "azure_datalake_gen2_service", "azure_datalake_gen2_filesystem", "azure_datalake_gen1_account".

Vor: https://myaccount.core.windows.net/

Nach: https://myaccount.core.windows.net

Problembehandlung

Wenn Ihre Daten nicht normalisiert werden und es zu einer versehentlichen Duplizierung von Ressourcen kommt, vergleichen Sie die vollqualifizierten Namen der Ressourcen, um nach Groß-/Kleinschreibungsunterschieden oder zusätzlichen Zeichen zu suchen.

Die oben aufgeführten Regeln sind die einzigen Arten von Duplizierungen, die Microsoft Purview derzeit erkennt. Wenn Ihre Daten außerhalb dieser Regeln fallen, aktualisieren Sie alle Erfassungspunkte, z. B. Ihre ADF-Pipelines, damit die qualifizierten Namen übereinstimmen.

Wenn Ihre Ressourcen die Regeln erfüllen, aber nicht normalisiert werden, wenden Sie sich an den Support.

Nächste Schritte

Scannen Sie ein Azure Blob Storage-Konto in die Microsoft Purview-Datenzuordnung.