Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Wichtig
Microsoft Purview Unified Catalog und klassische Microsoft Purview-Datengovernancefunktionen (früher Azure Purview) werden eingestellt. Microsoft konsolidiert seine Data Governance-Funktionen in Microsoft Fabric. Sie können keine neuen Konten mehr erstellen, und vorhandene Funktionen bleiben bis zum 12. November 2027 im Wartungsmodus. Zeitpläne für die Deaktivierung, Umstellungsleitfäden und empfohlene nächste Schritte finden Sie in der Ankündigung der Einstellung der Datengovernance von Microsoft Purview.
In diesem Artikel erfahren Sie, wie Ressourcensätze in Microsoft Purview verwendet werden, um Datenressourcen logischen Ressourcen zuzuordnen.
Hinweis
Die jetzt eingeführte Funktion für erweiterte Ressourcensätze steht allen Kunden in Microsoft Purview Unified Catalog zur Verfügung. Die Preise für erweiterte Ressourcensätze entsprechen den bestehenden Tarifen für klassische Microsoft Purview-Datengovernance.
Hintergrundinformationen
Bei Datenverarbeitungssystemen im großen Stil wird in der Regel eine einzelne Tabelle als mehrere Dateien gespeichert. Im Microsoft Purview Unified Catalog wird dieses Konzept durch die Verwendung von Ressourcensätzen dargestellt. Ein Ressourcensatz ist ein einzelnes Objekt im Katalog, das eine große Anzahl von Ressourcen im Speicher darstellt.
Angenommen, Ihr Spark-Cluster hat einen DataFrame in einer Azure Data Lake Storage (ADLS) Gen2-Datenquelle persistiert. Obwohl die Tabelle in Spark wie eine einzelne logische Ressource aussieht, befinden sich auf der Festplatte wahrscheinlich Tausende von Parquet-Dateien, von denen jede eine Partition des gesamten DataFrame-Inhalts darstellt. IoT-Daten und Webprotokolldaten haben die gleiche Herausforderung. Stellen Sie sich vor, Sie haben einen Sensor, der Protokolldateien mehrmals pro Sekunde ausgibt. Es dauert nicht lange, bis Sie Hunderttausende von Protokolldateien von diesem einen Sensor haben.
Wie Microsoft Purview Ressourcensätze erkennt
Microsoft Purview unterstützt die Erkennung von Ressourcensätzen in Azure Blob Storage, ADLS Gen1, ADLS Gen2, Azure Files und Amazon S3.
Microsoft Purview erkennt beim Scannen automatisch Ressourcensätze. Dieses Feature untersucht alle Daten, die über das Scannen erfasst werden, und vergleicht sie mit einer Reihe definierter Muster.
Angenommen, Sie durchsuchen eine Datenquelle, deren URL lautet https://myaccount.blob.core.windows.net/mycontainer/machinesets/23/foo.parquet. Microsoft Purview untersucht die Pfadsegmente und bestimmt, ob sie mit integrierten Mustern übereinstimmen. Es verfügt über integrierte Muster für GUIDs, Zahlen, Datumsformate, Lokalisierungscodes (z. B. en-us) usw. In diesem Fall stimmt das Zahlenmuster mit 23 überein. Microsoft Purview geht davon aus, dass diese Datei Teil einer Ressourcengruppe mit dem Namen https://myaccount.blob.core.windows.net/mycontainer/machinesets/{N}/foo.parquetist.
Oder für eine URL wie https://myaccount.blob.core.windows.net/mycontainer/weblogs/en_au/23.jsonMicrosoft Purview gleicht sowohl das Lokalisierungsmuster als auch das Nummernmuster ab und erzeugt so einen Ressourcensatz mit dem Namen https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json.
Mit dieser Strategie würde Microsoft Purview die folgenden Ressourcen demselben Ressourcensatz zuordnen: https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json
https://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/1004.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/234.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/de_Ch/23434.json
Dateitypen, die Microsoft Purview nicht als Ressourcensätze erkennt
Microsoft Purview versucht absichtlich nicht, die meisten Dokumentdateitypen wie Word, Excel oder PDF als Ressourcensätze zu klassifizieren. Die Ausnahme ist das CSV-Format, da dies ein gängiges partitioniertes Dateiformat ist.
Wie Microsoft Purview Ressourcensätze überprüft
Wenn Microsoft Purview Ressourcen erkennt, von denen es annimmt, dass sie Teil eines Ressourcensatzes sind, wird von einem vollständigen Scan zu einem Beispielscan gewechselt. Bei einem Stichprobenscan wird nur eine Teilmenge der Dateien geöffnet, von denen angenommen wird, dass sie sich im Ressourcensatz befinden. Für jede geöffnete Datei wird ihr Schema verwendet und die Klassifizierer werden ausgeführt. Microsoft Purview sucht dann die neueste Ressource unter den geöffneten Ressourcen und verwendet das Schema und die Klassifizierungen dieser Ressource im Eintrag für den gesamten Ressourcensatz im Katalog.
Erweiterte Ressourcensätze
Microsoft Purview kann Ihre Ressourcensatzressourcen über die Funktion "Erweiterte Ressourcensätze" anpassen und weiter anreichern. Erweiterte Ressourcensätze ermöglichen es Microsoft Purview, die zugrunde liegenden Partitionen der erfassten Daten zu verstehen, und die Erstellung von Regeln für Ressourcensatzmuster , mit denen angepasst wird, wie Microsoft Purview-Ressourcensätze während der Überprüfung gruppiert werden.
Wenn erweiterte Ressourcensätze aktiviert sind, führt Microsoft Purview zusätzliche Aggregationen aus, um die folgenden Informationen zu Ressourcensätzen zu berechnen:
- Ein Beispielpfad aus einer Datei, die den Ressourcensatz umfasst.
- Die Partitionsanzahl, die angibt, aus wie vielen Dateien der Ressourcensatz besteht.
- Die Gesamtgröße aller Dateien, aus denen das Ressourcenset besteht.
Diese Eigenschaften finden Sie auf der Seite mit den Ressourcendetails des Ressourcensets.
Aktivieren erweiterter Ressourcensätze
Erweiterte Ressourcensätze sind in allen neuen Microsoft Purview-Instanzen standardmäßig deaktiviert. Nur Benutzer mit der Rolle "Datenkurator" in der Stammsammlung können erweiterte Ressourcensatzeinstellungen verwalten. Um erweiterte Ressourcensätze zu aktivieren, wechseln Sie zumEinstellungskonto des Microsoft Purview-Portals>>, und wählen Sie den Umschalter für erweiterte Ressourcensätze aus, wie in dieser Abbildung zu sehen ist:
Nach der Aktivierung erweiterter Ressourcensätze werden die zusätzlichen Anreicherungen für alle neu aufgenommenen Ressourcen vorgenommen. Es kann bis zu 12 Stunden dauern, bis diese Anreicherungen nach der Aufnahme für Ihre Ressourcen verfügbar sind. Das Microsoft Purview-Team empfiehlt, eine Stunde zu warten, bevor neue Data Lake-Daten nach dem Aktivieren des Features eingescannt werden.
Wichtig
Das Aktivieren erweiterter Ressourcensätze wirkt sich auf die Aktualisierungsrate von Asset- und Klassifizierungserkenntnissen aus. Wenn erweiterte Ressourcensätze aktiviert sind, werden Asset- und Klassifizierungserkenntnisse zweimal täglich aktualisiert.
Wenn Sie erweiterte Ressourcensätze aktivieren, kann es außerdem bis zu 12 Stunden dauern, bis Schemaaktualisierungen angezeigt werden.
Integrierte Ressourcensatzmuster
Microsoft Purview unterstützt die folgenden Ressourcensatzmuster. Diese Muster können als Name in einem Verzeichnis oder als Teil eines Dateinamens angezeigt werden.
Regex-basierte Muster
| Mustername | Anzeigename | Beschreibung |
|---|---|---|
| GUID | {GUID} | Ein global eindeutiger Bezeichner gemäß RFC 4122 |
| Zahl | {N} | Eine oder mehrere Ziffern |
| Datum/Uhrzeit-Formate | {Jahr}{Monat}{Tag}{N} | Wir unterstützen verschiedene Datums-/Uhrzeitformate, aber alle werden mit {Year}[delimiter]{Month}[delimiter]{Day} oder einer Reihe von {N} dargestellt. |
| 4ByteHex | {HEX} | Eine vierstellige HEX-Zahl. |
| Lokalisierung | {LOC} | Ein Sprachtag, wie in BCP 47 definiert, werden sowohl -- als auch _-Namen unterstützt (z. B. en_ca und en-ca) |
Komplexe Muster
| Mustername | Anzeigename | Beschreibung |
|---|---|---|
| SparkPath | {SparkPartitions} | Dateibezeichner der Spark-Partition |
| Date(yyyy/mm/dd)InPath | {Jahr}/{Monat}/{Tag} | Jahr/Monat/Tag-Muster, das sich über mehrere Ordner erstreckt |
Anzeige von Ressourcensätzen im Unified Catalog
Wenn Microsoft Purview eine Gruppe von Ressourcen in einen Ressourcensatz einordnet, wird versucht, die nützlichsten Informationen zu extrahieren, die als Anzeigename im Katalog verwendet werden können. Einige Beispiele für die Anwendung der Standardbenennungskonvention:
Beispiel 1
Qualifizierter Name: https://myblob.blob.core.windows.net/sample-data/name-of-spark-output/{SparkPartitions}
Anzeigename: "Name der Spark-Ausgabe"
Beispiel 2
Qualifizierter Name: https://myblob.blob.core.windows.net/my-partitioned-data/{Year}-{Month}-{Day}/{N}-{N}-{N}-{N}/{GUID}
Anzeigename: "Meine partitionierten Daten"
Beispiel 3
Qualifizierter Name: https://myblob.blob.core.windows.net/sample-data/data{N}.csv
Anzeigename: "data"
Anpassen der Ressourcensatzgruppierung mithilfe von Musterregeln
Beim Scannen eines Speicherkontos verwendet Microsoft Purview eine Reihe definierter Muster, um zu bestimmen, ob eine Gruppe von Ressourcen ein Ressourcensatz ist. In einigen Fällen spiegelt die Ressourcensatzgruppierung von Microsoft Purview Ihren Datenbestand möglicherweise nicht genau wider. Zu diesen Problemen kann Folgendes gehören:
- Falsches Markieren eines Assets als Ressourcensatz.
- Einfügen eines Assets in das falsche Ressourcenset.
- Ein Asset wird fälschlicherweise als nicht als Ressourcensatz markiert.
Um anzupassen oder zu überschreiben, wie Microsoft Purview erkennt, welche Ressourcen als Ressourcensätze gruppiert werden und wie sie im Katalog angezeigt werden, können Sie im Management Center Musterregeln definieren. Schritt-für-Schritt-Anleitungen und Syntax finden Sie unter Musterregeln für Ressourcensätze.
Bekannte Einschränkungen bei Ressourcensätzen
- Standardmäßig werden Ressourcengruppenobjekte nur dann durch eine Überprüfung gelöscht, wenn erweiterte Ressourcensätze aktiviert sind. Wenn diese Funktion deaktiviert ist, können Ressourcengruppenressourcen nur manuell oder über die API gelöscht werden.
Nächste Schritte
Informationen zu den ersten Schritten mit Microsoft Purview finden Sie unter Schnellstart: Erstellen eines Microsoft Purview-Kontos.