Erstellen von Musterregeln für Ressourcensätze

Wichtig

Microsoft Purview Unified Catalog und klassische Microsoft Purview-Datengovernancefunktionen (früher Azure Purview) werden eingestellt. Microsoft konsolidiert seine Data Governance-Funktionen in Microsoft Fabric. Sie können keine neuen Konten mehr erstellen, und vorhandene Funktionen bleiben bis zum 12. November 2027 im Wartungsmodus. Zeitpläne für die Deaktivierung, Umstellungsleitfäden und empfohlene nächste Schritte finden Sie in der Ankündigung der Einstellung der Datengovernance von Microsoft Purview.

Bei Datenverarbeitungssystemen im großen Stil wird in der Regel eine einzelne Tabelle als mehrere Dateien gespeichert. Dieses Konzept wird in Microsoft Purview durch die Verwendung von Ressourcensätzen dargestellt. Ein Ressourcensatz ist ein einzelnes Objekt im Microsoft Purview Unified Catalog, das eine große Anzahl von Ressourcen im Speicher darstellt. Weitere Informationen finden Sie unter Grundlegendes zu Ressourcensätzen.

Beim Scannen eines Speicherkontos verwendet Microsoft Purview eine Reihe definierter Muster, um zu bestimmen, ob eine Gruppe von Ressourcen ein Ressourcensatz ist. In einigen Fällen spiegelt die Gruppierung des Ressourcensatzes Ihren Datenbestand möglicherweise nicht genau wider. Mit Ressourcensatzmusterregeln können Sie anpassen oder überschreiben, wie Microsoft Purview erkennt, welche Ressourcen als Ressourcensätze gruppiert werden und wie sie im Katalog angezeigt werden.

Musterregeln werden derzeit in den folgenden Quelltypen unterstützt:

  • Azure Data Lake Storage Gen2
  • Azure Blob Storage
  • Azure Files
  • Amazon S3

Der erweiterte Ressourcensatz-Featuresatz muss aktiviert sein, um Ressourcensatzmusterregeln zu erstellen. Weitere Informationen finden Sie unter Grundlegendes zu erweiterten Ressourcensätzen.

Erstellen einer Ressourcensatzmusterregel

Führen Sie die folgenden Schritte aus, um eine neue Ressourcensatzmusterregel zu erstellen:

  1. Wechseln Sie zu Datenzuordnung und wählen Sie Quellverwaltung, dann Musterregeln und dann Neu aus, um einen neuen Regelsatz zu erstellen.

  2. Geben Sie den Bereich Ihrer Ressourcensatzmusterregel ein. Wählen Sie den Typ Ihres Speicherkontos und den Namen des Speicherkontos aus, für das Sie einen Regelsatz erstellen möchten. Jeder Regelsatz wird relativ auf einen Ordnerpfadbereich angewendet, der im Feld "Ordnerpfad" angegeben ist.

    Erstellen von Regelkonfigurationen für Ressourcensätze

  3. Um eine Regel für einen Konfigurationsbereich einzugeben, wählen Sie + Neue Regel aus.

  4. Geben Sie Folgendes ein, um eine Regel zu erstellen:

    1. Regelname: Der Name der Konfigurationsregel. Dieses Feld hat keine Auswirkungen auf die Ressourcen, für die die Regel gilt.

    2. Qualifizierter Name: Ein qualifizierter Pfad, der eine Kombination aus Text, dynamischen und statischen Ersetzern verwendet, um Assets mit der Konfigurationsregel abzugleichen. Dieser Pfad ist relativ zum Geltungsbereich der Konfigurationsregel. Ausführliche Anweisungen zum Angeben qualifizierter Namen finden Sie im Abschnitt " Syntax " weiter unten.

    3. Anzeigename: Der Anzeigename des Medienobjekts. Dieses Feld ist optional. Verwenden Sie Nur-Text und statische Ersetzungen, um anzupassen, wie ein Asset im Katalog angezeigt wird. Ausführlichere Anweisungen finden Sie im Abschnitt Syntax weiter unten.

    4. Nicht als Ressourcengruppe gruppieren: Wenn diese Option aktiviert ist, wird die übereinstimmende Ressource nicht in einer Ressourcengruppe gruppiert.

      Neue Konfigurationsregel erstellen.

  5. Speichern Sie die Regel, indem Sie Hinzufügen auswählen.

Hinweis

Nachdem eine Musterregel erstellt wurde, wird die Regel bei allen neuen Scans während der Erfassung angewendet. Vorhandene Ressourcen in Unified Catalog werden über einen Hintergrundprozess aktualisiert, der bis zu einigen Stunden dauern kann.

Syntax von Musterregeln

Verwenden Sie beim Erstellen von Ressourcensatzmusterregeln die folgende Syntax, um anzugeben, für welche Ressourcenregeln gelten.

Dynamische Ersetzungen (einzelne Klammern)

Einzelne Klammern werden als dynamische Ergänzungen in Musterregeln verwendet. Geben Sie einen dynamischen Ersatz im qualifizierten Namen mithilfe von format {<replacerName>:<replacerType>}an. Wenn übereinstimmen, werden dynamische Ersetzungen als Gruppierungsbedingung verwendet, die angeben, dass Anlagen als Ressourcensatz dargestellt werden sollen. Wenn die Ressourcen in einem Ressourcensatz gruppiert sind, enthält {replacerName} der qualifizierte Pfad des Ressourcensatzes die Stelle, an der der Ersatz angegeben wurde.

Wenn beispielsweise zwei Ressourcen folder1/file-1.csv mit der Regel {folder:string}/file-{NUM:int}.csvübereinstimmen, wäre der Ressourcensatz eine einzelne Entität{folder}/file-{NUM}.csvfolder2/file-2.csv.

Sonderfall: Dynamische Ersetzungen, wenn sie nicht in Ressourcengruppe gruppiert werden

Wenn "Nicht als Ressourcensatz gruppieren " für eine Musterregel aktiviert ist, ist der Ersetzungsname ein optionales Feld. {:<replacerType>} ist gültige Syntax. Beispielsweise file-{:int}.csv würde eine erfolgreiche Übereinstimmung für file-1.csv und file-2.csv und zwei verschiedene Ressourcen anstelle eines Ressourcensatzes erstellen.

Statische Halterungen (doppelte Klammern)

Doppelte Klammern werden als statische Klammern im qualifizierten Namen einer Musterregel verwendet. Geben Sie einen statischen Ersatz im qualifizierten Namen an, indem Sie format verwenden {{<replacerName>:<replacerType>}}. Bei einer Übereinstimmung erstellt jeder Satz eindeutiger statischer Ersetzungswerte unterschiedliche Ressourcensatzgruppierungen.

Wenn zum Beispiel zwei Assets folder1/file-1.csv und folder2/file-2.csv mit der Regel {{folder:string}}/file-{NUM:int}.csvübereinstimmen, werden zwei Ressourcensätze erstellt folder1/file-{NUM}.csv und folder2/file-{NUM}.csv.

Statische Ersetzungen können verwendet werden, um den Anzeigenamen eines Assets anzugeben, der einer Musterregel entspricht. Die Verwendung {{<replacerName>}} im Anzeigenamen einer Regel verwendet den übereinstimmenden Wert im Ressourcennamen.

Verfügbare Ersatztypen

Im Folgenden sind die verfügbaren Typen aufgeführt, die in statischen und dynamischen Ersetzungsmodulen verwendet werden können:

Typ Structure
string Eine Reihe von einem oder mehreren Unicode-Zeichen, einschließlich Trennzeichen wie Leerzeichen.
int Eine Reihe von 1 oder mehr ASCII-Zeichen von 0 bis 9 kann 0 vorangestellt werden (z. B. 0001).
GUID Eine Reihe von 32- oder 8-4-4-4-12-Zeichenfolgendarstellungen einer UUID gemäß RFC 4122.
date Eine Reihe von 6 oder 8 0-9 ASCII-Zeichen mit optionalen Trennzeichen: yyyymmdd, yyyy-mm-dd, yymmdd, yy-mm-dd, spezifiziert in RFC 3339.
Uhrzeit Eine Reihe von 4 oder 6 0-9 ASCII-Zeichen mit optionalen Trennzeichen: HHmm, HH:mm, HHmmss, HH:mm:ss, spezifiziert in RFC 3339.
Zeitstempel Eine Reihe von 12 oder 14 0-9 ASCII-Zeichen mit optionalen Trennzeichen: yyyy-mm-ddTHH:mm, yyyymmddhhmm, yyyy-mm-ddTHH:mm:ss, yyyymmddHHmmss, spezifiziert in RFC 3339.
Boolescher Wert Kann "true" oder "false" enthalten, Groß- und Kleinschreibung wird nicht beachtet.
number Eine Reihe von 0 oder mehr 0-9 ASCII-Zeichen, kann 0 vorangestellt sein (z. B. 0001), gefolgt von einem Punkt '.' und einer Reihe von 1 oder mehr 0-9 ASCII-Zeichen, sie kann 0 nach dem Nachzeichen sein (z. B. 0,100)
Hexadezimalfeld Eine Reihe von einem oder mehreren ASCII-Zeichen aus der Menge 0-1 und A-F, dem Wert kann 0 vorangestellt werden
Gebietsschema Eine Zeichenfolge, die der in RFC 5646 angegebenen Syntax entspricht.

Reihenfolge der angewendeten Musterregeln für Ressourcensätze

Nachfolgend finden Sie die Reihenfolge der Vorgänge zum Anwenden von Musterregeln:

  1. Spezifischere Bereiche haben Vorrang, wenn ein Medienobjekt mit zwei Regeln übereinstimmt. So gelten beispielsweise Regeln in einem Bereich container/folder vor Regeln im Geltungsbereich container.

  2. Reihenfolge der Regeln innerhalb eines bestimmten Bereichs Dies kann in der Benutzeroberfläche bearbeitet werden.

  3. Wenn ein Medienobjekt keiner angegebenen Regel entspricht, gelten die standardmäßigen Ressourcensatz-Heuristiken.

Beispiele

Beispiel 1

SAP-Datenextraktion in Voll- und Delta-Ladevorgänge

Eingaben

Dateien:

  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

Musterregel

Umfang:https://myazureblob.blob.core.windows.net/bar/

Anzeigename: 'Externer Kunde'

Qualifizierter Name:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

Ressourcensatz: true

Ausgabe

Ein Ressourcensatz-Asset

Anzeigename: Externer Kunde

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

Beispiel 2

IoT-Daten im AVRO-Format

Eingaben

Dateien:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Musterregeln

Umfang:https://myazureblob.blob.core.windows.net/bar/

Regel 1

Anzeigename: "Maschine-89"

Qualifizierter Name:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

Ressourcensatz: true

Regel 2

Anzeigename: "Maschine-90"

Qualifizierter Name:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

Ressourcensatz: true

Ausgaben

Zwei Ressourcensätze

Ressourcensatz 1

Anzeigename: machine-89

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Ressourcensatz 2

Anzeigename: machine-90

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Beispiel 3

IoT-Daten im AVRO-Format

Eingaben

Dateien:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Musterregel

Umfang:https://myazureblob.blob.core.windows.net/bar/

Anzeigename: 'machine-{{machineid}}'

Qualifizierter Name:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

Ressourcensatz: true

Ausgaben

Ressourcensatz 1

Anzeigename: machine-89

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Ressourcensatz 2

Anzeigename: machine-90

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Beispiel 4

Nicht in Ressourcengruppen gruppieren

Eingaben

Dateien:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Musterregel

Umfang:https://myazureblob.blob.core.windows.net/bar/

Anzeigename:Machine-{{machineid}}

Qualifizierter Name:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

Ressourcensatz: false

Ausgaben

Vier einzelne Ressourcen

Asset 1

Anzeigename: machine-89

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

Asset 2

Anzeigename: machine-89

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

Asset 3

Anzeigename: machine-89

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

Anlage 4

Anzeigename: machine-90

Qualifizierter Name:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Nächste Schritte

Beginnen Sie mit dem Registrieren und Überprüfen eines Azure Data Lake Gen2-Speicherkontos.