Creare regole modello set di risorse

Importante

Microsoft Purview Unified Catalog e le funzionalità classiche di governance dei dati di Microsoft Purview (in precedenza Azure Purview) verranno ritirate. Microsoft sta consolidando le proprie funzionalità di governance dei dati in Microsoft Fabric. Non è più possibile creare nuovi account e le funzionalità esistenti rimarranno in modalità di manutenzione fino al 12 novembre 2027. Per le tempistiche di ritiro, le linee guida per la transizione e i passaggi successivi consigliati, vedere l'annuncio relativo al ritiro della governance dei dati di Microsoft Purview.

I sistemi di elaborazione dati su larga scala archiviano in genere una singola tabella nell'archiviazione come più file. Questo concetto è rappresentato in Microsoft Purview usando i set di risorse. Un set di risorse è un singolo oggetto in Microsoft Purview Unified Catalog che rappresenta un numero elevato di risorse in archiviazione. Per altre informazioni, vedere Informazioni sui set di risorse.

Quando si analizza un account di archiviazione, Microsoft Purview usa un set di modelli definiti per determinare se un gruppo di asset è un set di risorse. In alcuni casi, il raggruppamento dei set di risorse potrebbe non riflettere in modo accurato il patrimonio di dati. Le regole modello set di risorse consentono di personalizzare o ignorare il modo in cui Microsoft Purview rileva quali risorse sono raggruppate come set di risorse e come vengono visualizzate all'interno del catalogo.

Le regole modello sono attualmente supportate nei tipi di origine seguenti:

  • Azure Data Lake Storage Gen2
  • Archiviazione BLOB di Azure
  • File di Azure
  • Amazon S3

Il set di funzionalità del set di risorse avanzato deve essere abilitato per creare regole di modello del set di risorse. Per ulteriori informazioni, vedere Informazioni sui set di risorse avanzati.

Come creare una regola di modello del set di risorse

Seguire questa procedura per creare una nuova regola di modello set di risorse:

  1. Passare a Data Map e selezionare Gestione origine, selezionare Regole modello, quindi selezionare Nuovo per creare un nuovo set di regole.

  2. Immettere l'ambito della regola di modello del set di risorse. Selezionare il tipo di account di archiviazione e il nome dell'account di archiviazione su cui si vuole creare un set di regole. Ogni set di regole viene applicato in relazione a un ambito del percorso della cartella specificato nel campo Percorso cartella .

    Creare configurazioni delle regole dello schema del set di risorse

  3. Per immettere una regola per un ambito di configurazione, selezionare + Nuova regola.

  4. Immetti i campi seguenti per creare una regola:

    1. Nome regola: Nome della regola di configurazione. Questo campo non ha alcun effetto sugli asset a cui si applica la regola.

    2. Nome qualificato: Percorso qualificato che usa una combinazione di testo, sostituzioni dinamiche e sostituzioni statiche per abbinare le risorse alla regola di configurazione. Questo percorso è relativo all'ambito della regola di configurazione. Per istruzioni dettagliate su come specificare i nomi qualificati, vedere la sezione Sintassi seguente.

    3. Nome visualizzato: Nome visualizzato dell'asset. Questo campo è facoltativo. Utilizza testo normale e sostituzioni statiche per personalizzare la modalità di visualizzazione di una risorsa nel catalogo. Per istruzioni più dettagliate, vedere la sezione Sintassi seguente.

    4. Non raggruppare come set di risorse: Se abilitata, la risorsa corrispondente non verrà raggruppata in un set di risorse.

      Creare una nuova regola di configurazione.

  5. Salvare la regola selezionando Aggiungi.

Nota

Dopo aver creato una regola di modello, tutte le nuove analisi applicheranno la regola durante l'acquisizione. Le risorse esistenti in Unified Catalog verranno aggiornate tramite un processo in background che può richiedere fino a poche ore.

Sintassi delle regole del modello

Quando crei regole di pattern set di risorse, usa la sintassi seguente per specificare a quali asset si applicano le regole.

Sostituzioni dinamiche (staffe singole)

Le parentesi singole vengono utilizzate come sostituti dinamici nelle regole di una serie. Specificate un sostituto dinamico nel nome completo utilizzando il formato {<replacerName>:<replacerType>}. Se corrispondenti, i sostituti dinamici vengono usati come condizione di raggruppamento che indica che le risorse devono essere rappresentate come un set di risorse. Se le risorse sono raggruppate in un set di risorse, il percorso qualificato del set di risorse conterrà {replacerName} la posizione in cui è stato specificato il sostituto.

Ad esempio, se due beni folder1/file-1.csv corrispondono folder2/file-2.csv alla regola {folder:string}/file-{NUM:int}.csv, il set di risorse sarebbe una singola entità {folder}/file-{NUM}.csv.

Caso speciale: Sostituzioni dinamiche quando non si raggruppa nel set di risorse

Se l'opzione Non raggruppare come set di risorse è abilitata per una regola di modello, il nome del sostituto è un campo facoltativo. {:<replacerType>} è una sintassi valida. Ad esempio, file-{:int}.csv corrisponderebbe correttamente per file-1.csv e file-2.csv e creerebbe due risorse diverse invece di un set di risorse.

Sostituti statici (doppie parentesi)

Le parentesi doppie vengono utilizzate come sostituti statici nel nome qualificato di una regola di serie. Specificate un sostituente statico nel nome completo utilizzando il formato {{<replacerName>:<replacerType>}}. Se abbinati, ogni set di valori di sostituzione statica univoci crea raggruppamenti di set di risorse diversi.

Ad esempio, se due risorse folder1/file-1.csv corrispondono folder2/file-2.csv alla regola {{folder:string}}/file-{NUM:int}.csv, verrebbero creati folder1/file-{NUM}.csv due set di risorse e folder2/file-{NUM}.csv.

I sostituti statici possono essere utilizzati per specificare il nome visualizzato di un asset corrispondente a una regola di modello. L'utilizzo {{<replacerName>}} nel nome visualizzato di una regola utilizza il valore corrispondente nel nome della risorsa.

Tipi di ricambio disponibili

Di seguito sono riportati i tipi disponibili che possono essere utilizzati nei sostituti statici e dinamici:

Tipo Struttura
stringa Serie di uno o più caratteri Unicode, inclusi delimitatori come gli spazi.
int Una serie di 1 o più caratteri ASCII da 0 a 9, può essere preceduto da 0 (ad esempio, 0001).
guid Una serie di 32 o 8-4-4-4-12 stringhe di un UUID come definito in RFC 4122.
data Serie di 6 o 8 caratteri ASCII 0-9 con separatori opzionali: yyyymmdd, yyyy-mm-dd, yymmdd, yy-mm-dd, specificati nella RFC 3339.
della creazione Serie di 4 o 6 0-9 caratteri ASCII con separatori opzionali: HHmm, HH:mm, HHmmss, HH:mm:ss specificati in RFC 3339.
data e ora Serie di 12 o 14 0-9 caratteri ASCII con facoltativamente separatori: yyyy-mm-ddTHH:mm, yyyymmddhhmm, yyyy-mm-ddTHH:mm:ss, yyyymmdHHmmss specificato in RFC 3339.
booleano Può contenere "true" o "false", senza distinzione tra maiuscole e minuscole.
numero Una serie di 0 o più caratteri ASCII 0-9, può essere prefisso 0 (ad esempio, 0001) seguito facoltativamente da un punto '.' e una serie di 1 o più caratteri ASCII 0-9, può essere un postfisso 0 (ad esempio, .100)
esadecimale Serie di uno o più caratteri ASCII del set 0-1 e A-F, il cui valore può essere preceduto da 0
impostazioni locali Stringa che corrisponde alla sintassi specificata nella RFC 5646.

Ordine in cui vengono applicate le regole dello schema del set di risorse

Di seguito è riportato l'ordine delle operazioni per l'applicazione delle regole del modello:

  1. Gli ambiti più specifici hanno la priorità se una risorsa corrisponde a due regole. Ad esempio, le regole in un ambito container/folder si applicheranno prima delle regole nell'ambito container.

  2. Ordine delle regole all'interno di un ambito specifico. Questo può essere modificato nell'UX.

  3. Se una risorsa non corrisponde a nessuna regola specificata, si applica l'euristica del set di risorse predefinito.

Esempi

Esempio 1

Estrazione dei dati SAP in carichi completi e delta

Input

Files:

  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

Regola del modello

Ambito:https://myazureblob.blob.core.windows.net/bar/

Nome visualizzato: "Cliente esterno"

Nome qualificato:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

Set di risorse: true

Output

Una risorsa del set di risorse

Nome visualizzato: Cliente esterno

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

Esempio 2

Dati IoT in formato avro

Input

Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regole del modello

Ambito:https://myazureblob.blob.core.windows.net/bar/

Regola 1

Nome visualizzato: 'macchina-89'

Nome qualificato:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

Set di risorse: true

Regola 2

Nome visualizzato: 'macchina-90'

Nome qualificato:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

Set di risorse: true

Output

Due set di risorse

Set di risorse 1

Nome Display: machine-89

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Set di risorse 2

Nome visualizzato: macchina-90

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Esempio 3

Dati IoT in formato avro

Input

Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regola del modello

Ambito:https://myazureblob.blob.core.windows.net/bar/

Nome visualizzato: 'Macchina-{{machineid}}'

Nome qualificato:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

Set di risorse: true

Output

Set di risorse 1

Nome visualizzato: macchina-89

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Set di risorse 2

Nome visualizzato: machine-90

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Esempio 4

Non raggruppare in set di risorse

Input

Files:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regola del modello

Ambito:https://myazureblob.blob.core.windows.net/bar/

Nome visualizzato:Machine-{{machineid}}

Nome qualificato:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

Set di risorse: false

Output

Quattro risorse individuali

Risorsa 1

Nome visualizzato: macchina-89

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

Risorsa 2

Nome visualizzato: macchina-89

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

Risorsa 3

Nome visualizzato: macchina-89

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

Risorsa 4

Nome visualizzato: machine-90

Nome qualificato:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Passaggi successivi

Per iniziare, registrare ed eseguire l'analisi di un account di archiviazione di Azure Data Lake Gen2.