Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Microsoft Purview Unified Catalog e le funzionalità classiche di governance dei dati di Microsoft Purview (in precedenza Azure Purview) verranno ritirate. Microsoft sta consolidando le proprie funzionalità di governance dei dati in Microsoft Fabric. Non è più possibile creare nuovi account e le funzionalità esistenti rimarranno in modalità di manutenzione fino al 12 novembre 2027. Per le tempistiche di ritiro, le linee guida per la transizione e i passaggi successivi consigliati, vedere l'annuncio relativo al ritiro della governance dei dati di Microsoft Purview.
Questo articolo illustra come vengono usati i set di risorse in Microsoft Purview per eseguire il mapping degli asset di dati alle risorse logiche.
Nota
In fase di implementazione, la funzionalità avanzata Set di risorse è disponibile per tutti i clienti in Microsoft Purview Unified Catalog. I prezzi per i set di risorse avanzate sono coerenti con le tariffe esistenti per la governance dei dati di Microsoft Purview classica.
Informazioni generali
I sistemi di elaborazione dati su larga scala archiviano in genere una singola tabella nell'archiviazione come più file. In Microsoft Purview Unified Catalog questo concetto è rappresentato dall'uso dei set di risorse. Un set di risorse è un singolo oggetto nel catalogo che rappresenta un numero elevato di risorse in memoria.
Ad esempio, supponiamo che il cluster Spark abbia salvato in modo persistente un DataFrame in un'origine dati Azure Data Lake Storage (ADLS) Gen2. Anche se in Spark la tabella sembra una singola risorsa logica, sul disco sono probabilmente presenti migliaia di file Parquet, ognuno dei quali rappresenta una partizione del contenuto totale di DataFrame. I dati IoT e i dati di log web hanno la stessa sfida. Si supponga di avere un sensore che restituisce i file di log più volte al secondo. Non ci vorrà molto prima di avere centinaia di migliaia di file di registro da quel singolo sensore.
Rilevamento dei set di risorse da parte di Microsoft Purview
Microsoft Purview supporta il rilevamento di set di risorse in Archiviazione BLOB di Azure, ADLS Gen1, ADLS Gen2, File di Azure e Amazon S3.
Microsoft Purview rileva automaticamente i set di risorse durante l'analisi. Questa funzionalità esamina tutti i dati inseriti tramite analisi e li confronta con un set di modelli definiti.
Ad esempio, supponiamo di analizzare un'origine dati il cui URL è https://myaccount.blob.core.windows.net/mycontainer/machinesets/23/foo.parquet. Microsoft Purview esamina i segmenti di percorso e determina se corrispondono a eventuali modelli predefiniti. Include modelli predefiniti per GUID, numeri, formati di data, codici di localizzazione (ad esempio, en-us) e così via. In questo caso, lo schema numerico corrisponde a 23. Microsoft Purview presuppone che questo file faccia parte di un set di risorse denominato https://myaccount.blob.core.windows.net/mycontainer/machinesets/{N}/foo.parquet.
Oppure, per un URL come https://myaccount.blob.core.windows.net/mycontainer/weblogs/en_au/23.json, Microsoft Purview confronta sia il modello di localizzazione che il modello numerico, producendo un set di risorse denominato https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json.
Usando questa strategia, Microsoft Purview eseguirà il mapping delle risorse seguenti allo stesso set di risorse: https://myaccount.blob.core.windows.net/mycontainer/weblogs/{LOC}/{N}.json
https://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/1004.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/cy_gb/234.jsonhttps://myaccount.blob.core.windows.net/mycontainer/weblogs/de_Ch/23434.json
Tipi di file che Microsoft Purview non rileverà come set di risorse
Microsoft Purview non tenta intenzionalmente di classificare la maggior parte dei tipi di file di documento come Word, Excel o PDF come set di risorse. L'eccezione è il formato CSV perché è un formato di file partizionato comune.
Come Microsoft Purview analizza i set di risorse
Quando Microsoft Purview rileva risorse che ritiene parte di un set di risorse, passa da un'analisi completa a un'analisi di esempio. Un'analisi di esempio apre solo un sottoinsieme dei file che ritiene siano presenti nel set di risorse. Per ogni file che apre, usa il suo schema ed esegue i suoi classificatori. Microsoft Purview trova quindi la risorsa più recente tra le risorse aperte e usa lo schema e le classificazioni di tale risorsa nella voce per l'intero set di risorse nel catalogo.
Set di risorse avanzate
Microsoft Purview può personalizzare e arricchire ulteriormente le risorse del set di risorse tramite la funzionalità Set di risorse avanzate . I set di risorse avanzati consentono a Microsoft Purview di comprendere le partizioni sottostanti dei dati inseriti e consentono la creazione di regole del modello del set di risorse che personalizzano il modo in cui Microsoft Purview raggruppa i set di risorse durante l'analisi.
Quando i set di risorse avanzati sono abilitati, Microsoft Purview esegue aggregazioni aggiuntive per calcolare le informazioni seguenti sugli asset del set di risorse:
- Percorso di esempio da un file che comprende il set di risorse.
- Un numero di partizioni che indica il numero di file che compongono il set di risorse.
- Le dimensioni totali di tutti i file che costituiscono il set di risorse.
Queste proprietà sono disponibili nella pagina dei dettagli dell'asset del set di risorse.
Attivazione dei set di risorse avanzate
I set di risorse avanzate sono disattivati per impostazione predefinita in tutte le nuove istanze di Microsoft Purview. Solo gli utenti con il ruolo di curatore dei dati nella raccolta principale possono gestire le impostazioni avanzate dei set di risorse. Per abilitare i set di risorse avanzate, passareall'account impostazionidel portale>> Microsoft Purview e selezionare l'interruttore per Set di risorse avanzate, come mostrato nell'immagine:
Dopo aver abilitato i set di risorse avanzate, gli arricchimenti aggiuntivi verranno eseguiti in tutte le risorse appena inserite. Questi arricchimenti potrebbero richiedere fino a 12 ore per essere disponibili sulle tue risorse dopo l'acquisizione. Il team di Microsoft Purview consiglia di attendere un'ora prima di analizzare i nuovi dati del data lake dopo aver attivato la funzionalità.
Importante
L'abilitazione dei set di risorse avanzate influisce sulla frequenza di aggiornamento delle informazioni dettagliate sulle risorse e sulla classificazione. Quando sono attivati i set di risorse avanzate, le informazioni dettagliate su asset e classificazione vengono aggiornate due volte al giorno.
Inoltre, quando si abilitano i set di risorse avanzate, la visualizzazione degli aggiornamenti dello schema potrebbe richiedere fino a 12 ore .
Modelli predefiniti dei set di risorse
Microsoft Purview supporta i modelli di set di risorse seguenti. Questi modelli possono essere visualizzati come nome in una directory o come parte di un nome file.
Modelli basati su Regex
| Nome del modello | Nome visualizzato | Descrizione |
|---|---|---|
| Guid | {GUID} | Identificatore univoco globale come definito in RFC 4122 |
| Numero | {N} | Una o più cifre |
| Formati di data/ora | {Anno}{Mese}{Giorno}{N} | Sono supportati vari formati di data/ora, ma tutti sono rappresentati con {Year}[delimitatore]{Month}[delimitatore]{Day} o serie di {N}s. |
| 4ByteHex | {HEX} | Un numero esadecimale a quattro cifre. |
| Localizzazione | {LOC} | Un tag di lingua come definito in BCP 47, sono supportati entrambi i nomi - e _ (ad esempio, en_ca e en-ca) |
Modelli complessi
| Nome del modello | Nome visualizzato | Descrizione |
|---|---|---|
| Percorso scintillante | {SparkPartitions} | Identificatore del file di partizione Spark |
| Data(aaaa/mm/gg)InPath | {anno}/{mese}/{giorno} | Modello anno/mese/giorno che si estende su più cartelle |
Come vengono visualizzati i set di risorse in Unified Catalog
Quando Microsoft Purview abbina un gruppo di risorse in un set di risorse, tenta di estrarre le informazioni più utili da usare come nome visualizzato nel catalogo. Alcuni esempi della convenzione di denominazione predefinita applicata:
Esempio 1
Nome qualificato: https://myblob.blob.core.windows.net/sample-data/name-of-spark-output/{SparkPartitions}
Nome visualizzato: "nome dell'output della scintilla"
Esempio 2
Nome qualificato: https://myblob.blob.core.windows.net/my-partitioned-data/{Year}-{Month}-{Day}/{N}-{N}-{N}-{N}/{GUID}
Nome visualizzato: "dati partizionati"
Esempio 3
Nome qualificato: https://myblob.blob.core.windows.net/sample-data/data{N}.csv
Nome visualizzato: "data"
Personalizzazione del raggruppamento dei set di risorse con le regole degli schemi
Quando si analizza un account di archiviazione, Microsoft Purview usa un set di modelli definiti per determinare se un gruppo di asset è un set di risorse. In alcuni casi, il raggruppamento dei set di risorse di Microsoft Purview potrebbe non riflettere in modo accurato il patrimonio di dati. Questi problemi possono includere:
- Contrassegno errato di una risorsa come set di risorse.
- Inserimento di una risorsa nel set di risorse errato.
- Contrassegno erroneamente di una risorsa come non set di risorse.
Per personalizzare o ignorare il modo in cui Microsoft Purview rileva quali risorse sono raggruppate come set di risorse e come vengono visualizzate all'interno del catalogo, è possibile definire regole modello nel centro di gestione. Per istruzioni dettagliate e sintassi, vedere regole dei modelli dei set di risorse.
Limitazioni note dei set di risorse
- Per impostazione predefinita, le risorse del set di risorse verranno eliminate da un'analisi solo se sono abilitati i set di risorse avanzati . Se questa funzionalità è disattivata, le risorse del set di risorse possono essere eliminate solo manualmente o tramite API.
Passaggi successivi
Per iniziare a usare Microsoft Purview, vedere Guida introduttiva: Creare un account Microsoft Purview.