Origini dati che si connettono a Data Map

Importante

Ritiro delle funzionalità di governance dei dati di Microsoft Purview

Le funzionalità di governance dei dati di Microsoft Purview Unified Catalog e Microsoft Purview classiche (in precedenza Azure Purview) verranno ritirate. Microsoft Purview nel suo complesso non verrà ritirato. Le funzionalità di sicurezza e conformità dei dati di Microsoft Purview non sono interessate da questo annuncio e Microsoft continuerà a investire in esse.

Microsoft sta consolidando le proprie funzionalità di governance dei dati in Microsoft Fabric. Non è più possibile creare nuovi account di governance dei dati Microsoft Purview e le funzionalità di governance dei dati esistenti rimarranno in modalità di manutenzione fino al 12 novembre 2027.

Per le tempistiche di ritiro, le linee guida per la transizione e i passaggi successivi consigliati, vedere l'annuncio relativo al ritiro della governance dei dati di Microsoft Purview.

Questo articolo elenca le origini dati, i tipi di file e i concetti di analisi supportati in Microsoft Purview Data Map.

Elenco delle origini dati per tipo

Le tabelle seguenti mostrano tutte le origini dati con metadati tecnici disponibili in Microsoft Purview Data Map, insieme ad altre funzionalità supportate. Selezionare un nome di origine dati nella colonna Origine dati per istruzioni sulla connessione di tale origine a Data Map.

Azure

Le risorse di Azure sono disponibili solo nello stesso tenant dell'account Microsoft Purview, se non diversamente specificato nella pagina di ogni origine dati.

Origine dati Può applicare automaticamente le classificazioni Può applicare etichette di riservatezza agli asset di mapping dei dati Può applicare criteri Derivazione dei dati Accessibile in live view
Selezionare il collegamento per le istruzioni di connessione e scansione. Selezionare Sì per le istruzioni di analisi. Scopri come vengono applicate le classificazioni durante la scansione. Informazioni sulle etichette di riservatezza (anteprima). Selezionare Sì per visualizzare i criteri supportati. ad esempio, proprietario dei dati, accesso in modalità self-service o protezione. Selezionare Sì per informazioni dettagliate. Informazioni sulla visualizzazione live.
Fonti multiple Sì Dipendente dall'origine Sì No Funzionalità limitata
Archiviazione BLOB di Azure Sì Sì Sì (anteprima) Limitato* Sì
Azure Cosmos DB per API SQL Sì Sì No No* No
Esplora dati di Azure Sì Sì No No* No
Azure Data Factory No No No Sì No
Azure Data Lake Storage Gen2 Sì Sì Sì (anteprima) Limitato* Sì
Condivisione dati di Azure No No No Sì No
Azure Database per MySQL Sì Sì No No* No
Database di Azure per PostgreSQL Sì Sì No No* No
Azure Databricks Hive Metastore Sì** No No Sì No
Catalogo Unity Azure Databricks Sì*** No No Sì No
Pool SQL dedicato di Azure (in precedenza SQL Data Warehouse) Sì No No No* No
File di Azure Sì Sì No Limitato* No
Azure Machine Learning No No No Sì No
database SQL di Azure Sì Sì Sì^ Sì (anteprima) Sì
Istanza gestita di SQL di Azure Sì Sì Sì No* No
Azure Synapse Analytics (area di lavoro) Sì Sì No Sì - Pipeline Synapse No

* Oltre alla derivazione sulle risorse all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline Data Factory o Synapse.

** Supporto della classificazione solo per Unity Catalog nell'origine dati Azure Databricks.

La classificazione personalizzata non è supportata per l'origine Azure Databricks Unity Catalog.

^ I criteri di protezione non sono supportati per il database SQL di Azure.

Database

Origine dati Può applicare automaticamente le classificazioni Può applicare etichette di riservatezza agli asset di mapping dei dati Può applicare criteri Derivazione dei dati Accessibile in live view
Selezionare il collegamento per le istruzioni di connessione e scansione. Selezionare Sì per le istruzioni di analisi. Scopri come vengono applicate le classificazioni durante la scansione. Informazioni sulle etichette di riservatezza (anteprima). Selezionare Sì per visualizzare i criteri supportati. ad esempio, proprietario dei dati, accesso in modalità self-service o protezione. Selezionare Sì per informazioni dettagliate. Informazioni sulla visualizzazione live.
Amazon RDS Sì No No No No
Amazon Redshift No No No No No
Cassandra No No No Sì No
Db2 No No No Sì No
Google BigQuery No No No Sì No
Hive Metastore Database No No No Sì* No
MongoDB No No No No No
MySQL No No No Sì No
Oracle Sì No No Sì* No
PostgreSQL No No No Sì No
SAP Business Warehouse No No No No No
SAP HANA No No No No No
Fiocco di neve Sì Sì No Sì* No
SQL Server Sì Sì No No* No
SQL Server in Azure-Arc Sì No Sì No* No
Teradata Sì No No Sì* No

* Oltre alla derivazione sulle risorse all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline Data Factory o Synapse.

File

Origine dati Può applicare automaticamente le classificazioni Può applicare etichette di riservatezza agli asset di mapping dei dati Può applicare criteri Derivazione dei dati Accessibile in live view
Selezionare il collegamento per le istruzioni di connessione e scansione. Selezionare Sì per le istruzioni di analisi. Scopri come vengono applicate le classificazioni durante la scansione. Informazioni sulle etichette di riservatezza (anteprima). Selezionare Sì per visualizzare i criteri supportati. ad esempio, proprietario dei dati, accesso in modalità self-service o protezione. Selezionare Sì per informazioni dettagliate. Informazioni sulla visualizzazione live.
Amazon S3 Sì No No Limitato* No
Hadoop Distributed File System (HDFS) Sì No No No No

* Oltre alla derivazione sulle risorse all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline Data Factory o Synapse.

Servizi e app

Origine dati Può applicare automaticamente le classificazioni Può applicare etichette di riservatezza agli asset di mapping dei dati Può applicare criteri Derivazione dei dati Accessibile in live view
Selezionare il collegamento per le istruzioni di connessione e scansione. Selezionare Sì per le istruzioni di analisi. Scopri come vengono applicate le classificazioni durante la scansione. Informazioni sulle etichette di riservatezza (anteprima). Selezionare Sì per visualizzare i criteri supportati. ad esempio, proprietario dei dati, accesso in modalità self-service o protezione. Selezionare Sì per informazioni dettagliate. Informazioni sulla visualizzazione live.
Flusso d'aria No No No Sì No
Dataverse Sì Sì No No No
Erwin No No No Sì No
Tessuto No No No Sì Sì
Looker No No No Sì No
Power BI No No No Sì Sì**
Qlik Sense No No No No No
Salesforce No No No No No
SAP ECC No No No Sì* No
SAP S/4HANA No No No Sì* No
Tableau No No No No No

* Oltre alla derivazione sulle risorse all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline Data Factory o Synapse.

** Gli elementi Power BI in un tenant Fabric sono disponibili utilizzando la visualizzazione live.

Nota

Attualmente, Microsoft Purview Data Map non è in grado di analizzare una risorsa con /, \, o # nel nome. Per definire l'ambito dell'analisi ed evitare di eseguire la scansione di asset il cui nome include tali caratteri, usare l'esempio in Registrare e digitalizzare un database SQL di Azure.

Importante

Se si prevede di usare un runtime di integrazione self-hosted, la scansione di alcune origini dati richiede una configurazione aggiuntiva sul computer del runtime di integrazione self-hosted. Ad esempio, JDK, Microsoft Visual C++ Redistributable o driver specifico. Per la fonte, fare riferimento a ogni articolo di origine per i dettagli sui prerequisiti. Tutti i requisiti sono elencati nella sezione Prerequisiti .

Aree dello scanner di mappe dati

L'elenco seguente mostra le aree dell'origine dati di Azure (data center) in cui viene eseguito lo scanner di Data Map. Se l'origine dati di Azure si trova in un'area esterna a questo elenco, lo scanner viene eseguito nell'area dell'istanza di Microsoft Purview.

  • Australia orientale
  • Australia sudorientale
  • Brasile meridionale
  • Canada centrale
  • Canada orientale
  • India centrale
  • Cina settentrionale 3
  • Asia orientale
  • Stati Uniti orientali
  • Stati Uniti orientali 2
  • Francia centrale
  • Germania Centro-Occidentale
  • Giappone orientale
  • Corea centrale
  • Stati Uniti centro-settentrionali
  • Europa settentrionale
  • Qatar centrale
  • Sudafrica settentrionale
  • Stati Uniti centro-meridionali
  • Asia sudorientale
  • Svizzera nord
  • Emirati Arabi Uniti Settentrionali
  • Regno Unito meridionale
  • USGov Virginia
  • Stati Uniti centro-occidentali
  • Europa occidentale
  • Stati Uniti occidentali
  • Stati Uniti occidentali 2
  • Stati Uniti occidentali 3

Tipi di file supportati per l'analisi

I tipi di file elencati nella sezione seguente supportano l'analisi, l'estrazione dello schema e la classificazione, ove applicabile. Inoltre, Data Map supporta estensioni di file personalizzate e parser personalizzati.

I formati di file strutturati supportati dall'estensione includono la scansione, l'estrazione di schemi e la classificazione a livello di asset e colonna:

  • AVRO
  • CSV
  • GZIP
  • JSON
  • ORC
  • PARQUET*
  • PSV
  • SSV
  • TSV
  • TXT
  • XML

*Per i file PARQUET non compressi, sono supportati tutti i formati Parquet. Per i file PARQUET compressi, è supportato solo il formato Parquet ancorato.

I formati di file dei documenti supportati dall'estensione includono la scansione e la classificazione a livello di risorsa:

  • Documento
  • Documento DOCM
  • Documento DOCX
  • PUNTO
  • ODP
  • ODS
  • ODT
  • PDF
  • PENTOLA
  • PPS
  • PPSX
  • Punto corrente (PPT)
  • PPTM
  • File PPTX
  • XLC
  • XLS
  • XLSB
  • XLSM
  • XLSX
  • XLT

Nota

Limitazioni note:

  • Lo scanner di Microsoft Purview Data Map supporta solo l'estrazione dello schema per i tipi di file strutturati elencati nella sezione precedente.
  • Per i tipi di file AVRO, ORC e PARQUET, lo scanner non supporta l'estrazione dello schema per i file che contengono tipi di dati complessi (ad esempio, MAP, LIST, STRUCT).
  • Per i file PARQUET non compressi, sono supportati tutti i formati Parquet. Per i file PARQUET compressi, è supportato solo il formato Parquet snappy per l'estrazione e la classificazione dello schema.
  • Per i tipi di file GZIP, GZIP deve essere mappato a un singolo file CSV all'interno. I file GZIP sono soggetti alle regole di classificazione di sistema e personalizzate. Lo scanner attualmente non supporta la scansione di un file GZIP mappato a più file all'interno o di qualsiasi tipo di file diverso da CSV.
  • Per i file Parquet, se si usa un runtime di integrazione self-hosted, è necessario installare JRE 11 (Java Runtime Environment) a 64 bit o OpenJDK nel computer IR. Consulta la Guida all'installazione di Java Runtime.
  • Il formato Delta non è supportato. Se si esegue la scansione del formato Delta direttamente dall'origine dati di archiviazione come Microsoft Azure Data Lake Storage Gen2, il set di file Parquet dal formato delta viene analizzato e gestito come set di risorse come descritto in Informazioni sui set di risorse. Le colonne usate per il partizionamento non vengono riconosciute come parte dello schema per il set di risorse.
  • Codifiche Parquet non supportate: Microsoft Purview non supporta l'estrazione dello schema per i file Parquet che usano la codifica RLE (Run-length Encoding) in Microsoft Fabric Lakehouse. Le tabelle contenenti colonne con codifica RLE potrebbero non riuscire a estrarre i metadati dello schema, incluse tabelle, colonne e tipi di dati. Il processo rileva ancora i metadati a livello di asset (L1). Per abilitare l'estrazione completa dello schema, ricreare le tabelle interessate usando un formato di codifica supportato, ad esempio dizionario o codifica normale.

Per i tipi di file delimitati (CSV, PSV, SSV, TSV, TXT):

  • I file delimitati con una sola colonna non possono essere considerati file CSV e privi di schema.
  • Il rilevamento del tipo di dati non è supportato. Il tipo di dati è indicato come "stringa" per tutte le colonne.
  • Gli unici delimitatori supportati sono virgola (','), punto e virgola(';'), barra verticale ('|') e tabulazione ('\t').
  • I file delimitati con meno di tre righe non possono essere considerati file CSV se usano un delimitatore personalizzato. Ad esempio, i file con delimitatore ~ e meno di tre righe non possono essere considerati file CSV.
  • Se un campo contiene virgolette doppie, le virgolette possono essere visualizzate solo all'inizio e alla fine del campo e devono essere corrispondenti. Le virgolette doppie che compaiono al centro del campo o all'inizio e alla fine, ma non trovano corrispondenza, vengono riconosciute come dati non validi e nessuno schema viene analizzato dal file. Le righe con un numero di colonne diverso rispetto alla riga di intestazione vengono giudicate righe di errore. Il numero di righe di errore diviso per il numero di righe campionate deve essere inferiore a 0,1.

Estrazione dello schema

Per le origini dati che supportano l'estrazione dello schema durante l'analisi, il numero di colonne non tronca direttamente lo schema dell'asset.

Dati annidati

I dati annidati sono supportati solo per il contenuto JSON. Per tutti i tipi di file supportati dal sistema, se in una colonna è presente contenuto JSON annidato, lo scanner analizza i dati JSON annidati e li visualizza all'interno della scheda schema dell'asset.

I dati annidati, o analisi di schemi annidati, non sono supportati in SQL. Una colonna con dati annidati verrà segnalata e classificata così com'è e i dati secondari non verranno analizzati.

Dati di campionamento per la classificazione

Nella terminologia di Data Map,

  • Scansione L1: estrae informazioni e metadati di base come il nome del file, le dimensioni e il nome completo.
  • Scansione L2: estrae lo schema per i tipi di file strutturati e le tabelle di database.
  • Scansione L3: estrae lo schema ove applicabile e sottopone il file campionato a regole di classificazione di sistema e personalizzate.

Scopri di più sulla personalizzazione dei livelli di scansione.

Per tutti i formati di file strutturati, lo scanner Microsoft Purview Data Map campiona i file nel modo seguente:

  • Per i tipi di file strutturati, campiona le prime 128 righe di ogni colonna o i primi 1 MB, a seconda di quale sia inferiore.
  • Per i formati di file documento, campiona i primi 20 MB di ogni file.
  • Se un file di documento è più grande di 20 MB, lo scanner non esegue un'analisi approfondita (soggetta a classificazione). In tal caso, Microsoft Purview acquisisce solo i metadati di base, ad esempio il nome file e il nome completo.
  • Per le origini dati tabulari (SQL), campiona le prime 128 righe.
  • Per Azure Cosmos DB per NoSQL, per lo schema vengono raccolte fino a 300 proprietà distinte dai primi 10 documenti in un contenitore. Per ogni proprietà, lo scanner campiona valori da un massimo di 128 documenti o dal primo 1 MB.
  • Per i formati di dati non strutturati, come i file DOCX, non è necessario soddisfare una condizione di otto valori distinti. La presenza di una singola parola chiave pertinente è sufficiente per la classificazione.

Campionamento file set di risorse

Se una cartella o un gruppo di file di partizione corrisponde a un criterio di set di risorse di sistema o a un criterio di set di risorse definito dal cliente, Data Map lo rileva come set di risorse. Se lo scanner rileva un set di risorse, campiona ogni cartella che contiene. Per altre informazioni sui set di risorse, vedere Set di risorse in Microsoft Purview Data Map.

Campionamento di file per set di risorse per tipi di file:

  • File delimitati (CSV, PSV, SSV, TSV): lo scanner campiona 1 file su 100 (scansione L3) all'interno di una cartella o di un gruppo di file di partizione considerati come un set di risorse.
  • Tipi di file Data Lake (Parquet, Avro, Orc): lo scanner campiona 1 su 18.446.744.073.709.551.615 file (max lungo) (scansione L3) all'interno di una cartella o di un gruppo di file di partizione considerati come un set di risorse.
  • Altri tipi di file strutturati (JSON, XML, TXT): lo scanner campiona 1 file su 100 (scansione L3) all'interno di una cartella o di un gruppo di file di partizione considerati come un set di risorse.
  • Oggetti SQL ed entità Azure Cosmos DB: Lo scanner L3 analizza ogni file.
  • Tipi di file documento: Lo scanner L3 esegue la scansione di ogni file. I modelli dei set di risorse non si applicano a questi tipi di file.

Passaggi successivi