Origini dati e tipi di file supportati

Articolo
09/01/2024

Questo articolo illustra le origini dati attualmente supportate, i tipi di file e i concetti di analisi nel Microsoft Purview Data Map.

Microsoft Purview Data Map origini dati disponibili

La tabella seguente mostra tutte le origini con metadati tecnici disponibili in Microsoft Purview. Selezionare l'origine dati per altre informazioni. La tabella elenca anche altre funzionalità supportate per ogni origine dati ed è possibile selezionare la funzionalità per altre informazioni.

Categoria	Archivio dati supportato	Analisi	Classificazione	Applicazione di etichette	Criteri	Derivazione	Visualizzazione in diretta
Azzurro***	Più origini	Sì	Sì	Dipendente dall'origine	Sì	No	Funzionalità limitata
	Archiviazione BLOB di Azure	Sì	Sì	Sì	Sì (anteprima)	Limitato*	Sì
	Azure Cosmos DB (API per NoSQL)	Sì	Sì	Sì	No	No*	No
	Esplora dati di Azure	Sì	Sì	Sì	No	No*	No
	Azure Data Factory	Sì	No	No	No	Sì	No
	Azure Data Lake Storage Gen1	Sì	Sì	Sì	No	Limitato*	No
	Azure Data Lake Storage Gen2	Sì	Sì	Sì	Sì (anteprima)	Limitato*	Sì
	Azure Condivisione dati	Sì	No	No	No	Sì	No
	Azure Database per MySQL	Sì	Sì	Sì	No	No*	No
	Database di Azure per PostgreSQL	Sì	Sì	Sì	No	No*	No
	Azure Databricks Hive Metastore	Sì	No	No	No	Sì	No
	Catalogo Unity Azure Databricks	Sì	Sì	Sì	No	No	No
	Pool SQL dedicato di Azure (in precedenza SQL Data Warehouse)	Sì	Sì	No	No	No*	No
	File di Azure	Sì	Sì	Sì	No	Limitato*	No
	Azure Machine Learning	Sì	No	No	No	Sì	No
	database SQL di Azure	Sì	Sì	Sì	Sì	Sì (anteprima)	Sì
	Istanza gestita di SQL di Azure	Sì	Sì	Sì	Sì	No*	No
	Azure Synapse Analytics (area di lavoro)	Sì	Sì	Sì	No	Sì - Pipeline di Synapse	No
Categoria	Archivio dati supportato	Archivio dati supportato	Classificazione	Applicazione di etichette	Criteri di accesso	Derivazione	Visualizzazione in diretta
Database	Amazon RDS	Sì	Sì	No	No	No	No
	Amazon Redshift	Sì	No	No	No	No	No
	Cassandra	Sì	No	No	No	Sì	No
	Db2	Sì	No	No	No	Sì	No
	Google BigQuery	Sì	No	No	No	Sì	No
	Hive Metastore Database	Sì	No	No	No	Sì*	No
	MongoDB	Sì	No	No	No	No	No
	MySQL	Sì	No	No	No	Sì	No
	Oracle	Sì	Sì	No	No	Sì*	No
	PostgreSQL	Sì	No	No	No	Sì	No
	SAP Business Warehouse	Sì	No	No	No	No	No
	SAP HANA	Sì	No	No	No	No	No
	Fiocco di neve	Sì	Sì	Sì	No	Sì	No
	SQL Server	Sì	Sì	Sì	No	No*	No
	SQL Server in Azure-Arc	Sì	Sì	No	Sì	No*	No
	Teradata	Sì	Sì	No	No	Sì*	No
Categoria	Archivio dati supportato	Archivio dati supportato	Classificazione	Applicazione di etichette	Criteri di accesso	Derivazione	Visualizzazione in diretta
File	Amazon S3	Sì	Sì	Sì	Sì	Limitato*	No
	HDFS	Sì	Sì	No	No	No	No
Servizi e app	Flusso d' aria	Sì	No	No	No	Sì	No
	Dataverse	Sì	Sì	Sì	No	No	No
	Erwin	Sì	No	No	No	Sì	No
	Tessuto	Sì	No	No	No	Sì	Sì
	Looker	Sì	No	No	No	Sì	No
	Power BI	Sì	No	No	No	Sì	Sì**
	Qlik Sense	Sì	No	No	No	No	No
	Salesforce	Sì	No	No	No	No	No
	SAP ECC	Sì	No	No	No	Sì*	No
	SAP S/4HANA	Sì	No	No	No	Sì*	No
	Tableau	Sì	No	No	No	No	No

* Oltre alla derivazione sugli asset all'interno dell'origine dati, la derivazione è supportata anche se il set di dati viene usato come origine/sink nella pipeline di Data Factory o Synapse.

** Gli elementi di Power BI in un tenant di Fabric sono disponibili tramite la visualizzazione dinamica.

Le risorse di Azure sono disponibili solo nello stesso tenant dell'account Microsoft Purview, a meno che non siano elencate in modo specifico nella pagina dell'origine dati.

Nota

Attualmente, il Microsoft Purview Data Map non può analizzare un asset con /, \o # nel relativo nome. Per definire l'ambito dell'analisi ed evitare l'analisi di asset con tali caratteri nel nome dell'asset, usare l'esempio in Registrare ed analizzare un database Azure SQL.

Importante

Se si prevede di usare un runtime di integrazione self-hosted, l'analisi di alcune origini dati richiede una configurazione aggiuntiva nel computer di runtime di integrazione self-hosted. Ad esempio, JDK, Visual C++ Redistributable o driver specifico. Per informazioni sull'origine, vedere ogni articolo di origine per informazioni dettagliate sui prerequisiti. Tutti i requisiti verranno elencati nella sezione Prerequisiti .

Analisi delle aree

Di seguito è riportato un elenco di tutte le aree dell'origine dati di Azure (data center) in cui viene eseguito lo scanner Microsoft Purview Data Map. Se l'origine dati di Azure si trova in un'area esterna a questo elenco, lo scanner verrà eseguito nell'area dell'istanza di Microsoft Purview.

Microsoft Purview Data Map aree dello scanner

Australia orientale
Australia sud-orientale
Brasile meridionale
Canada centrale
Canada orientale
India centrale
Cina settentrionale 3
Asia orientale
Stati Uniti orientali
Stati Uniti orientali 2
Francia centrale
Germania Centro-Occidentale
Giappone orientale
Corea centrale
Stati Uniti centro-settentrionali
Europa settentrionale
Qatar centrale
Sudafrica settentrionale
Stati Uniti centro-meridionali
Asia sudorientale
Svizzera nord
Emirati Arabi Uniti Settentrionali
Regno Unito meridionale
USGov Virginia
Stati Uniti centro-occidentali
Europa occidentale
Stati Uniti occidentali
Stati Uniti occidentali 2
Stati Uniti occidentali 3

Tipi di file supportati per l'analisi

I tipi di file seguenti sono supportati per l'analisi, l'estrazione dello schema e la classificazione, se applicabile:

I formati di file strutturati supportati dall'estensione includono analisi, estrazione dello schema e classificazione a livello di asset e colonna: AVRO, ORC, PARQUET, CSV, JSON, PSV, SSV, TSV, TXT, XML, GZIP
I formati di file di documenti supportati dall'estensione includono l'analisi e la classificazione a livello di asset: DOC, DOCM, DOCX, DOT, ODP, ODS, ODT, PDF, POT, PPS, PPSX, PPT, PPTM, PPTX, XLC, XLSB, XLSM, XLSX, XLT
Il Microsoft Purview Data Map supporta anche estensioni di file personalizzate e parser personalizzati.

Nota

Limitazioni note:

Lo scanner Microsoft Purview Data Map supporta solo l'estrazione dello schema per i tipi di file strutturati elencati in precedenza.
Per i tipi di file AVRO, ORC e PARQUET, lo scanner non supporta l'estrazione dello schema per i file che contengono tipi di dati complessi, ad esempio MAP, LIST, STRUCT.
Lo scanner supporta l'analisi dei tipi PARQUET compressi snappy per l'estrazione e la classificazione dello schema.
Per i tipi di file GZIP, è necessario eseguire il mapping di GZIP a un singolo file CSV all'interno. I file Gzip sono soggetti alle regole di classificazione di sistema e personalizzate. Attualmente non è supportata l'analisi di un file gzip mappato a più file all'interno o a qualsiasi tipo di file diverso da csv.
Per i tipi di file delimitati (CSV, PSV, SSV, TSV, TXT):
- I file delimitati con una sola colonna non possono essere determinati come file CSV e non avranno uno schema.
- Non è supportare il rilevamento dei tipi di dati. Il tipo di dati verrà elencato come "stringa" per tutte le colonne.
- Supportiamo solo virgole(','), punto e virgola(';'), barre verticali('|') e tabulazioni('\t') come delimitatori.
- I file delimitati con meno di tre righe non possono essere determinati come file CSV se usano un delimitatore personalizzato. Ad esempio: i file con ~ delimitatore e meno di tre righe non potranno essere determinati come file CSV.
- Se un campo contiene virgolette doppie, le virgolette doppie possono essere visualizzate solo all'inizio e alla fine del campo e devono essere corrispondenti. Le virgolette doppie visualizzate al centro del campo o visualizzate all'inizio e alla fine, ma non corrispondenti, verranno riconosciute come dati non validi e non verrà analizzato alcuno schema dal file. Le righe con un numero di colonne diverso da quello della riga di intestazione verranno giudicate come righe di errore. (numeri di righe di errore/numeri di righe campionate ) deve essere minore di 0,1.
Per i file Parquet, se si usa un runtime di integrazione self-hosted, è necessario installare JRE 11 (Java Runtime Environment) a 64 bit o OpenJDK nel computer a runtime di integrazione. Per una guida all'installazione, vedere la sezione Java Runtime Environment (Ambiente di runtime Java) nella parte inferiore della pagina .
Attualmente il formato delta non è supportato. Se si esegue l'analisi del formato delta direttamente dall'origine dati di archiviazione, ad esempio Azure Data Lake Storage (ADLS Gen2), il set di file Parquet dal formato delta verrà analizzato e gestito come set di risorse come descritto in Informazioni sui set di risorse. Oltre alle colonne usate per il partizionamento, non verranno riconosciute come parte dello schema per il set di risorse.

Estrazione dello schema

Per le origini dati che supportano l'estrazione dello schema durante l'analisi, lo schema dell'asset non verrà troncato direttamente dal numero di colonne.

Dati annidati

Attualmente, i dati annidati sono supportati solo per il contenuto JSON.

Per tutti i tipi di file supportati dal sistema, se è presente contenuto JSON annidato in una colonna, lo scanner analizza i dati JSON annidati e li espone all'interno della scheda dello schema dell'asset.

I dati annidati o l'analisi dello schema annidato non sono supportati in SQL. Una colonna con dati annidati verrà segnalata e classificata così come è e i dati secondari non verranno analizzati.

Dati di campionamento per la classificazione

Nella terminologia Microsoft Purview Data Map,

Analisi L1: estrae informazioni di base e metadati come nome file, dimensioni e nome completo
Analisi L2: estrae lo schema per i tipi di file strutturati e le tabelle di database
Analisi L3: estrae lo schema dove applicabile e soggetto il file campionato alle regole di classificazione personalizzate e di sistema

Altre informazioni sulla personalizzazione dei livelli di analisi.

Per tutti i formati di file strutturati, i file di esempio dello scanner Microsoft Purview Data Map nel modo seguente:

Per i tipi di file strutturati, viene eseguito l'esempio delle prime 128 righe in ogni colonna o dei primi 1 MB, a seconda di quale sia inferiore.
Per i formati di file di documento, vengono campioni i primi 20 MB di ogni file.
- Se un file di documento è più grande di 20 MB, non è soggetto a un'analisi approfondita (soggetta a classificazione). In tal caso, Microsoft Purview acquisisce solo i metadati di base, ad esempio il nome file e il nome completo.
Per le origini dati tabulari (SQL), vengono esempi le prime 128 righe.
Per Azure Cosmos DB per NoSQL, verranno raccolte fino a 300 proprietà distinte dei primi 10 documenti in un contenitore per lo schema e per ogni proprietà verranno campionati i valori da un massimo di 128 documenti o i primi 1 MB.

Campionamento di file del set di risorse

Una cartella o un gruppo di file di partizione viene rilevato come set di risorse nel Microsoft Purview Data Map se corrisponde a un criterio del set di risorse di sistema o a un criterio del set di risorse definito dal cliente. Se viene rilevato un set di risorse, lo scanner campionerà ogni cartella che contiene. Altre informazioni sui set di risorse sono disponibili qui.

Campionamento di file per set di risorse in base ai tipi di file:

File delimitati (CSV, PSV, SSV, TSV): vengono campionati 1 file su 100 (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un "set di risorse"
Tipi di file Data Lake (Parquet, Avro, Orc): 1 in 18446744073709551615 (numero massimo lungo) vengono campionati (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un 'set di risorse'
Altri tipi di file strutturati (JSON, XML, TXT): 1 file su 100 vengono campionati (analisi L3) all'interno di una cartella o di un gruppo di file di partizione considerati un 'set di risorse'
Oggetti SQL ed entità di Azure Cosmos DB : ogni file viene analizzato L3.
Tipi di file di documento : ogni file viene analizzato L3. I modelli di set di risorse non si applicano a questi tipi di file.

Condividi tramite