Unterstützte Datenquellen und Dateitypen
In diesem Artikel werden derzeit unterstützte Datenquellen, Dateitypen und Überprüfungskonzepte im Microsoft Purview Data Map.
Microsoft Purview Data Map verfügbaren Datenquellen
In der folgenden Tabelle sind alle Quellen aufgeführt, für die technische Metadaten in Microsoft Purview verfügbar sind. Wählen Sie die Datenquelle aus, um weitere Informationen zu erhalten. Die Tabelle enthält auch zusätzliche unterstützte Funktionen für jede Datenquelle, und Sie können das Feature auswählen, um weitere Informationen zu erhalten.
| Kategorie | Unterstützter Datenspeicher | Überprüfung | Klassifizierung | Bezeichnen | Richtlinien | Herkunft | Live-Ansicht |
|---|---|---|---|---|---|---|---|
| Azurblau*** | Mehrere Quellen | Ja | Ja | Quellenabhängig | Ja | Nein | Begrenzt |
| Azure Blob Storage | Ja | Ja | Ja | Ja (Vorschau) | Eingeschränkt* | Ja | |
| Azure Cosmos DB (API for NoSQL) | Ja | Ja | Ja | Nein | Nein* | Nein | |
| Azure Data Explorer | Ja | Ja | Ja | Nein | Nein* | Nein | |
| Azure Data Factory | Ja | Nein | Nein | Nein | Ja | Nein | |
| Azure Data Lake Storage Gen1 | Ja | Ja | Ja | Nein | Eingeschränkt* | Nein | |
| Azure Data Lake Storage Gen2 | Ja | Ja | Ja | Ja (Vorschau) | Eingeschränkt* | Ja | |
| Azure Data Share | Ja | Nein | Nein | Nein | Ja | Nein | |
| Azure-Datenbank für MySQL | Ja | Ja | Ja | Nein | Nein* | Nein | |
| Azure-Datenbank für PostgreSQL | Ja | Ja | Ja | Nein | Nein* | Nein | |
| Azure Databricks Hive-Metastore | Ja | Nein | Nein | Nein | Ja | Nein | |
| Azure Databricks Unity Catalog | Ja | Ja | Ja | Nein | Nein | Nein | |
| Azure Dedicated SQL-Pool (ehemals SQL DW) | Ja | Ja | Nein | Nein | Nein* | Nein | |
| Azure Files | Ja | Ja | Ja | Nein | Eingeschränkt* | Nein | |
| Azure Machine Learning | Ja | Nein | Nein | Nein | Ja | Nein | |
| Azure SQL-Datenbank | Ja | Ja | Ja | Ja | Ja (Vorschau) | Ja | |
| Azure SQL Managed Instance | Ja | Ja | Ja | Ja | Nein* | Nein | |
| Azure Synapse Analytics (Arbeitsbereich) | Ja | Ja | Ja | Nein | Ja– Synapse-Pipelines | Nein | |
| Kategorie | Unterstützter Datenspeicher | Unterstützter Datenspeicher | Klassifizierung | Bezeichnen | Zugriffsrichtlinie | Herkunft | Live-Ansicht |
| Datenbank | Amazon RDS | Ja | Ja | Nein | Nein | Nein | Nein |
| Amazon Redshift | Ja | Nein | Nein | Nein | Nein | Nein | |
| Cassandra | Ja | Nein | Nein | Nein | Ja | Nein | |
| Db2 | Ja | Nein | Nein | Nein | Ja | Nein | |
| Google BigQuery | Ja | Nein | Nein | Nein | Ja | Nein | |
| Hive-Metastore-Datenbank | Ja | Nein | Nein | Nein | Ja* | Nein | |
| MongoDB | Ja | Nein | Nein | Nein | Nein | Nein | |
| MySQL | Ja | Nein | Nein | Nein | Ja | Nein | |
| Oracle | Ja | Ja | Nein | Nein | Ja* | Nein | |
| PostgreSQL | Ja | Nein | Nein | Nein | Ja | Nein | |
| SAP Business Information Warehouse | Ja | Nein | Nein | Nein | Nein | Nein | |
| SAP HANA | Ja | Nein | Nein | Nein | Nein | Nein | |
| Schneeflocke | Ja | Ja | Ja | Nein | Ja | Nein | |
| SQL Server | Ja | Ja | Ja | Nein | Nein* | Nein | |
| SQL Server in Azure Arc | Ja | Ja | Nein | Ja | Nein* | Nein | |
| Teradata | Ja | Ja | Nein | Nein | Ja* | Nein | |
| Kategorie | Unterstützter Datenspeicher | Unterstützter Datenspeicher | Klassifizierung | Bezeichnen | Zugriffsrichtlinie | Herkunft | Live-Ansicht |
| File | Amazon S3 | Ja | Ja | Ja | Ja | Eingeschränkt* | Nein |
| HDFS | Ja | Ja | Nein | Nein | Nein | Nein | |
| Dienste und Apps | Luftstrom | Ja | Nein | Nein | Nein | Ja | Nein |
| Datenumkehr | Ja | Ja | Ja | Nein | Nein | Nein | |
| Erwin | Ja | Nein | Nein | Nein | Ja | Nein | |
| Stoff | Ja | Nein | Nein | Nein | Ja | Ja | |
| Looker | Ja | Nein | Nein | Nein | Ja | Nein | |
| Power BI | Ja | Nein | Nein | Nein | Ja | Ja** | |
| Qlik Sense | Ja | Nein | Nein | Nein | Nein | Nein | |
| Salesforce | Ja | Nein | Nein | Nein | Nein | Nein | |
| SAP ECC | Ja | Nein | Nein | Nein | Ja* | Nein | |
| SAP S/4HANA | Ja | Nein | Nein | Nein | Ja* | Nein | |
| Tableau | Ja | Nein | Nein | Nein | Nein | Nein |
* Neben der Herkunft von Ressourcen innerhalb der Datenquelle wird auch die Herkunft unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.
** Power BI-Elemente in einem Fabric-Mandanten sind über die Liveansicht verfügbar.
Azure-Ressourcen sind nur im selben Mandanten wie Ihr Microsoft Purview-Konto verfügbar, es sei denn, dies ist auf der Datenquellenseite ausdrücklich aufgeführt.
Hinweis
Derzeit kann der Microsoft Purview Data Map keine Medienobjekte scannen, die /, \oder # im Namen enthalten sind. Verwenden Sie das Beispiel unter Registrieren und Überprüfen einer Azure SQL-Datenbank, um den Umfang Ihrer Überprüfung zu erweitern und die Überprüfung von Ressourcen zu vermeiden, die diese Zeichen im Ressourcennamen enthalten.
Wichtig
Wenn Sie eine selbstgehostete Integration Runtime verwenden möchten, erfordert das Überprüfen einiger Datenquellen eine zusätzliche Einrichtung auf dem Computer mit der selbstgehosteten Integration Runtime. Beispielsweise JDK, Visual C++ Redistributable oder ein bestimmter Treiber. Informationen zu Ihrer Quelle finden Sie in jedem Quellartikel, um details zu den Voraussetzungen zu erhalten. Alle Anforderungen werden im Abschnitt Voraussetzungen aufgeführt.
Überprüfen von Regionen
Im Folgenden ist eine Liste aller Azure-Datenquellenregionen (Rechenzentrumsregionen) aufgeführt, in denen der Microsoft Purview Data Map Scanner ausgeführt wird. Wenn sich Ihre Azure-Datenquelle in einer Region außerhalb dieser Liste befindet, wird der Scanner in der Region Ihres Microsoft Purview-instance ausgeführt.
Microsoft Purview Data Map Scannerregionen
- Australien (Osten)
- Australien (Südosten)
- Brasilien Süd
- Kanada, Mitte
- Kanada, Osten
- Indien, Mitte
- China, Norden 3
- Ostasien
- USA (Osten)
- USA (Osten) 2
- Frankreich, Mitte
- Deutschland, Westen-Mitte
- Japan Osten
- Korea zentral
- USA (Norden, Mitte)
- Nordeuropa
- Katar, Mitte
- Süd-Afrika Nord
- USA (Süden, Mitte)
- Südostasien
- Schweiz Nord
- VAE Nord
- Vereinigtes Königreich (Süden)
- USGov Virginia
- USA (Westen, Mitte)
- Westeuropa
- USA (Westen)
- USA (Westen) 2
- USA, Westen 3
Für die Überprüfung unterstützte Dateitypen
Die folgenden Dateitypen werden für die Überprüfung, für die Schemaextraktion und die Klassifizierung unterstützt, sofern zutreffend:
- Strukturierte Dateiformate, die von der Erweiterung unterstützt werden, umfassen Scannen, Schemaextraktion und Klassifizierung auf Ressourcen- und Spaltenebene: AVRO, ORC, PARQUET, CSV, JSON, PSV, SSV, TSV, TXT, XML, GZIP
- Dokumentdateiformate, die von der Erweiterung unterstützt werden, umfassen Scannen und Klassifizierung auf Ressourcenebene: DOCM, DOCX, DOT, ODP, ODS, ODT, PDF, POT, PPS, PPSX, PPT, PPT, XLC, XLS, XLSB, XLSM, XLSX, XLT
- Der Microsoft Purview Data Map unterstützt auch benutzerdefinierte Dateierweiterungen und benutzerdefinierte Parser.
Hinweis
Bekannte Einschränkungen:
- Der Microsoft Purview Data Map-Scanner unterstützt nur die Schemaextraktion für die oben aufgeführten strukturierten Dateitypen.
- Für AVRO-, ORC- und PARQUET-Dateitypen unterstützt der Scanner keine Schemaextraktion für Dateien, die komplexe Datentypen (z. B. MAP, LIST, STRUCT) enthalten.
- Der Scanner unterstützt das Scannen snappy komprimierter PARQUET-Typen für die Schemaextraktion und -klassifizierung.
- Bei GZIP-Dateitypen muss das GZIP einer einzelnen CSV-Datei in zugeordnet werden. Gzip-Dateien unterliegen systemspezifischen und benutzerdefinierten Klassifizierungsregeln. Derzeit wird das Scannen einer GZIP-Datei, die mehreren Dateien in zugeordnet ist, oder einem anderen Dateityp als csv nicht unterstützt.
-
Für Dateitypen mit Trennzeichen (CSV, PSV, SSV, TSV, TXT):
- Durch Trennzeichen getrennte Dateien mit nur einer Spalte können nicht als CSV-Dateien bestimmt werden und weisen kein Schema auf.
- Die Datentyperkennung wird nicht unterstützt. Der Datentyp wird für alle Spalten als "Zeichenfolge" aufgeführt.
- Wir unterstützen nur komma(','), semikolon(';'), vertical bar('|') und tab('\t') als Trennzeichen.
- Durch Trennzeichen getrennte Dateien mit weniger als drei Zeilen können nicht als CSV-Dateien bestimmt werden, wenn sie ein benutzerdefiniertes Trennzeichen verwenden. Beispiel: Dateien mit ~-Trennzeichen und weniger als drei Zeilen können nicht als CSV-Dateien bestimmt werden.
- Wenn ein Feld doppelte Anführungszeichen enthält, können die doppelten Anführungszeichen nur am Anfang und Ende des Felds angezeigt werden und müssen übereinstimmen. Doppelte Anführungszeichen, die in der Mitte des Felds oder am Anfang und Ende angezeigt werden, aber nicht übereinstimmen, werden als ungültige Daten erkannt, und es wird kein Schema aus der Datei analysiert. Zeilen, die eine andere Anzahl von Spalten als die Kopfzeile aufweisen, werden als Fehlerzeilen bewertet. (Anzahl der Fehlerzeilen/Anzahl der stichprobenierten Zeilen ) muss kleiner als 0,1 sein.
- Wenn Sie bei Parquet-Dateien eine selbstgehostete Integration Runtime verwenden, müssen Sie die 64-Bit-JRE 11 (Java Runtime Environment) oder OpenJDK auf Ihrem IR-Computer installieren. Eine Installationsanleitung finden Sie im Abschnitt Java Runtime Environment unten auf der Seite .
- Derzeit wird das Deltaformat nicht unterstützt. Wenn Sie das Deltaformat direkt aus einer Speicherdatenquelle wie Azure Data Lake Storage (ADLS Gen2) überprüfen, wird der Satz von Parquet-Dateien aus dem Deltaformat analysiert und als Ressourcensatz behandelt, wie unter Grundlegendes zu Ressourcensätzen beschrieben. Neben den spalten, die für die Partitionierung verwendet werden, werden nicht als Teil des Schemas für den Ressourcensatz erkannt.
Schemaextraktion
Für Datenquellen, die die Schemaextraktion während der Überprüfung unterstützen, wird das Objektschema nicht direkt um die Anzahl der Spalten abgeschnitten.
Geschachtelte Daten
Derzeit werden geschachtelte Daten nur für JSON-Inhalte unterstützt.
Wenn in einer Spalte geschachtelter JSON-Inhalt vorhanden ist, analysiert der Scanner für alle vom System unterstützten Dateitypen die geschachtelten JSON-Daten und zeigt sie auf der Schemaregisterkarte des Medienobjekts an.
Geschachtelte Daten oder geschachtelte Schemaanalyse werden in SQL nicht unterstützt. Eine Spalte mit geschachtelten Daten wird gemeldet und klassifiziert, und Unterdaten werden nicht analysiert.
Samplingdaten für die Klassifizierung
In Microsoft Purview Data Map Terminologie
- L1-Scan: Extrahiert grundlegende Informationen und Metadaten wie Dateiname, Größe und vollqualifizierter Name
- L2-Überprüfung: Extrahiert das Schema für strukturierte Dateitypen und Datenbanktabellen.
- L3-Überprüfung: Extrahiert ggf. das Schema und unterzieht die Stichprobendatei den System- und benutzerdefinierten Klassifizierungsregeln.
Erfahren Sie mehr über das Anpassen der Scanebenen.
Für alle strukturierten Dateiformate werden dateien im Microsoft Purview Data Map Scanner wie folgt beschrieben:
- Bei strukturierten Dateitypen werden die ersten 128 Zeilen in jeder Spalte oder die ersten 1 MB( je nachdem, welcher Wert niedriger ist) entnommen.
- Bei Dokumentdateiformaten werden die ersten 20 MB jeder Datei als Stichprobe verwendet.
- Wenn eine Dokumentdatei größer als 20 MB ist, unterliegt sie keinem tiefen Scan (unterliegt der Klassifizierung). In diesem Fall erfasst Microsoft Purview nur grundlegende Metadaten wie Dateiname und vollqualifizierter Name.
- Für tabellarische Datenquellen (SQL) werden die ersten 128 Zeilen entnommen.
- Für Azure Cosmos DB for NoSQL werden bis zu 300 unterschiedliche Eigenschaften aus den ersten 10 Dokumenten in einem Container für das Schema gesammelt, und für jede Eigenschaft werden Werte von bis zu 128 Dokumenten oder den ersten 1 MB abgetastet.
Stichprobenerstellung für Ressourcensatzdateien
Ein Ordner oder eine Gruppe von Partitionsdateien wird als Ressourcensatz im Microsoft Purview Data Map erkannt, wenn er mit einer Systemressourcensatzrichtlinie oder einer vom Kunden definierten Ressourcensatzrichtlinie übereinstimmt. Wenn ein Ressourcensatz erkannt wird, nimmt der Scanner eine Stichprobe für jeden ordner, der darin enthalten ist. Weitere Informationen zu Ressourcensätzen finden Sie hier.
Dateisampling für Ressourcensätze nach Dateitypen:
- Durch Trennzeichen getrennte Dateien (CSV, PSV, SSV, TSV): 1 von 100 Dateien werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Überprüfung)
- Data Lake-Dateitypen (Parquet, Avro, Orc): 1 in 18446744073709551615 Dateien (maximale Länge) werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Überprüfung)
- Andere strukturierte Dateitypen (JSON, XML, TXT): 1 von 100 Dateien werden in einem Ordner oder einer Gruppe von Partitionsdateien, die als "Ressourcensatz" betrachtet werden, stichprobeniert (L3-Scan)
- SQL-Objekte und Azure Cosmos DB-Entitäten : Jede Datei wird L3 gescannt.
- Dokumentdateitypen : Jede Datei wird L3 gescannt. Ressourcensatzmuster gelten nicht für diese Dateitypen.