Datenquellen, die eine Verbindung mit Data Map herstellen

Wichtig

Ausmusterung nur der Microsoft Purview-Data-Governance-Funktionen

Der Microsoft Purview Unified Catalog und die klassischen Microsoft Purview-Data Governance-Funktionen (ehemals Azure Purview) werden eingestellt. Microsoft Purview als Ganzes wird nicht eingestellt. Die Datensicherheits- und Compliancefunktionen von Microsoft Purview sind von dieser Ankündigung nicht betroffen, und Microsoft wird weiterhin in sie investieren.

Microsoft konsolidiert seine Data Governance-Funktionen in Microsoft Fabric. Neue Microsoft Purview-Data Governance-Konten können nicht mehr erstellt werden, und die vorhandenen Data Governance-Funktionen bleiben bis zum 12. November 2027 im Wartungsmodus.

Zeitpläne für die Deaktivierung, Umstellungsleitfäden und empfohlene nächste Schritte finden Sie in der Ankündigung der Einstellung der Datengovernance von Microsoft Purview.

In diesem Artikel werden die unterstützten Datenquellen, Dateitypen und Scankonzepte in Microsoft Purview Data Map aufgeführt.

Datenquellenauflistung nach Typ

In den nachstehenden Tabellen sind alle Datenquellen aufgeführt, für die technische Metadaten in Microsoft Purview Data Map verfügbar sind, sowie weitere unterstützte Funktionen. Wählen Sie in der Spalte Datenquelle einen Datenquellennamen aus, um Anweisungen zum Herstellen einer Verbindung zwischen dieser Quelle und Data Map zu erhalten.

Azure

Azure-Ressourcen sind nur im selben Mandanten wie Ihr Microsoft Purview-Konto verfügbar, sofern auf der Seite der einzelnen Datenquellen nichts anderes angegeben ist.

Datenquelle Klassifizierungen automatisch anwenden können Kann Vertraulichkeitsbezeichnungen auf Datenzuordnungsressourcen anwenden Richtlinien können angewendet werden Datenherkunft Zugänglich in der Live-Ansicht
Wählen Sie den Link für Verbindungs- und Scananweisungen aus. Wählen Sie Ja aus, um Anweisungen zum Scannen anzuzeigen. Erfahren Sie, wie Klassifizierungen während der Überprüfung angewendet werden. Erfahren Sie mehr über Vertraulichkeitsbezeichnungen (Vorschau). Wählen Sie Ja aus, um unterstützte Richtlinien anzuzeigen. Beispielsweise Datenbesitzer, Self-Service-Zugriff oder Schutz. Wählen Sie "Ja " aus, um Details anzuzeigen. Erfahren Sie mehr über die Live-Ansicht.
Mehrere Quellen Ja Quellabhängig Ja Nein Eingeschränkt
Azure Blob Storage Ja Ja Ja (Vorschau) Eingeschränkt* Ja
Azure Cosmos DB für SQL-API Ja Ja Nein Nein* Nein
Azure Data Explorer Ja Ja Nein Nein* Nein
Azure Data Factory Nein Nein Nein Ja Nein
Azure Data Lake Storage Gen2 Ja Ja Ja (Vorschau) Eingeschränkt* Ja
Azure Data Share Nein Nein Nein Ja Nein
Azure-Datenbank für MySQL Ja Ja Nein Nein* Nein
Azure-Datenbank für PostgreSQL Ja Ja Nein Nein* Nein
Azure Databricks Hive Metastore Nein** Nein Nein Ja Nein
Azure Databricks Unity Catalog Nein*** Nein Nein Ja Nein
Azure Dedicated SQL-Pool (ehemals SQL DW) Ja Nein Nein Nein* Nein
Azure Files Ja Ja Nein Eingeschränkt* Nein
Azure Machine Learning Nein Nein Nein Ja Nein
Azure SQL-Datenbank Ja Ja Nein^ Ja (Vorschau) Ja
Azure SQL Managed Instance Ja Ja Ja Nein* Nein
Azure Synapse Analytics (Arbeitsbereich) Ja Ja Nein Ja – Synapse-Pipelines Nein

* Neben der Herkunft von Assets innerhalb der Datenquelle wird die Herkunft auch unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.

** Klassifizierungsunterstützung nur für den Unity Catalog in der Azure Databricks-Datenquelle.

Die benutzerdefinierte Klassifizierung wird für die Azure Databricks Unity-Katalogquelle nicht unterstützt.

^ Schutzrichtlinien werden für Azure SQL-Datenbank nicht unterstützt.

Datenbank

Datenquelle Klassifizierungen automatisch anwenden können Kann Vertraulichkeitsbezeichnungen auf Datenzuordnungsressourcen anwenden Richtlinien können angewendet werden Datenherkunft Zugänglich in der Live-Ansicht
Wählen Sie den Link für Verbindungs- und Scananweisungen aus. Wählen Sie Ja aus, um Anweisungen zum Scannen anzuzeigen. Erfahren Sie, wie Klassifizierungen während der Überprüfung angewendet werden. Erfahren Sie mehr über Vertraulichkeitsbezeichnungen (Vorschau). Wählen Sie Ja aus, um unterstützte Richtlinien anzuzeigen. Beispielsweise Datenbesitzer, Self-Service-Zugriff oder Schutz. Wählen Sie "Ja " aus, um Details anzuzeigen. Erfahren Sie mehr über die Live-Ansicht.
Amazon RDS Ja Nein Nein Nein Nein
Amazon Redshift Nein Nein Nein Nein Nein
Cassandra Nein Nein Nein Ja Nein
Db2 Nein Nein Nein Ja Nein
Google BigQuery Nein Nein Nein Ja Nein
Hive-Metastore-Datenbank Nein Nein Nein Ja* Nein
MongoDB Nein Nein Nein Nein Nein
MySQL Nein Nein Nein Ja Nein
Oracle Ja Nein Nein Ja* Nein
PostgreSQL Nein Nein Nein Ja Nein
SAP Business Information Warehouse Nein Nein Nein Nein Nein
SAP HANA Nein Nein Nein Nein Nein
Schneeflocke Ja Ja Nein Ja* Nein
SQL Server Ja Ja Nein Nein* Nein
SQL Server auf Azure-Arc Ja Nein Ja Nein* Nein
Teradata Ja Nein Nein Ja* Nein

* Neben der Herkunft von Assets innerhalb der Datenquelle wird die Herkunft auch unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.

File

Datenquelle Klassifizierungen automatisch anwenden können Kann Vertraulichkeitsbezeichnungen auf Datenzuordnungsressourcen anwenden Richtlinien können angewendet werden Datenherkunft Zugänglich in der Live-Ansicht
Wählen Sie den Link für Verbindungs- und Scananweisungen aus. Wählen Sie Ja aus, um Anweisungen zum Scannen anzuzeigen. Erfahren Sie, wie Klassifizierungen während der Überprüfung angewendet werden. Erfahren Sie mehr über Vertraulichkeitsbezeichnungen (Vorschau). Wählen Sie Ja aus, um unterstützte Richtlinien anzuzeigen. Beispielsweise Datenbesitzer, Self-Service-Zugriff oder Schutz. Wählen Sie "Ja " aus, um Details anzuzeigen. Erfahren Sie mehr über die Live-Ansicht.
Amazon S3 Ja Nein Nein Eingeschränkt* Nein
Hadoop Distributed File System (HDFS) Ja Nein Nein Nein Nein

* Neben der Herkunft von Assets innerhalb der Datenquelle wird die Herkunft auch unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.

Dienste und Apps

Datenquelle Klassifizierungen automatisch anwenden können Kann Vertraulichkeitsbezeichnungen auf Datenzuordnungsressourcen anwenden Richtlinien können angewendet werden Datenherkunft Zugänglich in der Live-Ansicht
Wählen Sie den Link für Verbindungs- und Scananweisungen aus. Wählen Sie Ja aus, um Anweisungen zum Scannen anzuzeigen. Erfahren Sie, wie Klassifizierungen während der Überprüfung angewendet werden. Erfahren Sie mehr über Vertraulichkeitsbezeichnungen (Vorschau). Wählen Sie Ja aus, um unterstützte Richtlinien anzuzeigen. Beispielsweise Datenbesitzer, Self-Service-Zugriff oder Schutz. Wählen Sie "Ja " aus, um Details anzuzeigen. Erfahren Sie mehr über die Live-Ansicht.
Luftstrom Nein Nein Nein Ja Nein
Datenumkehr Ja Ja Nein Nein Nein
Erwin Nein Nein Nein Ja Nein
Stoff Nein Nein Nein Ja Ja
Looker Nein Nein Nein Ja Nein
Power BI Nein Nein Nein Ja Ja**
Qlik Sense Nein Nein Nein Nein Nein
Salesforce Nein Nein Nein Nein Nein
SAP ECC Nein Nein Nein Ja* Nein
SAP S/4HANA Nein Nein Nein Ja* Nein
Tableau Nein Nein Nein Nein Nein

* Neben der Herkunft von Assets innerhalb der Datenquelle wird die Herkunft auch unterstützt, wenn das Dataset als Quelle/Senke in Data Factory oder Synapse-Pipeline verwendet wird.

** Power BI-Elemente in einem Fabric-Mandanten sind über die Liveansicht verfügbar.

Hinweis

Derzeit kann die Microsoft Purview-Datenzuordnung keine Medienobjekte scannen, die , \oder # in ihrem Namen haben/. Um den Umfang des Scans festzulegen und das Scannen von Assets zu vermeiden, die diese Zeichen im Asset-Namen enthalten, verwenden Sie das Beispiel unter Registrieren und Scannen einer Azure SQL-Datenbank.

Wichtig

Wenn Sie planen, eine selbstgehostete Integration Runtime zu verwenden, erfordert das Scannen einiger Datenquellen ein zusätzliches Setup auf dem Computer der selbstgehosteten Integration Runtime. Beispielsweise JDK, Microsoft Visual C++ Redistributable oder ein bestimmter Treiber. Details zu deiner Quelle findest du im jeweiligen Quellartikel . Alle Anforderungen sind im Abschnitt Voraussetzungen aufgeführt.

Data Map Scanner-Regionen

Die folgende Liste zeigt die Azure-Datenquellenregionen (Rechenzentrumsregionen), in denen der Data Map-Scanner ausgeführt wird. Wenn sich Ihre Azure-Datenquelle in einer Region außerhalb dieser Liste befindet, wird der Scanner in der Region Ihrer Microsoft Purview-Instanz ausgeführt.

  • Australien (Osten)
  • Australien (Südosten)
  • Brasilien Süd
  • Kanada, Mitte
  • Kanada, Osten
  • Indien, Mitte
  • China, Norden 3
  • Ostasien
  • USA (Osten)
  • USA (Osten) 2
  • Frankreich, Mitte
  • Deutschland, Westen-Mitte
  • Japan Osten
  • Korea zentral
  • USA (Norden, Mitte)
  • Nordeuropa
  • Katar, Mitte
  • Süd-Afrika Nord
  • USA (Süden, Mitte)
  • Südostasien
  • Schweiz Nord
  • VAE Nord
  • Vereinigtes Königreich (Süden)
  • USGov Virginia
  • USA (Westen, Mitte)
  • Westeuropa
  • USA (Westen)
  • USA (Westen) 2
  • USA, Westen 3

Für die Überprüfung unterstützte Dateitypen

Die im folgenden Abschnitt aufgeführten Dateitypen unterstützen ggf. Scan, Schemaextraktion und Klassifizierung. Darüber hinaus unterstützt Data Map benutzerdefinierte Dateierweiterungen und benutzerdefinierte Parser.

Strukturierte Dateiformate, die von der Erweiterung unterstützt werden, umfassen Scan, Schemaextraktion und Klassifizierung auf Asset- und Spaltenebene:

  • AVRO
  • CSV
  • GZIP
  • JSON
  • ORC
  • PARKETT*
  • PSV
  • SSV
  • TSV
  • TXT
  • XML

*Für nicht komprimierte PARQUET-Dateien werden alle Parquet-Formate unterstützt. Für komprimierte PARQUET-Dateien wird nur das knackige Parquet-Format unterstützt.

Zu den von der Erweiterung unterstützten Dokumentdateiformaten gehören das Scannen und die Klassifizierung auf Objektebene:

  • DOC
  • DOCM
  • DOCX
  • PUNKT
  • ODP (ODP)
  • ODS
  • ODT
  • PDF
  • TOPF
  • PPS
  • PPSX
  • PPT
  • PPTM
  • PPTX
  • XLC
  • XLS
  • XLSB
  • XLSM
  • XLSX
  • XLT

Hinweis

Bekannte Einschränkungen:

  • Der Microsoft Purview Data Map Scanner unterstützt nur die Schemaextraktion für die im vorherigen Abschnitt aufgeführten strukturierten Dateitypen.
  • Für AVRO-, ORC- und PARQUET-Dateitypen unterstützt der Scanner keine Schemaextraktion für Dateien, die komplexe Datentypen enthalten (z. B. MAP, LIST, STRUCT).
  • Für nicht komprimierte PARQUET-Dateien werden alle Parquet-Formate unterstützt. Für komprimierte PARQUET-Dateien wird nur das schnelle Parquet-Format für die Schemaextraktion und -klassifizierung unterstützt.
  • Bei GZIP-Dateitypen muss das GZIP einer einzelnen darin enthaltenen CSV-Datei zugeordnet werden. GZIP-Dateien unterliegen System- und benutzerdefinierten Klassifizierungsregeln. Der Scanner unterstützt derzeit nicht das Scannen einer GZIP-Datei, die mehreren Dateien darin zugeordnet ist, oder eines anderen Dateityps als CSV.
  • Wenn Sie für Parquet-Dateien eine selbstgehostete Integration Runtime verwenden, müssen Sie die 64-Bit-Version von JRE 11 (Java Runtime Environment) oder OpenJDK auf Ihrem IR-Computer installieren. Weitere Informationen finden Sie im Installationshandbuch für die Java-Laufzeit.
  • Das Delta-Format wird nicht unterstützt. Wenn Sie das Delta-Format direkt aus einer Speicherdatenquelle wie Microsoft Azure Data Lake Storage Gen2 scannen, wird der Satz von Parquet-Dateien aus dem Delta-Format analysiert und als Ressourcensatz behandelt, wie unter Grundlegendes zu Ressourcensätzen beschrieben. Die für die Partitionierung verwendeten Spalten werden nicht als Teil des Schemas für den Ressourcensatz erkannt.
  • Nicht unterstützte Parquet-Codierungen: Microsoft Purview unterstützt keine Schemaextraktion für Parquet-Dateien, die Run-Length Encoding (RLE) in Microsoft Fabric Lakehouse verwenden. Tabellen, die RLE-codierte Spalten enthalten, können möglicherweise keine Schemametadaten extrahieren, einschließlich Tabellen, Spalten und Datentypen. Der Prozess erkennt weiterhin Metadaten auf Ressourcenebene (L1). Um die vollständige Schemaextraktion zu ermöglichen, erstellen Sie die betroffenen Tabellen mit einem unterstützten Codierungsformat, z. B. Wörterbuch oder einfacher Kodierung, neu.

Für durch Trennzeichen getrennte Dateitypen (CSV, PSV, SSV, TSV, TXT):

  • Durch Trennzeichen getrennte Dateien mit nur einer Spalte können nicht als CSV-Dateien bestimmt werden und haben kein Schema.
  • Die Datentyperkennung wird nicht unterstützt. Der Datentyp wird als "Zeichenfolge" für alle Spalten aufgeführt.
  • Die einzigen unterstützten Trennzeichen sind Komma (','), Semikolon(';'), vertikaler Balken ('|') und Tab('\t').
  • Durch Trennzeichen getrennte Dateien mit weniger als drei Zeilen können nicht als CSV-Dateien bestimmt werden, wenn sie ein benutzerdefiniertes Trennzeichen verwenden. Beispielsweise können Dateien mit ~-Trennzeichen und weniger als drei Zeilen nicht als CSV-Dateien bestimmt werden.
  • Wenn ein Feld doppelte Anführungszeichen enthält, können die doppelten Anführungszeichen nur am Anfang und Ende des Felds stehen und müssen abgeglichen werden. Doppelte Anführungszeichen, die in der Mitte des Felds oder am Anfang und Ende erscheinen, aber nicht abgeglichen werden, werden als ungültige Daten erkannt und es wird kein Schema aus der Datei analysiert. Zeilen, die eine andere Anzahl von Spalten als die Kopfzeile haben, werden als Fehlerzeilen bewertet. Die Anzahl der Fehlerzeilen geteilt durch die Anzahl der erfassten Zeilen darf kleiner als 0,1 sein.

Schemaextraktion

Bei Datenquellen, die die Schemaextraktion während des Scans unterstützen, wird das Ressourcenschema durch die Anzahl der Spalten nicht direkt abgeschnitten.

Geschachtelte Daten

Geschachtelte Daten werden nur für JSON-Inhalte unterstützt. Für alle vom System unterstützten Dateitypen analysiert der Scanner die verschachtelten JSON-Daten, wenn sich in einer Spalte verschachtelte JSON-Inhalte befinden, und zeigt sie auf der Registerkarte "Schema" des Medienobjekts an.

Geschachtelte Daten oder die Analyse geschachtelter Schemas wird in SQL nicht unterstützt. Eine Spalte mit geschachtelten Daten wird gemeldet und unverändert klassifiziert, und Teildaten werden nicht analysiert.

Stichprobendaten für die Klassifizierung

In der Data Map-Terminologie:

  • L1-Scan: Extrahiert grundlegende Informationen und Metadaten wie Dateinamen, Größe und vollqualifizierten Namen.
  • L2-Scan: Extrahiert das Schema für strukturierte Dateitypen und Datenbanktabellen.
  • L3-Scan: Extrahiert das Schema, sofern zutreffend, und unterwirft die Stichprobendatei System- und benutzerdefinierten Klassifizierungsregeln.

Erfahren Sie mehr über das Anpassen der Scanebenen.

Für alle strukturierten Dateiformate erfasst der Microsoft Purview Data Map-Scanner Dateien auf folgende Weise:

  • Bei strukturierten Dateitypen werden die obersten 128 Zeilen in jeder Spalte oder die ersten 1 MB abgetastet, je nachdem, welcher Wert niedriger ist.
  • Bei Dokumentdateiformaten werden die ersten 20 MB jeder Datei abgetastet.
  • Wenn eine Dokumentdatei größer als 20 MB ist, führt der Scanner keinen Tiefenscan durch (vorbehaltlich der Klassifizierung). In diesem Fall erfasst Microsoft Purview nur grundlegende Metadaten wie den Dateinamen und den vollqualifizierten Namen.
  • Für tabellarische Datenquellen (SQL) werden die obersten 128 Zeilen abgetastet.
  • Für Azure Cosmos DB for NoSQL werden bis zu 300 unterschiedliche Eigenschaften aus den ersten 10 Dokumenten in einem Container für das Schema erfasst. Für jede Eigenschaft erfasst der Scanner Werte aus bis zu 128 Dokumenten oder den ersten 1 MB.
  • Bei unstrukturierten Datenformaten, wie z. B. DOCX-Dateien, ist es nicht erforderlich, eine Bedingung von acht verschiedenen Werten zu erfüllen. Das Vorhandensein eines einzigen relevanten Schlüsselworts ist für die Klassifizierung ausreichend.

Beispiel für Ressourcensatzdateien

Wenn ein Ordner oder eine Gruppe von Partitionsdateien mit einer Systemressourcensatzrichtlinie oder einer benutzerdefinierten Ressourcensatzrichtlinie übereinstimmt, erkennt Data Map ihn als Ressourcensatz. Wenn der Scanner einen Ressourcensatz erkennt, erfasst er jeden darin enthaltenen Ordner. Weitere Informationen zu Ressourcensätzen finden Sie unter Ressourcensätze in der Microsoft Purview-Datenzuordnung.

Dateistichprobenentnahme für Ressourcensätze nach Dateitypen:

  • Durch Trennzeichen getrennte Dateien (CSV, PSV, SSV, TSV): Der Scanner erfasst 1 von 100 Dateien (L3-Scan) innerhalb eines Ordners oder einer Gruppe von Partitionsdateien, die als Ressourcensatz betrachtet werden.
  • Data Lake-Dateitypen (Parquet, Avro, Orc): Der Scanner erfasst 1 von 18.446.744.073.709.551.615 (max. Long) Dateien (L3-Scan) innerhalb eines Ordners oder einer Gruppe von Partitionsdateien, die als Ressourcensatz betrachtet werden.
  • Andere strukturierte Dateitypen (JSON, XML, TXT): Der Scanner erfasst 1 von 100 Dateien (L3-Scan) innerhalb eines Ordners oder einer Gruppe von Partitionsdateien, die als Ressourcensatz betrachtet werden.
  • SQL-Objekte und Azure Cosmos DB-Entitäten: Der Scanner L3 scannt jede Datei.
  • Dokumentdateitypen: Der Scanner L3 scannt jede Datei. Ressourcensatzmuster gelten nicht für diese Dateitypen.

Nächste Schritte