Scans und Erfassung in Data Map

Wichtig

Microsoft Purview Unified Catalog und klassische Microsoft Purview-Datengovernancefunktionen (früher Azure Purview) werden eingestellt. Microsoft konsolidiert seine Data Governance-Funktionen in Microsoft Fabric. Sie können keine neuen Konten mehr erstellen, und vorhandene Funktionen bleiben bis zum 12. November 2027 im Wartungsmodus. Zeitpläne für die Deaktivierung, Umstellungsleitfäden und empfohlene nächste Schritte finden Sie in der Ankündigung der Einstellung der Datengovernance von Microsoft Purview.

Dieser Artikel bietet eine Übersicht über die Scan- und Erfassungsfeatures in Microsoft Purview Data Map. Diese Features verbinden Ihr Microsoft Purview-Konto mit Ihren Quellen, um Data Map und Unified Catalog aufzufüllen, damit Sie mit der Untersuchung und Verwaltung Ihrer Daten über Microsoft Purview beginnen können.

  • Beim Scannen werden Metadaten aus Datenquellen erfasst und in Microsoft Purview übertragen.
  • Die Aufnahme verarbeitet Metadaten und speichert sie in Unified Catalog von beiden:
    • Datenquellen-Scans – gescannte Metadaten werden zur Datenzuordnung hinzugefügt.
    • Herkunftsverbindungen – Transformationsressourcen fügen Metadaten zu ihren Quellen, Ausgaben und Aktivitäten zur Datenzuordnung hinzu.

Analyse

Nachdem Sie Datenquellen in Ihrem Microsoft Purview-Konto registriert haben, überprüfen Sie die Datenquellen. Der Scanvorgang stellt eine Verbindung zur Datenquelle her und erfasst technische Metadaten wie Namen, Dateigröße, Spalten und mehr. Außerdem wird das Schema für strukturierte Datenquellen extrahiert, Klassifizierungen auf Schemas angewendet und Vertraulichkeitsbezeichnungen angewendet, wenn Ihre Datenzuordnung mit dem Microsoft Purview-Portal verbunden ist. Sie können den Überprüfungsvorgang sofort auslösen oder so planen, dass er regelmäßig ausgeführt wird, um Ihr Microsoft Purview-Konto auf dem neuesten Stand zu halten.

Bei jeder Überprüfung können Sie den Prozess so anpassen, dass Sie nur die benötigten Informationen und nicht die gesamte Quelle scannen.

Wählen Sie eine Authentifizierungsmethode für Ihre Scans aus.

Microsoft Purview ist standardmäßig sicher. Kennwörter oder Geheimnisse werden nicht direkt gespeichert, daher müssen Sie eine Authentifizierungsmethode für Ihre Quellen auswählen. Sie können Ihr Microsoft Purview-Konto auf verschiedene Arten authentifizieren, aber nicht alle Methoden werden für jede Datenquelle unterstützt.

  • Verwaltete Identität
  • Dienstprinzipal
  • SQL-Authentifizierung
  • Windows-Authentifizierung
  • Rollen-ARN
  • Delegierte Authentifizierung
  • Consumer Key
  • Kontoschlüssel oder Standardauthentifizierung

Verwenden Sie nach Möglichkeit eine verwaltete Identität, da sie das Speichern und Verwalten von Anmeldeinformationen für einzelne Datenquellen überflüssig macht. Diese Methode kann den Zeitaufwand für die Einrichtung und Problembehandlung der Authentifizierung für Scans erheblich reduzieren. Wenn Sie eine verwaltete Identität für Ihr Microsoft Purview-Konto aktivieren, wird eine Identität in Microsoft Entra ID (Entra ID) erstellt, die an den Lebenszyklus Ihres Kontos gebunden ist.

Umfang des Scans festlegen

Beim Scannen einer Quelle können Sie die gesamte Datenquelle durchsuchen oder nur bestimmte Entitäten (Ordner oder Tabellen) für den Scan auswählen. Die verfügbaren Optionen hängen von der zu überprüfenden Quelle ab. Sie können diese Optionen sowohl für einmalige als auch für geplante Scans definieren.

Wenn Sie z. B. eine Überprüfung für eine Azure SQL-Datenbank erstellen und ausführen, können Sie auswählen, welche Tabellen gescannt werden sollen, oder die gesamte Datenbank auswählen.

Für jede Entität (Ordner oder Tabelle) gibt es drei Auswahlzustände: vollständig ausgewählt, teilweise ausgewählt und nicht ausgewählt. Wenn Sie im folgenden Beispiel in der Ordnerhierarchie Abteilung 1 auswählen, gilt Abteilung 1 als vollständig ausgewählt. Die übergeordneten Entitäten für Abteilung 1, Unternehmen und Beispiel, werden als teilweise ausgewählt betrachtet, da die anderen Entitäten unter demselben übergeordneten Element (z. B. Abteilung 2) nicht ausgewählt werden. Auf der Benutzeroberfläche werden verschiedene Symbole für Entitäten mit unterschiedlichen Auswahlzuständen verwendet.

Screenshot, der die Seite

Nachdem Sie den Scan ausgeführt haben, werden wahrscheinlich neue Ressourcen im Quellsystem hinzugefügt. Standardmäßig werden zukünftige Ressourcen unter einem bestimmten übergeordneten Element automatisch ausgewählt, wenn das übergeordnete Element bei der erneuten Ausführung des Scans ganz oder teilweise ausgewählt ist. Im vorherigen Beispiel werden, nachdem Sie Abteilung 1 ausgewählt und den Scan ausgeführt haben, alle neuen Assets im Ordner Abteilung 1 oder unter Unternehmen und Beispiel einbezogen, wenn Sie den Scan erneut ausführen.

Mit einer Umschalttaste, wie in der Abbildung unten zu sehen, können Benutzer die automatische Aufnahme neuer Medienobjekte unter teilweise ausgewähltem übergeordneten Element steuern. Standardmäßig ist die Umschaltfläche deaktiviert, und das automatische Einschlussverhalten für ein teilweise ausgewähltes übergeordnetes Element ist deaktiviert. Wenn die Umschaltfläche deaktiviert ist, werden alle neuen Ressourcen unter teilweise ausgewählten übergeordneten Elementen wie Unternehmen und Beispiel nicht einbezogen, wenn Sie die Überprüfung erneut ausführen. nur neue Anlagen unter Abteilung 1 sind in der zukünftigen Überprüfung enthalten.

Screenshot, der die Seite

Wenn die Umschaltfläche aktiviert ist, werden die neuen Assets unter einem übergeordneten Element automatisch ausgewählt, wenn das übergeordnete Element beim erneuten Ausführen des Scans ganz oder teilweise ausgewählt ist. Das Einschlussverhalten ist das gleiche wie vor der Einführung des Umschalters.

Screenshot, der die Seite

Hinweis

  • Die Verfügbarkeit der Umschaltfläche hängt vom Typ der Datenquelle ab. Derzeit ist es in der öffentlichen Vorschau für Quellen wie Azure Blob Storage, Azure Data Lake Storage Gen 1, Azure Data Lake Storage Gen 2, Azure Files und Azure Dedicated SQL Pool (früher SQL DW) verfügbar.
  • Für alle Scans, die vor der Einführung des Umschalters erstellt oder geplant wurden, wird der Umschaltstatus auf Ein festgelegt und kann nicht geändert werden. Für alle Scans, die nach der Einführung des Umschalters erstellt oder geplant wurden, kann der Status des Umschalters nach dem Speichern des Scans nicht mehr geändert werden. Sie müssen eine neue Überprüfung erstellen, um den Umschaltstatus zu ändern.
  • Wenn die Umschaltfläche deaktiviert ist, kann es für Quellen mit Speichertyp wie Azure Data Lake Storage Gen 2 bis zu vier Stunden dauern, bis die Erfahrung zum Durchsuchen nach Quelltyp nach Abschluss Ihres Scanauftrags vollständig verfügbar ist.

Bekannte Einschränkungen

Wenn die Umschaltfläche deaktiviert ist:

  • Die Dateientitäten unter einem teilweise ausgewählten übergeordneten Element werden nicht gescannt.
  • Wenn alle vorhandenen Entitäten unter einem übergeordneten Element explizit ausgewählt werden, gilt das übergeordnete Element als vollständig ausgewählt, und alle neuen Ressourcen unter dem übergeordneten Element werden eingeschlossen, wenn Sie den Scan erneut ausführen.

Scanstufe anpassen

In der Data Map-Terminologie gibt es drei verschiedene Ebenen des Scannens, die auf dem Metadatenumfang und den Funktionen basieren:

  • L1-Scan: Extrahiert grundlegende Informationen und Metadaten wie Dateiname, Größe und vollqualifizierten Namen
  • L2-Scan: Extrahiert das Schema für strukturierte Dateitypen und Datenbanktabellen
  • L3-Scan: Extrahiert das Schema, sofern zutreffend, und unterwirft die Stichprobendatei den System- und benutzerdefinierten Klassifizierungsregeln.

Wenn Sie eine neue Überprüfung einrichten oder eine vorhandene Überprüfung bearbeiten, können Sie die Scanebene für Scandatenquellen anpassen, die die Konfiguration der Scanebene unterstützen.

Screenshot der Dropdownliste zum Auswählen der Scanstufen

Standardmäßig ist die Option "Automatische Erkennung" ausgewählt, was bedeutet, dass Microsoft Purview die höchste für diese Datenquelle verfügbare Scanstufe anwendet. Nehmen wir Azure SQL Datenbank als Beispiel: Die automatische Erkennung wird beim Ausführen des Scans als "Level-3" aufgelöst, da die Datenquelle die Klassifizierung in Microsoft Purview bereits unterstützt hat. Die Scanebene in den Scanausführungsdetails zeigt die tatsächlich angewendete Ebene an.

Screenshot, der die tatsächlich angewendete Scanstufe zeigt.

Für alle Scanausführungen im Scanverlauf, die abgeschlossen wurden, bevor die Scanstufe als neues Feature angepasst wurde, wird die Scanstufe festgelegt und als automatische Erkennung angezeigt.

Screenshot, der die Scanebene als automatische Erkennung anzeigt.

  • Wenn eine höhere Scanebene für eine Datenquelle verfügbar wird, wenden die gespeicherten oder geplanten Scans, bei denen die Scanebene auf Automatische Erkennung festgelegt ist, automatisch die neue Scanebene an. Wenn beispielsweise die Klassifizierung als neues Feature für eine bestimmte Datenquelle aktiviert ist, wird bei allen vorhandenen Scans für diese Datenquelle automatisch eine Klassifizierung angewendet.

  • Die Einstellung für die Scanstufe wird bei jedem Scanlauf in der Scanüberwachungsoberfläche angezeigt.

  • Wenn Sie Level-1 auswählen, gibt das Scannen nur grundlegende technische Metadaten wie Asset-Name, Asset-Größe, geänderten Zeitstempel und mehr zurück, basierend auf der vorhandenen Metadatenverfügbarkeit einer bestimmten Datenquelle. Für SQL-Datenbank erstellt der Prozess Ressourcenentitäten wie Tabellen in Data Map, extrahiert jedoch nicht das Tabellenschema. (Hinweis: Benutzer können das Tabellenschema weiterhin über die Live-Ansicht anzeigen, wenn sie über die erforderlichen Berechtigungen im Quellsystem verfügen).

  • Wenn Sie Ebene 2 auswählen, werden beim Scannen Tabellenschemas und grundlegende technische Metadaten zurückgegeben, jedoch keine Datenstichprobenentnahme und -klassifizierung durchgeführt. Bei Azure SQL-Datenbank erfassen Tabellenassetentitäten das Tabellenschema ohne Klassifizierungsinformationen.

  • Wenn Sie Stufe-3 auswählen, führt das Scannen die Datenstichprobenentnahme und -klassifizierung durch. Dies ist eine Standardkonfiguration für das Scannen von Azure SQL-Datenbanken vor der Scanebene, wenn ein neues Feature eingeführt wird.

  • Wenn Sie einen geplanten Scan auf eine niedrigere Scanstufe festlegen und ihn später auf eine höhere Scanstufe ändern, führt die nächste Scanausführung automatisch einen vollständigen Scan durch und aktualisiert alle vorhandenen Datenassets aus der Datenquelle mit Metadaten, die durch eine höhere Scanstufe eingeführt werden. Wenn Sie beispielsweise einen geplanten Scansatz mit Stufe 2 für eine Azure SQL-Datenbank in Stufe 3 ändern, ist die nächste Scanausführung eine vollständige Überprüfung und aktualisiert alle vorhandenen Tabellen- und Ansichtsressourcen der Azure SQL-Datenbank mit Klassifizierungsinformationen. Alle Scans danach werden als inkrementelle Scans fortgesetzt, die mit Level-3 eingestellt sind.

  • Wenn Sie einen geplanten Scan auf eine höhere Scanstufe festlegen und ihn später auf eine niedrigere Scanstufe ändern, wird bei der nächsten Scanausführung weiterhin ein inkrementeller Scan durchgeführt, und alle neuen Datenassets aus der Datenquelle verfügen nur über Metadaten, die durch eine niedrigere Scanebene eingeführt werden. Wenn Sie beispielsweise einen geplanten Scansatz mit Level-3 für eine Azure SQL-Datenbank in Level-2 ändern, ist die nächste Scanausführung ein inkrementeller Scan, und alle neuen Azure SQL-Datenbank-Tabellen- und -Ansichts-Assets, die in Data Map hinzugefügt wurden, verfügen über keine Klassifizierungsinformationen. Alle vorhandenen Datenbestände behalten weiterhin die Klassifizierungsinformationen bei, die aus dem vorherigen Scan-Set mit Level-3 generiert wurden.

Hinweis

  • Die Anpassung der Scanebene ist derzeit für die folgenden Datenquellen verfügbar: Azure SQL Datenbank, Azure SQL Managed Instance Azure Cosmos DB für NoSQL, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage Gen2, Azure Blob Storage, Azure Files, Azure Synapse Analytics, Azure Dedicated SQL-Pool (vormals SQL DW), Azure Data Explorer, Dataverse, Azure Multiple (Azure Abonnement), Azure Multiple (Azure Resource Group), Snowflake Azure Databricks Unity Catalog
  • Derzeit ist das Feature nur in der Azure Integration Runtime und der Managed Virtual Network Integration Runtime v2 verfügbar.

Scan-Regelsatz

Ein Scan-Regelsatz legt die Arten von Informationen fest, nach denen ein Scan sucht, wenn er mit einer Ihrer Quellen ausgeführt wird. Die verfügbaren Regeln hängen von der Art der zu überprüfenden Quelle ab, schließen aber auch Elemente wie die Dateitypen , die Sie überprüfen sollten, und die Arten von Klassifizierungen ein, die Sie benötigen.

Für viele Datenquellentypen gibt es bereits Systemscanregelsätze. Sie können jedoch auch eigene Überprüfungsregelsätze erstellen, um Ihre Scans auf Ihre organization zuzuschneiden.

Planen der Überprüfung

Microsoft Purview bietet Ihnen die Wahl zwischen täglichen, wöchentlichen oder monatlichen Scans zu einem bestimmten Zeitpunkt Ihrer Wahl. Erfahren Sie mehr über die unterstützten Zeitplanoptionen. Tägliche oder wöchentliche Scans eignen sich möglicherweise für Datenquellen mit Strukturen, die sich aktiv in der Entwicklung befinden oder sich häufig ändern. Die monatliche Überprüfung ist für Datenquellen geeigneter, die sich selten ändern. Arbeiten Sie mit dem Administrator der Quelle zusammen, die Sie überprüfen möchten, um einen Zeitpunkt zu identifizieren, zu dem die Rechenanforderungen an die Quelle niedrig sind.

Wie Scans gelöschte Objekte erkennen

Einem Microsoft Purview-Katalog wird der Zustand eines Datenspeichers nur dann bekannt, wenn ein Scan ausgeführt wird. Damit der Katalog weiß, ob eine Datei, eine Tabelle oder ein Container gelöscht wurde, vergleicht er die letzte Überprüfungsausgabe mit der aktuellen Überprüfungsausgabe. Angenommen, beim letzten Scannen eines Azure Data Lake Storage Gen2-Kontos war ein Ordner mit dem Namen "Ordner1" enthalten. Wenn dasselbe Konto erneut überprüft wird, fehlt Ordner1 . Daher geht der Katalog davon aus, dass der Ordner gelöscht wurde.

Tipp

Aufgrund der Art und Weise, wie gelöschte Dateien erkannt werden, sind möglicherweise mehrere erfolgreiche Scans erforderlich, um gelöschte Ressourcen zu erkennen und zu beheben. Wenn Unified Catalog keine Löschungen für einen bereichsbezogenen Scan registriert, versuchen Sie mehrere vollständige Scans, um das Problem zu beheben.

Gelöschte Dateien werden erkannt

Die Logik zum Erkennen fehlender Dateien funktioniert bei mehreren Überprüfungen durch denselben Benutzer und durch verschiedene Benutzer. Nehmen Sie zum Beispiel an, ein Benutzer führt eine einmalige Überprüfung eines Data Lake Storage Gen2-Datenspeichers für die Ordner A, B und C aus. Später führt ein anderer Benutzer im selben Konto einen anderen einmaligen Scan für die Ordner C, D und E desselben Datenspeichers aus. Da Ordner C zweimal gescannt wurde, überprüft der Katalog den Ordner auf mögliche Löschungen. Die Ordner A, B, D und E wurden jedoch nur einmal gescannt und werden vom Katalog nicht auf gelöschte Ressourcen überprüft.

Damit gelöschte Dateien nicht aus Ihrem Katalog entfernt werden, sollten Sie unbedingt regelmäßige Überprüfungen durchführen. Das Scanintervall ist wichtig, da der Katalog gelöschte Ressourcen erst erkennen kann, wenn ein weiterer Scan ausgeführt wird. Wenn Sie also einmal im Monat Scans in einem bestimmten Speicher ausführen, kann der Katalog keine gelöschten Datenressourcen in diesem Speicher erkennen, bis Sie die nächste Überprüfung einen Monat später ausführen.

Wenn Sie große Datenspeicher wie Data Lake Storage Gen2 aufzählen, gibt es mehrere Möglichkeiten (einschließlich Enumerationsfehler und verworfener Ereignisse), um Informationen zu übersehen. Bei einer bestimmten Überprüfung kann übersehen werden, dass eine Datei erstellt oder gelöscht wurde. Wenn der Katalog also nicht sicher ist, dass eine Datei gelöscht wurde, wird sie nicht aus dem Katalog gelöscht. Diese Strategie bedeutet, dass es zu Fehlern kommen kann, wenn eine Datei, die im gescannten Datenspeicher nicht vorhanden ist, dennoch im Katalog vorhanden ist. In einigen Fällen muss ein Datenspeicher möglicherweise zwei- oder dreimal gescannt werden, bevor bestimmte gelöschte Ressourcen erfasst werden.

Hinweis

  • Objekte, die zum Löschen markiert sind, werden nach erfolgreicher Überprüfung gelöscht. Gelöschte Medienobjekte sind möglicherweise noch einige Zeit in Ihrem Katalog sichtbar, bevor sie verarbeitet und entfernt werden.
  • Die Löscherkennung wird nur für diese Quellen in Microsoft Purview unterstützt: Azure Synapse Analytics-Arbeitsbereiche, Azure Arc-aktivierter SQL Server, Azure Blob Storage, Azure Files, Azure Cosmos DB, Azure Data Explorer, Azure Database for MySQL, Azure Database for PostgreSQL, Azure Dedicated SQL-Pool, Azure Machine Learning, Azure SQL-Datenbank und verwaltete Azure SQL-Instance. Wenn bei diesen Quellen ein Medienobjekt aus der Datenquelle gelöscht wird, werden bei nachfolgenden Überprüfungen automatisch die entsprechenden Metadaten und die Herkunft in Microsoft Purview entfernt.

Einnahme

Die Erfassung ist der Prozess, bei dem die Datenzuordnung mit Metadaten gefüllt wird, die durch die verschiedenen Prozesse gesammelt werden.

Hinweis

Die kombinierte Anzahl aller untergeordneten Objekte (verknüpfte Entitäten) und Kontakte (Besitzer, Experte) darf 20 000 Entitäten nicht überschreiten.

Erfassung von Scans

Der Scanvorgang identifiziert technische Metadaten oder Klassifizierungen und sendet sie zur Aufnahme. Die Erfassung analysiert die Eingaben aus der Überprüfung, wendet Ressourcensatzmuster an, füllt verfügbare Herkunftsinformationen auf und lädt dann automatisch die Datenzuordnung. Sie können Ressourcen und Schemas erst nach Abschluss der Aufnahme ermitteln oder kuratieren. Wenn die Überprüfung abgeschlossen ist, Ihre Assets aber nicht in der Datenzuordnung oder im Katalog angezeigt werden, müssen Sie warten, bis der Aufnahmevorgang abgeschlossen ist.

Erfassung von Herkunftsverbindungen

Sie können Ressourcen wie Azure Data Factory und Azure Synapse mit Microsoft Purview verbinden, um Datenquellen- und Herkunftsinformationen in Data Map zu übertragen. Wenn beispielsweise eine Kopierpipeline in einer Azure Data Factory ausgeführt wird, die Sie mit Microsoft Purview verbunden haben, erfasst der Dienst Metadaten zu den Eingabequellen, der Aktivität und den Ausgabequellen. Die Informationen werden zur Datenzuordnung hinzugefügt.

Wenn Sie Data Map durch einen Scan eine Datenquelle hinzufügen, werden die Herkunftsinformationen über die Aktivität zur vorhandenen Quelle hinzugefügt. Wenn Sie die Datenquelle noch nicht zu Data Map hinzugefügt haben, fügt der Abstammungserfassungsprozess sie mit ihren Abstammungsinformationen der Stammsammlung hinzu.

Weitere Informationen zu den verfügbaren Herkunftsverbindungen finden Sie im Benutzerhandbuch für die Abstammung.

Nächste Schritte

Weitere Informationen oder spezifische Anweisungen zum Scannen von Quellen finden Sie unter den folgenden Links.