Herstellen einer Verbindung mit Und Verwalten von Snowflake in Microsoft Purview

  • Artikel

In diesem Artikel wird beschrieben, wie Sie Snowflake registrieren und wie Sie snowflake in Microsoft Purview authentifizieren und mit Snowflake interagieren. Weitere Informationen zu Microsoft Purview finden Sie im Einführungsartikel.

Unterstützte Funktionen

Metadatenextraktion Vollständiger Scan Inkrementelle Überprüfung Bereichsbezogene Überprüfung Klassifizierung Bezeichnen Zugriffsrichtlinie Linie Datenfreigabe Liveansicht
Ja Ja Nein Ja Ja Nein Nein Ja Nein Nein

Beim Scannen der Snowflake-Quelle unterstützt Microsoft Purview Folgendes:

  • Extrahieren von technischen Metadaten, einschließlich:

    • Server
    • Datenbanken
    • Schemata
    • Tabellen, einschließlich der Spalten, Fremdschlüssel und Eindeutigkeitseinschränkungen
    • Ansichten einschließlich der Spalten
    • Gespeicherte Prozeduren, einschließlich des Parameterdatasets und resultsets
    • Funktionen einschließlich des Parameterdatasets
    • Rohre
    • Stages
    • Streams einschließlich der Spalten
    • Aufgaben
    • Sequences

  • Abrufen der statischen Herkunft für Ressourcenbeziehungen zwischen Tabellen, Sichten, Streams und gespeicherten Prozeduren.

Für gespeicherte Prozeduren können Sie die Detailebene auswählen, die in den Scaneinstellungen extrahiert werden soll. Die Herkunft gespeicherter Prozeduren wird für Snowflake Scripting (SQL) und JavaScript-Sprachen unterstützt und basierend auf der Prozedurdefinition generiert.

Beim Einrichten der Überprüfung können Sie eine oder mehrere Snowflake-Datenbanken vollständig basierend auf den angegebenen Namen oder Namensmustern überprüfen oder die Überprüfung auf eine Teilmenge von Schemas festlegen, die den angegebenen Namen oder Namensmustern entsprechen.

Bekannte Einschränkungen

  • Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.
  • Die Herkunft gespeicherter Prozeduren wird für die folgenden Muster nicht unterstützt:
    • Gespeicherte Prozedur, die in den Sprachen Java, Python und Scala definiert ist.
    • Gespeicherte Prozedur mit SQL EXECUTE IMMEDIATE mit statischer SQL-Abfrage als Variable.

Voraussetzungen

Hinweis

Wenn Ihr Datenspeicher nicht öffentlich zugänglich ist (wenn Ihr Datenspeicher den Zugriff über ein lokales Netzwerk, ein privates Netzwerk oder bestimmte IP-Adressen usw. einschränkt), müssen Sie eine selbstgehostete Integration Runtime konfigurieren, um eine Verbindung damit herzustellen.

Erforderliche Berechtigungen für die Überprüfung

Microsoft Purview unterstützt die Standardauthentifizierung (Benutzername und Kennwort) zum Überprüfen von Snowflake. Die Standardrolle des angegebenen Benutzers wird verwendet, um die Überprüfung durchzuführen. Der Snowflake-Benutzer muss über Nutzungsrechte für ein Warehouse und die zu überprüfenden Datenbanken sowie über Lesezugriff auf Systemtabellen verfügen, um auf erweiterte Metadaten zugreifen zu können.

Hier sehen Sie eine exemplarische Vorgehensweise zum Erstellen eines Benutzers speziell für die Microsoft Purview-Überprüfung und zum Einrichten der Berechtigungen. Wenn Sie einen vorhandenen Benutzer verwenden möchten, stellen Sie sicher, dass dieser über ausreichende Rechte für das Warehouse und die Datenbankobjekte verfügt.

  1. Richten Sie eine Rolle ein purview_reader . Dazu benötigen Sie ACCOUNTADMIN-Rechte .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Erstellen Sie ein Warehouse für Microsoft Purview, um Rechte zu verwenden und zu gewähren.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Erstellen Sie einen Benutzer purview für die Microsoft Purview-Überprüfung.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Gewähren Sie den Datenbankobjekten Leserechte.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrieren

In diesem Abschnitt wird beschrieben, wie Sie Snowflake in Microsoft Purview mithilfe des Microsoft Purview-Governanceportals registrieren.

Schritte zum Registrieren

Führen Sie die folgenden Schritte aus, um eine neue Snowflake-Quelle in Ihrem Datenkatalog zu registrieren:

  1. Navigieren Sie im Microsoft Purview-Governanceportal zu Ihrem Microsoft Purview-Konto.
  2. Wählen Sie im linken Navigationsbereich Data Map aus.
  3. Wählen Sie Registrieren aus.
  4. Wählen Sie unter Quellen registrieren die Option Snowflake aus. Wählen Sie Weiter.

Führen Sie auf dem Bildschirm Quellen registrieren (Snowflake) die folgenden Schritte aus:

  1. Geben Sie einen Namen ein, mit dem die Datenquelle im Katalog aufgeführt wird.

  2. Geben Sie die Server-URL ein, die zum Herstellen einer Verbindung mit dem Snowflake-Konto verwendet wird, orgname-accountname.snowflakecomputing.comz<account_identifier>.snowflakecomputing.com. B. . Erfahren Sie mehr über den Snowflake-Kontobezeichner.

  3. Auswählen einer Sammlung oder Erstellen einer neuen Sammlung (Optional)

  4. Schließen Sie ab, um die Datenquelle zu registrieren.

    Optionen zum Registrieren von Quellen

Überprüfung

Führen Sie die folgenden Schritte aus, um Snowflake zu überprüfen, um Ressourcen automatisch zu identifizieren. Weitere Informationen zum Scannen im Allgemeinen finden Sie in unserer Einführung in Scans und Erfassung.

Authentifizierung für eine Überprüfung

Der unterstützte Authentifizierungstyp für eine Snowflake-Quelle ist die Standardauthentifizierung.

Erstellen und Ausführen der Überprüfung

Führen Sie die folgenden Schritte aus, um eine neue Überprüfung zu erstellen und auszuführen:

  1. Wenn Ihr Server öffentlich zugänglich ist, fahren Sie mit Schritt 2 fort. Andernfalls müssen Sie sicherstellen, dass Ihre selbstgehostete Integration Runtime konfiguriert ist:

    1. Navigieren Sie im Microsoft Purview-Governanceportal zum Management Center, und wählen Sie Integration Runtimes aus.
    2. Stellen Sie sicher, dass eine selbstgehostete Integration Runtime verfügbar ist. Wenn sie nicht eingerichtet ist, führen Sie die hier beschriebenen Schritte aus, um eine selbstgehostete Integration Runtime einzurichten.

  2. Navigieren Sie im Microsoft Purview-Governanceportal zu Quellen.

  3. Wählen Sie die registrierte Snowflake-Quelle aus.

  4. Wählen Sie + Neuer Scan aus.

  5. Geben Sie die folgenden Details an:

    1. Name: Der Name der Überprüfung

    2. Herstellen einer Verbindung über Integration Runtime: Wählen Sie die automatisch aufgelöste Integration Runtime von Azure aus, wenn Ihr Server öffentlich zugänglich ist, oder Ihre konfigurierte selbstgehostete Integration Runtime, wenn sie nicht öffentlich verfügbar ist.

    3. Anmeldeinformationen: Wählen Sie die Anmeldeinformationen aus, um eine Verbindung mit Ihrer Datenquelle herzustellen. Stellen Sie folgendes sicher:

      • Wählen Sie Standardauthentifizierung beim Erstellen von Anmeldeinformationen aus.
      • Geben Sie im Eingabefeld Benutzername den Benutzernamen an, der zum Herstellen einer Verbindung mit Snowflake verwendet wird.
      • Speichern Sie das Benutzerkennwort, das zum Herstellen einer Verbindung mit Snowflake verwendet wird, im geheimen Schlüssel.

    4. Warehouse: Geben Sie den Namen des Lagers an instance verwendet wird, um die Überprüfung in Großbuchstaben zu ermöglichen. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über NUTZUNGsrechte für dieses Warehouse verfügen.

    5. Datenbanken: Geben Sie mindestens eine Datenbank instance Namen an, die in Großbuchstaben importiert werden sollen. Trennen Sie die Namen in der Liste durch einen Semikolon (;). Beispiel: db1;db2. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über ausreichende Rechte für die Datenbankobjekte verfügen.

      Zu den akzeptablen Datenbanknamensmustern, die die SQL LIKE-Ausdruckssyntax verwenden, gehören die Verwendung von %. Beispiel: A%;%B;%C%;D:

      • Beginnen Sie mit A oder
      • Enden Sie mit B oder
      • C oder enthalten
      • Gleich D

    6. Schema: Listet eine Teilmenge der zu importierenden Schemas auf, ausgedrückt als durch Semikolons getrennte Liste. Beispiel: schema1;schema2. Alle Benutzerschemas werden importiert, wenn diese Liste leer ist. Alle Systemschemas und -objekte werden standardmäßig ignoriert.

      Zu den akzeptablen Schemanamensmustern, die die SQL LIKE-Ausdruckssyntax verwenden, gehören die Verwendung von %. Beispiel: A%;%B;%C%;D:

      • Beginnen Sie mit A oder
      • Enden Sie mit B oder
      • C oder enthalten
      • Gleich D

      Die Verwendung von NOT- und Sonderzeichen ist nicht zulässig.

    7. Details zu gespeicherten Prozeduren: Steuert die Anzahl der aus gespeicherten Prozeduren importierten Details:

      • Signatur (Standard): Der Name und die Parameter gespeicherter Prozeduren.
      • Code, Signatur: Der Name, die Parameter und der Code gespeicherter Prozeduren.
      • Herkunft, Code, Signatur: Der Name, die Parameter und der Code der gespeicherten Prozeduren sowie die vom Code abgeleitete Datenherkunft.
      • Keine: Details zu gespeicherten Prozeduren sind nicht enthalten.

      Hinweis

      Wenn Sie selbstgehostete Integration Runtime für die Überprüfung verwenden, werden ab Version 5.30.8541.1 andere benutzerdefinierte Einstellungen als die Standardsignatur unterstützt. Die früheren Versionen extrahieren immer den Namen und die Parameter gespeicherter Prozeduren.

    8. Maximal verfügbarer Arbeitsspeicher (bei Verwendung der selbstgehosteten Integration Runtime): Maximaler Arbeitsspeicher (in GB) auf der VM des Kunden, der von Überprüfungsprozessen verwendet werden soll. Dies hängt von der Größe der zu scannenden Snowflake-Quelle ab.

      Hinweis

      Geben Sie als Faustregel 1 GB Arbeitsspeicher für jeweils 1.000 Tabellen an.

      Scan Snowflake

  6. Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen (verfügbar bei Verwendung von Azure Integration Runtime).

  7. Wählen Sie Weiter.

  8. Wählen Sie einen Überprüfungsregelsatz für die Klassifizierung aus. Sie können zwischen dem Systemstandard und vorhandenen benutzerdefinierten Regelsätzen wählen oder einen neuen Regelsatz inline erstellen. Weitere Informationen finden Sie im Artikel Klassifizierung .

    Hinweis

    Wenn Sie selbstgehostete Runtime verwenden, müssen Sie ein Upgrade auf Version 5.26.404.1 oder höher durchführen, um die Snowflake-Klassifizierung zu verwenden. Die neueste Version von Microsoft Integration Runtime finden Sie hier.

  9. Wählen Sie Ihren Scantrigger aus. Sie können einen Zeitplan einrichten oder die Überprüfung einmal ausführen.

  10. Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.

Anzeigen Ihrer Überprüfungen und Überprüfungsausführungen

So zeigen Sie vorhandene Überprüfungen an:

  1. Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.
  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
  3. Wählen Sie die Überprüfung aus, die Ergebnisse enthält, die Sie anzeigen möchten. Im Bereich werden alle vorherigen Überprüfungsausführungen zusammen mit den status und Metriken für jede Überprüfungsausführung angezeigt.
  4. Wählen Sie die Ausführungs-ID aus, um die Details der Überprüfungsausführung zu überprüfen.

Verwalten ihrer Überprüfungen

So bearbeiten, abbrechen oder löschen Sie eine Überprüfung:

  1. Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.

  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.

  3. Wählen Sie die Überprüfung aus, die Sie verwalten möchten. Anschließend können Sie:

    • Bearbeiten Sie die Überprüfung, indem Sie Überprüfung bearbeiten auswählen.
    • Brechen Sie eine laufende Überprüfung ab, indem Sie Überprüfungsausführung abbrechen auswählen.
    • Löschen Sie Ihre Überprüfung, indem Sie Überprüfung löschen auswählen.

Hinweis

  • Durch das Löschen Ihrer Überprüfung werden keine Katalogressourcen gelöscht, die aus vorherigen Überprüfungen erstellt wurden.
  • Das Medienobjekt wird nicht mehr mit Schemaänderungen aktualisiert, wenn sich Ihre Quelltabelle geändert hat, und Sie die Quelltabelle erneut überprüfen, nachdem Sie die Beschreibung auf der Registerkarte Schema von Microsoft Purview bearbeitet haben.

Linie

Nachdem Sie Ihre Snowflake-Quelle überprüft haben, können Sie den Datenkatalog durchsuchen oder den Datenkatalog durchsuchen , um die Ressourcendetails anzuzeigen.

Wechseln Sie zur Registerkarte Asset –> Herkunft. Die Ressourcenbeziehung wird angezeigt, falls zutreffend. Informationen zu den unterstützten Snowflake-Herkunftsszenarien finden Sie im Abschnitt unterstützte Funktionen . Weitere Informationen zur Herkunft im Allgemeinen finden Sie im Benutzerhandbuch zur Datenherkunft und -herkunft.

Snowflake-Herkunftsansicht

Hinweis

Wenn eine Sicht von Tabellen aus verschiedenen Datenbanken erstellt wurde, überprüfen Sie alle Datenbanken gleichzeitig mithilfe der Namen im Semikolon (;) Liste.

Tipps zur Problembehandlung

  • Überprüfen Sie Ihren Kontobezeichner im Quellregistrierungsschritt. Schließen https:// Sie keinen Teil an der Vorderseite ein.
  • Stellen Sie sicher, dass der Warehousename und der Datenbankname auf der Seite zum Einrichten der Überprüfung großgeschrieben sind.
  • Überprüfen Sie Ihren Schlüsseltresor. Stellen Sie sicher, dass das Kennwort keine Tippfehler enthält.
  • Überprüfen Sie die Anmeldeinformationen, die Sie in Microsoft Purview eingerichtet haben. Der angegebene Benutzer muss über eine Standardrolle mit den erforderlichen Zugriffsrechten für das Warehouse und die Datenbank verfügen, die Sie überprüfen möchten. Weitere Informationen finden Sie unter Erforderliche Berechtigungen für die Überprüfung. VERWENDEN Sie DESCRIBE USER; , um die Standardrolle des Benutzers zu überprüfen, den Sie für Microsoft Purview angegeben haben.
  • Verwenden Sie den Abfrageverlauf in Snowflake, um zu sehen, ob Aktivitäten auftreten.
    • Wenn ein Problem mit der Kontoidentifer oder dem Kennwort vorliegt, werden keine Aktivitäten angezeigt.
    • Wenn ein Problem mit der Standardrolle vorliegt, sollte zumindest eine USE WAREHOUSE . . . -Anweisung angezeigt werden.
    • Sie können die QUERY_HISTORY_BY_USER Tabellenfunktion verwenden, um zu ermitteln, welche Rolle von der Verbindung verwendet wird. Das Einrichten eines dedizierten Microsoft Purview-Benutzers vereinfacht die Problembehandlung.

Nächste Schritte

Nachdem Sie Ihre Quelle registriert haben, folgen Sie den folgenden Anleitungen, um mehr über Microsoft Purview und Ihre Daten zu erfahren.