Freigeben über

Einrichten der Datenqualität für Snowflake-Daten

Beim Scannen von Snowflake-Datenquellen unterstützt Microsoft Purview das Extrahieren technischer Metadaten, einschließlich:

  • Server, Datenbanken, Schemas und Tabellen, einschließlich der Spalten; Ansichten, einschließlich der Spalten, Fremdschlüssel und Eindeutigkeitseinschränkungen.
  • Gespeicherte Prozeduren, einschließlich des Parameterdatasets und resultsets.
  • Funktionen, einschließlich des Parameterdatasets.
  • Pipes, Stufen und Streams, einschließlich der Spalten.
  • Aufgaben und Sequenzen.

Konfigurieren der Data Map-Überprüfung zum Katalogisieren von Snowflake-Daten in Microsoft Purview

Registrieren einer Snowflake-Quelle

Führen Sie die folgenden Schritte aus, um eine neue Snowflake-Quelle in Unified Catalog zu registrieren:

  • Melden Sie sich beim Microsoft Purview-Portal an.
  • Wählen Sie die Karte Data Map-Lösung aus. Wenn die Data Map-Lösung Karte nicht angezeigt wird, wählen Sie Alle Projektmappen anzeigen und dann im Abschnitt Kerndie Option Data Map aus.
  • Wählen Sie Registrieren aus.
  • Wählen Sie unter Quellen registrierendie Option Snowflake aus.

Einrichten einer Data Map-Überprüfung

  • Wählen Sie die registrierte Snowflake-Quelle aus.
  • Wählen Sie + Neuer Scan aus.
  • Geben Sie die folgenden Details an:
    • Name: Der Name der Überprüfung
    • Herstellen einer Verbindung über Integration Runtime: Wählen Sie die automatisch aufgelöste Integration Runtime von Azure, die verwaltete Virtual Network IR oder SHIR gemäß Ihrem Szenario aus.
    • Host für Verbindung: Wählen Sie den Endpunkt aus, der während der Überprüfung zum Herstellen der Verbindung mit Snowflake verwendet wird. Sie können aus der Server-URL oder den anderen Hosts wählen, die Sie in der Datenquelle konfiguriert haben.
    • Anmeldeinformationen: Wählen Sie die Anmeldeinformationen aus, um eine Verbindung mit Ihrer Datenquelle herzustellen. Stellen Sie folgendes sicher:
      • Wählen Sie Standardauthentifizierung beim Erstellen von Anmeldeinformationen aus.
      • Geben Sie im Eingabefeld Benutzername den Benutzernamen an, der zum Herstellen einer Verbindung mit Snowflake verwendet wird.
      • Speichern Sie das Benutzerkennwort, das zum Herstellen einer Verbindung mit Snowflake verwendet wird, im geheimen Schlüssel.
    • Warehouse: Geben Sie den Namen des Lagers an, instance verwendet wird, um die Überprüfung in Großbuchstaben zu ermöglichen. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über NUTZUNGsrechte für dieses Warehouse verfügen.
    • Datenbanken: Geben Sie mindestens eine Datenbank instance Namen an, die in Großbuchstaben importiert werden sollen. Trennen Sie die Namen in der Liste durch einen Semikolon (;). Beispiel: DB1; DB2. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über ausreichende Rechte für die Datenbankobjekte verfügen.
    • Schema: Listet eine Teilmenge der zu importierenden Schemas auf, ausgedrückt als durch Semikolons getrennte Liste.
  • Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen (verfügbar bei Verwendung von Azure Integration Runtime).
  • Wählen Sie Weiter.
  • Wählen Sie einen Überprüfungsregelsatz für die Klassifizierung aus. Sie können zwischen dem Systemstandard und vorhandenen benutzerdefinierten Regelsätzen wählen oder einen neuen Regelsatz inline erstellen.
  • Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.

Nach dem Scannen ist die Datenressource in Snowflake auf der Unified Catalog Suche verfügbar. Weitere Informationen zum Verbinden und Verwalten von Snowflake in Microsoft Purview finden Sie in diesem Dokument.

Wichtig

Wenn das Objekt aus der Datenquelle gelöscht wird, wird bei der nachfolgenden Überprüfung nicht automatisch das entsprechende Objekt in Microsoft Purview entfernt.

Einrichten einer Verbindung mit der Snowflake-Datenquelle für die Überprüfung der Datenqualität

An diesem Punkt ist die gescannte Ressource für die Katalogisierung und Governance bereit. Ordnen Sie das gescannte Medienobjekt dem Datenprodukt in einer Governancedomäne zu. Fügen Sie auf der Registerkarte Datenqualität eine neue Azure SQL Datenbankverbindung hinzu: Rufen Sie den manuell eingegebenen Datenbanknamen ab.

  1. Öffnen Sie im Microsoft Purview-PortalUnified Catalog.

  2. Wählen Sie unter Integritätsverwaltungdie Option Datenqualität aus.

  3. Wählen Sie in der Liste eine Governancedomäne und dann in der Dropdownliste Verwaltendie Option Connections aus.

  4. Konfigurieren der Verbindung auf der Seite Connections:

    • Fügen Sie den Verbindungsnamen und die Beschreibung hinzu.
    • Wählen Sie den Quelltyp Snowflake aus.
    • Fügen Sie Servername, Warehousename, Datenbankname, Schemaname und Tabellenname hinzu.
    • Wählen Sie Authentifizierungsmethode – Standardauthentifizierung aus.
    • Fügen Sie Benutzername hinzu.
    • Anmeldeinformationen hinzufügen:
      • Hinzufügen eines Azure-Abonnements
      • Key Vault-Verbindung
      • Geheimnisname
      • Geheimnisversion
    • Aktivieren Sie das Kontrollkästchen Verwaltetes V-Net aktivieren, wenn Snowflake in Azure Virtual Network ausgeführt wird.
    • Wählen Sie die Azure-Region aus.
    • Fügen Sie Private Link Ressourcen-ID hinzu.
    • Fügen Sie den vollqualifizierten Domänennamen hinzu.

  5. Testen Sie die Verbindung, um sicherzustellen, dass sie funktioniert. Wenn Sie Virtual Network verwenden, wird das Testverbindungsfeature nicht unterstützt.

    Screenshot: Einrichten der Snowflake-Verbindung

    Screenshot: Konfigurieren des Snowflake-Verbindungstokens

Die Ressourcen-ID für die Private Snowflake-Zielverbindung hat das folgende Format: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

  • Um regions-id und vollqualifizierten Namen abzurufen, führen Sie und ausSYSTEM_WHITE_LIST, um die SNOWFLAKE_DEPLOYMENTWerte , SNOWFLAKE_DEPLOYMENT_REGIONLESSund OCSP_CACHE für öffentliche hosts und allowlist-Hosts SYSTEM_WHITE_LIST_PRIVATELINK abzurufen.
  • Führen Sie zum Abrufen der Abonnement-ID als ACCOUNTADMIN ausSYSTEM$GET_SNOWFLAKE_PLATFORM_INFO(), um die Snowflake-vnet-subnet-ids-Werte abzurufen. Die Abonnement-ID für die Private Link des Azure-Mandanten von Snowflake wird daraus abgerufen.

Wichtig

  • Data Quality Stewards benötigen schreibgeschützten Zugriff auf Snowflake, um die Datenqualitätsverbindung einzurichten.
  • Der Snowflake-Connector akzeptiert keine https://. Entfernen Sie https:// , wenn Sie den Servernamen zum Konfigurieren der Datenquellenverbindung hinzufügen.
  • Wenn der öffentliche Zugriff deaktiviert ist, müssen Sie das Kontrollkästchen Vertrauenswürdige Microsoft-Dienste zulassen für Key Vault aktivieren. Dies ist nur für Key Vault erforderlich, nicht für Ihren Snowflake-Arbeitsbereich.
  • Virtual Network Unterstützung befindet sich derzeit in der Vorschauphase und ist global verfügbar. Es ist vorübergehend in den Data Governance-SKUs enthalten, um die Flexibilität während dieser Phase aufrechtzuerhalten. Virtual Network Preise noch nicht verfügbar sind und möglicherweise vor der allgemeinen Verfügbarkeit des Features festgelegt werden.

Profilerstellung und Datenqualitätsüberprüfung für Daten in Snowflake

Nachdem die Verbindungseinrichtung erfolgreich abgeschlossen wurde, können Sie Profile erstellen, Regeln erstellen und anwenden und eine Datenqualitätsüberprüfung Ihrer Daten in Snowflake ausführen. Befolgen Sie die schritt-für-Schritt-Anleitung, die in den folgenden Dokumenten beschrieben wird:

Referenzdokumente