Herstellen einer Verbindung mit und Verwalten von Google BigQuery-Projekten in Microsoft Purview
In diesem Artikel wird beschrieben, wie Sie Google BigQuery-Projekte registrieren, sich authentifizieren und mit Google BigQuery in Microsoft Purview interagieren. Weitere Informationen zu Microsoft Purview finden Sie im Einführungsartikel.
Unterstützte Funktionen
| Metadatenextraktion | Vollständiger Scan | Inkrementelle Überprüfung | Bereichsbezogene Überprüfung | Klassifizierung | Bezeichnen | Zugriffsrichtlinie | Linie | Datenfreigabe | Liveansicht |
|---|---|---|---|---|---|---|---|---|---|
| Ja | Ja | Nein | Ja | Nein | Nein | Nein | Ja | Nein | Nein |
Beim Scannen der Google BigQuery-Quelle unterstützt Microsoft Purview Folgendes:
Extrahieren von technischen Metadaten, einschließlich:
- Projekte
- Datasets
- Tabellen einschließlich der Spalten
- Ansichten einschließlich der Spalten
Abrufen der statischen Herkunft für Ressourcenbeziehungen zwischen Tabellen und Sichten.
Beim Einrichten der Überprüfung können Sie ein gesamtes Google BigQuery-Projekt überprüfen oder die Überprüfung auf eine Teilmenge von Datasets festlegen, die den angegebenen Namen oder Namensmustern entsprechen.
Bekannte Einschränkungen
- Derzeit unterstützt Microsoft Purview nur das Scannen von Google BigQuery-Datasets an einem multiregionalen Standort in den USA. Wenn sich das angegebene Dataset an einem anderen Speicherort befindet, z. B. us-east1 oder EU, werden Sie feststellen, dass die Überprüfung abgeschlossen ist, aber keine Ressourcen in Microsoft Purview angezeigt werden.
- Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.
Voraussetzungen
Ein Azure-Konto mit einem aktiven Abonnement. Erstellen Sie kostenlos ein Konto.
Ein aktives Microsoft Purview-Konto.
Sie benötigen Datenquellenadministrator- und Datenleserberechtigungen, um eine Quelle zu registrieren und im Microsoft Purview-Governanceportal zu verwalten. Weitere Informationen zu Berechtigungen finden Sie unter Zugriffssteuerung in Microsoft Purview.
Richten Sie die neueste selbstgehostete Integration Runtime ein. Weitere Informationen finden Sie im Leitfaden zum Erstellen und Konfigurieren einer selbstgehosteten Integration Runtime.
Stellen Sie sicher, dass JDK 11 auf dem Computer installiert ist, auf dem die selbstgehostete Integration Runtime installiert ist. Starten Sie den Computer neu, nachdem Sie das JDK neu installiert haben, damit es wirksam wird.
Stellen Sie sicher Visual C++ Redistributable (Version Visual Studio 2012 Update 4 oder höher) auf dem Computer der selbstgehosteten Integration Runtime installiert ist. Wenn Sie dieses Update nicht installiert haben, können Sie es hier herunterladen.
Laden Sie den BigQuery-JDBC-Treiber auf dem Computer herunter, auf dem Ihre selbstgehostete Integration Runtime ausgeführt wird, und entzippen Sie den BigQuery-JDBC-Treiber . Notieren Sie sich den Ordnerpfad, den Sie zum Einrichten der Überprüfung verwenden werden.
Hinweis
Auf den Treiber sollte über die selbstgehostete Integration Runtime zugegriffen werden können. Standardmäßig verwendet die selbstgehostete Integration Runtime das lokale Dienstkonto "NT SERVICE\DIAHostService". Stellen Sie sicher, dass sie über die Berechtigungen "Lesen und Ausführen" und "Ordnerinhalte auflisten" für den Treiberordner verfügt.
Registrieren
In diesem Abschnitt wird beschrieben, wie Sie ein Google BigQuery-Projekt in Microsoft Purview mithilfe des Microsoft Purview-Governanceportals registrieren.
Schritte zum Registrieren
Öffnen Sie das Microsoft Purview-Governanceportal wie folgt:
- Navigieren Sie direkt zu https://web.purview.azure.com Ihrem Microsoft Purview-Konto, und wählen Sie es aus.
- Öffnen Sie die Azure-Portal, suchen Sie nach dem Microsoft Purview-Konto, und wählen Sie es aus. Wählen Sie die Schaltfläche Microsoft Purview-Governanceportal aus.
Wählen Sie im linken Navigationsbereich Data Map aus.
Wählen Sie Registrieren aus.
Wählen Sie unter Quellen registrieren die Option Google BigQuery aus. Wählen Sie Weiter aus.
Gehen Sie auf dem Bildschirm Quellen registrieren (Google BigQuery) wie folgt vor:
Geben Sie einen Namen ein, mit dem die Datenquelle im Katalog aufgeführt wird.
Geben Sie die ProjectID ein. Dies sollte eine vollqualifizierte Projekt-ID sein. Beispiel: mydomain.com:myProject
Auswählen einer Sammlung oder Erstellen einer neuen Sammlung (Optional)
Wählen Sie Registrieren aus.
Überprüfung
Führen Sie die folgenden Schritte aus, um ein Google BigQuery-Projekt zu überprüfen, um Ressourcen automatisch zu identifizieren. Weitere Informationen zum Scannen im Allgemeinen finden Sie in unserer Einführung in Scans und Erfassung.
Erstellen und Ausführen der Überprüfung
Wählen Sie im Management Center Integration Runtimes aus. Stellen Sie sicher, dass eine selbstgehostete Integration Runtime eingerichtet ist. Wenn sie nicht eingerichtet ist, führen Sie die hier beschriebenen Schritte aus.
Navigieren Sie zu Quellen.
Wählen Sie das registrierte BigQuery-Projekt aus.
Wählen Sie + Neuer Scan aus.
Geben Sie die folgenden Details an:
Name: Der Name der Überprüfung
Herstellen einer Verbindung über Integration Runtime: Wählen Sie die konfigurierte selbstgehostete Integration Runtime aus.
Anmeldeinformationen: Stellen Sie beim Konfigurieren von BigQuery-Anmeldeinformationen folgendes sicher:
- Wählen Sie Standardauthentifizierung als Authentifizierungsmethode aus.
- Geben Sie die E-Mail-ID des Dienstkontos im Feld Benutzername an. Beispiel:
xyz\@developer.gserviceaccount.com - Führen Sie die folgenden Schritte aus, um den privaten Schlüssel zu generieren, kopieren Sie die gesamte JSON-Schlüsseldatei, und speichern Sie sie dann als Wert eines Key Vault Geheimnisses.
So erstellen Sie einen neuen privaten Schlüssel über die Cloudplattform von Google:
- Wählen Sie im Navigationsmenü IAM & Admin –> Dienstkonten –> Projekt auswählen aus.>
- Wählen Sie die E-Mail-Adresse des Dienstkontos aus, für das Sie einen Schlüssel erstellen möchten.
- Wählen Sie die Registerkarte Schlüssel aus.
- Wählen Sie das Dropdownmenü Schlüssel hinzufügen und dann Neuen Schlüssel erstellen aus.
- Wählen Sie JSON-Format aus.
Hinweis
Der Inhalt des privaten Schlüssels wird in einer temporären Datei auf dem virtuellen Computer gespeichert, wenn Überprüfungsprozesse ausgeführt werden. Diese temporäre Datei wird gelöscht, nachdem die Überprüfungen erfolgreich abgeschlossen wurden. Im Falle eines Überprüfungsfehlers versucht das System weiterhin, bis der Vorgang erfolgreich ist. Stellen Sie sicher, dass der Zugriff auf den virtuellen Computer, auf dem SHIR ausgeführt wird, entsprechend eingeschränkt ist.
Weitere Informationen zu Anmeldeinformationen finden Sie unter diesem Link.
Treiberspeicherort: Geben Sie den Pfad zum JDBC-Treiberspeicherort auf Ihrem Computer an, auf dem die Selbsthost-Integration Runtime ausgeführt wird, z. B.
D:\Drivers\GoogleBigQuery. Dies ist der Pfad zum gültigen Speicherort des JAR-Ordners. Stellen Sie sicher, dass der Treiber über die selbstgehostete Integration Runtime zugänglich ist. Weitere Informationen finden Sie im Abschnitt voraussetzungen.Dataset: Geben Sie eine Liste der zu importierenden BigQuery-Datasets an. Beispiel: dataset1; dataset2. Wenn die Liste leer ist, werden alle verfügbaren Datasets importiert. Zu den akzeptablen Datasetnamensmustern, die die SQL LIKE-Ausdruckssyntax verwenden, gehören die Verwendung von %.
Beispiel: A%; %B; %C%; D
- Beginnen Sie mit A oder
- enden sie mit B oder
- enthalten C oder
- gleich D
Die Verwendung von NOT- und Sonderzeichen ist nicht zulässig.
Maximal verfügbarer Arbeitsspeicher: Maximal verfügbarer Arbeitsspeicher (in GB) auf Ihrem virtuellen Computer, der von Überprüfungsprozessen verwendet werden kann. Dies hängt von der Größe des zu scannenden Google BigQuery-Projekts ab.
Wählen Sie Verbindung testen aus.
Wählen Sie Weiter.
Wählen Sie Ihren Scantrigger aus. Sie können einen Zeitplan einrichten oder die Überprüfung einmal ausführen.
Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.
Anzeigen Ihrer Überprüfungen und Überprüfungsausführungen
So zeigen Sie vorhandene Überprüfungen an:
- Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.
- Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
- Wählen Sie die Überprüfung aus, die Ergebnisse enthält, die Sie anzeigen möchten. Im Bereich werden alle vorherigen Überprüfungsausführungen zusammen mit den status und Metriken für jede Überprüfungsausführung angezeigt.
- Wählen Sie die Ausführungs-ID aus, um die Details der Überprüfungsausführung zu überprüfen.
Verwalten ihrer Überprüfungen
So bearbeiten, abbrechen oder löschen Sie eine Überprüfung:
Navigieren Sie zum Microsoft Purview-Governanceportal. Wählen Sie im linken Bereich Data Map aus.
Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
Wählen Sie die Überprüfung aus, die Sie verwalten möchten. Anschließend können Sie:
- Bearbeiten Sie die Überprüfung, indem Sie Überprüfung bearbeiten auswählen.
- Brechen Sie eine laufende Überprüfung ab, indem Sie Überprüfungsausführung abbrechen auswählen.
- Löschen Sie Ihre Überprüfung, indem Sie Überprüfung löschen auswählen.
Hinweis
- Durch das Löschen Ihrer Überprüfung werden keine Katalogressourcen gelöscht, die aus vorherigen Überprüfungen erstellt wurden.
- Das Medienobjekt wird nicht mehr mit Schemaänderungen aktualisiert, wenn sich Ihre Quelltabelle geändert hat, und Sie die Quelltabelle erneut überprüfen, nachdem Sie die Beschreibung auf der Registerkarte Schema von Microsoft Purview bearbeitet haben.
Linie
Nachdem Sie Ihre Google BigQuery-Quelle überprüft haben, können Sie den Datenkatalog durchsuchen oder den Datenkatalog durchsuchen , um die Ressourcendetails anzuzeigen.
Wechseln Sie zur Registerkarte Asset –> Herkunft. Die Ressourcenbeziehung wird angezeigt, falls zutreffend. Informationen zu den unterstützten Google BigQuery-Herkunftsszenarien finden Sie im Abschnitt Unterstützte Funktionen . Weitere Informationen zur Herkunft im Allgemeinen finden Sie im Benutzerhandbuch zur Datenherkunft und -herkunft.
Nächste Schritte
Nachdem Sie Ihre Quelle registriert haben, folgen Sie den folgenden Anleitungen, um mehr über Microsoft Purview und Ihre Daten zu erfahren.