Se connecter à des projets Google BigQuery et les gérer dans Microsoft Purview
Cet article explique comment inscrire des projets Google BigQuery et comment s’authentifier et interagir avec Google BigQuery dans Microsoft Purview. Pour plus d’informations sur Microsoft Purview, consultez l’article d’introduction.
Fonctionnalités prises en charge
| Extraction de métadonnées | Analyse complète | Analyse incrémentielle | Analyse délimitée | Classification | Étiquetage | Stratégie d’accès | Lignée | Partage de données | Affichage en direct |
|---|---|---|---|---|---|---|---|---|---|
| Oui | Oui | Non | Oui | Non | Non | Non | Oui | Non | Non |
Lors de l’analyse de la source Google BigQuery, Microsoft Purview prend en charge :
Extraction de métadonnées techniques, notamment :
- Projets
- Jeux de données
- Tables incluant les colonnes
- Affichages, y compris les colonnes
Extraction de la traçabilité statique sur les relations de ressources entre les tables et les vues.
Lors de la configuration de l’analyse, vous pouvez choisir d’analyser l’intégralité d’un projet Google BigQuery ou d’étendre l’analyse à un sous-ensemble de jeux de données correspondant au(s) nom(s) donné(s) ou modèle(s) de nom.
Limitations connues
- Actuellement, Microsoft Purview prend uniquement en charge l’analyse des jeux de données Google BigQuery dans un emplacement multirégion aux États-Unis. Si le jeu de données spécifié se trouve à un autre emplacement, par exemple, us-east1 ou EU, vous observerez que l’analyse est terminée, mais qu’aucune valeur n’est affichée dans Microsoft Purview.
- Lorsque l’objet est supprimé de la source de données, l’analyse suivante ne supprime pas automatiquement la ressource correspondante dans Microsoft Purview.
Configuration requise
Un compte Azure avec un abonnement actif. Créez un compte gratuitement.
Un compte Microsoft Purview actif.
Vous avez besoin des autorisations Administrateur de source de données et Lecteur de données pour inscrire une source et la gérer dans le portail de gouvernance Microsoft Purview. Pour plus d’informations sur les autorisations, consultez Contrôle d’accès dans Microsoft Purview.
Configurez le dernier runtime d’intégration auto-hébergé. Pour plus d’informations, consultez le guide créer et configurer un runtime d’intégration auto-hébergé.
Vérifiez que JDK 11 est installé sur l’ordinateur sur lequel le runtime d’intégration auto-hébergé est installé. Redémarrez la machine après avoir installé le JDK pour qu’il prenne effet.
Vérifiez que Visual C++ Redistributable (version Visual Studio 2012 Update 4 ou ultérieure) est installé sur l’ordinateur du runtime d’intégration auto-hébergé. Si cette mise à jour n’est pas installée, vous pouvez la télécharger ici.
Téléchargez et décompressez le pilote JDBC BigQuery sur l’ordinateur sur lequel votre runtime d’intégration auto-hébergé est en cours d’exécution. Notez le chemin du dossier que vous utiliserez pour configurer l’analyse.
Remarque
Le pilote doit être accessible par le runtime d’intégration auto-hébergé. Par défaut, le runtime d’intégration auto-hébergé utilise le compte de service local « NT SERVICE\DIAHostService ». Vérifiez qu’il dispose des autorisations « Lire et exécuter » et « Lister le contenu du dossier » sur le dossier du pilote.
Inscrire
Cette section explique comment inscrire un projet Google BigQuery dans Microsoft Purview à l’aide du portail de gouvernance Microsoft Purview.
Étapes d’inscription
Ouvrez le portail de gouvernance Microsoft Purview en :
- Accédez directement à https://web.purview.azure.com votre compte Microsoft Purview et sélectionnez-les.
- Ouverture du Portail Azure, recherchez et sélectionnez le compte Microsoft Purview. Sélectionnez le bouton Portail de gouvernance Microsoft Purview .
Sélectionnez Data Map dans le volet de navigation de gauche.
Sélectionnez Inscrire.
Dans Inscrire des sources, sélectionnez Google BigQuery . Sélectionnez Continuer.
Dans l’écran Inscrire des sources (Google BigQuery), procédez comme suit :
Entrez un Nom indiquant que la source de données sera répertoriée dans le catalogue.
Entrez projectID. Il doit s’agir d’un ID de projet complet. Par exemple, mydomain.com:myProject
Sélectionner une collection ou en créer une (facultatif)
Sélectionner Inscription.
Analyser
Suivez les étapes ci-dessous pour analyser un projet Google BigQuery afin d’identifier automatiquement les ressources. Pour plus d’informations sur l’analyse en général, consultez notre présentation des analyses et de l’ingestion.
Créer et exécuter une analyse
Dans le Centre de gestion, sélectionnez Runtimes d’intégration. Vérifiez qu’un runtime d’intégration auto-hébergé est configuré. S’il n’est pas configuré, suivez les étapes mentionnées ici.
Accédez à Sources.
Sélectionnez le projet BigQuery inscrit.
Sélectionnez + Nouvelle analyse.
Fournissez les détails ci-dessous :
Nom : nom de l’analyse
Se connecter via le runtime d’intégration : sélectionnez le runtime d’intégration auto-hébergé configuré
Informations d’identification : lors de la configuration des informations d’identification BigQuery, veillez à :
- Sélectionnez Authentification de base comme méthode d’authentification
- Indiquez l’ID d’e-mail du compte de service dans le champ Nom d’utilisateur. Par exemple,
xyz\@developer.gserviceaccount.com - Suivez les étapes ci-dessous pour générer la clé privée, copiez l’intégralité du fichier de clé JSON, puis stockez-le en tant que valeur d’un secret Key Vault.
Pour créer une clé privée à partir de la plateforme cloud de Google :
- Dans le menu de navigation, sélectionnez IAM & Administration -> Comptes de service -> Sélectionner un projet ->
- Sélectionnez l’adresse e-mail du compte de service pour lequel vous souhaitez créer une clé.
- Sélectionnez l’onglet Clés .
- Sélectionnez le menu déroulant Ajouter une clé , puis sélectionnez Créer une nouvelle clé.
- Choisissez le format JSON.
Remarque
Le contenu de la clé privée est enregistré dans un fichier temporaire sur la machine virtuelle lors de l’exécution des processus d’analyse. Ce fichier temporaire est supprimé une fois les analyses terminées. En cas d’échec de l’analyse, le système continuera à réessayer jusqu’à ce qu’il réussisse. Vérifiez que l’accès est correctement limité sur la machine virtuelle sur laquelle SHIR est en cours d’exécution.
Pour en savoir plus sur les informations d’identification, reportez-vous au lien ici.
Emplacement du pilote : spécifiez le chemin d’accès à l’emplacement du pilote JDBC sur votre ordinateur où s’exécute le runtime d’intégration auto-hôte, par exemple
D:\Drivers\GoogleBigQuery. Il s’agit du chemin d’accès à l’emplacement du dossier JAR valide. Vérifiez que le pilote est accessible par le runtime d’intégration auto-hébergé. Pour en savoir plus, consultez la section Conditions préalables.Jeu de données : spécifiez une liste de jeux de données BigQuery à importer. Par exemple, dataset1 ; dataset2. Lorsque la liste est vide, tous les jeux de données disponibles sont importés. Les modèles de nom de jeu de données acceptables utilisant la syntaxe d’expressions SQL LIKE incluent l’utilisation de %.
Exemple : A%; %B; %C%; D
- Commencer par A ou
- se terminer par B ou
- contenir C ou
- égal à D
L’utilisation de NOT et de caractères spéciaux n’est pas acceptable.
Mémoire maximale disponible : mémoire maximale (en Go) disponible sur votre machine virtuelle à utiliser par les processus d’analyse. Cela dépend de la taille du projet Google BigQuery à analyser.
Sélectionnez Tester la connexion.
Cliquez sur Continuer.
Choisissez votre déclencheur d’analyse. Vous pouvez configurer une planification ou exécuter l’analyse une seule fois.
Passez en revue votre analyse et sélectionnez Enregistrer et exécuter.
Afficher vos analyses et exécutions d’analyse
Pour afficher les analyses existantes :
- Accédez au portail de gouvernance Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.
- Sélectionnez la source de données. Vous pouvez afficher une liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .
- Sélectionnez l’analyse qui contient les résultats que vous souhaitez afficher. Le volet affiche toutes les exécutions d’analyse précédentes, ainsi que les status et les métriques pour chaque exécution d’analyse.
- Sélectionnez l’ID d’exécution pour case activée les détails de l’exécution de l’analyse.
Gérer vos analyses
Pour modifier, annuler ou supprimer une analyse :
Accédez au portail de gouvernance Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.
Sélectionnez la source de données. Vous pouvez afficher une liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .
Sélectionnez l’analyse que vous souhaitez gérer. Vous pouvez ensuite :
- Modifiez l’analyse en sélectionnant Modifier l’analyse.
- Annulez une analyse en cours en sélectionnant Annuler l’exécution de l’analyse.
- Supprimez votre analyse en sélectionnant Supprimer l’analyse.
Remarque
- La suppression de votre analyse ne supprime pas les ressources de catalogue créées à partir d’analyses précédentes.
- La ressource ne sera plus mise à jour avec des modifications de schéma si votre table source a changé et que vous réexécuterez la table source après avoir modifié la description sous l’onglet Schéma de Microsoft Purview.
Lignée
Après avoir analysé votre source Google BigQuery, vous pouvez parcourir le catalogue de données ou rechercher dans le catalogue de données pour afficher les détails de la ressource.
Accédez à l’onglet Ressource -> Traçabilité, vous pouvez voir la relation de ressource le cas échéant. Reportez-vous à la section Fonctionnalités prises en charge sur les scénarios de traçabilité Google BigQuery pris en charge. Pour plus d’informations sur la traçabilité en général, consultez le guide de l’utilisateur sur la traçabilité et la traçabilité des données.
Prochaines étapes
Maintenant que vous avez inscrit votre source, suivez les guides ci-dessous pour en savoir plus sur Microsoft Purview et vos données.