Tutoriel : Configurer la mise en miroir pour Google BigQuery (préversion)

Dans ce tutoriel, vous allez configurer une base de données mise en miroir Fabric à partir de Google BigQuery.

Note

Bien que cet exemple soit spécifique à BigQuery, vous trouverez des étapes détaillées pour configurer la mise en miroir pour d’autres sources de données, telles qu’Azure SQL Database ou Azure Cosmos DB. Pour plus d’informations, consultez Qu’est-ce que la mise en miroir dans Fabric ?

Prerequisites

• Créez ou utilisez un entrepôt BigQuery existant. Vous pouvez vous connecter à n’importe quelle version de l’instance BigQuery dans n’importe quel cloud, y compris Microsoft Azure.
• Vous avez besoin d’une capacité Fabric existante. Si ce n’est pas le cas, démarrez une version d’évaluation de Fabric.

Spécifications relatives aux autorisations

Vous avez besoin d’autorisations utilisateur pour votre base de données BigQuery qui contient les autorisations suivantes :

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

Les rôles BigQueryAdmin et StorageAdmin doivent inclure ces autorisations.

D’autres autorisations peuvent être requises en fonction de votre cas d’usage. Les autorisations minimales requises sont requises pour utiliser l’historique des modifications et gérer différentes tables de taille (tables supérieures à 10 Go). Même si vous ne travaillez pas avec des tables de plus de 10 Go, activez toutes ces autorisations minimales pour garantir le succès de votre utilisation de la mise en miroir.

Pour plus d’informations sur les autorisations, consultez la documentation Google BigQuery sur les privilèges requis pour les données de streaming, les autorisations requises pour l’accès à l’historique des modifications et les autorisations requises pour écrire des résultats de requête

L’utilisateur doit avoir au moins un rôle attribué qui autorise l’accès à l’instance BigQuery. Vérifiez les exigences de mise en réseau pour accéder à votre source de données BigQuery. Si vous utilisez la mise en miroir pour Google BigQuery pour la passerelle de données locale (OPDG), vous devez disposer d’OPDG version 3000.286.6 ou ultérieure pour activer la mise en miroir réussie.

Pour plus d’informations sur la raison pour laquelle ces autorisations sont nécessaires, consultez la documentation sur les limitations des autorisations.

Important

Toute sécurité granulaire établie dans l’entrepôt BigQuery source doit être reconfigurée dans la base de données mise en miroir dans Microsoft Fabric. Pour plus d'informations, consultez Autorisations granulaires SQL dans Microsoft Fabric.

Créer une base de données mise en miroir

Dans cette section, vous allez créer une base de données mise en miroir à partir de votre source de données BigQuery mise en miroir.

Vous pouvez utiliser un espace de travail existant (et non mon espace de travail) ou créer un espace de travail.

1. À partir de votre espace de travail, accédez au hub Créer .
2. Après avoir sélectionné l’espace de travail que vous souhaitez utiliser, sélectionnez Créer.
3. Sélectionnez la carte Google BigQuery mise en miroir .
4. Entrez le nom de la nouvelle base de données.
5. Cliquez sur Créer.

Se connecter à votre instance BigQuery dans n’importe quel cloud

Note

Vous devrez peut-être modifier le pare-feu cloud pour autoriser la mise en miroir à se connecter à l’instance BigQuery. Nous prenons en charge la fonction de mise en miroir pour Google BigQuery pour OPDG version 3000.286.6 ou ultérieure.

1. Sélectionnez BigQuery sous Nouvelle connexion ou sélectionnez une connexion existante.

2. Si vous avez sélectionné Nouvelle connexion, entrez les détails de connexion à la base de données BigQuery.

   Paramètres de connexion	Descriptif
   E-mail du compte de service	Si vous disposez d’un compte de service préexistant : vous pouvez trouver votre adresse e-mail de compte de service et votre clé existante en accédant aux comptes de service dans votre console Google BigQuery. Si vous n’avez pas de compte de service préexistant : accédez à « Comptes de service » dans votre console Google BigQuery, puis sélectionnez Créer un compte de service. Entrez un nom de compte de service (un ID de compte de service est généré automatiquement en fonction du nom de votre compte de service entré) et une description du compte de service. Cliquez sur Terminé. Copiez et collez l'e-mail du compte de service dans la section des informations d'identification des connexions de Fabric.
   Contenu du fichier de clé JSON du compte de service	Dans le tableau de bord des comptes de service, sélectionnez Actions pour votre compte de service nouvellement créé. Sélectionnez Gérer les clés. Si vous disposez déjà d’une clé par votre compte de service, téléchargez son contenu de fichier de clé JSON. Si vous n’avez pas encore de clé par compte de service, sélectionnez Ajouter une clé et Créer une clé. Sélectionnez ensuite JSON. Le fichier de clé JSON doit être téléchargé automatiquement. Copiez et collez la clé JSON dans la section informations d’identification des connexions désignées dans le portail Fabric.
   Connexion	Créez une connexion.
   Nom de connexion	Doit être renseigné automatiquement. Remplacez-le par un nom que vous souhaitez utiliser.

3. Sélectionnez la base de données dans la liste déroulante.

Démarrer le processus de mise en miroir

1. L’écran Configurer la mise en miroir permet de mettre en miroir toutes les données de la base de données, par défaut.

   • La mise en miroir de toutes les données signifie que toutes les nouvelles tables créées après le démarrage de la mise en miroir seront mises en miroir.

   • Si vous le souhaitez, choisissez uniquement certains objets à mettre en miroir. Désactivez l’option Mettre en miroir toutes les données, puis sélectionnez des tables individuelles dans votre base de données.

   Pour cet exemple, nous utilisons l’option Miroir de toutes les données .

2. Sélectionnez Base de données miroir. La mise en miroir commence.

3. Patientez entre 2 et 5 minutes. Ensuite, sélectionnez Surveiller la réplication pour afficher l’état.

4. Après quelques minutes, l’état doit passer à En cours d’exécution, ce qui signifie que les tables sont en cours de synchronisation.

   Si vous ne voyez pas les tables et l’état de réplication correspondant, attendez quelques secondes, puis actualisez le volet.

5. Lorsqu’ils ont terminé la copie initiale des tableaux, une date apparaît dans la colonne dernière actualisation.

6. Maintenant que vos données sont opérationnelles, différents scénarios d’analyse sont disponibles sur l’ensemble de Fabric.

Important

• La mise en miroir pour Google BigQuery a un délai d’environ 15 minutes dans la réflexion des changements. Il s’agit d’une limitation de la technologie De capture de données modifiées (CDC) de Google BigQuery.
• Toute sécurité granulaire établie dans la base de données source doit être reconfigurée dans la base de données en miroir dans Microsoft Fabric.

Surveiller la mise en miroir d’infrastructure

Une fois la mise en miroir configurée, vous êtes dirigé vers la page État de la mise en miroir. Ici, vous pouvez surveiller l’état actuel de la réplication.

Pour plus d'informations et de détails sur les états de réplication, consultez Monitor Fabric Mirrored Database Replication.

Important

S’il n’existe aucune mise à jour dans les tables sources de votre base de données BigQuery, le moteur réplicateur (le moteur qui alimente les données modifiées pour la mise en miroir BigQuery) ralentit et réplique uniquement les tables toutes les heures. Ne soyez pas surpris si les données après la charge initiale prennent plus de temps que prévu, en particulier si vous n’avez pas de nouvelles mises à jour dans vos tables sources. Après l’instantané, le moteur miroir attendra environ 15 minutes avant d’extraire les modifications ; cela est dû à une limitation de Google BigQuery dans laquelle il adopte un délai de 10 minutes pour refléter les nouvelles modifications. En savoir plus sur le délai de réflexion des modifications de BigQuery

Contenu connexe

• Vue d’ensemble de la mise en miroir Google BigQuery
• Qu’est-ce que la mise en miroir dans Fabric ?