Zelfstudie: Spiegeling instellen voor Google BigQuery (preview)

In deze zelfstudie configureert u een gespiegelde Fabric-database van Google BigQuery.

Opmerking

Hoewel dit voorbeeld specifiek is voor BigQuery, vindt u gedetailleerde stappen voor het configureren van spiegeling voor andere gegevensbronnen, zoals Azure SQL Database of Azure Cosmos DB. Zie Wat is Mirroring in Fabric voor meer informatie?

Vereiste voorwaarden

• Een bestaand BigQuery-magazijn maken of gebruiken. U kunt verbinding maken met elke versie van het BigQuery-exemplaar in elke cloud, waaronder Microsoft Azure.
• Je hebt een bestaande Fabric-capaciteit nodig. Als u dat niet doet, start u een Fabric-proefversie.

Machtigingsvereisten

U hebt gebruikersmachtigingen nodig voor uw BigQuery-database die de volgende machtigingen bevat:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

De rollen BigQueryAdmin en StorageAdmin moeten deze machtigingen bevatten.

Er kunnen meer machtigingen vereist zijn, afhankelijk van uw use-case. De minimaal vereiste machtigingen zijn vereist voor het werken met de wijzigingsgeschiedenis en het verwerken van verschillende tabellen (tabellen groter dan 10 GB). Zelfs als u niet met tabellen werkt die groter zijn dan 10 GB, schakelt u al deze minimale machtigingen in om het succes van uw spiegelingsgebruik in te schakelen.

Zie de Google BigQuery-documentatie over vereiste bevoegdheden voor streaminggegevens, vereiste machtigingen voor toegang tot wijzigingsgeschiedenis en vereiste machtigingen voor het schrijven van queryresultaten voor meer informatie over machtigingen

De gebruiker moet ten minste één rol hebben toegewezen die toegang tot het BigQuery-exemplaar toestaat. Controleer de netwerkvereisten voor toegang tot uw BigQuery-gegevensbron. Als u mirroring gebruikt voor Google BigQuery voor On-Premises Data Gateway (OPDG), moet u OPDG versie 3000.286.6 of hoger hebben om geslaagde spiegeling in te schakelen.

Zie de documentatie over machtigingenbeperkingen voor meer informatie over waarom deze machtigingen nodig zijn.

Belangrijk

Gedetailleerde beveiliging die is ingesteld in het BigQuery-bronwarehouse, moet opnieuw worden geconfigureerd in de gespiegelde database in Microsoft Fabric. Zie gedetailleerde SQL-machtigingen in Microsoft Fabric voor meer informatie.

Een gespiegelde database maken

In deze sectie maakt u een nieuwe gespiegelde database op basis van uw gespiegelde BigQuery-gegevensbron.

U kunt een bestaande werkruimte (niet Mijn werkruimte) gebruiken of een nieuwe werkruimte maken.

1. Navigeer vanuit uw werkruimte naar de hub Maken .
2. Nadat u de werkruimte hebt geselecteerd die u wilt gebruiken, selecteert u Maken.
3. Selecteer de kaart Mirrored Google BigQuery.
4. Voer de naam in voor de nieuwe database.
5. Klik op Creëren.

Verbinding maken met uw BigQuery-exemplaar in elke cloud

Opmerking

Mogelijk moet u de cloudfirewall wijzigen zodat spiegeling verbinding kan maken met het BigQuery-exemplaar. Ondersteuning wordt geboden voor Mirroring van Google BigQuery bij OPDG versie 3000.286.6 of hoger.

1. Selecteer BigQuery onder Nieuwe verbinding of selecteer een bestaande verbinding.

2. Als u Nieuwe verbinding hebt geselecteerd, voert u de verbindingsgegevens in voor de BigQuery-database.

   Verbindingsinstelling	Description
   E-mailadres van serviceaccount	Als u een bestaand serviceaccount hebt: u kunt uw e-mailadres van uw serviceaccount en uw bestaande sleutel vinden door naar Serviceaccounts te gaan in uw Google BigQuery-console. Als u geen vooraf bestaande serviceaccount hebt: Ga naar 'Serviceaccounts' in uw Google BigQuery-console en selecteer Serviceaccount maken. Voer een serviceaccountnaam in (er wordt automatisch een serviceaccount-id gegenereerd op basis van de naam van uw ingevoerde serviceaccount) en een beschrijving van het serviceaccount. Kies Gereed. Kopieer en plak het e-mailadres van het serviceaccount in de sectie met toegewezen verbindingsreferenties in Fabric.
   Inhoud van JSON-sleutelbestand voor serviceaccount	Selecteer in het dashboard Serviceaccounts acties voor uw zojuist gemaakte serviceaccount. Selecteer Sleutels beheren. Als u al een sleutel voor uw serviceaccount hebt, downloadt u de inhoud van het JSON-sleutelbestand. Als u nog geen sleutel voor uw serviceaccount hebt, selecteert u Sleutel toevoegen en Nieuwe sleutel maken. Selecteer vervolgens JSON. Het JSON-sleutelbestand moet automatisch worden gedownload. Kopieer en plak de JSON-sleutel in de sectie referenties voor aangewezen verbindingen in de Fabric-portal.
   Verbinding	Maak een nieuwe verbinding.
   Verbindingsnaam	Moet automatisch worden ingevuld. Wijzig deze in een naam die u wilt gebruiken.

3. Selecteer de database in de vervolgkeuzelijst.

Spiegelingsproces starten

1. Met het scherm Spiegeling configureren kunt u standaard alle gegevens in de database spiegelen.

   • Alle gegevens spiegelen betekent dat alle nieuwe tabellen die zijn gemaakt nadat spiegeling is gestart, worden gespiegeld.

   • Kies desgewenst alleen bepaalde objecten die u wilt spiegelen. Schakel de optie Alle gegevens spiegelen uit en selecteer vervolgens afzonderlijke tabellen in uw database.

   Voor dit voorbeeld gebruiken we de optie Alle gegevens spiegelen .

2. Selecteer Mirror-database. Spiegeling begint.

3. Wacht 2-5 minuten. Vervolgens selecteer Replicatie controleren om de status te zien.

4. Na een paar minuten wordt de status gewijzigd in Actief, wat betekent dat de tabellen worden gesynchroniseerd.

   Als u de tabellen en de bijbehorende replicatiestatus niet ziet, wacht u een paar seconden en vernieuwt u het deelvenster.

5. Wanneer ze klaar zijn met het kopiëren van de tabellen, wordt er een datum weergegeven in de kolom Laatste vernieuwing .

6. Nu uw gegevens operationeel zijn, zijn er verschillende analysescenario's beschikbaar over het gehele Fabric.

Belangrijk

• Spiegeling voor Google BigQuery heeft een vertraging van ongeveer 15 minuten in de weerspiegeling van wijzigingen. Dit is een beperking van de CDC-technologie (Change Data Capture) van Google BigQuery.
• Elke gedetailleerde beveiliging die is ingesteld in de brondatabase, moet opnieuw worden geconfigureerd in de gespiegelde database in Microsoft Fabric.

Fabric-spiegeling bewaken

Zodra spiegeling is geconfigureerd, wordt u omgeleid naar de pagina Status van spiegeling . Hier kunt u de huidige replicatiestatus bewaken.

Zie Monitor Fabric-gespiegelde databasereplicatie voor meer informatie en details over de replicatiestatussen.

Belangrijk

Als er geen updates zijn in de brontabellen in uw BigQuery-database, vertraagt de replicator-engine (de motor die de wijzigingsgegevens voor BigQuery Mirroring beheert) en worden tabellen slechts elk uur gerepliceerd. Wees niet verbaasd als gegevens na de eerste belasting langer duren dan verwacht, met name als u geen nieuwe updates in uw brontabellen hebt. Na de momentopname wacht de mirror-engine 15 minuten voordat wijzigingen worden opgehaald; dit wordt veroorzaakt door een beperking van Google BigQuery waarbij een vertraging van 10 minuten wordt doorgevoerd in het weergeven van nieuwe wijzigingen. Meer informatie over de vertraging van wijzigingen van BigQuery

Verwante inhoud

• Overzicht van Google BigQuery-spiegeling
• Wat is spiegelen in Stof?