Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
In deze zelfstudie configureert u een gespiegelde Fabric-database van Google BigQuery.
Opmerking
Hoewel dit voorbeeld specifiek is voor BigQuery, vindt u gedetailleerde stappen voor het configureren van spiegeling voor andere gegevensbronnen, zoals Azure SQL Database of Azure Cosmos DB. Voor meer informatie, zie Wat is Mirroring in Fabric?
Vereiste voorwaarden
- Een bestaand BigQuery-magazijn maken of gebruiken. U kunt verbinding maken met elke versie van het BigQuery-exemplaar in elke cloud, waaronder Microsoft Azure.
- Je hebt een bestaande Fabric-capaciteit nodig. Als u dat niet doet, start u een Fabric-proefversie.
Machtigingsvereisten
U hebt gebruikersmachtigingen nodig voor uw BigQuery-database die de volgende machtigingen bevat:
bigquery.datasets.createbigquery.tables.listbigquery.tables.createbigquery.tables.exportbigquery.tables.getbigquery.tables.getDatabigquery.tables.updateDatabigquery.routines.getbigquery.routines.listbigquery.jobs.createstorage.buckets.createstorage.buckets.liststorage.objects.createstorage.objects.deletestorage.objects.listiam.serviceAccounts.signBlob
Metagegevens van tabellen ophalen en configuratie van wijzigingsgeschiedenis (vereist)
De rollen BigQueryAdmin en StorageAdmin moeten deze machtigingen bevatten. De volgende machtigingen zijn vereist om te bepalen of wijzigingsgeschiedenis is ingeschakeld en om informatie over de primaire sleutel of samengestelde sleutel op te halen.
De gebruiker moet ten minste één rol hebben toegewezen die toegang tot het BigQuery-exemplaar toestaat. Controleer de netwerkvereisten voor toegang tot uw BigQuery-gegevensbron. Als u mirroring gebruikt voor Google BigQuery voor On-Premises Data Gateway (OPDG), moet u OPDG versie 3000.286.6 of hoger hebben om geslaagde spiegeling in te schakelen.
Vereiste toestemmingen
Als u handmatig buckets wilt instellen (en dus niet de machtiging storage.buckets.create hoeft te verlenen), kunt u het volgende gebruiken:
bigquery.tables.getbigquery.tables.listbigquery.routines.getbigquery.routines.list
- Navigeer in uw Google Console naar Cloud Storage en selecteer Buckets.
- Selecteer Aanmaken en geef de bucket een naam in deze indeling (hoofdlettergevoelig):
<projectid>_fabric_staging_bucket - Zorg ervoor dat de locatie/regio van de bucket hetzelfde is als het GCP-project dat u van plan bent te spiegelen.
- Klik op Creëren. Het spiegelingssysteem detecteert automatisch de bucket.
Er kunnen meer machtigingen vereist zijn, afhankelijk van uw use-case. De minimaal vereiste machtigingen zijn bedoeld voor het werken met wijzigingsgeschiedenis en het verwerken van verschillende groottetabellen (tabellen groter dan 10 GB). Zelfs als u niet met tabellen werkt die groter zijn dan 10 GB, schakelt u al deze minimale machtigingen in om het succes van uw spiegelingsgebruik in te schakelen.
Wijzigingsgeschiedenis en tabelgegevens ophalen (vereist)
Zie de Google BigQuery-documentatie over vereiste bevoegdheden voor streaminggegevens, vereiste machtigingen voor toegang tot wijzigingsgeschiedenis en vereiste machtigingen voor het schrijven van queryresultaten voor meer informatie over machtigingen
De volgende machtigingen zijn vereist voor het lezen van de wijzigingsgeschiedenis en tabelgegevens.
Belangrijk
Gedetailleerde beveiliging die is ingesteld in het BigQuery-bronwarehouse, moet opnieuw worden geconfigureerd in de gespiegelde database in Microsoft Fabric. Zie gedetailleerde SQL-machtigingen in Microsoft Fabric voor meer informatie.
Vereiste toestemmingen
bigquery.tables.getDatabigquery.jobs.createbigquery.jobs.getbigquery.jobs.listbigquery.readsessions.createbigquery.readsessions.getData
Mogelijkheden voor wijzigingsgeschiedenis inschakelen (vereist)
Wijzigingsgeschiedenis moet zijn ingeschakeld voor de bigQuery-brontabellen met behulp van een van de volgende opties.
Optie 1: Machtiging inschakelen
bigquery.tables.update
Hiermee staat u het inschakelen van de wijzigingsgeschiedenis voor tabellen toe.
Optie 2: Tabeloptie inschakelen in GCP
Zorg ervoor dat de volgende tabeloptie is ingesteld op TRUE:
enable_change_history
Gegevens exporteren naar Google Cloud Storage voor fasering en kopiëren naar OneLake (vereist)
De volgende machtigingen zijn vereist voor het exporteren van BigQuery-gegevens naar Google Cloud Storage voor fasering en kopiëren naar OneLake.
Vereiste toestemmingen
bigquery.tables.exportstorage.objects.createstorage.objects.liststorage.buckets.getiam.serviceAccounts.signBlob
Google Cloud Storage Bucket voor staging (vereist)
Een Google Cloud Storage-bucket is vereist voor het exporteren van BigQuery-tabelgegevens voor fasering.
Opties voor het maken van buckets
Gebruik één van de volgende methoden:
Optie 1: Automatisch aanmaken van bucket toestaan
Geef de volgende machtiging:
storage.buckets.create
Optie 2: De staging bucket handmatig aanmaken
Maak een bucket met de volgende naamconventie: <your_project_id_in_lowercase>_fabric_staging_bucket
Vereisten voor buckets
- De bucket moet zich in dezelfde locatie/regio bevinden als de BigQuery-gegevensset.
- Het mirroringsysteem detecteert automatisch de bucket zodra deze bestaat.
Gegevenssets vermelden (vereist)
Vereiste toestemmingen
bigquery.datasets.get
Projecten vermelden (vereist)
Vereiste toestemmingen
resourcemanager.projects.get
Vereisten voor rollen en toegang
De rollen BigQuery-beheerder en Opslagbeheerder bevatten doorgaans de bovenstaande machtigingen.
Aan de gebruiker moet ten minste één rol worden toegewezen die toegang verleent tot het BigQuery-doelproject en de doelgegevenssets.
Netwerk- en gatewayvereisten
Controleer de netwerkvereisten voor toegang tot uw BigQuery-gegevensbron.
Als u Mirroring gebruikt voor Google BigQuery met de on-premises Gegevensgateway (OPDG), moet u het volgende toepassen:
- OPDG versie 3000.286.6 of hoger
Aanvullende notities
Mogelijk zijn er meer machtigingen vereist, afhankelijk van uw use-case. De hierboven vermelde machtigingen vertegenwoordigen de minimale vereiste voor:
- Werken met wijzigingsgeschiedenis
- Tabellen van verschillende grootten verwerken, inclusief tabellen die groter zijn dan 10 GB
Zelfs als u momenteel niet met tabellen werkt die groter zijn dan 10 GB, wordt het aanbevolen om alle minimale machtigingen in te schakelen om te zorgen voor een geslaagde spiegeling.
Voor meer informatie, zie:
- Vereiste bevoegdheden voor streaminggegevens
- Vereiste machtigingen voor toegang tot wijzigingsgeschiedenis
- Vereiste machtigingen voor het schrijven van queryresultaten
Belangrijk
Elke gedetailleerde beveiliging die is gedefinieerd in het BigQuery-bronwarehouse, moet opnieuw worden geconfigureerd in de gespiegelde database in Microsoft Fabric. Zie gedetailleerde SQL-machtigingen in Microsoft Fabric voor meer informatie.
Een gespiegelde database maken
In deze sectie maakt u een nieuwe gespiegelde database op basis van uw gespiegelde BigQuery-gegevensbron.
U kunt een bestaande werkruimte (niet Mijn werkruimte) gebruiken of een nieuwe werkruimte maken.
- Navigeer vanuit uw werkruimte naar de hub Maken .
- Nadat u de werkruimte hebt geselecteerd die u wilt gebruiken, selecteert u Maken.
- Selecteer de kaart Mirrored Google BigQuery.
- Voer de naam in voor de nieuwe database.
- Klik op Creëren.
Verbinding maken met uw BigQuery-exemplaar in elke cloud
Opmerking
Mogelijk moet u de cloudfirewall wijzigen zodat spiegeling verbinding kan maken met het BigQuery-exemplaar. Ondersteuning wordt geboden voor Mirroring van Google BigQuery bij OPDG versie 3000.286.6 of hoger. We ondersteunen ook VNET.
Selecteer BigQuery onder Nieuwe verbinding of selecteer een bestaande verbinding.
Als u Nieuwe verbinding hebt geselecteerd, voert u de verbindingsgegevens in voor de BigQuery-database.
Verbindingsinstelling Description E-mailadres van serviceaccount Als u een bestaand serviceaccount hebt: u kunt uw e-mailadres van uw serviceaccount en uw bestaande sleutel vinden door naar Serviceaccounts te gaan in uw Google BigQuery-console. Als u geen vooraf bestaande serviceaccount hebt: Ga naar 'Serviceaccounts' in uw Google BigQuery-console en selecteer Serviceaccount maken. Voer een serviceaccountnaam in (er wordt automatisch een serviceaccount-id gegenereerd op basis van de naam van uw ingevoerde serviceaccount) en een beschrijving van het serviceaccount. Kies Gereed. Kopieer en plak het e-mailadres van het serviceaccount in de sectie met toegewezen verbindingsreferenties in Fabric. Inhoud van JSON-sleutelbestand voor serviceaccount Selecteer in het dashboard Serviceaccounts acties voor uw zojuist gemaakte serviceaccount. Selecteer Sleutels beheren. Als u al een sleutel voor uw serviceaccount hebt, downloadt u de inhoud van het JSON-sleutelbestand.
Als u nog geen sleutel voor uw serviceaccount hebt, selecteert u Sleutel toevoegen en Nieuwe sleutel maken. Selecteer vervolgens JSON. Het JSON-sleutelbestand moet automatisch worden gedownload. Kopieer en plak de JSON-sleutel in de sectie referenties voor aangewezen verbindingen in de Fabric-portal.Verbinding Maak een nieuwe verbinding. Verbindingsnaam Moet automatisch worden ingevuld. Wijzig deze in een naam die u wilt gebruiken. Selecteer de database in de vervolgkeuzelijst.
Spiegelingsproces starten
Met het scherm Spiegeling configureren kunt u standaard alle gegevens in de database spiegelen.
Alle gegevens spiegelen betekent dat alle nieuwe tabellen die zijn gemaakt nadat spiegeling is gestart, worden gespiegeld.
Kies desgewenst alleen bepaalde objecten die u wilt spiegelen. Schakel de optie Alle gegevens spiegelen uit en selecteer vervolgens afzonderlijke tabellen in uw database.
Voor dit voorbeeld gebruiken we de optie Alle gegevens spiegelen .
Selecteer Mirror-database. Spiegeling begint.
Wacht 2-5 minuten. Vervolgens selecteer Replicatie controleren om de status te zien.
Na een paar minuten wordt de status gewijzigd in Actief, wat betekent dat de tabellen worden gesynchroniseerd.
Als u de tabellen en de bijbehorende replicatiestatus niet ziet, wacht u een paar seconden en vernieuwt u het deelvenster.
Wanneer ze klaar zijn met het kopiëren van de tabellen, wordt er een datum weergegeven in de kolom Laatste vernieuwing .
Nu uw gegevens operationeel zijn, zijn er verschillende analysescenario's beschikbaar over het gehele Fabric.
Belangrijk
- Spiegeling voor Google BigQuery heeft een vertraging van ongeveer 15 minuten in de weerspiegeling van wijzigingen. Dit is een beperking van de wijzigingsgeschiedenismogelijkheden van Google BigQuery.
- Elke gedetailleerde beveiliging die is ingesteld in de brondatabase, moet opnieuw worden geconfigureerd in de gespiegelde database in Microsoft Fabric.
Fabric-spiegeling bewaken
Zodra spiegeling is geconfigureerd, wordt u omgeleid naar de pagina Status van spiegeling . Hier kunt u de huidige replicatiestatus bewaken.
Zie Monitor Fabric-gespiegelde databasereplicatie voor meer informatie en details over de replicatiestatussen.
Belangrijk
Als er geen updates zijn in de brontabellen in uw BigQuery-database, vertraagt de replicator-engine (de motor die de wijzigingsgegevens voor BigQuery Mirroring beheert) en worden tabellen slechts elk uur gerepliceerd. Wees niet verbaasd als gegevens na de eerste belasting langer duren dan verwacht, met name als u geen nieuwe updates in uw brontabellen hebt. Na de momentopname wacht de mirror-engine 15 minuten voordat wijzigingen worden opgehaald; dit wordt veroorzaakt door een beperking van Google BigQuery waarbij een vertraging van 10 minuten wordt doorgevoerd in het weergeven van nieuwe wijzigingen. Meer informatie over de vertraging van wijzigingen van BigQuery