Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
I denna handledning konfigurerar du en Fabric-speglad databas från Google BigQuery.
Anmärkning
Även om det här exemplet är specifikt för BigQuery kan du hitta detaljerade steg för att konfigurera spegling för andra datakällor, till exempel Azure SQL Database eller Azure Cosmos DB. Mer information finns i Vad är spegling i Fabric?
Förutsättningar
- Skapa eller använda ett befintligt BigQuery-lager. Du kan ansluta till valfri version av BigQuery-instansen i alla moln, inklusive Microsoft Azure.
- Du behöver en befintlig Fabric-kapacitet. Om du inte gör det, starta en Fabric-prenumeration.
Behörighet som krävs
Du behöver användarbehörigheter för din BigQuery-databas som innehåller följande behörigheter:
bigquery.datasets.createbigquery.tables.listbigquery.tables.createbigquery.tables.exportbigquery.tables.getbigquery.tables.getDatabigquery.tables.updateDatabigquery.routines.getbigquery.routines.listbigquery.jobs.createstorage.buckets.createstorage.buckets.liststorage.objects.createstorage.objects.deletestorage.objects.listiam.serviceAccounts.signBlob
Hämta tabellmetadata och ändringshistorikkonfiguration (krävs)
Rollerna BigQueryAdmin och StorageAdmin bör innehålla dessa behörigheter. Följande behörigheter krävs för att avgöra om ändringshistorik är aktiverat och för att hämta primärnyckel eller sammansatt nyckelinformation.
Användaren måste ha minst en tilldelad roll som ger åtkomst till BigQuery-instansen. Kontrollera nätverkskraven för att få åtkomst till din BigQuery-datakälla. Om du använder spegling för Google BigQuery för lokal datagateway (OPDG) måste du ha OPDG version 3000.286.6 eller senare för att kunna aktivera lyckad spegling.
Nödvändiga behörigheter
Om du vill upprätta bucketar manuellt (och avstå från att bevilja behörigheten storage.buckets.create ) kan du använda:
bigquery.tables.getbigquery.tables.listbigquery.routines.getbigquery.routines.list
- Gå till Molnlagring i Google-konsolen och välj Buckets.
- Välj Skapa och namnge bucketen i det här formatet (skiftlägeskänsligt):
<projectid>_fabric_staging_bucket - Kontrollera att bucketens plats/region är samma som det GCP-projekt som du planerar att spegla.
- Välj Skapa. Speglingssystemet identifierar automatiskt bucketen.
Fler behörigheter kan krävas beroende på ditt användningsfall. Den minsta behörighet som krävs är för att arbeta med ändringshistorik och hantera tabeller med olika storlekar (tabeller som är större än 10 GB). Även om du inte arbetar med tabeller som är större än 10 GB aktiverar du alla dessa minimibehörigheter för att göra speglingsanvändningen framgångsrik.
Hämta ändringshistorik och tabelldata (krävs)
Mer information om behörigheter finns i Google BigQuery-dokumentationen om nödvändiga privilegier för strömmande data, nödvändiga behörigheter för åtkomst till ändringshistorik och Nödvändiga behörigheter för att skriva frågeresultat
Följande behörigheter krävs för att läsa ändringshistorik och tabelldata.
Viktigt!
All detaljerad säkerhet som upprättas i bigquery-källlagret måste konfigureras om i den speglade databasen i Microsoft Fabric. Mer information finns i SQL-detaljerade behörigheter i Microsoft Fabric.
Nödvändiga behörigheter
bigquery.tables.getDatabigquery.jobs.createbigquery.jobs.getbigquery.jobs.listbigquery.readsessions.createbigquery.readsessions.getData
Aktivera funktioner för ändringshistorik (krävs)
Ändringshistorik måste aktiveras på BigQuery-källtabellerna med något av följande alternativ.
Alternativ 1: Aktivera behörighet
bigquery.tables.update
Tillåter aktivering av ändringshistorik för tabeller.
Alternativ 2: Aktivera tabellalternativ i GCP
Kontrollera att följande tabellalternativ är inställt på TRUE:
enable_change_history
Exportera data till Google Cloud Storage för mellanlagring och kopiera till OneLake (krävs)
Följande behörigheter krävs för att exportera BigQuery-data till Google Cloud Storage för mellanlagring och kopiera dem till OneLake.
Nödvändiga behörigheter
bigquery.tables.exportstorage.objects.createstorage.objects.liststorage.buckets.getiam.serviceAccounts.signBlob
Google Cloud Storage Bucket for Staging (krävs)
En Google Cloud Storage-bucket krävs för att exportera BigQuery-tabelldata för mellanlagring.
Alternativ för att skapa bucketar
Använd en av följande metoder:
Alternativ 1: Tillåt automatisk skapande av bucket
Bevilja följande behörighet:
storage.buckets.create
Alternativ 2: Skapa mellanlagrings bucketen manuellt
Skapa en bucket med följande namngivningskonvention: <your_project_id_in_lowercase>_fabric_staging_bucket
Bucketkrav
- Bucketen måste finnas på samma plats/region som BigQuery-datauppsättningen.
- Speglingssystemet identifierar automatiskt bucketen när den finns.
Lista datauppsättningar (krävs)
Nödvändiga behörigheter
bigquery.datasets.get
Lista projekt (krävs)
Nödvändiga behörigheter
resourcemanager.projects.get
Krav för roll och åtkomst
Rollerna BigQuery Admin och Storage Admin innehåller vanligtvis de behörigheter som anges ovan.
Användaren måste tilldelas minst en roll som ger åtkomst till bigquery-målprojektet och datauppsättningarna.
Nätverks- och gatewaykrav
Kontrollera nätverkskraven för att få åtkomst till din BigQuery-datakälla.
Om du använder spegling för Google BigQuery med den lokala datagatewayen (OPDG) måste du använda:
- OPDG version 3000.286.6 eller senare
Ytterligare anteckningar
Fler behörigheter kan krävas beroende på ditt användningsfall. De behörigheter som anges ovan representerar det minsta som krävs för:
- Arbeta med ändringshistorik
- Hantera tabeller i olika storlekar, inklusive tabeller som är större än 10 GB
Även om du för närvarande inte arbetar med tabeller som är större än 10 GB rekommenderar vi att du aktiverar alla minsta behörigheter för att säkerställa lyckad spegling.
Mer information finns i:
- Nödvändiga privilegier för strömmande data
- Behörigheter som krävs för åtkomst till ändringshistorik
- Nödvändiga behörigheter för att skriva frågeresultat
Viktigt!
All detaljerad säkerhet som definieras i BigQuery-källlagret måste konfigureras om i den speglade databasen i Microsoft Fabric. Mer information finns i SQL-detaljerade behörigheter i Microsoft Fabric.
Skapa en speglad databas
I det här avsnittet skapar du en ny speglad databas från din speglade BigQuery-datakälla.
Du kan använda en befintlig arbetsyta (inte Min arbetsyta) eller skapa en ny arbetsyta.
- Från din arbetsyta går du till Skapa nav.
- När du har valt den arbetsyta som du vill använda väljer du Skapa.
- Välj kortet Speglad Google BigQuery.
- Ange namnet på den nya databasen.
- Välj Skapa.
Ansluta till din BigQuery-instans i alla moln
Anmärkning
Du kan behöva ändra moln-brandväggen så att anslutning för spegling kan göras till BigQuery-instansen. Vi stöder spegling för Google BigQuery för OPDG version 3000.286.6 eller senare. Vi stöder även VNET.
Välj BigQuery under Ny anslutning eller välj en befintlig anslutning.
Om du har valt Ny anslutning anger du anslutningsinformationen till BigQuery-databasen.
Anslutningsinställning Description E-post för tjänstkonto Om du har ett befintligt tjänstkonto: Du hittar din e-postadress för tjänstkontot och din befintliga nyckel genom att gå till Tjänstkonton i Google BigQuery-konsolen. Om du inte har något befintligt tjänstkonto: Gå till "Tjänstkonton" i Google BigQuery-konsolen och välj Skapa tjänstkonto. Ange ett tjänstkontonamn (ett tjänstkonto-ID genereras automatiskt baserat på ditt inmatade tjänstkontonamn) och en beskrivning av tjänstkontot. Välj Färdig. Kopiera och klistra in tjänstekontots e-postadress i sektionen för autentiseringsuppgifter för anslutningar i Fabric. JSON-nyckelfilinnehåll för tjänstkonto På instrumentpanelen För tjänstkonton väljer du Åtgärder för ditt nyligen skapade tjänstkonto. Välj Hantera nycklar. Om du redan har en nyckel per tjänstkonto laddar du ned dess JSON-nyckelfilinnehåll.
Om du inte redan har en nyckel per tjänstkonto väljer du Lägg till nyckel och Skapa ny nyckel. Välj sedan JSON. JSON-nyckelfilen bör laddas ned automatiskt. Kopiera och klistra in JSON-nyckeln i avsnittet med avsedda autentiseringsuppgifter för anslutningar i Infrastrukturportalen.Anslutning Skapa ny anslutning. Anslutningens namn Ska fyllas i automatiskt. Ändra det till ett namn som du vill använda. Välj databas i listrutan.
Starta speglingsprocessen
På skärmen Konfigurera spegling kan du som standard spegla alla data i databasen.
Spegla alla data innebär att alla nya tabeller som skapas när speglingen har startats speglas.
Du kan också välja endast vissa objekt som ska speglas. Inaktivera alternativet Spegla alla data och välj sedan enskilda tabeller från databasen.
I det här exemplet använder vi alternativet Spegla alla data .
Välj Speglingsdatabas. Speglingsprocessen börjar.
Vänta i 2–5 minuter. Välj sedan Övervaka replikering för att se statusen.
Efter några minuter bör statusen ändras till Körs, vilket innebär att tabellerna synkroniseras.
Om du inte ser tabellerna och motsvarande replikeringsstatus väntar du några sekunder och uppdaterar sedan panelen.
När de har slutfört den första kopieringen av tabellerna visas ett datum i kolumnen Senaste uppdatering .
Nu när dina data är aktiverade finns det flera analysscenarier tillgängliga i hela Fabric.
Viktigt!
- Spegling för Google BigQuery har en fördröjning på ~15 minuter i ändringsreflektion. Det här är en begränsning från Google BigQuerys funktioner för ändringshistorik.
- All detaljerad säkerhet som upprättas i källdatabasen måste konfigureras om i den speglade databasen i Microsoft Fabric.
Övervaka nätverksstrukturspegling
När speglingen har konfigurerats dirigeras du till sidan Speglingsstatus . Här kan du övervaka det aktuella replikeringstillståndet.
Mer information om replikeringstillstånden finns i Övervaka speglad databasreplikering i Monitor Fabric.
Viktigt!
Om det inte finns några uppdateringar i källtabellerna i Din BigQuery-databas, kommer replikatormotorn (motorn som driver ändringsdata för BigQuery Mirroring) att sakta ner och endast replikera tabeller varje timme. Bli inte förvånad om data efter den första inläsningen tar längre tid än förväntat, särskilt om du inte har några nya uppdateringar i källtabellerna. Efter ögonblicksbilden väntar speglingsmotorn i ~15 minuter innan ändringar hämtas. Detta beror på en begränsning från Google BigQuery där det medför en fördröjning på 10 minuter för att återspegla eventuella nya ändringar. Läs mer om BigQuerys fördröjning av ändringsreflektion