Návod: Nastavenie zrkadlenia pre Google BigQuery (ukážka)

V tomto kurze nakonfigurujete zrkadlenú databázu Fabric z Google BigQuery.

Poznámka

Aj keď je tento príklad špecifický pre BigQuery, nájdete podrobné kroky na konfiguráciu zrkadlenia pre iné zdroje údajov, ako je Azure SQL Database alebo Azure Cosmos DB. Ďalšie informácie nájdete v téme Čo sa odráža v službe Fabric?

Predpoklady

• Vytvorte alebo použite existujúci sklad BigQuery. K ľubovoľnej verzii inštancie nástroja BigQuery sa môžete pripojiť v ľubovoľnom cloude vrátane služby Microsoft Azure.
• Potrebujete existujúcu kapacitu služby Fabric. Ak nie, spustite skúšobnú verziu služby Fabric.

Požiadavky na povolenia

Potrebujete povolenia používateľa pre databázu BigQuery, ktorá obsahuje nasledujúce povolenia:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

Roly BigQueryAdmin a StorageAdmin by mali obsahovať tieto povolenia.

Používateľ musí mať priradenú aspoň jednu rolu, ktorá umožňuje prístup k inštancii nástroja BigQuery. Ak chcete získať prístup k zdroju údajov BigQuery, skontrolujte požiadavky na sieť. Ak používate zrkadlenie pre Google BigQuery pre lokálnu bránu údajov (OPDG), musíte mať OPDG verzie 3000.286.6 alebo novšej, aby ste povolili úspešné zrkadlenie.

Na manuálne vytvorenie bucketov (a bez nutnosti udeliť povolenie storage.buckets.create ) môžete:

1. Prejdite do Cloud Storage vo vašom Google Console a vyberte buckety.
2. Vyberte Create a pomenujte bucket v tomto formáte (rozlišujúce veľké písmená): <projectid>_fabric_staging_bucket
3. Uistite sa, že poloha/región bucketu je rovnaký ako v GCP projekte, ktorý plánujete zrkadliť.
4. Vyberte položku Vytvoriť. Systém zrkadlenia automaticky detekuje vedro.

V závislosti od prípadu použitia môžu byť potrebné ďalšie povolenia. Minimálne požadované povolenia sú na prácu s históriou zmien a spracovanie rôznych veľkostí tabuliek (tabuľky väčšie ako 10GB). Aj keď nepracujete s tabuľkami väčšími ako 10 GB, povoľte všetky tieto minimálne povolenia, aby ste umožnili úspešné používanie zrkadlenia.

Ďalšie informácie o povoleniach nájdete v dokumentácii služby Google BigQuery o povinných oprávneniach pre streamované údaje, požadovaných povoleniach pre prístup k histórii zmien a požadovaných povoleniach na zápis výsledkov dopytu

Dôležité

Akékoľvek podrobné zabezpečenie vytvorené v zdrojovom sklade BigQuery sa musí prekonfigurovať v zrkadlenej databáze v službe Microsoft Fabric. Ďalšie informácie nájdete v téme Podrobné povolenia SQL v službe Microsoft Fabric.

Vytvorenie zrkadlenej databázy

V tejto sekcii vytvoríte novú zrkadlenú databázu zo zrkadleného zdroja údajov nástroja BigQuery.

Môžete použiť existujúci pracovný priestor (nie Môj pracovný priestor) alebo vytvoriť nový pracovný priestor.

1. Z pracovného priestoru prejdite do centra Vytvorenie .
2. Po výbere pracovného priestoru, ktorý chcete použiť, vyberte položku Vytvoriť.
3. Vyberte kartu Zrkadlený Google BigQuery .
4. Zadajte názov novej databázy.
5. Vyberte položku Vytvoriť.

Pripojte sa k inštancii BigQuery v ľubovoľnom cloude

Poznámka

Možno budete musieť zmeniť cloudovú bránu firewall, aby sa zrkadlenie mohlo pripojiť k inštancii nástroja BigQuery. Podporujeme zrkadlenie pre Google BigQuery pre OPDG verzie 3000.286.6 alebo novšej. Podporujeme tiež VNET.

1. V časti Nové pripojenie vyberte položku BigQuery alebo vyberte existujúce pripojenie.

2. Ak ste vybrali možnosť Nové pripojenie, zadajte podrobnosti o pripojení do databázy BigQuery.

   Nastavenie pripojenia	Description
   E-mail účtu služby	Ak máte už existujúci účet služby: e-mailovú adresu účtu služby a existujúci kľúč nájdete v sekcii Účty služby v konzole Google BigQuery. Ak už nemáte existujúci účet služby: v konzole Google BigQuery prejdite do sekcie Účty služieb a vyberte Vytvoriť účet služby. Zadajte názov konta služby (ID konta služby sa automaticky vygeneruje na základe zadaného názvu konta služby) a popis konta služby. Vyberte položku Hotovo. Skopírujte a prilepte e-mail konta služby do sekcie poverení určených pripojení v službe Fabric.
   Obsah súboru kľúča JSON konta služby	Na tabuli Kontá služieb vyberte položku Akcie pre novovytvorené konto služby. Vyberte položku Spravovať kľúče. Ak už máte kľúč pre svoje konto služby, stiahnite si obsah jeho súboru s kľúčom JSON. Ak ešte nemáte kľúč pre svoje konto služby, vyberte Pridať kľúč a Vytvoriť nový kľúč. Potom vyberte JSON. Súbor kľúča JSON by sa mal automaticky stiahnuť. Skopírujte a prilepte kľúč JSON do sekcie poverení určených pripojení na portáli Fabric.
   Pripojenie	Vytvorte nové pripojenie.
   Názov pripojenia	Malo by sa vyplniť automaticky. Zmeňte ho na názov, ktorý chcete použiť.

3. Vyberte databázu z rozbaľovacieho zoznamu.

Spustenie procesu zrkadlenia

1. Obrazovka Configure mirroring (Konfigurovať zrkadlenie ) umožňuje v predvolenom nastavení zrkadliť všetky údaje v databáze.

   • Zrkadlenie všetkých údajov znamená, že všetky nové tabuľky vytvorené po spustení zrkadlením sa zrkadlia.

   • Voliteľne môžete zvoliť len určité objekty, ktoré sa majú zrkadliť. Zakážte možnosť Zrkadlenie všetkých údajov a potom v databáze vyberte jednotlivé tabuľky.

   V tomto príklade používame možnosť Zrkadliť všetky údaje .

2. Vyberte databázu Mirror. Zrkadlenie začína.

3. Počkajte 2 až 5 minút. Potom vyberte položku Monitorovať replikáciu a zobrazí sa stav.

4. Po niekoľkých minútach by sa mal stav zmeniť na Spustený, čo znamená, že tabuľky sa synchronizujú.

   Ak sa tabuľky a zodpovedajúci stav replikácie nezobrazujú, počkajte niekoľko sekúnd a potom obnovte panel.

5. Keď dokončí počiatočnú kópiu tabuliek, dátum sa zobrazí v stĺpci Posledné obnovenie .

6. Po spustení údajov máte k dispozícii rôzne scenáre analýzy v rámci celej služby Fabric.

Dôležité

• Zrkadlenie pre Google BigQuery má ~15-minútové oneskorenie pri odraze zmien. Toto je obmedzenie oproti možnostiam histórie zmien Google BigQuery.
• Všetky podrobné zabezpečenie stanovené v zdrojovej databáze sa musí znova nakonfigurovať v zrkadlovej databáze služby Microsoft Fabric.

Zrkadlenie tkaniny monitora

Po nakonfigurovaní zrkadlenia budete presmerovaní na stránku Stav zrkadlenia. Tu môžete monitorovať aktuálny stav replikácie.

Ďalšie informácie a podrobnosti o stavoch replikácie nájdete v časti Replikácia databázy zrkadlovej databázy monitoru.

Dôležité

Ak v zdrojových tabuľkách v databáze BigQuery nie sú žiadne aktualizácie, replikátor (nástroj, ktorý poháňa údaje o zmenách pre zrkadlenie nástroja BigQuery) sa spomalí a tabuľky bude replikovať iba každú hodinu. Nebuďte prekvapení, ak údaje po počiatočnom načítaní trvajú dlhšie, ako sa očakávalo, najmä ak v zdrojových tabuľkách nemáte žiadne nové aktualizácie. Po snímke Mirror Engine počká ~15 minút, kým načíta zmeny; je to spôsobené obmedzením zo strany Google BigQuery, v ktorom uzákoní 10-minútové oneskorenie pri odrážaní akýchkoľvek nových zmien. Ďalšie informácie o oneskorení odrazu zmeny v nástroji BigQuery

Súvisiaci obsah

• Prehľad zrkadlenia Google BigQuery
• Čo je zrkadlenie v fabric?