Návod: Nastavenie zrkadlenia pre Google BigQuery (ukážka)

V tomto tutoriáli si nakonfigurujete zrkadlovú databázu Fabric z Google BigQuery.

Poznámka

Hoci je tento príklad špecifický pre BigQuery, nájdete podrobné kroky na konfiguráciu zrkadlenia pre iné zdroje dát, ako sú Azure SQL Database alebo Azure Cosmos DB. Pre viac informácií pozri Čo je zrkadlenie v Fabric?

Predpoklady

  • Vytvorte alebo použite existujúci sklad BigQuery. Môžete sa pripojiť k akejkoľvek verzii inštancie BigQuery v akomkoľvek cloude, vrátane Microsoft Azure.
  • Potrebujete existujúcu kapacitu Fabric. Ak nie, spustite Fabric trial.

Požiadavky na povolenia

Potrebujete povolenia používateľa pre databázu BigQuery, ktorá obsahuje nasledujúce povolenia:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Obnovenie metadát tabuľky a konfigurácie histórie zmien (Povinné)

Roly BigQueryAdmin a StorageAdmin by mali obsahovať tieto povolenia. Na zistenie, či je história zmien povolená, a na získanie informácií o primárnom alebo zloženom kľúči sú potrebné nasledujúce oprávnenia.

Používateľ musí mať priradenú aspoň jednu rolu, ktorá umožňuje prístup k inštancii nástroja BigQuery. Ak chcete získať prístup k zdroju údajov BigQuery, skontrolujte požiadavky na sieť. Ak používate zrkadlenie pre Google BigQuery pre lokálnu bránu údajov (OPDG), musíte mať OPDG verzie 3000.286.6 alebo novšej, aby ste povolili úspešné zrkadlenie.

Požadované povolenia

Na manuálne nastavenie bucketov (a bez nutnosti udeliť oprávnenie storage.buckets.create ) môžete použiť:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Prejdite do Cloud Storage vo vašom Google Console a vyberte Buckets.
  2. Vyberte Create a pomenujte bucket v tomto formáte (podľa veľkosti): <projectid>_fabric_staging_bucket
  3. Uistite sa, že poloha/región bucketu je rovnaký ako v GCP Project, ktorý plánujete zrkadliť.
  4. Vyberte položku Vytvoriť. Systém zrkadlenia automaticky detekuje vedro.

V závislosti od prípadu použitia môžu byť potrebné ďalšie povolenia. Minimálne požadované povolenia sú na prácu s históriou zmien a spracovanie rôznych veľkostí tabuliek (tabuľky väčšie ako 10GB). Aj keď nepracujete s tabuľkami väčšími ako 10 GB, povoľte všetky tieto minimálne povolenia, aby ste umožnili úspešné používanie zrkadlenia.

Získanie histórie zmien a dát z tabuliek (povinné)

Ďalšie informácie o povoleniach nájdete v dokumentácii služby Google BigQuery o povinných oprávneniach pre streamované údaje, požadovaných povoleniach pre prístup k histórii zmien a požadovaných povoleniach na zápis výsledkov dopytu

Na čítanie histórie zmien a údajov o tabuľkách sú potrebné nasledujúce povolenia.

Dôležité

Akákoľvek detailná bezpečnosť vytvorená v zdrojovom BigQuery sklade musí byť prekonfigurovaná v zrkadlovej databáze v Microsoft Fabric. Pre viac informácií pozri SQL granulárne oprávnenia v Microsoft Fabric.

Požadované povolenia

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Umožnenie schopností histórie zmien (povinné)

História zmien musí byť povolená v zdrojových tabuľkách BigQuery pomocou jednej z nasledujúcich možností.

Možnosť 1: Povoliť povolenie

  • bigquery.tables.update

Umožňuje povoliť históriu zmien v tabuľkách.

Možnosť 2: Povoliť možnosť tabuľky v GCP

Uistite sa, že nasledujúca možnosť tabuľky je nastavená na:TRUE

  • enable_change_history

Exportovať dáta do Google Cloud Storage na staging a kopírovať do OneLake (povinné)

Na export dát BigQuery do Google Cloud Storage na staging a ich skopírovanie do OneLake sú potrebné nasledujúce povolenia.

Požadované povolenia

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Google Cloud Storage Bucket pre staging (povinné)

Na export dát tabuľky BigQuery pre staging je potrebný Google Cloud Storage bucket.

Možnosti vytvárania vedra

Použite jeden z nasledujúcich prístupov:

Možnosť 1: Povoliť automatické vytváranie vedier

Udeľte nasledujúce povolenie:

  • storage.buckets.create

Možnosť 2: Manuálne vytvoriť staging bucket

Vytvorte vedro s nasledujúcou konvenciou pomenovania: <your_project_id_in_lowercase>_fabric_staging_bucket

Požiadavky na vedro

  • Bucket musí byť na rovnakom mieste/regióne ako dataset BigQuery.
  • Systém zrkadlenia automaticky detekuje vedro, keď už existuje.

Zoznamové dátové súbory (povinné)

Požadované povolenia

  • bigquery.datasets.get

Zoznam projektov (povinné)

Požadované povolenia

  • resourcemanager.projects.get

Požiadavky na rolu a prístup

Úlohy BigQuery Admin a Storage Admin zvyčajne zahŕňajú vyššie uvedené povolenia.

Používateľovi musí byť priradená aspoň jedna rola, ktorá umožňuje prístup k cieľovému projektu a datasetom BigQuery.

Požiadavky na sieťovanie a brány

Ak chcete získať prístup k zdroju údajov BigQuery, skontrolujte požiadavky na sieť.

Ak používate zrkadlenie pre Google BigQuery s on-premises Data Gateway (OPDG), musíte použiť:

  • OPDG verzia 3000.286.6 alebo novšia

Doplnkové poznámky

V závislosti od vášho použitia môžu byť potrebné ďalšie povolenia. Povolenia uvedené vyššie predstavujú minimum požadované pre:

  • Práca s históriou zmien
  • Spracovanie tabuliek rôznych veľkostí, vrátane tabuliek väčších ako 10 GB

Aj keď momentálne nepracujete s tabuľkami väčšími ako 10 GB, odporúča sa zapnúť všetky minimálne oprávnenia pre úspešné zrkadlenie.

Ďalšie informácie nájdete v časti:

Dôležité

Každá detailná bezpečnosť definovaná v zdrojovom BigQuery sklade musí byť prekonfigurovaná v zrkadlovej databáze v Microsoft Fabric. Pre viac informácií pozri SQL granulárne oprávnenia v Microsoft Fabric.

Vytvorenie zrkadlenej databázy

V tejto sekcii vytvoríte novú zrkadlenú databázu zo zrkadleného zdroja údajov nástroja BigQuery.

Môžete použiť existujúci pracovný priestor (nie Môj pracovný priestor) alebo vytvoriť nový pracovný priestor.

  1. Z pracovného priestoru prejdite do centra Vytvorenie .
  2. Po výbere pracovného priestoru, ktorý chcete použiť, vyberte položku Vytvoriť.
  3. Vyberte kartu Zrkadlený Google BigQuery .
  4. Zadajte názov novej databázy.
  5. Vyberte položku Vytvoriť.

Pripojte sa k inštancii BigQuery v ľubovoľnom cloude

Poznámka

Možno budete musieť zmeniť cloudovú bránu firewall, aby sa zrkadlenie mohlo pripojiť k inštancii nástroja BigQuery. Podporujeme zrkadlenie pre Google BigQuery pre OPDG verzie 3000.286.6 alebo novšej. Podporujeme tiež VNET.

  1. V časti Nové pripojenie vyberte položku BigQuery alebo vyberte existujúce pripojenie.

  2. Ak ste vybrali možnosť Nové pripojenie, zadajte podrobnosti o pripojení do databázy BigQuery.

    Nastavenie pripojenia Description
    E-mail účtu služby Ak máte už existujúci účet služby: e-mailovú adresu účtu služby a existujúci kľúč nájdete v sekcii Účty služby v konzole Google BigQuery. Ak už nemáte existujúci účet služby: v konzole Google BigQuery prejdite do sekcie Účty služieb a vyberte Vytvoriť účet služby. Zadajte názov konta služby (ID konta služby sa automaticky vygeneruje na základe zadaného názvu konta služby) a popis konta služby. Vyberte položku Hotovo. Skopírujte a vložte e-mail servisného účtu do sekcie určených prihlasovacích údajov v Fabric.
    Obsah súboru kľúča JSON konta služby Na tabuli Kontá služieb vyberte položku Akcie pre novovytvorené konto služby. Vyberte položku Spravovať kľúče. Ak už máte kľúč pre svoje konto služby, stiahnite si obsah jeho súboru s kľúčom JSON.

    Ak ešte nemáte kľúč pre svoje konto služby, vyberte Pridať kľúč a Vytvoriť nový kľúč. Potom vyberte JSON. Súbor kľúča JSON by sa mal automaticky stiahnuť. Skopírujte a vložte JSON kľúč do sekcie určených prihlasovacích údajov na pripojenia v portáli Fabric.
    Pripojenie Vytvorte nové pripojenie.
    Názov pripojenia Malo by sa vyplniť automaticky. Zmeňte ho na názov, ktorý chcete použiť.

  3. Vyberte databázu z rozbaľovacieho zoznamu.

Spustenie procesu zrkadlenia

  1. Obrazovka Configure mirroring (Konfigurovať zrkadlenie ) umožňuje v predvolenom nastavení zrkadliť všetky údaje v databáze.

    • Zrkadlenie všetkých údajov znamená, že všetky nové tabuľky vytvorené po spustení zrkadlením sa zrkadlia.

    • Voliteľne môžete zvoliť len určité objekty, ktoré sa majú zrkadliť. Zakážte možnosť Zrkadlenie všetkých údajov a potom v databáze vyberte jednotlivé tabuľky.

    V tomto príklade používame možnosť Zrkadliť všetky údaje .

  2. Vyberte databázu Mirror. Zrkadlenie začína.

  3. Počkajte 2 až 5 minút. Potom vyberte položku Monitorovať replikáciu a zobrazí sa stav.

  4. Po niekoľkých minútach by sa mal stav zmeniť na Spustený, čo znamená, že tabuľky sa synchronizujú.

    Ak sa tabuľky a zodpovedajúci stav replikácie nezobrazujú, počkajte niekoľko sekúnd a potom obnovte panel.

  5. Keď dokončí počiatočnú kópiu tabuliek, dátum sa zobrazí v stĺpci Posledné obnovenie .

  6. Teraz, keď sú vaše dáta funkčné, sú k dispozícii rôzne analytické scenáre naprieč celým Fabric.

Dôležité

  • Akákoľvek detailná bezpečnosť vytvorená v zdrojovej databáze musí byť prekonfigurovaná v zrkadlovej databáze v Microsoft Fabric.

Zrkadlenie Monitor Fabric

Po nakonfigurovaní zrkadlenia budete presmerovaní na stránku Stav zrkadlenia. Tu môžete monitorovať aktuálny stav replikácie.

Pre viac informácií a podrobnosti o stavoch replikácie pozri Monitor Fabric zrkadlovú replikáciu databázy.

Dôležité

Ak v zdrojových tabuľkách v databáze BigQuery nie sú žiadne aktualizácie, replikátor (nástroj, ktorý poháňa údaje o zmenách pre zrkadlenie nástroja BigQuery) sa spomalí a tabuľky bude replikovať iba každú hodinu. Nebuďte prekvapení, ak údaje po počiatočnom načítaní trvajú dlhšie, ako sa očakávalo, najmä ak v zdrojových tabuľkách nemáte žiadne nové aktualizácie. Po snímke Mirror Engine počká ~15 minút, kým načíta zmeny; je to spôsobené obmedzením zo strany Google BigQuery, v ktorom uzákoní 10-minútové oneskorenie pri odrážaní akýchkoľvek nových zmien. Ďalšie informácie o oneskorení odrazu zmeny v nástroji BigQuery

Súvisiaci obsah

  • Last updated on