Oktatóanyag: Tükrözés beállítása a Google BigQueryhez (előzetes verzió)

Ebben az oktatóanyagban egy Fabric szinkronizált adatbázist fog konfigurálni a Google BigQuery használatával.

Megjegyzés:

Bár ez a példa a BigQueryre vonatkozik, részletes lépéseket talál a tükrözés konfigurálásához más adatforrásokhoz, például Azure SQL Database vagy Azure Cosmos DB. További információért lásd: Mi a Fabric tükrözése?

Előfeltételek

  • Hozzon létre vagy használjon egy meglévő BigQuery-raktárat. A BigQuery-példányok bármely verziójához csatlakozhat bármely felhőben, beleértve a Microsoft Azure is.
  • Meglévő Fabric-kapacitásra van szüksége. Ha nem, indítson egy Fabric próbaverziót.

Engedélykövetelmények

Felhasználói engedélyekre van szüksége a BigQuery-adatbázishoz, amely a következő engedélyeket tartalmazza:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Tábla metaadatainak és változáselőzményeinek konfigurációjának lekérése (kötelező)

A BigQueryAdmin és a StorageAdmin szerepkörnek tartalmaznia kell ezeket az engedélyeket. Az alábbi engedélyek szükségesek annak megállapításához, hogy engedélyezve van-e a változási előzmények, és hogy lekérhetők-e az elsődleges kulcsra vagy az összetett kulcsra vonatkozó információk.

A felhasználónak rendelkeznie kell legalább egy szerepkörrel, amely lehetővé teszi a BigQuery-példány elérését. Ellenőrizze a hálózati követelményeket a BigQuery-adatforrás eléréséhez. Ha a Helyszíni adatátjáróhoz (OPDG) készült Google BigQuery tükrözést használja, a tükrözés sikeres végrehajtásához az OPDG 3000.286.6-os vagy újabb verziójával kell rendelkeznie.

Szükséges engedélyek

A gyűjtők manuális létrehozásához (és a storage.buckets.create engedély megadásának mellőzéséhez) a következőt használhatja:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Navigáljon a Cloud Storage-ba a Google-konzolon, és válassza a Gyűjtők lehetőséget.
  2. Válassza a Létrehozás lehetőséget, és nevezze el a következő formátumban (kis- és nagybetűkre érzékeny): <projectid>_fabric_staging_bucket
  3. Győződjön meg arról, hogy a tároló helye vagy régiója megegyezik azzal a GCP Projekttel, amit tükrözni szeretne.
  4. Válassza a Create gombot. A tükrözési rendszer automatikusan észleli a tárolót.

A használati esettől függően további engedélyekre lehet szükség. A minimálisan szükséges engedélyek a változáselőzmények kezeléséhez és a különböző méretű táblák kezeléséhez szükségesek (10 GB-nál nagyobb táblák). Még ha nem is 10 GB-nál nagyobb táblákkal dolgozik, engedélyezze ezeket a minimális engedélyeket a tükrözési használat sikerességéhez.

Változáselőzmények és táblaadatok lekérése (kötelező)

Az engedélyekkel kapcsolatos további információkért tekintse meg a Google BigQuery dokumentációját a streamelési adatokhoz szükséges jogosultságokról, a változáselőzményekhez való hozzáféréshez szükséges engedélyekről és a lekérdezési eredmények írásához szükséges engedélyekről

A változáselőzmények és a táblaadatok olvasásához a következő engedélyek szükségesek.

Fontos

A forrás BigQuery-raktárban létrehozott részletes biztonsági beállításokat újra kell konfigurálni a tükrözött adatbázisban Microsoft Fabric. További információ: SQL részletes engedélyek, a Microsoft Fabric.

Szükséges engedélyek

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Változáselőzmény-képességek engedélyezése (kötelező)

A változási előzményeket engedélyezni kell a forrás BigQuery-táblákon az alábbi lehetőségek egyikével .

1. lehetőség: Engedély engedélyezése

  • bigquery.tables.update

Lehetővé teszi a változáselőzmények engedélyezését a táblákon.

2. lehetőség: Táblabeállítás engedélyezése a GCP-ben

Győződjön meg arról, hogy a következő táblázatbeállítás a következőre TRUEvan állítva:

  • enable_change_history

Adatok exportálása a Google Cloud Storage-ba előkészítéshez és másoláshoz a OneLake-be (kötelező)

Az előkészítéshez és a OneLake-be való másoláshoz a következő engedélyek szükségesek a BigQuery-adatok Google Cloud Storage-ba való exportálásához.

Szükséges engedélyek

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Google Cloud Storage-gyűjtő előkészítéshez (kötelező)

Egy Google Cloud Storage bucketre van szükség a BigQuery tábla adatainak exportálásához a staging folyamat során.

Gyűjtőlétrehozás beállításai

Használja az alábbi módszerek egyikét:

1. lehetőség: Automatikus vödör létrehozásának engedélyezése

Adja meg a következő engedélyt:

  • storage.buckets.create

2. lehetőség: A staging bucket kézi létrehozása

Hozz létre egy vödröt a következő elnevezési konvencióval: <your_project_id_in_lowercase>_fabric_staging_bucket

Tárolóegységekre vonatkozó követelmények

  • A gyűjtőnek ugyanabban a helyen/régióban kell lennie, mint a BigQuery-adathalmaznak.
  • A tükrözési rendszer automatikusan észleli a gyűjtőt, ha már létezik.

Adatkészletek listázása (kötelező)

Szükséges engedélyek

  • bigquery.datasets.get

Projektek listázása (kötelező)

Szükséges engedélyek

  • resourcemanager.projects.get

Szerepkör- és hozzáférési követelmények

A BigQuery rendszergazdai és tárolási rendszergazdai szerepkörei általában tartalmazzák a fent felsorolt engedélyeket.

A felhasználóhoz legalább egy olyan szerepkört kell hozzárendelni, amely hozzáférést biztosít a cél BigQuery-projekthez és adatkészletekhez.

Hálózatkezelési és átjárókövetelmények

Ellenőrizze a hálózati követelményeket a BigQuery-adatforrás eléréséhez.

Ha a Google BigQuery Mirroring funkcióját használja a helyszíni adatátjárón keresztül (OPDG), a következőket kell használnia:

  • OPDG 3000.286.6-os vagy újabb verzió

További megjegyzések

A használati esettől függően további engedélyekre lehet szükség. A fent felsorolt engedélyek az alábbiakhoz szükséges minimumot jelölik:

  • Változáselőzmények használata
  • Különböző méretű táblák kezelése, beleértve a 10 GB-nál nagyobb táblákat is

Még ha jelenleg nem is dolgozik 10 GB-nál nagyobb táblákkal, a sikeres tükrözés biztosításához minden minimális engedély engedélyezése javasolt.

További információkért lásd:

Fontos

A bigquery forrásraktárban definiált részletes biztonsági beállításokat újra kell konfigurálni a tükrözött adatbázisban Microsoft Fabric. További információ: SQL részletes engedélyek, a Microsoft Fabric.

Tükrözött adatbázis létrehozása

Ebben a szakaszban egy új tükrözött adatbázist hoz létre a tükrözött BigQuery-adatforrásból.

Használhat meglévő munkaterületet (nem saját munkaterületet), vagy létrehozhat egy új munkaterületet.

  1. A munkaterületről lépjen a Létrehozási központra .
  2. Miután kiválasztotta a használni kívánt munkaterületet, válassza a Létrehozás lehetőséget.
  3. Válassza a Tükrözött Google BigQuery kártyát.
  4. Adja meg az új adatbázis nevét.
  5. Válassza a Create gombot.

Csatlakozás a BigQuery-példányhoz bármely felhőben

Megjegyzés:

Előfordulhat, hogy módosítania kell a felhő tűzfalát, hogy a Tükrözés kapcsolódhasson a BigQuery-példányhoz. Támogatjuk a Google BigQuery tükrözését az OPDG 3000.286.6-os vagy újabb verziójához. A VNET-et is támogatjuk.

  1. Válassza a BigQuery lehetőséget az Új kapcsolat területen, vagy válasszon ki egy meglévő kapcsolatot.

  2. Ha az Új kapcsolat lehetőséget választotta, adja meg a BigQuery-adatbázis kapcsolati adatait.

    Kapcsolat beállítása Description
    Szolgáltatásfiók e-mail-címe Ha rendelkezik már meglévő szolgáltatásfiókkal: A Szolgáltatásfiók e-mail-címét és a meglévő kulcsát a Google BigQuery-konzol szolgáltatásfiókjainak megtekintésével találja meg. Ha nincs már elérhető szolgáltatásfiókja: Nyissa meg a Google BigQuery-konzol "Szolgáltatásfiókok" elemét, és válassza a Szolgáltatásfiók létrehozása lehetőséget. Adja meg a szolgáltatásfiók nevét (a szolgáltatásfiók azonosítója automatikusan létrejön a bemeneti szolgáltatásfiók neve alapján), valamint a szolgáltatásfiók leírását. Válassza a Kész lehetőséget. Másolja és illessze be a szolgáltatásfiók e-mail-címét annak kijelölt kapcsolati hitelesítő adatok szakaszába a Fabric.
    Szolgáltatásfiók JSON-kulcsfájl tartalma A Szolgáltatásfiókok irányítópulton válassza az újonnan létrehozott szolgáltatásfiók műveletei lehetőséget . Válassza a Kulcsok kezelése lehetőséget. Ha már rendelkezik a szolgáltatásfiókhoz tartozó kulccsal, töltse le annak JSON-kulcsfájl-tartalmát.

    Ha még nem rendelkezik a szolgáltatásfiókhoz tartozó kulccsal, válassza a Kulcs hozzáadása és az Új kulcs létrehozása lehetőséget. Ezután válassza a JSON lehetőséget. A JSON-kulcsfájlnak automatikusan le kell töltenie. Másolja és illessze be a JSON-kulcsot a Fabric portál kijelölt kapcsolatok hitelesítő adatai szakaszába.
    Kapcsolat Hozzon létre új kapcsolatot.
    Kapcsolat neve Automatikusan ki kell tölteni. Módosítsa egy használni kívánt névre.

  3. Válassza ki az adatbázist a legördülő listából.

Tükrözési folyamat indítása

  1. A Tükrözés konfigurálása képernyő alapértelmezés szerint lehetővé teszi az adatbázis összes adatának tükrözését.

    • Az összes adat tükrözése azt jelenti, hogy a tükrözés megkezdése után létrehozott új táblák tükrözve lesznek.

    • Opcionálisan csak bizonyos tükrözendő objektumok közül választhat. Tiltsa le az Összes adat tükrözése lehetőséget, majd válasszon ki egyes táblákat az adatbázisból.

    Ebben a példában az Összes adat tükrözése lehetőséget használjuk.

  2. Válassza a Tükrözött adatbázis lehetőséget. A tükrözés megkezdődik.

  3. Várjon 2-5 percet. Ezután válassza a Replikáció monitorozása opciót az állapot megtekintéséhez.

  4. Néhány perc elteltével az állapotnak Futó értékre kell változnia, ami azt jelenti, hogy a táblák szinkronizálása folyamatban van.

    Ha nem látja a táblákat és a megfelelő replikációs állapotot, várjon néhány másodpercet, majd frissítse a panelt.

  5. Amikor befejezték a táblák kezdeti másolását, megjelenik egy dátum az Utolsó frissítés oszlopban.

  6. Most, hogy az adatok már működnek, különböző elemzési forgatókönyvek érhetők el az egész Fabric platformon.

Fontos

  • A forrásadatbázisban létrehozott részletes biztonsági beállításokat újra kell konfigurálni a tükrözött adatbázisban Microsoft Fabric.

Fabric tükrözés figyelése

A tükrözés konfigurálása után a tükrözési állapot lapra kerül. Itt figyelheti a replikáció aktuális állapotát.

A replikációs állapotokkal kapcsolatos további információkért és részletekért lásd: Monitor Fabric tükrözött adatbázis-replikáció.

Fontos

Ha a BigQuery-adatbázisban nincsenek frissítések a forrástáblákban, a replikátormotor (a BigQuery-tükrözés változásadatait kezelő motor) lelassul, és csak óránként replikálja a táblákat. Ne lepődjön meg, ha a kezdeti betöltés utáni adatok a vártnál tovább tartanak, különösen akkor, ha nincsenek új frissítések a forrástáblákban. A pillanatkép után a tükrözött motor ~15 percet vár a módosítások beolvasása előtt; ennek oka a Google BigQuery korlátozása, amelyben 10 perces késést léptet életbe az új változások tükrözése érdekében. További információ a BigQuery változásvisszaverési késleltetéséről

Kapcsolódó tartalom

  • Last updated on