Opetusohjelma: Peilauksen määrittäminen Google BigQueryä varten (esikatselu)

Tässä opetusohjelmassa määrität peilatun Fabric-tietokannan Google BigQuerystä.

Note

Vaikka tämä esimerkki koskee BigQueryä, löydät yksityiskohtaiset ohjeet peilauksen määrittämiseen muille tietolähteille, kuten Azure SQL Databaselle tai Azure Cosmos DB:lle. Lisätietoja on artikkelissa Mikä on peilaus Fabricissa?

Edellytykset

• Luo tai käytä olemassa olevaa BigQuery-varastoa. Voit muodostaa yhteyden mihin tahansa BigQuery-esiintymän versioon missä tahansa pilvessä, mukaan lukien Microsoft Azure.
• Tarvitset olemassa olevan Fabric-kapasiteetin. Aloita Fabric-kokeilu, jos et tee niin.

Käyttöoikeusvaatimukset

Tarvitset käyttöoikeudet BigQuery-tietokantaan, joka sisältää seuraavat käyttöoikeudet:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

BigQueryAdmin- ja StorageAdmin-rooleihin tulee sisältyä nämä käyttöoikeudet.

Käyttäjälle on määritettävä vähintään yksi rooli, joka sallii BigQuery-esiintymän käytön. Tarkista verkkovaatimukset, jotta voit käyttää BigQuery-tietolähdettäsi. Jos käytät Google BigQuery for On-Premises Data Gatewayn (OPDG) peilausta, sinulla on oltava OPDG-versio 3000.286.6 tai uudempi, jotta peilaus onnistuu.

Luodaksesi bucketit manuaalisesti (ja jättääksesi pois storage.buckets.create-luvan myöntämisen), voit:

1. Siirry Google Consolen Cloud Storageen ja valitse bucketit.
2. Valitse Luo ja nimeä kori tässä muodossa (kirjainkoon herkkä): <projektiid>_fabric_staging_bucket
3. Varmista, että kauhan sijainti/alue on sama kuin GCP-projektissa, jota aiot peilata.
4. Valitse Luo. Peilausjärjestelmä tunnistaa ämpärin automaattisesti.

Lisää käyttöoikeuksia saatetaan tarvita käyttötapauksestasi riippuen. Vähimmäisvaatimukset koskevat muutoshistorian käsittelyä ja erikokoisten taulukoiden (yli 10GB) käsittelyä. Vaikka et käyttäisi yli 10 Gt:n taulukoita, ota kaikki nämä vähimmäiskäyttöoikeudet käyttöön, jotta peilauksen käyttö onnistuu.

Lisätietoja käyttöoikeuksista on Google BigQueryn dokumentaatiossa Striimausdatan edellyttämät oikeudet, Muutoshistorian käytön edellyttämät käyttöoikeudet ja Kyselytulosten kirjoittamiseen vaadittavat käyttöoikeudet

Tärkeää

Kaikki BigQuery-lähdevarastossa määritetty yksityiskohtainen suojaus on määritettävä uudelleen Microsoft Fabricin peilatussa tietokannassa. Lisätietoja on artikkelissa SQL:n eriytettyjä käyttöoikeuksia Microsoft Fabricissa.

Peilatun tietokannan luominen

Tässä osiossa luot uuden peilatun tietokannan peilatusta BigQuery-tietolähteestä.

Voit käyttää aiemmin luotua työtilaa (ei omaa työtilaa) tai luoda uuden työtilan.

1. Siirry työtilassa Luo-keskukseen .
2. Kun olet valinnut työtilan, jota haluat käyttää, valitse Luo.
3. Valitse Peilattu Google BigQuery -kortti.
4. Kirjoita uuden tietokannan nimi.
5. Valitse Luo.

Yhdistä BigQuery-esiintymään missä tahansa pilvessä

Note

Sinun on ehkä muutettava pilvipalomuuria, jotta peilaus voi muodostaa yhteyden BigQuery-esiintymään. Tuemme peilausta Google BigQueryn OPDG-versiolle 3000.286.6 tai uudemmalle.

1. Valitse Uusi yhteys -kohdasta BigQuery tai valitse olemassa oleva yhteys.

2. Jos valitsit Uusi yhteys, syötä yhteyden tiedot BigQuery-tietokantaan.

   Yhteyden asetus	Kuvaus
   Palvelutilin sähköpostiosoite	Jos sinulla on jo olemassa oleva palvelutili: Löydät palvelutilisi sähköpostiosoitteen ja nykyisen avaimen Google BigQuery -konsolin Palvelutilit-kohdasta . Jos sinulla ei ole aiempaa palvelutiliä: Siirry Google BigQuery -konsolin Palvelutilit-kohtaan ja valitse Luo palvelutili. Syötä palvelutilin nimi (palvelutilin tunnus luodaan automaattisesti syötetyn palvelutilin nimen perusteella) ja palvelutilin kuvaus. Valitse Valmis. Kopioi ja liitä palvelutilin sähköpostiosoite sen määritettyjen yhteyksien tunnistetiedot -osioon Fabricissa.
   Palvelutilin JSON-avaintiedoston sisältö	Valitse Palvelutilien koontinäytössä Toiminnot juuri luodulle palvelutilille. Valitse Hallitse avaimia. Jos sinulla on jo avain palvelutiliäsi kohden, lataa sen JSON-avaintiedoston sisältö. Jos sinulla ei vielä ole avainta palvelutiliäsi kohden, valitse Lisää avain ja Luo uusi avain. Valitse sitten JSON. JSON-avaintiedoston pitäisi latautua automaattisesti. Kopioi ja liitä JSON-avain Fabric-portaalin määritettyjen yhteyksien tunnistetiedot -osaan.
   Connection	Luo uusi yhteys.
   Yhteyden nimi	Pitäisi täyttää automaattisesti. Vaihda se nimeksi, jota haluat käyttää.

3. Valitse tietokanta avattavasta luettelosta.

Aloita peilausprosessi

1. Määritä peilaus -näytön avulla voit oletusarvoisesti peilata kaikki tietokannan tiedot.

   • Peilattu kaikki tiedot tarkoittavat sitä, että Peilauksen käynnistämisen jälkeen luodut uudet taulukot peilataan.

   • Valinnaisesti voit valita vain tietyt objektit peilataksesi. Poista Kaikkien tietojen peilaus -asetus käytöstä ja valitse sitten tietokannasta yksittäiset taulukot.

   Tässä esimerkissä käytetään Peilaa kaikki tiedot -vaihtoehtoa.

2. Valitse Mirror-tietokanta. Peilaus alkaa.

3. Odota 2-5 minuuttia. Valitse sitten Valvo replikointia , niin näet tilan.

4. Muutaman minuutin kuluttua tilan pitäisi muuttua Käynnissä-tilaksi, mikä tarkoittaa, että taulukot synkronoidaan.

   Jos et näe taulukoita ja vastaavaa replikoinnin tilaa, odota muutama sekunti ja päivitä sitten paneeli.

5. Kun taulukon ensimmäinen kopiointi on valmis, Viimeinen päivitys -sarakkeeseen tulee päivämäärä.

6. Nyt kun tietosi ovat käytettävissä, Fabricissa on saatavilla erilaisia analytiikkaskenaarioita.

Tärkeää

• Google BigQueryn peilauksessa on ~15 minuutin viive muutosten heijastuksessa. Tämä on Google BigQueryn Change Data Capture (CDC) -tekniikan rajoitus.
• Lähdetietokantaan määritetty tarkka suojaus on määritettävä uudelleen Microsoft Fabricissa peilatussa tietokannassa.

Näytön kankaan peilaus

Kun peilaus on määritetty, sinut ohjataan Peilauksen tila - sivulle. Täällä voit valvoa nykyisen replikoinnin tilaa.

Lisätietoja replikointitiloista ja tiedoista on kohdassa Monitor Fabric -peilatun tietokannan replikointi.

Tärkeää

Jos BigQuery-tietokannan lähdetaulukoissa ei ole päivityksiä, replikaattorimoduuli (moduuli, joka käyttää BigQuery-peilauksen muutostietoja) hidastaa vauhtia ja replikoi taulukoita vain tunnin välein. Älä ylläty, jos tiedot ensimmäisen latauksen jälkeen kestävät odotettua kauemmin, varsinkin jos lähdetaulukoissa ei ole uusia päivityksiä. Tilannekuvan jälkeen Mirror Engine odottaa ~15 minuuttia ennen muutosten hakemista; Tämä johtuu Google BigQueryn rajoituksesta, jossa se ottaa käyttöön 10 minuutin viiveen uusien muutosten huomioimiseksi. Lue lisää BigQueryn muutosten pohdinnan viiveestä.

Aiheeseen liittyvä sisältö

• Google BigQuery -peilauksen yleiskatsaus
• Mikä on Peilaus Fabricissa?