Esercitazione: Configurare il mirroring per Google BigQuery (anteprima)

In questa esercitazione si configurerà un database con mirroring di Fabric da Google BigQuery.

Annotazioni

Anche se questo esempio è specifico di BigQuery, è possibile trovare passaggi dettagliati per configurare il mirroring per altre origini dati, ad esempio il database SQL di Azure o Azure Cosmos DB. Per ulteriori informazioni, vedere Cos'è il mirroring in Fabric?

Prerequisiti

• Creare o usare un warehouse BigQuery esistente. È possibile connettersi a qualsiasi versione dell'istanza di BigQuery in qualsiasi cloud, incluso Microsoft Azure.
• È necessaria una capacità di Fabric esistente. Se non lo fai, avvia una versione di prova di Fabric.

Requisiti relativi alle autorizzazioni

Sono necessarie autorizzazioni utente per il database BigQuery che contiene le autorizzazioni seguenti:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

I ruoli BigQueryAdmin e StorageAdmin devono includere queste autorizzazioni.

A seconda del caso d'uso, potrebbero essere necessarie altre autorizzazioni. Le autorizzazioni minime necessarie sono necessarie per lavorare con la cronologia delle modifiche e gestire varie tabelle di dimensioni (tabelle di dimensioni superiori a 10 GB). Anche se non si utilizzano tabelle di dimensioni superiori a 10 GB, abilitare tutte queste autorizzazioni minime per consentire il successo dell'utilizzo del mirroring.

Per altre informazioni sulle autorizzazioni, vedere la documentazione di Google BigQuery sui privilegi necessari per lo streaming dei dati, sulle autorizzazioni necessarie per l'accesso alla cronologia delle modifiche e sulle autorizzazioni necessarie per la scrittura dei risultati delle query

L'utente deve avere almeno un ruolo assegnato che consenta l'accesso all'istanza di BigQuery. Controllare i requisiti di rete per accedere all'origine dati BigQuery. Se si usa il mirroring per Google BigQuery per On-Premises Data Gateway (OPDG), è necessario disporre di OPDG versione 3000.286.6 o successiva per abilitare correttamente il mirroring.

Per informazioni sui motivi per cui queste autorizzazioni sono necessarie, vedere la documentazione sulle limitazioni delle autorizzazioni.

Importante

Qualsiasi sicurezza granulare stabilita nel warehouse BigQuery di origine deve essere riconfigurata nel database replicato in Microsoft Fabric. Per altre informazioni, vedere Autorizzazioni granulari di SQL in Microsoft Fabric.

Creare un database con mirroring

In questa sezione, viene creato un nuovo database con mirroring dall'origine dati BigQuery.

È possibile usare un'area di lavoro esistente (non area di lavoro personale) o creare una nuova area di lavoro.

1. Dall'area di lavoro passare all'hub Crea .
2. Dopo aver selezionato l'area di lavoro da usare, selezionare Crea.
3. selezionare la scheda Google BigQuery Mirrored.
4. Immettere il nome del nuovo database.
5. Fare clic su Crea.

Connettersi all'istanza di BigQuery in qualsiasi cloud

Annotazioni

Potrebbe essere necessario modificare il firewall cloud per consentire al mirroring di connettersi all'istanza di BigQuery. Supportiamo il mirroring per Google BigQuery per OPDG versione 3000.286.6 o successiva.

1. Selezionare BigQuery in Nuova connessione o selezionare una connessione esistente.

2. Se si seleziona Nuova connessione, immettere i dettagli di connessione al database BigQuery.

   Impostazione di connessione	Description
   Indirizzo di posta elettronica dell'account del servizio	Se si dispone di un account del servizio preesistente: è possibile trovare l'indirizzo di posta elettronica dell'account del servizio e la chiave esistente passando ad Account di servizio nella console di Google BigQuery. Se non si dispone di un account del servizio preesistente: passare a "Account di servizio" nella console di Google BigQuery e selezionare Crea account di servizio. Immettere un nome di account del servizio (un ID account del servizio viene generato automaticamente in base al nome dell'account del servizio immesso) e una descrizione dell'account del servizio. Selezionare Fine. Copiare e incollare il messaggio di posta elettronica dell'account del servizio nella sezione relativa alle credenziali di connessione designata in Fabric.
   Contenuto del file di chiave JSON dell'account del servizio	Nel dashboard degli account di servizio, selezionare Azioni per il nuovo account di servizio appena creato. Selezionare Gestisci chiavi. Se si dispone già di una chiave per ogni account del servizio, scaricare il relativo contenuto del file di chiave JSON. Se non si ha già una chiave per ogni account del servizio, selezionare Aggiungi chiave e Crea nuova chiave. Selezionare JSON. Il file di chiave JSON deve essere scaricato automaticamente. Copiare e incollare la chiave JSON nella sezione credenziali di connessioni designate nel portale di Fabric.
   Connessione	Creare una nuova connessione.
   Nome connessione	Deve essere compilato automaticamente. Impostarlo su un nome che si vuole usare.

3. Selezionare il database dall'elenco a discesa.

Avviare il processo di mirroring

1. La schermata Configura mirroring consente di eseguire il mirroring di tutti i dati nel database, per impostazione predefinita.

   • Eseguire il mirroring di tutti i dati significa che tutte le nuove tabelle create dopo l'avvio del mirroring verranno sottoposte a mirroring.

   • Facoltativamente, scegliere solo determinati oggetti su cui eseguire il mirroring. Disabilitare l'opzione Specchia tutti i dati e quindi selezionare singole tabelle dal database.

   Per questo esempio viene usata l'opzione Mirror all data .For this example, we use the Mirror all data option.

2. Selezionare Database mirror. Il mirroring inizia.

3. Attendere 2-5 minuti. Seleziona quindi Monitora la replica per visualizzare lo stato.

4. Dopo alcuni minuti, lo stato dovrebbe passare a In esecuzione, il che significa che la sincronizzazione delle tabelle è in corso.

   Se non vengono visualizzate le tabelle e lo stato di replica corrispondente, attendere alcuni secondi e quindi aggiornare il pannello.

5. Al termine della copia iniziale delle tabelle, viene visualizzata una data nella colonna Ultimo aggiornamento .

6. Ora che i dati sono operativi, in Fabric esistono diversi scenari di analisi disponibili.

Importante

• Il mirroring per Google BigQuery ha un ritardo di circa 15 minuti nella riflessione delle modifiche. Si tratta di una limitazione della tecnologia Change Data Capture (CDC) di Google BigQuery.
• Qualsiasi sicurezza granulare stabilita nel database di origine deve essere riconfigurata nel database con mirroring di Microsoft Fabric.

Monitorare il mirroring dell'infrastruttura

Dopo aver configurato il mirroring, si viene indirizzati alla pagina Stato mirroring . Qui è possibile monitorare l’attuale stato della replica.

Per maggiori informazioni e dettagli sugli stati di replica, vedere Monitorare la replica del database di Fabric.

Importante

Se non sono presenti aggiornamenti nelle tabelle di origine nel database BigQuery, il motore di replicator (il motore che alimenta i dati delle modifiche per il mirroring BigQuery) rallenta e replica solo le tabelle ogni ora. Non sorprendere se i dati dopo il caricamento iniziale richiedono più tempo del previsto, soprattutto se non sono presenti nuovi aggiornamenti nelle tabelle di origine. Dopo lo snapshot, il motore mirror attenderà circa 15 minuti prima di recuperare le modifiche; ciò è dovuto a una limitazione di Google BigQuery in cui applica un ritardo di 10 minuti in modo da riflettere eventuali nuove modifiche. Ulteriori informazioni sul ritardo di riflessione delle modifiche di BigQuery

Contenuti correlati

• Panoramica del mirroring di Google BigQuery
• Che cos'è il mirroring in Fabric?