Samouczek: konfigurowanie dublowania dla usługi Google BigQuery (wersja zapoznawcza)

W tym samouczku skonfigurujesz replikowaną bazę danych Fabric z usługi Google BigQuery.

Uwaga / Notatka

Ten przykład jest specyficzny dla usługi BigQuery, ale można znaleźć szczegółowe kroki konfigurowania replikacji dla innych źródeł danych, takich jak Azure SQL Database lub Azure Cosmos DB. Aby uzyskać więcej informacji, zobacz Co to jest mirroring w Fabric?

Wymagania wstępne

• Utwórz istniejący magazyn BigQuery lub użyj go. Możesz nawiązać połączenie z dowolną wersją wystąpienia BigQuery w dowolnej chmurze, w tym z platformą Microsoft Azure.
• Potrzebujesz istniejącej przepustowości Fabryki. Jeśli tego nie zrobisz, uruchom wersję próbną usługi Fabric.

Wymagania dotyczące uprawnień

Potrzebujesz uprawnień użytkownika dla bazy danych BigQuery, która zawiera następujące uprawnienia:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

Role BigQueryAdmin i StorageAdmin powinny obejmować te uprawnienia.

W zależności od przypadku użycia może być wymagane więcej uprawnień. Minimalne wymagane uprawnienia są wymagane do pracy z historią zmian i obsługi różnych tabel o rozmiarze (tabel większych niż 10 GB). Nawet jeśli nie pracujesz z tabelami większymi niż 10 GB, włącz wszystkie te minimalne uprawnienia, aby umożliwić powodzenie użycia dublowania.

Aby uzyskać więcej informacji na temat uprawnień, zobacz dokumentację usługi Google BigQuery dotyczącą wymaganych uprawnień do danych przesyłanych strumieniowo, Wymagane uprawnienia dostępu do historii zmian i Wymagane uprawnienia do pisania wyników zapytań

Użytkownik musi mieć przypisaną co najmniej jedną rolę, która umożliwia dostęp do instancji BigQuery. Sprawdź wymagania dotyczące sieci, aby uzyskać dostęp do źródła danych BigQuery. Jeśli używasz funkcji dublowania dla usługi Google BigQuery dla lokalnej bramy danych (OPDG), musisz mieć wersję OPDG w wersji 3000.286.6 lub nowszej, aby umożliwić pomyślne dublowanie.

Aby uzyskać informacje na temat tego, dlaczego te uprawnienia są potrzebne, zobacz dokumentację ograniczeń uprawnień.

Ważne

Wszelkie szczegółowe zabezpieczenia ustanowione w źródłowej hurtowni danych BigQuery muszą zostać ponownie skonfigurowane w replikowanej bazie danych w usłudze Microsoft Fabric. Aby uzyskać więcej informacji, zobacz Szczegółowe uprawnienia sql w usłudze Microsoft Fabric.

Tworzenie dublowanej bazy danych

W tej sekcji utworzysz nową dublowaną bazę danych z dublowanego źródła danych BigQuery.

Możesz użyć istniejącego obszaru roboczego (a nie obszaru Mój obszar roboczy) lub utworzyć nowy obszar roboczy.

1. W obszarze roboczym przejdź do centrum Utwórz .
2. Po wybraniu obszaru roboczego, którego chcesz użyć, wybierz pozycję Utwórz.
3. Wybierz kartę Lustrzane Google BigQuery.
4. Wprowadź nazwę nowej bazy danych.
5. Wybierz Utwórz.

Nawiąż połączenie z instancją BigQuery w dowolnej chmurze

Uwaga / Notatka

Może być konieczne zmodyfikowanie zapory chmury, aby umożliwić Mirroring na połączenie z wystąpieniem BigQuery. Obsługujemy replikację dla Google BigQuery dla OPDG w wersji 3000.286.6 lub nowszej.

1. Wybierz BigQuery w sekcji Nowe połączenie lub wybierz istniejące połączenie.

2. W przypadku wybrania opcji Nowe połączenie wprowadź szczegóły połączenia z bazą danych BigQuery.

   Ustawienie połączenia	Description
   Adres e-mail konta usługi	Jeśli masz istniejące konto usługi: Możesz znaleźć adres e-mail konta usługi i istniejący klucz, przechodząc do sekcji Konta usług w konsoli Google BigQuery. Jeśli nie masz istniejącego konta usługi: przejdź do pozycji "Konta usług" w konsoli Google BigQuery i wybierz pozycję Utwórz konto usługi. Wprowadź nazwę konta usługi (identyfikator konta usługi jest generowany automatycznie na podstawie wprowadzonej nazwy konta usługi) i opis konta usługi. Wybierz pozycję Gotowe. Skopiuj i wklej adres e-mail konta usługi do sekcji wyznaczonych poświadczeń połączeń w usłudze Fabric.
   Zawartość pliku klucza JSON konta usługi	Na pulpicie nawigacyjnym Konta usług wybierz pozycję Akcje dla nowo utworzonego konta usługi. Wybierz pozycję Zarządzaj kluczami. Jeśli masz już klucz dla konta usługi, pobierz jego zawartość pliku klucza JSON. Jeśli nie masz jeszcze klucza dla konta usługi, wybierz pozycję Dodaj klucz i Utwórz nowy klucz. Następnie wybierz pozycję JSON. Plik klucza JSON powinien zostać automatycznie pobrany. Skopiuj i wklej klucz JSON do sekcji poświadczeń połączenia w portalu Fabric.
   Połączenie	Utwórz nowe połączenie.
   Nazwa połączenia	Powinno zostać wypełnione automatycznie. Zmień ją na nazwę, której chcesz użyć.

3. Wybierz bazę danych z listy rozwijanej.

Rozpoczynanie procesu mirrorowania

1. Ekran Konfigurowanie dublowania umożliwia dublowanie wszystkich danych w bazie danych domyślnie.

   • Dublowanie wszystkich danych oznacza, że wszystkie nowe tabele utworzone po uruchomieniu dublowania zostaną zdublowane.

   • Opcjonalnie wybierz tylko niektóre obiekty do odbijania. Wyłącz opcję Dubluj wszystkie dane , a następnie wybierz poszczególne tabele z bazy danych.

   W tym przykładzie użyjemy opcji Dubluj wszystkie dane .

2. Wybierz pozycję Dublowanie bazy danych. Rozpoczyna się odbijanie.

3. Poczekaj 2–5 minut. Następnie wybierz pozycję Monitoruj replikację , aby wyświetlić stan.

4. Po kilku minutach stan powinien ulec zmianie na Uruchomiono, co oznacza, że tabele są synchronizowane.

   Jeśli nie widzisz tabel i odpowiedniego stanu replikacji, zaczekaj kilka sekund, a następnie odśwież panel.

5. Po zakończeniu początkowej kopii tabel data pojawi się w kolumnie Ostatnie odświeżanie .

6. Teraz, gdy Twoje dane są gotowe do działania, dostępne są różne scenariusze analityczne we wszystkich usługach Fabric.

Ważne

• Odwzorowywanie dla Google BigQuery ma około 15-minutowe opóźnienie w odzwierciedleniu zmian. Jest to ograniczenie technologii przechwytywania zmian (CDC) w Google BigQuery.
• Wszelkie szczegółowe zabezpieczenia ustanowione w źródłowej bazie danych muszą zostać ponownie skonfigurowane w dublowanej bazie danych w usłudze Microsoft Fabric.

Monitorowanie dublowania sieci szkieletowej

Po skonfigurowaniu dublowania następuje przekierowanie do strony Stan dublowania . W tym miejscu można monitorować bieżący stan replikacji.

Aby uzyskać więcej informacji i szczegóły na temat stanów replikacji, zobacz Monitorowanie replikacji dublowanej bazy danych w Fabric.

Ważne

Jeśli w tabelach źródłowych w bazie danych BigQuery nie ma żadnych aktualizacji, silnik replikatora (silnik obsługujący dane zmiany dla BigQuery Mirroring) spowalnia działanie i replikuje tabele tylko co godzinę. Nie należy się dziwić, jeśli dane po początkowym obciążeniu trwają dłużej niż oczekiwano, zwłaszcza jeśli nie masz żadnych nowych aktualizacji w tabelach źródłowych. Po wykonaniu migawki Silnik Lustrzany będzie czekać około 15 minut przed pobraniem zmian, co wynika z ograniczenia Google BigQuery, które wprowadza 10-minutowe opóźnienie w odzwierciedlaniu wszelkich nowych zmian. Dowiedz się więcej o opóźnieniu odzwierciedlenia zmian w BigQuery

Treści powiązane

• Omówienie działania mirroringu w usłudze Google BigQuery
• Co to jest odwzorowywanie w architekturze Fabric?