Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym samouczku skonfigurujesz replikowaną bazę danych Fabric z usługi Google BigQuery.
Uwaga / Notatka
Ten przykład jest specyficzny dla usługi BigQuery, ale można znaleźć szczegółowe kroki konfigurowania replikacji dla innych źródeł danych, takich jak Azure SQL Database lub Azure Cosmos DB. Aby uzyskać więcej informacji, zobacz Co to jest mirroring w Fabric?
Wymagania wstępne
- Utwórz istniejący magazyn BigQuery lub użyj go. Możesz nawiązać połączenie z dowolną wersją wystąpienia BigQuery w dowolnej chmurze, w tym z platformą Microsoft Azure.
- Potrzebujesz istniejącej przepustowości Fabryki. Jeśli tego nie zrobisz, uruchom wersję próbną usługi Fabric.
Wymagania dotyczące uprawnień
Potrzebujesz uprawnień użytkownika dla bazy danych BigQuery, która zawiera następujące uprawnienia:
bigquery.datasets.createbigquery.tables.listbigquery.tables.createbigquery.tables.exportbigquery.tables.getbigquery.tables.getDatabigquery.tables.updateDatabigquery.routines.getbigquery.routines.listbigquery.jobs.createstorage.buckets.createstorage.buckets.liststorage.objects.createstorage.objects.deletestorage.objects.listiam.serviceAccounts.signBlob
Pobieranie metadanych tabeli i konfiguracji historii zmian (wymagane)
Role BigQueryAdmin i StorageAdmin powinny obejmować te uprawnienia. Następujące uprawnienia są wymagane do określenia, czy historia zmian jest włączona, i aby pobrać klucz podstawowy lub informacje o kluczu złożonym.
Użytkownik musi mieć przypisaną co najmniej jedną rolę, która umożliwia dostęp do instancji BigQuery. Sprawdź wymagania dotyczące sieci, aby uzyskać dostęp do źródła danych BigQuery. Jeśli używasz funkcji dublowania dla usługi Google BigQuery dla lokalnej bramy danych (OPDG), musisz mieć wersję OPDG w wersji 3000.286.6 lub nowszej, aby umożliwić pomyślne dublowanie.
Wymagane uprawnienia
Aby ręcznie ustanowić zasobniki (i uniknąć konieczności udzielenia uprawnienia storage.buckets.create), możesz użyć:
bigquery.tables.getbigquery.tables.listbigquery.routines.getbigquery.routines.list
- Przejdź do Cloud Storage w konsoli Google i wybierz pozycję Buckets.
- Wybierz pozycję Utwórz i nadaj zasobnikowi nazwę w tym formacie (z uwzględnieniem wielkości liter):
<projectid>_fabric_staging_bucket - Upewnij się, że lokalizacja/region zasobnika jest taka sama jak projekt GCP, który planujesz odwzorować.
- Wybierz Utwórz. System mirrorowania automatycznie wykryje zasobnik.
W zależności od przypadku użycia może być wymagane więcej uprawnień. Minimalne wymagane uprawnienia są przeznaczone do pracy z historią zmian i obsługą różnych tabel o rozmiarze (tabele większe niż 10 GB). Nawet jeśli nie pracujesz z tabelami większymi niż 10 GB, włącz wszystkie te minimalne uprawnienia, aby umożliwić powodzenie użycia dublowania.
Pobieranie historii zmian i danych tabeli (wymagane)
Aby uzyskać więcej informacji na temat uprawnień, zobacz dokumentację usługi Google BigQuery dotyczącą wymaganych uprawnień do danych przesyłanych strumieniowo, Wymagane uprawnienia dostępu do historii zmian i Wymagane uprawnienia do pisania wyników zapytań
Do odczytu historii zmian i danych tabeli są wymagane następujące uprawnienia.
Ważne
Wszelkie szczegółowe zabezpieczenia ustanowione w źródłowej hurtowni danych BigQuery muszą zostać ponownie skonfigurowane w replikowanej bazie danych w usłudze Microsoft Fabric. Aby uzyskać więcej informacji, zobacz Szczegółowe uprawnienia sql w usłudze Microsoft Fabric.
Wymagane uprawnienia
bigquery.tables.getDatabigquery.jobs.createbigquery.jobs.getbigquery.jobs.listbigquery.readsessions.createbigquery.readsessions.getData
Włączanie możliwości historii zmian (wymagane)
Historia zmian musi być włączona w źródłowych tabelach BigQuery przy użyciu jednej z poniższych opcji.
Opcja 1. Włączanie uprawnień
bigquery.tables.update
Umożliwia włączenie historii zmian w tabelach.
Opcja 2. Włączanie opcji tabeli w GCP
Upewnij się, że następująca opcja tabeli jest ustawiona na :TRUE
enable_change_history
Eksportowanie danych do usługi Google Cloud Storage na potrzeby przemieszczania i kopiowania do usługi OneLake (wymagane)
Następujące uprawnienia są wymagane do eksportowania danych BigQuery do usługi Google Cloud Storage na potrzeby przemieszczania i kopiowania ich do usługi OneLake.
Wymagane uprawnienia
bigquery.tables.exportstorage.objects.createstorage.objects.liststorage.buckets.getiam.serviceAccounts.signBlob
Zasobnik usługi Google Cloud Storage na potrzeby przemieszczania (wymagane)
Do eksportowania danych tabeli BigQuery do etapu staging wymagany jest bucket usługi Google Cloud Storage.
Opcje tworzenia kubełka
Użyj jednego z następujących podejść:
Opcja 1. Zezwalaj na automatyczne tworzenie zasobnika
Udziel następującego uprawnienia:
storage.buckets.create
Opcja 2. Ręczne tworzenie zasobnika przejściowego
Utwórz zasobnik z następującą konwencją nazewnictwa: <your_project_id_in_lowercase>_fabric_staging_bucket
Wymagania dotyczące zasobnika
- Zasobnik musi znajdować się w tej samej lokalizacji/regionie co zestaw danych BigQuery.
- System dublowania automatycznie wykryje zasobnik po jego utworzeniu.
Wyświetl listę zestawów danych (wymagane)
Wymagane uprawnienia
bigquery.datasets.get
Lista projektów (wymagane)
Wymagane uprawnienia
resourcemanager.projects.get
Wymagania dotyczące roli i dostępu
Role administratora bigquery i administratora magazynu zwykle obejmują uprawnienia wymienione powyżej.
Użytkownik musi mieć przypisaną co najmniej jedną rolę, która udziela dostępu do docelowego projektu BigQuery i zestawów danych.
Wymagania dotyczące sieci i bramy
Sprawdź wymagania dotyczące sieci, aby uzyskać dostęp do źródła danych BigQuery.
Jeśli używasz Mirroring dla usługi Google BigQuery z lokalną bramą danych (OPDG), musisz użyć:
- OPDG w wersji 3000.286.6 lub nowszej
Dodatkowe uwagi
W zależności od przypadku użycia może być wymagana większa liczbę uprawnień. Uprawnienia wymienione powyżej reprezentują minimalną wymaganą wartość dla:
- Praca z historią zmian
- Obsługa tabel o różnych rozmiarach, w tym tabel większych niż 10 GB
Nawet jeśli nie pracujesz obecnie z tabelami większymi niż 10 GB, zaleca się włączenie wszystkich wymaganych minimalnych uprawnień, aby zapewnić pomyślne Mirroring.
Aby uzyskać więcej informacji, zobacz:
- Wymagane uprawnienia do przesyłania strumieniowego danych
- Wymagane uprawnienia dostępu do historii zmian
- Wymagane uprawnienia do pisania wyników zapytania
Ważne
Wszelkie szczegółowe ustawienia zabezpieczeń zdefiniowane w źródłowym magazynie BigQuery muszą zostać ponownie skonfigurowane w zreplikowanej bazie danych w usłudze Microsoft Fabric. Aby uzyskać więcej informacji, zobacz Szczegółowe uprawnienia sql w usłudze Microsoft Fabric.
Tworzenie dublowanej bazy danych
W tej sekcji utworzysz nową dublowaną bazę danych z dublowanego źródła danych BigQuery.
Możesz użyć istniejącego obszaru roboczego (a nie obszaru Mój obszar roboczy) lub utworzyć nowy obszar roboczy.
- W przestrzeni roboczej przejdź do Utwórz hubu.
- Po wybraniu obszaru roboczego, którego chcesz użyć, wybierz pozycję Utwórz.
- Wybierz kartę Lustrzane Google BigQuery.
- Wprowadź nazwę nowej bazy danych.
- Wybierz Utwórz.
Nawiąż połączenie z instancją BigQuery w dowolnej chmurze
Uwaga / Notatka
Może być konieczne zmodyfikowanie zapory chmury, aby umożliwić Mirroring na połączenie z wystąpieniem BigQuery. Obsługujemy replikację dla Google BigQuery dla OPDG w wersji 3000.286.6 lub nowszej. Obsługujemy również VNET.
Wybierz BigQuery w sekcji Nowe połączenie lub wybierz istniejące połączenie.
W przypadku wybrania opcji Nowe połączenie wprowadź szczegóły połączenia z bazą danych BigQuery.
Ustawienie połączenia Description Adres e-mail konta usługi Jeśli masz istniejące konto usługi: Możesz znaleźć adres e-mail konta usługi i istniejący klucz, przechodząc do sekcji Konta usług w konsoli Google BigQuery. Jeśli nie masz istniejącego konta usługi: przejdź do pozycji "Konta usług" w konsoli Google BigQuery i wybierz pozycję Utwórz konto usługi. Wprowadź nazwę konta usługi (identyfikator konta usługi jest generowany automatycznie na podstawie wprowadzonej nazwy konta usługi) i opis konta usługi. Wybierz pozycję Gotowe. Skopiuj i wklej adres e-mail konta usługi do sekcji wyznaczonych poświadczeń połączeń w usłudze Fabric. Zawartość pliku klucza JSON konta usługi Na pulpicie nawigacyjnym Konta usług wybierz pozycję Akcje dla nowo utworzonego konta usługi. Wybierz pozycję Zarządzaj kluczami. Jeśli masz już klucz dla konta usługi, pobierz jego zawartość pliku klucza JSON.
Jeśli nie masz jeszcze klucza dla konta usługi, wybierz pozycję Dodaj klucz i Utwórz nowy klucz. Następnie wybierz pozycję JSON. Plik klucza JSON powinien zostać automatycznie pobrany. Skopiuj i wklej klucz JSON do sekcji poświadczeń połączenia w portalu Fabric.Połączenie Utwórz nowe połączenie. Nazwa połączenia Powinno zostać wypełnione automatycznie. Zmień ją na nazwę, której chcesz użyć. Wybierz bazę danych z listy rozwijanej.
Rozpoczynanie procesu mirrorowania
Ekran Konfigurowanie dublowania umożliwia dublowanie wszystkich danych w bazie danych domyślnie.
Dublowanie wszystkich danych oznacza, że wszystkie nowe tabele utworzone po uruchomieniu dublowania zostaną zdublowane.
Opcjonalnie wybierz tylko niektóre obiekty do odbijania. Wyłącz opcję Dubluj wszystkie dane , a następnie wybierz poszczególne tabele z bazy danych.
W tym przykładzie użyjemy opcji Dubluj wszystkie dane .
Wybierz pozycję Dublowanie bazy danych. Rozpoczyna się odbijanie.
Poczekaj 2–5 minut. Następnie wybierz pozycję Monitoruj replikację , aby wyświetlić stan.
Po kilku minutach stan powinien ulec zmianie na Uruchomiono, co oznacza, że tabele są synchronizowane.
Jeśli nie widzisz tabel i odpowiedniego stanu replikacji, zaczekaj kilka sekund, a następnie odśwież panel.
Po zakończeniu początkowej kopii tabel data pojawi się w kolumnie Ostatnie odświeżanie .
Teraz, gdy Twoje dane są gotowe do działania, dostępne są różne scenariusze analityczne we wszystkich usługach Fabric.
Ważne
- Odwzorowywanie dla Google BigQuery ma około 15-minutowe opóźnienie w odzwierciedleniu zmian. Jest to ograniczenie możliwości historii zmian w usłudze Google BigQuery.
- Wszelkie szczegółowe zabezpieczenia ustanowione w źródłowej bazie danych muszą zostać ponownie skonfigurowane w dublowanej bazie danych w usłudze Microsoft Fabric.
Monitorowanie dublowania sieci szkieletowej
Po skonfigurowaniu dublowania następuje przekierowanie do strony Stan dublowania . W tym miejscu można monitorować bieżący stan replikacji.
Aby uzyskać więcej informacji i szczegóły na temat stanów replikacji, zobacz Monitorowanie replikacji dublowanej bazy danych w Fabric.
Ważne
Jeśli w tabelach źródłowych w bazie danych BigQuery nie ma żadnych aktualizacji, silnik replikatora (silnik obsługujący dane zmiany dla BigQuery Mirroring) spowalnia działanie i replikuje tabele tylko co godzinę. Nie należy się dziwić, jeśli dane po początkowym obciążeniu trwają dłużej niż oczekiwano, zwłaszcza jeśli nie masz żadnych nowych aktualizacji w tabelach źródłowych. Po wykonaniu migawki Silnik Lustrzany będzie czekać około 15 minut przed pobraniem zmian, co wynika z ograniczenia Google BigQuery, które wprowadza 10-minutowe opóźnienie w odzwierciedlaniu wszelkich nowych zmian. Dowiedz się więcej o opóźnieniu odzwierciedlenia zmian w BigQuery