Udostępnij przez

Ograniczenia w replikowanych bazach danych Microsoft Fabric z Google BigQuery

Ten przewodnik pomaga dowiedzieć się więcej o istniejących ograniczeniach w dublowanych zapytaniach BigQuery w usłudze Microsoft Fabric.

Ważne

Obecnie obsługujemy funkcję Mirroring dla Google BigQuery w przypadku lokalnej bramy danych (OPDG). Korzystanie z wersji 3000.286.6 lub nowszej

Ograniczenia poziomu bazy danych

Podczas odwzorowywania tabel bez kluczy podstawowych można wykonywać jedynie zmiany wstawiania, aby zapewnić dokładność danych. Jeśli zostaną znalezione zmiany nieinsertne, tabela zostanie automatycznie ponownie zaktualizowana (tabela zostanie całkowicie ponownie zaktualizowana). W przypadku wystąpienia wielu zmian innego rodzaju niż insert po tym początkowym ponownym inicjalizowaniu, operacja mirroringu przechodzi na pewien czas do stanu wycofania; stan wycofania pomaga ograniczyć koszty i ograniczyć niepotrzebną replikację całej tabeli. Po okresie przerwy tabela powróci do normalnego stanu Mirroringu (ciągłej replikacji danych).

Ograniczenia wydajności

Jeśli zmieniasz większość danych w dużej tabeli, bardziej wydajne jest zatrzymanie i ponowne uruchomienie funkcji dublowania. Wstawianie lub aktualizowanie miliardów rekordów może zająć dużo czasu.

Dane lustrzane zwykle odzwierciedlają zmiany z 10–15-minutowym opóźnieniem z powodu architektury Change Data Capture (CDC) BigQuery. Jeśli nie zostaną wykryte żadne zmiany, aparat replikacji wprowadzi tryb wycofywania, zwiększając interwały sondowania do 1 godziny.

Obsługiwane ograniczenia regionów

Dublowanie bazy danych jest dostępne we wszystkich regionach usługi Microsoft Fabric. Aby uzyskać więcej informacji, zobacz Dostępność regionu Fabric.

Ograniczenia uprawnień

Rozumiemy, że niektórzy klienci wahają się, czy włączyć uprawnienia do edycji funkcji mirroringu w usłudze Google BigQuery. Klonowanie tworzy na żywo, bliźniaczą, edytowalną replikę danych BigQuery w OneLake. Aby obsługiwać mirroring w usłudze Google BigQuery, aparat replikacji musi:

  • Uzyskiwanie dostępu do danych i eksportowanie ich z tabel BigQuery
  • Śledzenie zmian przy użyciu funkcji przechwytywania zmian danych (CDC)
  • Tworzenie tymczasowych zestawów danych i zadań na potrzeby replikacji
  • Interakcja z usługą Google Cloud Storage w celu przygotowania i importowania danych

Ograniczenia dotyczące ponownej zmiany

Funkcja CHANGES, która umożliwia śledzenie zmian w tabelach BigQuery przy użyciu technologii CDC firmy Google, podlega kilku ważnym ograniczeniom w procesach odnawiania danych, które użytkownicy powinni wziąć pod uwagę podczas implementowania rozwiązań Mirroringu:

  • Ograniczenie podróży w czasie: funkcja CHANGES zwraca tylko dane w skonfigurowanym przedziale czasu w tabeli. W przypadku tabel standardowych zazwyczaj jest to siedem dni, ale może być krótsze, jeśli skonfigurowano inaczej. Wszelkie zmiany poza tym oknem są niedostępne.
  • Ograniczenie sygnatury czasowej: przedział czasu historii zmian dla funkcji CHANGES TVF przekracza maksymalny dozwolony czas. Maksymalny dozwolony zakres między start_timestamp i end_timestamp wynosi jeden dzień. Ogranicza to przetwarzanie wsadowe dłuższych okien historycznych, a dla szerszego zakresu może być konieczne wykonanie wielu zapytań.
    -Change History Limitation (Ograniczenie historii zmian): funkcja CHANGES wymaga włączenia śledzenia historii zmian dla tabeli przed użyciem. Jeśli nie jest włączona, nie można wykonywać zapytań dotyczących zmian delta.
  • Ograniczenie wielu instrukcji: funkcja CHANGES nie może być używana wewnątrz transakcji z wieloma instrukcjami. Nie może również wykonywać zapytań dotyczących tabel, których transakcje z wieloma instrukcjami zostały zatwierdzone w żądanym przedziale czasu.

Aby dowiedzieć się więcej, zapoznaj się z dokumentacją dotyczącą ograniczeń zmian BigQuery firmy Google.

Treści powiązane

  • Last updated on