Sdílet prostřednictvím

Omezení zrcadlených databází Microsoft Fabric z Google BigQuery

Tato příručka vám pomůže dozvědět se více o stávajících omezeních v duplikovaném BigQuery v Microsoft Fabric.

Důležité

V současné době podporujeme zrcadlení pro Google BigQuery v místní datové bráně (OPDG). Využijte verzi 3000.286.6 nebo vyšší. Virtuální síť je teď také podporovaná.

Omezení na úrovni databáze

Při zrcadlení tabulek bez primárních klíčů můžete provádět pouze vkládání dat, abyste zajistili přesnost dat. Pokud jsou nalezeny jiné změny, tabulka se automaticky znovu obnoví (tabulka se znovu obnoví v plném rozsahu). Pokud po tomto počátečním obnovení dojde k více neinsertovým změnám, zrcadlení přejde do stavu pozdržení na určitou dobu; stav pozdržení pomáhá udržet nižší náklady a brání zbytečné úplné replikaci tabulky. Po období časového útlumu se tabulka vrátí do běžného stavu zrcadlení (průběžná replikace dat).

Omezení výkonu

Pokud měníte většinu dat ve velké tabulce, je efektivnější zastavit a restartovat zrcadlení. Vkládání nebo aktualizace miliard záznamů může trvat dlouhou dobu.

Zrcadlená data obvykle odrážejí změny s 10 až 15minutovým zpožděním kvůli funkcím Historie změn BigQuery. Pokud se nezjistí žádné změny, replikační modul přejde do režimu omezení činnosti a zvýší intervaly dotazování až na 1 hodinu.

Omezení podporovaných oblastí

Zrcadlení databáze je k dispozici ve všech oblastech Microsoft Fabric. Další informace najdete v tématu Dostupnost regionů Fabric.

Omezení oprávnění

Chápeme, že někteří zákazníci váhají povolit oprávnění pro úpravy zrcadlení pro Google BigQuery. Zrcadlení vytvoří aktivní duplikát, editovatelnou repliku pro spotřebu vašich dat BigQuery ve OneLake. Aby bylo možné podporovat zrcadlení pro Google BigQuery, musí replikační modul:

  • Přístup k datům z tabulek BigQuery a jejich export
  • Sledování změn pomocí funkce Change Data Capture (CDC)
  • Vytvoření dočasných datových sad a úloh pro replikaci
  • Interakce s Google Cloud Storage pro přípravu a příjem dat

Omezení opětovného osévání

Funkce CHANGES, která umožňuje sledování změn v tabulkách BigQuery pomocí technologie zachycení změn (CDC) společnosti Google, podléhá několika důležitým omezením znovuzasetí, která by uživatelé měli zvážit při implementaci řešení zrcadlení.

  • Omezení doby trvání: Funkce CHANGES vrací pouze data v nakonfigurovaném časovém intervalu tabulky. U standardních tabulek je to obvykle sedm dní, ale pokud je nakonfigurované jinak, může být kratší. Všechny změny mimo toto okno jsou nepřístupné.
  • Omezení časového razítka: Časový interval historie změn pro CHANGES TVF překračuje maximální povolenou dobu. Maximální povolený rozsah mezi start_timestamp a end_timestamp jedním dnem. Toto omezuje dávkové zpracování delších historických oken a pro širší pokrytí může být potřeba více dotazů.
    -Omezení historie změn: Funkce CHANGES vyžaduje, aby bylo před použitím tabulky povoleno sledování historie změn. Pokud není povolená, rozdílové změny se nedají dotazovat.
  • Omezení více příkazů: Funkci CHANGES nelze použít uvnitř transakcí s více příkazy. Nemůže také dotazovat tabulky, které měly transakce skládající se z více příkazů potvrzené v požadovaném časovém intervalu.

Další informace najdete v dokumentaci k omezení historie změn BigQuery od Googlu.

Související obsah

  • Last updated on