Freigeben über


Einschränkungen in gespiegelten Microsoft Fabric-Datenbanken von Google BigQuery

Dieser Leitfaden hilft Ihnen, mehr über die vorhandenen Einschränkungen in Ihrer gespiegelten BigQuery in Microsoft Fabric zu erfahren.

Von Bedeutung

Wir unterstützen derzeit das Mirroring von Google BigQuery über das lokale Data Gateway (OPDG). Verwenden von Version 3000.286.6 oder höher

Einschränkungen auf Datenbankebene

Wenn Sie Tabellen ohne Primärschlüssel spiegeln, können Sie nur Einfügeänderungen ausführen, um die Datengenauigkeit sicherzustellen. Wenn nicht einfügungsbezogene Änderungen gefunden werden, wird die Tabelle automatisch neu initialisiert (die Tabelle wird vollständig neu gespiegelt). Wenn mehrere änderungen, die nicht einzufügen sind, nach dem ursprünglichen erneuten Senden auftreten, wechselt die Spiegelung für eine Zeit in einen Backoff-Zustand; Der Backoff-Zustand trägt dazu bei, die Kosten zu senken und unnötige Replikationen mit vollständiger Tabelle zu beschränken. Nach dem Backoffzeitraum kehrt die Tabelle zum normalen Zustand der Spiegelung (fortlaufende Datenreplikation) zurück.

Leistungsbeschränkungen

Wenn Sie die meisten Daten in einer großen Tabelle ändern, ist es effizienter, die Spiegelung zu beenden und neu zu starten. Das Einfügen oder Aktualisieren von Milliarden von Datensätzen kann eine lange Zeit dauern.

Gespiegelte Daten spiegeln in der Regel Änderungen mit einer Verzögerung von 10 bis 15 Minuten aufgrund der CDC-Architektur (Change Data Capture) von BigQuery wider. Wenn keine Änderungen erkannt werden, wechselt das Replikationsmodul in einen Backoff-Modus, wodurch die Abrufintervalle bis zu 1 Stunde erhöht werden.

Einschränkungen für unterstützte Regionen

Die Datenbankspiegelung ist in allen Microsoft Fabric-Regionen verfügbar. Weitere Informationen finden Sie unter Regionale Verfügbarkeit für Fabric.

Berechtigungseinschränkungen

Wir wissen, dass einige Kunden zögern, Bearbeitungsberechtigungen für Spiegelung für Google BigQuery zu aktivieren. Spiegelung erstellt ein bearbeitbares Live-Twin-Replikat für die Nutzung Ihrer BigQuery-Daten in OneLake. Um Spiegelung für Google BigQuery zu unterstützen, muss das Replikationsmodul:

  • Zugreifen auf und Exportieren von Daten aus BigQuery-Tabellen
  • Nachverfolgen von Änderungen mithilfe der Änderungsdatenerfassung (CDC)
  • Erstellen Sie temporäre Datasets und Jobs für die Replikation
  • Interagieren mit Google Cloud Storage für Staging und Aufnahme

Einschränkungen für erneutes Senden

Die CHANGES-Funktion, die die Änderungsnachverfolgung in BigQuery-Tabellen unter Verwendung der CDC-Technologie von Google ermöglicht, unterliegt mehreren wichtigen Einschränkungen beim Erneuten Bearbeiten, die Benutzer bei der Implementierung von Spiegelungslösungen berücksichtigen sollten:

  • Zeitreiseeinschränkung: Die CHANGES-Funktion gibt nur Daten innerhalb des konfigurierten Zeitreisefensters der Tabelle zurück. Bei Standardtabellen ist dies in der Regel sieben Tage, kann jedoch kürzer sein, wenn sie anders konfiguriert sind. Auf Änderungen außerhalb dieses Fensters kann nicht zugegriffen werden.
  • Zeitstempeleinschränkung: Das Zeitfenster des Änderungsverlaufs für CHANGES TVF überschreitet die zulässige Maximalzeit. Der maximal zulässige Bereich zwischen start_timestamp und end_timestamp ist ein Tag. Dies schränkt die Batchverarbeitung von längeren historischen Zeitfenstern ein, und für eine umfassendere Abdeckung sind möglicherweise mehrere Abfragen erforderlich.
    -Einschränkung des Änderungsverlaufs: Die CHANGES-Funktion erfordert, dass die Änderungsverlaufsnachverfolgung für die Tabelle vor der Verwendung aktiviert ist. Wenn sie nicht aktiviert ist, können Deltaänderungen nicht abgefragt werden.
  • Einschränkung bei Mehrfachanweisung: Die CHANGES-Funktion kann nicht innerhalb von mehrfachen Anweisungstransaktionen verwendet werden. Es kann auch keine Tabellen abfragen, für die im angeforderten Zeitfenster Transaktionen mit mehreren Aussagen abgeschlossen wurden.

Weitere Informationen finden Sie in der Dokumentation zur Einschränkung der BigQuery-Änderungen von Google.