Поделиться через

Ограничения в зеркальных базах данных Microsoft Fabric из Google BigQuery

Это руководство поможет вам узнать больше о существующих ограничениях в зеркальном BigQuery в Microsoft Fabric.

Это важно

В настоящее время мы поддерживаем зеркальное отображение для Google BigQuery для локального шлюза данных (OPDG). Использование версии 3000.286.6 или более поздней

Ограничения уровня базы данных

При репликации таблиц без первичных ключей можно выполнять только вставки, чтобы обеспечить точность данных. Если обнаружены изменения, не связанные с добавлением, таблица автоматически пересоздаётся (таблица восстанавливается зеркально в полном объёме). Если после первоначальной повторной инициализации происходят несколько неинсертных изменений, зеркальное отображение переходит в состояние ожидания на некоторое время; Состояние ожидания помогает снизить затраты и ограничить ненужную репликацию полной таблицы. После периода резервного копирования таблица вернется в нормальное состояние зеркального отображения (непрерывная репликация данных).

Ограничения производительности

Если вы изменяете большую часть данных в большой таблице, это более эффективно для остановки и перезапуска зеркального отображения. Вставка или обновление миллиардов записей может занять много времени.

Зеркальные данные обычно отражают изменения с задержкой в 10–15 минут из-за архитектуры записи измененных данных BigQuery (CDC). Если изменения не обнаружены, подсистема репликации входит в режим отката, увеличивая интервалы опроса до 1 часа.

Поддерживаемые ограничения региона

Зеркальное отображение базы данных доступно во всех регионах Microsoft Fabric. Дополнительные сведения см. в разделе "Доступность региона Fabric".

Ограничения разрешений

Мы понимаем, что некоторые клиенты нерешительны в отношении включения разрешений на редактирование в процессе зеркалирования для Google BigQuery. Зеркальное отображение создает активного двойника, редактируемую реплику данных BigQuery, доступную для потребления в OneLake. Чтобы поддерживать зеркальное отображение для Google BigQuery, подсистема репликации должна:

  • Доступ и экспорт данных из таблиц BigQuery
  • Отслеживание изменений с помощью Change Data Capture (CDC)
  • Создание временных наборов данных и заданий для репликации
  • Взаимодействие с Google Cloud Storage для подготовки данных и их загрузки

Ограничения повторного изменения

Функция CHANGE, которая позволяет отслеживать изменения в таблицах BigQuery с помощью технологии CDC Google, имеет несколько важных ограничений повторного изменения, которые пользователи должны учитывать при реализации решений зеркального отображения:

  • Ограничение на временное путешествие: функция CHANGES возвращает данные только в пределах настроенного окна путешествия во времени таблицы. Для стандартных таблиц это обычно семь дней, но может быть короче, если настроено по-другому. Любые изменения за пределами этого окна недоступны.
  • Ограничение метки времени: временное окно истории изменений для CHANGES TVF превышает максимально допустимое окно времени. Максимальный допустимый диапазон между start_timestamp и end_timestamp один день. Это ограничивает пакетную обработку более длинных исторических окон, и для более широкого охвата может потребоваться несколько запросов.
    -Ограничение журнала изменений: функция CHANGES требует включения отслеживания журнала изменений для таблицы перед использованием. Если она не включена, разностные изменения не могут быть запрошены.
  • Ограничение многооператорных транзакций: функция CHANGES не может использоваться внутри многооператорных транзакций. Он также не может запрашивать таблицы, в которых были зафиксированы транзакции с несколькими операторами в запрошенном окне времени.

Чтобы узнать больше, ознакомьтесь с документацией по ограничению изменений BigQuery в Google.

Связанный контент

  • Last updated on