Руководство. Настройка зеркального отображения для Google BigQuery (предварительная версия)

В этом руководстве описана настройка Fabric зеркальной базы данных из Google BigQuery.

Замечание

Хотя этот пример предназначен для BigQuery, вы можете найти подробные инструкции по настройке зеркального отображения для других источников данных, таких как База данных SQL Azure или Azure Cosmos DB. Дополнительные сведения см. в разделе Что такое зеркальное отображение в Fabric?

Предпосылки

  • Создание или использование существующего хранилища BigQuery. Вы можете подключиться к любой версии экземпляра BigQuery в любом облаке, включая Microsoft Azure.
  • Вам необходима существующая емкость Fabric. Если нет, запускайте пробную версию Fabric.

Требования к разрешениям

Вам нужны разрешения пользователя для базы данных BigQuery, содержащей следующие разрешения:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Получение метаданных таблицы и конфигурации журнала изменений (обязательно)

Роли BigQueryAdmin и StorageAdmin должны включать эти разрешения. Следующие разрешения необходимы для определения включения журнала изменений и получения сведений о первичном или составном ключе.

Пользователю необходимо назначить по крайней мере одну роль, которая разрешает доступ к инстансу BigQuery. Проверьте требования к сети для доступа к источнику данных BigQuery. Если вы используете зеркалирование для Google BigQuery для локального шлюза данных (OPDG), необходима версия OPDG 3000.286.6 или выше для успешного зеркалирования.

Необходимые разрешения

Чтобы вручную создать хранилища данных (и обойти необходимость предоставления разрешения storage.buckets.create), можно использовать следующее:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Перейдите в облачное хранилище в консоли Google и выберите контейнеры.
  2. Выберите "Создать " и назовите контейнер в этом формате (с учетом регистра): <projectid>_fabric_staging_bucket
  3. Убедитесь, что расположение или регион контейнера совпадает с GCP-проектом, который вы планируете зеркалировать.
  4. Нажмите кнопку "Создать". Система зеркального отображения автоматически обнаружит контейнер.

Дополнительные разрешения могут потребоваться в зависимости от варианта использования. Минимальные необходимые разрешения предназначены для работы с журналом изменений и обработки различных таблиц размера (таблицы размером более 10 ГБ). Даже если вы не работаете с таблицами размером более 10 ГБ, включите все эти минимальные разрешения, чтобы обеспечить успешное использование зеркального отображения.

Получение журнала изменений и данных таблицы (обязательно)

Дополнительные сведения о разрешениях см. в документации Google BigQuery по необходимым привилегиям для потоковых данных, требуемым разрешениям для доступа к журналу изменений и необходимым разрешениям для записи результатов запроса

Для чтения журналов изменений и табличных данных требуются следующие разрешения.

Это важно

Любая детальная безопасность, установленная в исходном хранилище BigQuery, должна быть перенастроена в зеркальной базе данных в Microsoft Fabric. Подробности смотрите в SQL с гранулярными разрешениями в Microsoft Fabric.

Необходимые разрешения

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Включение возможностей журнала изменений (обязательно)

Журнал изменений должен быть включен в исходных таблицах BigQuery с помощью одного из следующих параметров.

Вариант 1. Включение разрешения

  • bigquery.tables.update

Позволяет включить журнал изменений в таблицах.

Вариант 2. Включение параметра таблицы в GCP

Убедитесь, что для следующей таблицы задано TRUEзначение :

  • enable_change_history

Экспорт данных в облачное хранилище Google для промежуточного хранения и копирования в OneLake (обязательно)

Для экспорта данных BigQuery в Google Cloud Storage для промежуточного хранения и копирования их в OneLake требуются следующие разрешения.

Необходимые разрешения

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Контейнер облачного хранилища Google для промежуточного хранения (обязательно)

Для экспорта данных из таблицы BigQuery для промежуточного хранения требуется корзина Google Cloud Storage.

Параметры создания контейнера

Воспользуйтесь одним из перечисленных ниже подходов.

Вариант 1. Разрешить автоматическое создание контейнеров

Предоставьте следующее разрешение:

  • storage.buckets.create

Вариант 2. Создание промежуточного контейнера вручную

Создайте контейнер со следующим соглашением об именовании: <your_project_id_in_lowercase>_fabric_staging_bucket

Требования к контейнеру

  • Контейнер должен находиться в том же расположении или регионе, что и набор данных BigQuery.
  • Система зеркального отображения автоматически обнаружит контейнер после его существования.

Список наборов данных (обязательно)

Необходимые разрешения

  • bigquery.datasets.get

Перечисление проектов (обязательно)

Необходимые разрешения

  • resourcemanager.projects.get

Требования к роли и доступу

Роли администратора BigQuery и администратора хранилища обычно включают указанные выше разрешения.

Пользователю должна быть назначена по крайней мере одна роль, которая предоставляет доступ к целевому проекту и наборам данных BigQuery.

Требования к сети и шлюзу

Проверьте требования к сети для доступа к источнику данных BigQuery.

Если вы используете зеркальное отображение для Google BigQuery с локальным шлюзом данных (OPDG), необходимо использовать следующее:

  • OPDG версии 3000.286.6 или более поздней

Дополнительные заметки

Дополнительные разрешения могут потребоваться в зависимости от варианта использования. Указанные выше разрешения представляют минимальный необходимый уровень для:

  • Работа с журналом изменений
  • Обработка таблиц различных размеров, включая таблицы размером более 10 ГБ

Даже если в настоящее время вы не работаете с таблицами размером более 10 ГБ, рекомендуется включить все минимальные разрешения, чтобы обеспечить успешное зеркальное отображение.

Дополнительные сведения можно найти здесь

Это важно

Любая детальная безопасность, определенная в исходном хранилище BigQuery, должна быть перенастроена в зеркальной базе данных в Microsoft Fabric. Подробности смотрите в SQL с гранулярными разрешениями в Microsoft Fabric.

Создание зеркальной базы данных

В этом разделе вы создадите новую зеркальную базу данных из зеркального источника данных BigQuery.

Вы можете использовать существующую рабочую область (не моя рабочая область) или создать новую рабочую область.

  1. В рабочей области перейдите к центру создания .
  2. Выбрав рабочую область, которую вы хотите использовать, нажмите кнопку "Создать".
  3. Выберите карточку Mirrored Google BigQuery .
  4. Введите имя новой базы данных.
  5. Нажмите кнопку "Создать".

Подключитесь к экземпляру BigQuery в любом облаке

Замечание

Возможно, потребуется изменить брандмауэр облака, чтобы разрешить Mirroring подключаться к экземпляру BigQuery. Мы поддерживаем мигирование для Google BigQuery для OPDG версии 3000.286.6 или выше. Мы также поддерживаем VNET.

  1. Выберите BigQuery в разделе "Создать подключение " или выберите существующее подключение.

  2. Если вы выбрали новое подключение, введите сведения о подключении к базе данных BigQuery.

    Параметр подключения Description
    Электронная почта учетной записи службы Если у вас есть учетная запись службы: вы можете найти электронную почту учетной записи службы и существующий ключ, открыв учетные записи служб в консоли Google BigQuery. Если у вас нет предварительной учетной записи службы: перейдите в раздел "Учетные записи служб" в консоли Google BigQuery и выберите "Создать учетную запись службы". Введите имя учетной записи службы (идентификатор учетной записи службы автоматически создается на основе входного имени учетной записи службы) и описания учетной записи службы. Нажмите кнопку Готово. Скопируйте и вставьте электронную почту учетной записи службы в раздел учетных данных назначенных подключений в Fabric.
    Содержимое файла ключа учетной записи службы JSON На панели мониторинга учетных записей служб выберите "Действия " для созданной учетной записи службы. Выберите "Управление ключами". Если у вас уже есть ключ для учетной записи службы, скачайте содержимое его JSON-файла ключа.

    Если у вас еще нет ключа для учетной записи службы, выберите "Добавить ключ " и "Создать новый ключ". Затем выберите JSON. Файл ключа JSON должен автоматически скачаться. Скопируйте и вставьте ключ JSON в раздел учетных данных назначенных подключений на портале Fabric.
    Подключение Создайте новое подключение.
    Имя подключения Должен быть автоматически заполнен. Измените его на имя, которое вы хотите использовать.

  3. Выберите базу данных из раскрывающегося списка.

Запуск процесса зеркалирования

  1. Экран "Настройка зеркального отображения" позволяет зеркально отображать все данные в базе данных по умолчанию.

    • Зеркальное отображение всех данных означает, что все новые таблицы, созданные после запуска зеркального отображения, будут зеркально отображаться.

    • При необходимости выберите только определенные объекты для зеркального отображения. Отключите параметр "Зеркальное отображение всех данных ", а затем выберите отдельные таблицы из базы данных.

    В этом примере мы используем параметр "Зеркальное отображение всех данных ".

  2. Выберите зеркальную базу данных. Начинается зеркальное отображение.

  3. Подождите 2-5 минут. Затем выберите "Мониторинг репликации" , чтобы просмотреть состояние.

  4. Через несколько минут состояние должно измениться на "Выполнение", что означает синхронизацию таблиц.

    Если таблицы и соответствующее состояние репликации не отображаются, подождите несколько секунд и обновите панель.

  5. После завершения первоначального копирования таблиц дата появится в столбце Последнее обновление.

  6. Теперь, когда ваши данные работают, доступны различные сценарии аналитики на всей платформе Fabric.

Это важно

  • Все детализированные средства безопасности, установленные в исходной базе данных, должны быть перенастроены в зеркальной базе данных в Microsoft Fabric.

Мониторинг зеркального отображения Fabric

После настройки зеркального отображения вы будете перенаправлены на страницу состояния зеркального отображения . Здесь можно отслеживать текущее состояние репликации.

Для получения дополнительной информации и сведений о состояниях репликации см. раздел репликация зеркальной базы данных Monitor Fabric.

Это важно

Если в базе данных BigQuery нет обновлений в исходных таблицах, подсистема репликатора (подсистема управления изменениями для зеркального отображения BigQuery) будет замедляться и реплицировать только таблицы каждый час. Не удивляйтесь, если данные после начальной загрузки занимает больше времени, чем ожидалось, особенно если в исходных таблицах нет новых обновлений. После создания моментального снимка движок зеркалирования ожидает около 15 минут до получения изменений; это связано с ограничением Google BigQuery, в котором установлено 10-минутное задержание на отражение любых новых изменений. Дополнительные сведения о задержке отражения изменений BigQuery

Связанный контент

  • Last updated on