Поделиться через

Руководство. Настройка зеркального отображения для Google BigQuery (предварительная версия)

В этом руководстве описана настройка зеркальной базы данных Fabric из Google BigQuery.

Замечание

Хотя этот пример предназначен для BigQuery, вы можете найти подробные инструкции по настройке зеркального отображения для других источников данных, таких как База данных SQL Azure или Azure Cosmos DB. Дополнительные сведения см. в разделе "Что такое зеркальное отображение в Fabric"

Предпосылки

  • Создание или использование существующего хранилища BigQuery. Вы можете подключиться к любой версии экземпляра BigQuery в любом облаке, включая Microsoft Azure.
  • Вам нужна уже имеющаяся вместимость Fabric. Если вы этого не сделали, запустите пробную версию Fabric.

Требования к разрешениям

Вам нужны разрешения пользователя для базы данных BigQuery, содержащей следующие разрешения:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Роли BigQueryAdmin и StorageAdmin должны включать эти разрешения.

Дополнительные разрешения могут потребоваться в зависимости от варианта использования. Минимальные необходимые разрешения необходимы для работы с журналом изменений и обработки таблиц различных размеров (таблицы размером более 10 ГБ). Даже если вы не работаете с таблицами размером более 10 ГБ, включите все эти минимальные разрешения, чтобы обеспечить успешное использование зеркального отображения.

Дополнительные сведения о разрешениях см. в документации Google BigQuery по необходимым привилегиям для потоковых данных, требуемым разрешениям для доступа к журналу изменений и необходимым разрешениям для записи результатов запроса

Пользователю необходимо назначить по крайней мере одну роль, которая разрешает доступ к инстансу BigQuery. Проверьте требования к сети для доступа к источнику данных BigQuery. Если вы используете зеркалирование для Google BigQuery для локального шлюза данных (OPDG), необходима версия OPDG 3000.286.6 или выше для успешного зеркалирования.

Сведения о том, почему эти разрешения необходимы, см. в документации по ограничениям разрешений.

Это важно

Любая детальная безопасность, установленная в исходном хранилище BigQuery, должна быть перенастроена в зеркальной базе данных в Microsoft Fabric. Дополнительные сведения см. в разделе "Подробные разрешения SQL" в Microsoft Fabric.

Создание зеркальной базы данных

В этом разделе вы создадите новую зеркальную базу данных из зеркального источника данных BigQuery.

Вы можете использовать существующую рабочую область (не моя рабочая область) или создать новую рабочую область.

  1. В рабочей области перейдите к центру создания .
  2. Выбрав рабочую область, которую вы хотите использовать, нажмите кнопку "Создать".
  3. Выберите карточку Mirrored Google BigQuery .
  4. Введите имя новой базы данных.
  5. Нажмите кнопку "Создать".

Подключитесь к экземпляру BigQuery в любом облаке

Замечание

Возможно, потребуется изменить брандмауэр облака, чтобы разрешить Mirroring подключаться к экземпляру BigQuery. Мы поддерживаем мигирование для Google BigQuery для OPDG версии 3000.286.6 или выше.

  1. Выберите BigQuery в разделе "Создать подключение " или выберите существующее подключение.

  2. Если вы выбрали новое подключение, введите сведения о подключении к базе данных BigQuery.

    Параметр подключения Description
    Электронная почта учетной записи службы Если у вас есть учетная запись службы: вы можете найти электронную почту учетной записи службы и существующий ключ, открыв учетные записи служб в консоли Google BigQuery. Если у вас нет предварительной учетной записи службы: перейдите в раздел "Учетные записи служб" в консоли Google BigQuery и выберите "Создать учетную запись службы". Введите имя учетной записи службы (идентификатор учетной записи службы автоматически создается на основе входного имени учетной записи службы) и описания учетной записи службы. Нажмите кнопку Готово. Скопируйте и вставьте электронную почту учетной записи службы в раздел учетных данных назначенных подключений в Fabric.
    Содержимое файла ключа учетной записи службы JSON На панели мониторинга учетных записей служб выберите "Действия " для созданной учетной записи службы. Выберите "Управление ключами". Если у вас уже есть ключ для учетной записи службы, скачайте содержимое его JSON-файла ключа.

    Если у вас еще нет ключа для учетной записи службы, выберите "Добавить ключ " и "Создать новый ключ". Затем выберите JSON. Файл ключа JSON должен автоматически скачаться. Скопируйте и вставьте ключ JSON в раздел учетных данных назначенных подключений на портале Fabric.
    Подключение Создайте новое подключение.
    Имя подключения Должен быть автоматически заполнен. Измените его на имя, которое вы хотите использовать.

  3. Выберите базу данных из раскрывающегося списка.

Запуск процесса зеркалирования

  1. Экран "Настройка зеркального отображения" позволяет зеркально отображать все данные в базе данных по умолчанию.

    • Зеркальное отображение всех данных означает, что все новые таблицы, созданные после запуска зеркального отображения, будут зеркально отображаться.

    • При необходимости выберите только определенные объекты для зеркального отображения. Отключите параметр "Зеркальное отображение всех данных ", а затем выберите отдельные таблицы из базы данных.

    В этом примере мы используем параметр "Зеркальное отображение всех данных ".

  2. Выберите зеркальную базу данных. Начинается зеркальное отображение.

  3. Подождите 2-5 минут. Затем выберите "Мониторинг репликации" , чтобы просмотреть состояние.

  4. Через несколько минут состояние должно измениться на "Выполнение", что означает синхронизацию таблиц.

    Если таблицы и соответствующее состояние репликации не отображаются, подождите несколько секунд и обновите панель.

  5. После завершения первоначального копирования таблиц дата появится в столбце Последнее обновление.

  6. Теперь, когда ваши данные работают в полном объёме, доступны различные сценарии аналитики по всему Fabric.

Это важно

  • Отражение изменений в Google BigQuery имеет задержку около 15 минут. Это ограничение технологии обработки изменения данных Google BigQuery (CDC).
  • Все детализированные средства безопасности, установленные в исходной базе данных, должны быть перенастроены в зеркальной базе данных в Microsoft Fabric.

Мониторинг зеркального отображения Структуры

После настройки зеркального отображения вы будете перенаправлены на страницу состояния зеркального отображения . Здесь можно отслеживать текущее состояние репликации.

Для получения дополнительной информации и подробностей о состояниях репликации см. раздел Мониторинг зеркальной репликации баз данных в Fabric.

Это важно

Если в базе данных BigQuery нет обновлений в исходных таблицах, подсистема репликатора (подсистема управления изменениями для зеркального отображения BigQuery) будет замедляться и реплицировать только таблицы каждый час. Не удивляйтесь, если данные после начальной загрузки занимает больше времени, чем ожидалось, особенно если в исходных таблицах нет новых обновлений. После создания моментального снимка движок зеркалирования ожидает около 15 минут до получения изменений; это связано с ограничением Google BigQuery, в котором установлено 10-минутное задержание на отражение любых новых изменений. Дополнительные сведения о задержке отражения изменений BigQuery

Связанный контент

  • Last updated on