Защита зеркальных баз данных Microsoft Fabric из Google BigQuery

Эта инструкция поможет вам обеспечить безопасность данных в зеркальной версии BigQuery в Microsoft Fabric.

Это важно

Мы поддерживаем зеркальное отображение для Google BigQuery с помощью локальных шлюзов данных (OPDG). Поддерживается OPDG 3000.286.6 или более поздней версии. Виртуальная сеть также поддерживается.

Вопросы безопасности

Вам нужны разрешения пользователя для базы данных BigQuery, содержащей следующие разрешения:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Получение метаданных таблицы и конфигурации журнала изменений (обязательно)

Роли BigQueryAdmin и StorageAdmin должны включать эти разрешения. Следующие разрешения необходимы для определения включения журнала изменений и получения сведений о первичном или составном ключе.

Пользователю необходимо назначить по крайней мере одну роль, которая разрешает доступ к инстансу BigQuery. Проверьте требования к сети для доступа к источнику данных BigQuery. Если вы используете зеркалирование для Google BigQuery для локального шлюза данных (OPDG), необходима версия OPDG 3000.286.6 или выше для успешного зеркалирования.

Необходимые разрешения

Чтобы вручную создать хранилища данных (и обойти необходимость предоставления разрешения storage.buckets.create), можно использовать следующее:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Перейдите в облачное хранилище в консоли Google и выберите контейнеры.
  2. Выберите "Создать " и назовите контейнер в этом формате (с учетом регистра): <projectid>_fabric_staging_bucket
  3. Убедитесь, что местоположение или регион хранилища совпадает с проектом GCP, который вы планируете синхронизировать.
  4. Нажмите кнопку "Создать". Система зеркального отображения автоматически обнаружит контейнер.

Дополнительные разрешения могут потребоваться в зависимости от варианта использования. Минимальные необходимые разрешения предназначены для работы с журналом изменений и обработки различных таблиц размера (таблицы размером более 10 ГБ). Даже если вы не работаете с таблицами размером более 10 ГБ, включите все эти минимальные разрешения, чтобы обеспечить успешное использование зеркального отображения.

Получение журнала изменений и данных таблицы (обязательно)

Дополнительные сведения о разрешениях см. в документации Google BigQuery по необходимым привилегиям для потоковых данных, требуемым разрешениям для доступа к журналу изменений и необходимым разрешениям для записи результатов запроса

Для чтения журналов изменений и табличных данных требуются следующие разрешения.

Это важно

Любая детальная безопасность, установленная в исходном хранилище BigQuery, должна быть перенастроена в зеркальной базе данных в Microsoft Fabric. Дополнительные сведения см. в разделе "Подробные разрешения SQL" в Microsoft Fabric.

Необходимые разрешения

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Включение возможностей журнала изменений (обязательно)

Журнал изменений должен быть включен в исходных таблицах BigQuery с помощью одного из следующих параметров.

Вариант 1. Включение разрешения

  • bigquery.tables.update

Позволяет включить журнал изменений в таблицах.

Вариант 2. Включение параметра таблицы в GCP

Убедитесь, что для следующей таблицы задано TRUEзначение :

  • enable_change_history

Экспорт данных в облачное хранилище Google для промежуточного хранения и копирования в OneLake (обязательно)

Для экспорта данных BigQuery в Google Cloud Storage для промежуточного хранения и копирования их в OneLake требуются следующие разрешения.

Необходимые разрешения

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Контейнер облачного хранилища Google для промежуточного хранения (обязательно)

Для экспорта данных из таблицы BigQuery для промежуточного хранения требуется корзина Google Cloud Storage.

Параметры создания контейнера

Воспользуйтесь одним из перечисленных ниже подходов.

Вариант 1. Разрешить автоматическое создание контейнеров

Предоставьте следующее разрешение:

  • storage.buckets.create

Вариант 2. Создание промежуточного контейнера вручную

Создайте контейнер со следующим соглашением об именовании: <your_project_id_in_lowercase>_fabric_staging_bucket

Требования к контейнеру

  • Контейнер должен находиться в том же расположении или регионе, что и набор данных BigQuery.
  • Система зеркального отображения автоматически обнаружит контейнер после его существования.

Список наборов данных (обязательно)

Необходимые разрешения

  • bigquery.datasets.get

Перечисление проектов (обязательно)

Необходимые разрешения

  • resourcemanager.projects.get

Требования к роли и доступу

Роли администратора BigQuery и администратора хранилища обычно включают указанные выше разрешения.

Пользователю должна быть назначена по крайней мере одна роль, которая предоставляет доступ к целевому проекту и наборам данных BigQuery.

Требования к сети и шлюзу

Проверьте требования к сети для доступа к источнику данных BigQuery.

Если вы используете зеркальное отображение для Google BigQuery с локальным шлюзом данных (OPDG), необходимо использовать следующее:

  • OPDG версии 3000.286.6 или более поздней

Дополнительные заметки

Дополнительные разрешения могут потребоваться в зависимости от варианта использования. Указанные выше разрешения представляют минимальный необходимый уровень для:

  • Работа с журналом изменений
  • Обработка таблиц различных размеров, включая таблицы размером более 10 ГБ

Даже если в настоящее время вы не работаете с таблицами размером более 10 ГБ, рекомендуется включить все минимальные разрешения, чтобы обеспечить успешное зеркальное отображение.

Дополнительные сведения можно найти здесь

Это важно

Любая детальная безопасность, определенная в исходном хранилище BigQuery, должна быть перенастроена в зеркальной базе данных в Microsoft Fabric. Дополнительные сведения см. в разделе "Подробные разрешения SQL" в Microsoft Fabric.

Функции защиты данных

Вы можете защитить фильтры столбцов и фильтры строк, основанные на предикатах, на таблицах для определённых ролей и пользователей в Microsoft Fabric.

Вы также можете маскировать конфиденциальные данные от неадминистраторов, используя динамическое маскирование данных.

Связанный контент

  • Last updated on