Comparteix a través de

Tutorial: Configuración de la creación de reflejo para Google BigQuery (versión preliminar)

En este tutorial, configurarás una base de datos replicada de Fabric en Google BigQuery.

Nota:

Aunque este ejemplo es específico de BigQuery, puede encontrar pasos detallados para configurar la creación de reflejo para otros orígenes de datos, como Azure SQL Database o Azure Cosmos DB. Para obtener más información, vea ¿Qué es la creación de reflejo en Fabric?

Prerrequisitos

  • Cree o use un almacenamiento de BigQuery existente. Puede conectarse a cualquier versión de la instancia de BigQuery en cualquier nube, incluido Microsoft Azure.
  • Necesita una capacidad de Fabric existente. Si no lo hace, inicie una versión de prueba de Fabric.

Requisitos de permisos

Necesita permisos de usuario para la base de datos de BigQuery que contenga los permisos siguientes:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Recuperar metadatos de tabla y configuración del historial de cambios (obligatorio)

Los roles BigQueryAdmin y StorageAdmin deben incluir estos permisos. Los permisos siguientes son necesarios para determinar si el historial de cambios está habilitado y para recuperar la clave principal o la información de clave compuesta.

El usuario debe tener al menos un rol asignado que permita el acceso a la instancia de BigQuery. Compruebe los requisitos de red para acceder al origen de datos de BigQuery. Si usa la creación de reflejos para Google BigQuery para la puerta de enlace de datos local (OPDG), debe tener opDG versión 3000.286.6 o superior para habilitar la creación de reflejo correcta.

Permisos necesarios

Para establecer manualmente cubos (y evitar la necesidad de conceder el permiso storage.buckets.create), puede usar:

  • bigquery.tables.get
  • bigquery.tables.list
  • bigquery.routines.get
  • bigquery.routines.list
  1. Vaya a Almacenamiento en la nube en la consola de Google y seleccione Cubos.
  2. Seleccione Crear y asigne un nombre al cubo en este formato (distingue mayúsculas de minúsculas): <projectid>_fabric_staging_bucket
  3. Asegúrese de que la ubicación/región del bucket sea la misma que el proyecto de GCP que planea reflejar.
  4. Selecciona Crear. El sistema de réplica detectará automáticamente el bucket.

Se podrían requerir más permisos en función del caso de uso. Los permisos mínimos necesarios son para trabajar con el historial de cambios y controlar varias tablas de tamaño (tablas de más de 10 GB). Incluso si no trabaja con tablas superiores a 10 GB, habilite todos estos permisos mínimos para garantizar el éxito del uso del Espejo.

Recuperar el historial de cambios y los datos de tabla (obligatorios)

Para obtener más información sobre los permisos, consulte la documentación de Google BigQuery sobre los privilegios necesarios para los datos de streaming, los permisos necesarios para el acceso al historial de cambios y los permisos necesarios para escribir los resultados de la consulta.

Los permisos siguientes son necesarios para leer el historial de cambios y los datos de la tabla.

Importante

Cualquier seguridad granular establecida en el almacén de BigQuery de origen debe volver a configurarse en la base de datos reflejada de Microsoft Fabric. Para más información, consulte Permisos pormenorizados de SQL en Microsoft Fabric.

Permisos necesarios

  • bigquery.tables.getData
  • bigquery.jobs.create
  • bigquery.jobs.get
  • bigquery.jobs.list
  • bigquery.readsessions.create
  • bigquery.readsessions.getData

Habilitación de las funcionalidades del historial de cambios (obligatorio)

El historial de cambios debe estar habilitado en las tablas bigQuery de origen mediante una de las siguientes opciones.

Opción 1: Habilitar permiso

  • bigquery.tables.update

Permite habilitar el historial de cambios en las tablas.

Opción 2: Habilitar la opción de tabla en GCP

Asegúrese de que la siguiente opción de tabla esté establecida en TRUE:

  • enable_change_history

Exportación de datos a Google Cloud Storage para almacenamiento provisional y copia en OneLake (obligatorio)

Los permisos siguientes son necesarios para exportar datos de BigQuery a Google Cloud Storage para el almacenamiento provisional y copiarlos en OneLake.

Permisos necesarios

  • bigquery.tables.export
  • storage.objects.create
  • storage.objects.list
  • storage.buckets.get
  • iam.serviceAccounts.signBlob

Cubo de almacenamiento en la nube de Google para almacenamiento provisional (obligatorio)

Se requiere un cubo de Google Cloud Storage para exportar datos de tabla bigQuery para el almacenamiento provisional.

Opciones de creación de cubos

Siga uno de estos procedimientos:

Opción 1: Permitir la creación automática de cubos

Conceda el permiso siguiente:

  • storage.buckets.create

Opción 2: Crear manualmente el cubo de almacenamiento provisional

Cree un cubo con la siguiente convención de nomenclatura: <your_project_id_in_lowercase>_fabric_staging_bucket

Requisitos del bucket

  • El cubo debe estar en la misma ubicación o región que el conjunto de datos de BigQuery.
  • El sistema de creación de reflejo detectará automáticamente el cubo una vez que exista.

Enumerar conjuntos de datos (obligatorios)

Permisos necesarios

  • bigquery.datasets.get

Enumerar proyectos (obligatorios)

Permisos necesarios

  • resourcemanager.projects.get

Requisitos de rol y acceso

Los roles Administrador de BigQuery y Administrador de almacenamiento suelen incluir los permisos enumerados anteriormente.

Al usuario se le debe asignar al menos un rol que conceda acceso al proyecto y los conjuntos de datos de BigQuery de destino.

Requisitos de red y puerta de enlace

Compruebe los requisitos de red para acceder al origen de datos de BigQuery.

Si está utilizando Reflejo para Google BigQuery con la puerta de enlace de datos (OPDG) en las instalaciones, debe usar:

  • OPDG versión 3000.286.6 o posterior

Notas adicionales

Es posible que se necesiten más permisos en función del caso de uso. Los permisos enumerados anteriormente representan el mínimo necesario para:

  • Trabajar con el historial de cambios
  • Control de tablas de varios tamaños, incluidas las tablas de más de 10 GB

Incluso si actualmente no está trabajando con tablas de más de 10 GB, se recomienda habilitar todos los permisos mínimos para garantizar la creación de reflejo correcta.

Para obtener más información, consulte:

Importante

Cualquier seguridad granular definida en el almacenamiento de BigQuery de origen debe volver a configurarse en la base de datos reflejada en Microsoft Fabric. Para más información, consulte Permisos pormenorizados de SQL en Microsoft Fabric.

Creación de una base de datos reflejada

En esta sección, creará una nueva base de datos duplicada a partir del origen de datos duplicado de BigQuery.

Puede usar un área de trabajo existente (no Mi área de trabajo) o crear una nueva área de trabajo.

  1. Desde su área de trabajo, navega a la sección Crear.
  2. Después de seleccionar el área de trabajo que desea usar, seleccione Crear.
  3. Seleccione la tarjeta Google BigQuery replicada.
  4. Escriba el nombre de la nueva base de datos.
  5. Selecciona Crear.

Conexión a la instancia de BigQuery en cualquier nube

Nota:

Es posible que necesite modificar el firewall de nube para permitir que Mirroring se conecte a la instancia de BigQuery. Apoyamos el reflejo para Google BigQuery para la versión 3000.286.6 de OPDG o posterior. También admitimos VNET.

  1. Seleccione BigQuery en Nueva conexión o seleccione una conexión existente.

  2. Si seleccionó Nueva conexión, escriba los detalles de conexión en la base de datos bigQuery.

    Configuración de conexión Description
    Correo electrónico de la cuenta de servicio Si tiene una cuenta de servicio preexistente: puede encontrar el correo electrónico de la cuenta de servicio y la clave existente; para ello, vaya a Cuentas de servicio en la consola de Google BigQuery. Si no tiene una cuenta de servicio preexistente: vaya a "Cuentas de servicio" en la consola de Google BigQuery y seleccione Crear cuenta de servicio. Escriba un nombre de cuenta de servicio (un identificador de cuenta de servicio se genera automáticamente en función del nombre de la cuenta de servicio de entrada) y una descripción de la cuenta de servicio. Seleccione Listo. Copie y pegue el correo electrónico de la cuenta de servicio en la sección credenciales de conexiones designadas de Fabric.
    Contenido del archivo de clave JSON de la cuenta de servicio En el panel Cuentas de servicio, seleccione Acciones para la cuenta de servicio recién creada. Seleccione Administrar claves. Si ya tiene una clave por cuenta de servicio, descargue su contenido del archivo de clave JSON.

    Si aún no tiene una clave por cuenta de servicio, seleccione Agregar clave y Crear nueva clave. A continuación, seleccione JSON. El archivo de clave JSON debe descargarse automáticamente. Copie y pegue la clave JSON en la sección credenciales de conexiones designadas en el portal de Fabric.
    Conexión Cree una nueva conexión.
    Nombre de la conexión Debe rellenarse automáticamente. Cámbielo por un nombre que le gustaría usar.

  3. Seleccione la base de datos en la lista desplegable.

Inicio del proceso de creación de reflejo

  1. La pantalla Configurar creación de reflejo permite reflejar todos los datos de la base de datos de forma predeterminada.

    • Reflejar todos los datos significa que cualquier nueva tabla creada después de iniciar el reflejo se reflejará.

    • Opcionalmente, elija solo determinados objetos que se van a reflejar. Deshabilite la opción Reflejar todos los datos y, a continuación, seleccione tablas individuales de la base de datos.

    En este ejemplo, usamos la opción Reflejar todos los datos .

  2. Seleccione Base de datos reflejada. Comienza la duplicación.

  3. Espere entre 2 y 5 minutos. A continuación, seleccione Supervisar replicación para ver el estado.

  4. Después de unos minutos, el estado debe cambiar a En ejecución, lo que significa que las tablas se están sincronizando.

    Si no ve las tablas y el estado de replicación correspondiente, espere unos segundos y luego actualice el panel.

  5. Cuando hayan terminado la copia inicial de las tablas, aparecerá una fecha en la columna Última actualización .

  6. Ahora que tus datos están operativos, hay varios escenarios de análisis disponibles en toda la plataforma de Fabric.

Importante

  • La creación de reflejo para Google BigQuery tiene un retraso de aproximadamente 15 minutos en la reflexión de cambios. Se trata de una limitación de las funcionalidades del Historial de cambios de Google BigQuery.
  • Cualquier seguridad granular establecida en la base de datos de origen debe volver a configurarse en la base de datos reflejada en Microsoft Fabric.

Supervisión de la creación de reflejo del tejido

Una vez configurado el reflejo, se le dirigirá a la página Estado de reflejo. Aquí puede supervisar el estado actual de la replicación.

Para más información y detalles acerca de los estados de replicación, consulte Supervisión de la replicación de la base de datos reflejada de Fabric.

Importante

Si no hay actualizaciones en las tablas de origen de la base de datos de BigQuery, el motor de replicador (el motor que impulsa los datos modificados para la creación de reflejo de BigQuery) se ralentizará y solo replicará las tablas cada hora. No se sorprenda si los datos después de la carga inicial tardan más de lo esperado, especialmente si no tiene actualizaciones nuevas en las tablas de origen. Después de la instantánea, el motor de espejo esperará aproximadamente 15 minutos antes de obtener los cambios; esto se debe a una limitación de Google BigQuery en la que se impone un retraso de 10 minutos para reflejar los cambios nuevos. Más información sobre el retraso de reflexión de cambios de BigQuery

Contenido relacionado

  • Last updated on