Compartir a través de

Tutorial: Configuración de la creación de reflejo para Google BigQuery (versión preliminar)

En este tutorial, configurarás una base de datos replicada de Fabric en Google BigQuery.

Nota:

Aunque este ejemplo es específico de BigQuery, puede encontrar pasos detallados para configurar la creación de reflejo para otros orígenes de datos, como Azure SQL Database o Azure Cosmos DB. Para obtener más información, vea ¿Qué es la creación de reflejo en Fabric?

Prerrequisitos

  • Cree o use un almacenamiento de BigQuery existente. Puede conectarse a cualquier versión de la instancia de BigQuery en cualquier nube, incluido Microsoft Azure.
  • Necesita una capacidad de Fabric existente. Si no lo hace, inicie una versión de prueba de Fabric.

Requisitos de permisos

Necesita permisos de usuario para la base de datos de BigQuery que contenga los permisos siguientes:

  • bigquery.datasets.create
  • bigquery.tables.list
  • bigquery.tables.create
  • bigquery.tables.export
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.updateData
  • bigquery.routines.get
  • bigquery.routines.list
  • bigquery.jobs.create
  • storage.buckets.create
  • storage.buckets.list
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list
  • iam.serviceAccounts.signBlob

Los roles BigQueryAdmin y StorageAdmin deben incluir estos permisos.

Se podrían requerir más permisos en función del caso de uso. Los permisos mínimos necesarios son necesarios para trabajar con el historial de cambios y controlar varias tablas de tamaño (tablas de más de 10 GB). Incluso si no trabaja con tablas superiores a 10 GB, habilite todos estos permisos mínimos para garantizar el éxito del uso del Espejo.

Para obtener más información sobre los permisos, consulte la documentación de Google BigQuery sobre los privilegios necesarios para los datos de streaming, los permisos necesarios para el acceso al historial de cambios y los permisos necesarios para escribir los resultados de la consulta.

El usuario debe tener al menos un rol asignado que permita el acceso a la instancia de BigQuery. Compruebe los requisitos de red para acceder al origen de datos de BigQuery. Si usa la creación de reflejos para Google BigQuery para la puerta de enlace de datos local (OPDG), debe tener opDG versión 3000.286.6 o superior para habilitar la creación de reflejo correcta.

Para obtener información sobre por qué se necesitan estos permisos, consulte la documentación sobre las limitaciones de permisos.

Importante

Cualquier seguridad granular establecida en el almacén de BigQuery de origen debe volver a configurarse en la base de datos reflejada de Microsoft Fabric. Para más información, consulte Permisos pormenorizados de SQL en Microsoft Fabric.

Creación de una base de datos reflejada

En esta sección, creará una nueva base de datos duplicada a partir del origen de datos duplicado de BigQuery.

Puede usar un área de trabajo existente (no Mi área de trabajo) o crear una nueva área de trabajo.

  1. En el área de trabajo, vaya al centro de creación .
  2. Después de seleccionar el área de trabajo que desea usar, seleccione Crear.
  3. Seleccione la tarjeta Google BigQuery replicada.
  4. Escriba el nombre de la nueva base de datos.
  5. Selecciona Crear.

Conexión a la instancia de BigQuery en cualquier nube

Nota:

Es posible que necesite modificar el firewall de nube para permitir que Mirroring se conecte a la instancia de BigQuery. Apoyamos el reflejo para Google BigQuery para la versión 3000.286.6 de OPDG o posterior.

  1. Seleccione BigQuery en Nueva conexión o seleccione una conexión existente.

  2. Si seleccionó Nueva conexión, escriba los detalles de conexión en la base de datos bigQuery.

    Configuración de conexión Description
    Correo electrónico de la cuenta de servicio Si tiene una cuenta de servicio preexistente: puede encontrar el correo electrónico de la cuenta de servicio y la clave existente; para ello, vaya a Cuentas de servicio en la consola de Google BigQuery. Si no tiene una cuenta de servicio preexistente: vaya a "Cuentas de servicio" en la consola de Google BigQuery y seleccione Crear cuenta de servicio. Escriba un nombre de cuenta de servicio (un identificador de cuenta de servicio se genera automáticamente en función del nombre de la cuenta de servicio de entrada) y una descripción de la cuenta de servicio. Seleccione Listo. Copie y pegue el correo electrónico de la cuenta de servicio en la sección credenciales de conexiones designadas de Fabric.
    Contenido del archivo de clave JSON de la cuenta de servicio En el panel Cuentas de servicio, seleccione Acciones para la cuenta de servicio recién creada. Seleccione Administrar claves. Si ya tiene una clave por cuenta de servicio, descargue su contenido del archivo de clave JSON.

    Si aún no tiene una clave por cuenta de servicio, seleccione Agregar clave y Crear nueva clave. A continuación, seleccione JSON. El archivo de clave JSON debe descargarse automáticamente. Copie y pegue la clave JSON en la sección credenciales de conexiones designadas en el portal de Fabric.
    Conexión Cree una nueva conexión.
    Nombre de la conexión Debe rellenarse automáticamente. Cámbielo por un nombre que le gustaría usar.

  3. Seleccione la base de datos en la lista desplegable.

Inicio del proceso de creación de reflejo

  1. La pantalla Configurar creación de reflejo permite reflejar todos los datos de la base de datos de forma predeterminada.

    • Reflejar todos los datos significa que cualquier nueva tabla creada después de iniciar el reflejo se reflejará.

    • Opcionalmente, elija solo determinados objetos que se van a reflejar. Deshabilite la opción Reflejar todos los datos y, a continuación, seleccione tablas individuales de la base de datos.

    En este ejemplo, usamos la opción Reflejar todos los datos .

  2. Seleccione Base de datos reflejada. Comienza la creación de reflejo.

  3. Espere entre 2 y 5 minutos. A continuación, seleccione Supervisar replicación para ver el estado.

  4. Después de unos minutos, el estado debe cambiar a En ejecución, lo que significa que las tablas se están sincronizando.

    Si no ve las tablas y el estado de replicación correspondiente, espere unos segundos y luego actualice el panel.

  5. Cuando hayan terminado la copia inicial de las tablas, aparecerá una fecha en la columna Última actualización .

  6. Ahora que los datos están en funcionamiento, hay varios escenarios de análisis disponibles en Fabric.

Importante

  • La creación de reflejo para Google BigQuery tiene un retraso de aproximadamente 15 minutos en la reflexión de cambios. Se trata de una limitación de la tecnología de captura de datos modificados (CDC) de Google BigQuery.
  • Cualquier seguridad granular establecida en la base de datos de origen debe volver a configurarse en la base de datos reflejada en Microsoft Fabric.

Supervisión de la creación de reflejo del tejido

Una vez configurado el reflejo, se le dirigirá a la página Estado de reflejo. Aquí puede supervisar el estado actual de la replicación.

Para más información y detalles acerca de los estados de replicación, consulte Supervisión de la replicación de la base de datos reflejada de Fabric.

Importante

Si no hay actualizaciones en las tablas de origen de la base de datos de BigQuery, el motor de replicador (el motor que impulsa los datos modificados para la creación de reflejo de BigQuery) se ralentizará y solo replicará las tablas cada hora. No se sorprenda si los datos después de la carga inicial tardan más de lo esperado, especialmente si no tiene actualizaciones nuevas en las tablas de origen. Después de la instantánea, el motor de espejo esperará aproximadamente 15 minutos antes de obtener los cambios; esto se debe a una limitación de Google BigQuery en la que se impone un retraso de 10 minutos para reflejar los cambios nuevos. Más información sobre el retraso de reflexión de cambios de BigQuery

Contenido relacionado

  • Last updated on