Conectarse y administrar proyectos de Google BigQuery en Microsoft Purview

Importante

Se retirarán el Catálogo unificado de Microsoft Purview y las funcionalidades clásicas de gobierno de datos de Microsoft Purview (anteriormente Azure Purview). Microsoft está consolidando sus capacidades de gobernanza de datos en Microsoft Fabric. Ya no puede crear cuentas nuevas y las funcionalidades existentes permanecerán en modo de mantenimiento hasta el 12 de noviembre de 2027. Para conocer los plazos de retirada, las instrucciones de transición y los próximos pasos recomendados, consulte el anuncio de retirada de la gobernanza de datos de Microsoft Purview.

Este artículo describe cómo registrar proyectos de Google BigQuery y cómo autenticar e interactuar con Google BigQuery en Microsoft Purview. Para obtener más información sobre Microsoft Purview, lea el artículo introductorio.

Funciones admitidas

Capacidades de examen

Extracción de metadatos Examen completo Examen incremental Examen enfocado
Sí Sí No Sí

Al analizar el origen de Google BigQuery, Microsoft Purview admite:

  • Extraer metadatos técnicos que incluyen:

    • Projects
    • Conjuntos de datos
    • Tablas, incluidas las columnas
    • Vistas, incluidas las columnas

  • Capturando linaje estático en activos relaciones entre tablas y vistas.

Al configurar el análisis, puedes optar por analizar un proyecto completo de Google BigQuery o limitar el análisis a un subconjunto de conjuntos de datos que coincidan con los nombres o patrones de nombres dados.

Otras funcionalidades

Para clasificaciones como etiquetas de confidencialidad, directivas, linaje de datos y vista en directo, consulte la lista de funcionalidades admitidas.

Limitaciones conocidas

  • Actualmente, Microsoft Purview solo admite el análisis de los conjuntos de datos de Google BigQuery en ubicaciones multirregionales de Estados Unidos. Si el conjunto de datos especificado se encuentra en otra ubicación, por ejemplo, us-east1 o EU, observará que el examen se completa, pero no se muestran activos en Microsoft Purview.
  • Cuando se elimina un objeto del origen de datos, actualmente el análisis posterior no quitará automáticamente el activo correspondiente en Microsoft Purview.

Requisitos previos

Permisos necesarios para el examen

La cuenta de servicio de Google BigQuery que usas para el análisis debe tener funciones de IAM de Visor de metadatos de BigQuery y Usuario de trabajo de BigQuery en los proyectos que deseas analizar. Estos permisos son necesarios porque Microsoft Purview extrae los metadatos leyendo las tablas del sistema de base de datos de Google BigQuery (por ejemplo, INFORMATION_SCHEMA). Y el controlador JDBC de Google BigQuery subyacente crea un trabajo de BigQuery cuando necesita leer de estas tablas del sistema.

Microsoft Purview usa el protocolo OAuth 2.0 para acceder al servicio Google BigQuery. Configure las credenciales siguiendo las instrucciones de la sección Crear y ejecutar el examen .

Registrarse

En esta sección se describe cómo registrar un proyecto de Google BigQuery en Microsoft Purview mediante el portal de gobierno de Microsoft Purview.

Pasos para registrarse

  1. Abra el portal de gobierno de Microsoft Purview al:

  2. Seleccione Mapa de datos en el panel de navegación izquierdo.

  3. Seleccione Registrar.

  4. En Registrar orígenes, seleccione Google BigQuery . Seleccione Continuar.

    registrar el origen de BigQuery

En la pantalla Registrar fuentes (Google BigQuery), haga lo siguiente:

  1. Introduzca un nombre con el que el origen de datos aparecerá en el catálogo.

  2. Escriba ProjectID. Debe ser un identificador de proyecto completo. Por ejemplo, mydomain.com:myProject

  3. Seleccione una colección de la lista.

  4. Seleccione Registrar.

    configurar el origen de BigQuery

Examinar

Siga los pasos a continuación para escanear un proyecto de Google BigQuery para identificar automáticamente los activos. Para obtener más información sobre la exploración en general, consulte nuestra introducción a las exploraciones y la ingesta.

Crear y ejecutar un examen

  1. En el Centro de administración, seleccione Entornos de ejecución de integración. Asegúrese de que se haya configurado un entorno de ejecución de integración autohospedado. Si no está configurado, siga los pasos mencionados en los requisitos previos.

  2. Vaya a Orígenes.

  3. Selecciona el proyecto de BigQuery registrado.

  4. Selecciona + Nuevo examen.

  5. Proporciona los detalles siguientes:

    1. Nombre: el nombre del examen

    2. Conectarse mediante el entorno de ejecución de integración: seleccione el entorno de ejecución de integración autohospedado configurado

    3. Credencial: Al configurar las credenciales de BigQuery, asegúrate de:

      • Seleccionar la autenticación básica como método de autenticación
      • Proporcione el Id. de correo electrónico de la cuenta de servicio en el campo Nombre de usuario. Por ejemplo: xyz\@developer.gserviceaccount.com
      • Siga los pasos que se indican a continuación para generar la clave privada, copie todo el archivo de clave JSON y almacénelo como el valor de un secreto de Key Vault.

      Para crear una nueva clave privada desde la plataforma en la nube de Google:

      1. En el menú de navegación, seleccione IAM & Administración -> Cuentas de servicio -> Seleccione un proyecto ->
      2. Seleccione la dirección de correo electrónico de la cuenta de servicio para la que desea crear una clave.
      3. Seleccione la pestaña Claves .
      4. Selecciona el menú desplegable Agregar clave y, a continuación, selecciona Crear nueva clave.
      5. Elija el formato JSON.

      Nota:

      Cuando se ejecutan los procesos de análisis, el contenido de la clave privada se guarda en un archivo temporal en la máquina virtual. Este archivo temporal se elimina una vez finalizados correctamente los exámenes. En caso de que se produzca un error de análisis, el sistema seguirá intentándolo de nuevo hasta que se realice correctamente. Asegúrese de que el acceso está debidamente restringido en la máquina virtual donde se ejecuta SHIR.

      Para obtener más información sobre las credenciales, consulte el vínculo aquí.

    4. Ubicación del controlador: especifique la ruta de acceso a la ubicación del controlador JDBC en la máquina donde se ejecuta el tiempo de ejecución de integración de autohost. Por ejemplo: D:\Drivers\GoogleBigQuery.

      1. Para el entorno de ejecución de integración autohospedado en una máquina local: D:\Drivers\GoogleBigQuery. Es la ruta de acceso a la ubicación válida de la carpeta JAR. El valor debe ser una ruta de acceso válida y absoluta al archivo y no contener espacio. Asegúrese de que el controlador sea accesible para el entorno de ejecución de integración autohospedado;; Obtenga más información en la sección Requisitos previos.
      2. Para el entorno de ejecución de integración autohospedado compatible con Kubernetes: ./drivers/GoogleBigQuery. Es la ruta de acceso a la ubicación válida de la carpeta JAR. El valor debe ser una ruta de acceso de archivo relativa válida. Consulta la documentación para configurar de antemano un examen con controladores externos para cargar controladores.

    5. Conjunto de datos: especifica una lista de conjuntos de datos de BigQuery para importar. Por ejemplo, dataset1;dataset2. Cuando la lista está vacía, se importan todos los conjuntos de datos disponibles. Los patrones de nombre de conjunto de datos aceptables pueden ser nombres estáticos o contener un % comodín.

      Ejemplo: A%;%B;%C%;D

      • Empiece por A o
      • terminar con B o
      • contain C o
      • igual D

      El uso de NOT y caracteres especiales no es aceptable.

    6. Memoria máxima disponible: memoria máxima (en GB) disponible en la máquina virtual para que la usen los procesos de análisis. Esto depende del tamaño del proyecto de Google BigQuery que se escaneará.

      escanear el origen de BigQuery

  6. Seleccione Probar conexión.

  7. Seleccione Continuar.

  8. Elija el desencadenador de análisis. Puede configurar una programación o ejecutar el examen una vez.

  9. Revise el examen y seleccione Guardar y ejecutar.

Ver los exámenes y las ejecuciones de análisis

Para ver los exámenes existentes:

  1. Vaya al portal de Microsoft Purview. En el panel izquierdo, seleccione Asignación de datos.
  2. Seleccione el origen de datos. Puedes ver una lista de los exámenes existentes en ese origen de datos en Análisis recientes, o puedes ver todos los exámenes en la pestaña Análisis .
  3. Seleccione el examen que tenga los resultados que desea ver. En el panel se muestran todas las ejecuciones de análisis anteriores, junto con el estado y las métricas de cada ejecución de análisis.
  4. Seleccione el identificador de ejecución para comprobar los detalles de la ejecución de análisis.

Administrar los exámenes

Para editar, cancelar o eliminar un examen:

  1. Vaya al portal de Microsoft Purview. En el panel izquierdo, seleccione Asignación de datos.

  2. Seleccione el origen de datos. Puedes ver una lista de los exámenes existentes en ese origen de datos en Análisis recientes, o puedes ver todos los exámenes en la pestaña Análisis .

  3. Selecciona el examen que quieras administrar. Después, podrá:

    • Para editar el examen, seleccione Editar examen.
    • Para cancelar un examen en curso, seleccione Cancelar ejecución de examen.
    • Para eliminar el examen, seleccione Eliminar examen.

Nota:

  • La eliminación del examen no elimina los activos del catálogo creados a partir de exámenes anteriores.

Linaje

Después de analizar la fuente de Google BigQuery, puedes navegar por el Catálogo unificado o buscar en el Catálogo unificado para ver los detalles de los recursos.

Ve a la pestaña Activo:> linaje, puedes ver la relación de activos cuando corresponda. Consulta la sección de capacidades admitidas sobre los escenarios de linaje de Google BigQuery admitidos. Para obtener más información sobre el linaje en general, consulte el linaje de datos y la guía del usuario de linaje.

Vista de linaje de Google BigQuery

Pasos siguientes

Ahora que ha registrado su fuente, siga las guías siguientes para obtener más información sobre Microsoft Purview y sus datos.

  • Darrera actualització el