Compartir vía

Conexión y administración de Snowflake en Microsoft Purview

  • Artículo

En este artículo se describe cómo registrar Snowflake y cómo autenticar e interactuar con Snowflake en Microsoft Purview. Para obtener más información sobre Microsoft Purview, lea el artículo introductorio.

Funciones admitidas

Extracción de metadatos Examen completo Examen incremental Examen con ámbito Clasificación Etiquetar Directiva de acceso Linaje Uso compartido de datos Vista en vivo
Sí Sí No Sí Sí No No Sí No No

Al examinar el origen de Snowflake, Microsoft Purview admite:

  • Extracción de metadatos técnicos, entre los que se incluyen:

    • Servidor
    • Databases
    • Schemas
    • Tablas que incluyen las columnas, las claves externas y las restricciones únicas
    • Vistas que incluyen las columnas
    • Procedimientos almacenados, incluidos el conjunto de datos de parámetros y el conjunto de resultados
    • Funciones que incluyen el conjunto de datos de parámetros
    • Tuberías
    • Etapas
    • Secuencias que incluyen las columnas
    • Tareas
    • Sequences

  • Captura del linaje estático en las relaciones de recursos entre tablas, vistas, secuencias y procedimientos almacenados.

En el caso de los procedimientos almacenados, puede elegir el nivel de detalles que se van a extraer en la configuración del examen. El linaje de procedimientos almacenados se admite para los lenguajes De scripting de Snowflake (SQL) y JavaScript, y se genera en función de la definición del procedimiento.

Al configurar el examen, puede optar por examinar una o varias bases de datos de Snowflake completamente en función de los nombres o patrones de nombre especificados, o limitar aún más el examen a un subconjunto de esquemas que coincidan con los nombres o patrones de nombre especificados.

Limitaciones conocidas

  • Cuando se elimina el objeto del origen de datos, actualmente el examen posterior no quitará automáticamente el recurso correspondiente en Microsoft Purview.
  • No se admite el linaje de procedimientos almacenados para los siguientes patrones:
    • Procedimiento almacenado definido en los lenguajes Java, Python y Scala.
    • Procedimiento almacenado mediante SQL EXECUTE IMMEDIATE con una consulta SQL estática como variable.

Requisitos previos

Nota:

Si el almacén de datos no es accesible públicamente (si el almacén de datos limita el acceso desde una red local, una red privada o direcciones IP específicas, etc.), deberá configurar un entorno de ejecución de integración autohospedado para conectarse a él.

Permisos necesarios para el examen

Microsoft Purview admite la autenticación básica (nombre de usuario y contraseña) para examinar Snowflake. El rol predeterminado del usuario especificado se usará para realizar el examen. El usuario de Snowflake debe tener derechos de uso en un almacén y en las bases de datos que se van a examinar y leer el acceso a las tablas del sistema para acceder a metadatos avanzados.

Este es un tutorial de ejemplo para crear un usuario específicamente para el examen de Microsoft Purview y configurar los permisos. Si decide usar un usuario existente, asegúrese de que tiene derechos adecuados para los objetos de almacenamiento y base de datos.

  1. Configure un purview_reader rol. Para ello, necesita derechos ACCOUNTADMIN .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Cree un almacén para que Microsoft Purview use y conceda derechos.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Cree un usuario purview para el examen de Microsoft Purview.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Conceda derechos de lector a los objetos de base de datos.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrarse

En esta sección se describe cómo registrar Snowflake en Microsoft Purview mediante el portal de gobernanza de Microsoft Purview.

Pasos para registrarse

Para registrar un nuevo origen de Snowflake en el catálogo de datos, siga estos pasos:

  1. Vaya a su cuenta de Microsoft Purview en el portal de gobernanza de Microsoft Purview.
  2. Seleccione Mapa de datos en el panel de navegación izquierdo.
  3. Seleccione Registrar.
  4. En Registrar orígenes, seleccione Snowflake. Seleccione Continuar.

En la pantalla Registrar orígenes (Snowflake), siga estos pasos:

  1. Escriba un nombre que indique que el origen de datos aparecerá en el catálogo.

  2. Escriba la dirección URL del servidor que se usa para conectarse a la cuenta de Snowflake en forma de <account_identifier>.snowflakecomputing.com, por ejemplo, orgname-accountname.snowflakecomputing.com. Obtenga más información sobre el identificador de cuenta de Snowflake.

  3. Seleccione una colección o cree una nueva (opcional)

  4. Termine de registrar el origen de datos.

    opciones de orígenes de registro

Examinar

Siga los pasos siguientes para examinar Snowflake para identificar automáticamente los recursos. Para obtener más información sobre el examen en general, consulte nuestra introducción a los exámenes y la ingesta.

Autenticación para un examen

El tipo de autenticación admitido para un origen de Snowflake es Autenticación básica.

Creación y ejecución de un examen

Para crear y ejecutar un nuevo examen, siga estos pasos:

  1. Si el servidor es accesible públicamente, vaya al paso dos. De lo contrario, deberá asegurarse de que el entorno de ejecución de integración autohospedado está configurado:

    1. En el portal de gobernanza de Microsoft Purview, vaya al Centro de administración y seleccione Entornos de ejecución de integración.
    2. Asegúrese de que hay disponible un entorno de ejecución de integración autohospedado. Si no está configurado, siga los pasos que se mencionan aquí para configurar un entorno de ejecución de integración autohospedado.

  2. En el portal de gobernanza de Microsoft Purview, vaya a Orígenes.

  3. Seleccione el origen de Snowflake registrado.

  4. Seleccione + Nuevo examen.

  5. Proporcione los detalles siguientes:

    1. Nombre: nombre del examen

    2. Conectar a través de Integration Runtime: seleccione el entorno de ejecución de integración resuelto automáticamente de Azure si el servidor es accesible públicamente o el entorno de ejecución de integración autohospedado configurado si no está disponible públicamente.

    3. Credencial: seleccione la credencial para conectarse al origen de datos. Asegúrese de:

      • Seleccione Autenticación básica al crear una credencial.
      • Proporcione el nombre de usuario usado para conectarse a Snowflake en el campo De entrada Nombre de usuario.
      • Almacene la contraseña de usuario usada para conectarse a Snowflake en la clave secreta.

    4. Almacén: especifique el nombre de la instancia de almacenamiento que se usa para habilitar el examen en mayúsculas. El rol predeterminado asignado al usuario especificado en la credencial debe tener derechos USAGE en este almacén.

    5. Bases de datos: especifique uno o varios nombres de instancia de base de datos que se van a importar en mayúsculas. Separe los nombres de la lista con un punto y coma (;). Por ejemplo, db1;db2. El rol predeterminado asignado al usuario especificado en la credencial debe tener derechos adecuados en los objetos de base de datos.

      Los patrones de nombres de base de datos aceptables que usan la sintaxis de expresiones DE SQL LIKE incluyen el uso de %. Por ejemplo: : A%;%B;%C%;D

      • Empezar con A o
      • Terminar con B o
      • Contener C o
      • D igual

    6. Esquema: enumera el subconjunto de esquemas que se van a importar expresados como una lista separada por punto y coma. Por ejemplo, schema1;schema2. Todos los esquemas de usuario se importan si esa lista está vacía. Todos los esquemas y objetos del sistema se omiten de forma predeterminada.

      Los patrones de nombres de esquema aceptables que usan la sintaxis de expresiones DE SQL LIKE incluyen el uso de %. Por ejemplo: : A%;%B;%C%;D

      • Empezar con A o
      • Terminar con B o
      • Contener C o
      • D igual

      El uso de NOT y caracteres especiales no es aceptable.

    7. Detalles del procedimiento almacenado: controla el número de detalles importados de los procedimientos almacenados:

      • Firma (valor predeterminado): nombre y parámetros de los procedimientos almacenados.
      • Código, firma: nombre, parámetros y código de procedimientos almacenados.
      • Linaje, código, firma: nombre, parámetros y código de procedimientos almacenados y el linaje de datos derivado del código.
      • Ninguno: no se incluyen los detalles del procedimiento almacenado.

      Nota:

      Si usa Integration Runtime autohospedado para el examen, se admite la configuración personalizada que no sea la firma predeterminada desde la versión 5.30.8541.1. Las versiones anteriores siempre extraen el nombre y los parámetros de los procedimientos almacenados.

    8. Memoria máxima disponible (aplicable cuando se usa el entorno de ejecución de integración autohospedado): memoria máxima (en GB) disponible en la máquina virtual del cliente que usarán los procesos de examen. Depende del tamaño del origen de Snowflake que se va a examinar.

      Nota:

      Como regla general, proporcione 1 GB de memoria por cada 1000 tablas.

      examen de Snowflake

  6. Seleccione Probar conexión para validar la configuración (disponible al usar Azure Integration Runtime).

  7. Seleccione Continuar.

  8. Seleccione un conjunto de reglas de examen para la clasificación. Puede elegir entre los conjuntos de reglas personalizados predeterminados del sistema existentes o crear un nuevo conjunto de reglas alineado. Consulte el artículo Clasificación para obtener más información.

    Nota:

    Si usa el entorno de ejecución autohospedado, deberá actualizar a la versión 5.26.404.1 o superior para usar la clasificación de Snowflake. Puede encontrar la versión más reciente de Microsoft Integration Runtime aquí.

  9. Elija el desencadenador de examen. Puede configurar una programación o ejecutar el examen una vez.

  10. Revise el examen y seleccione Guardar y ejecutar.

Visualización de los exámenes y las ejecuciones de examen

Para ver los exámenes existentes:

  1. Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.
  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .
  3. Seleccione el examen que tiene los resultados que desea ver. En el panel se muestran todas las ejecuciones de examen anteriores, junto con el estado y las métricas de cada ejecución de examen.
  4. Seleccione el identificador de ejecución para comprobar los detalles de la ejecución del examen.

Administrar los exámenes

Para editar, cancelar o eliminar un examen:

  1. Vaya al portal de gobernanza de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.

  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .

  3. Seleccione el examen que desea administrar. Después, podrá:

    • Edite el examen seleccionando Editar examen.
    • Para cancelar un examen en curso, seleccione Cancelar ejecución del examen.
    • Para eliminar el examen, seleccione Eliminar examen.

Nota:

  • La eliminación del examen no elimina los recursos de catálogo creados a partir de exámenes anteriores.
  • El recurso ya no se actualizará con los cambios de esquema si la tabla de origen ha cambiado y vuelve a examinar la tabla de origen después de editar la descripción en la pestaña Esquema de Microsoft Purview.

Linaje

Después de examinar el origen de Snowflake, puede examinar el catálogo de datos o buscar en el catálogo de datos para ver los detalles del recurso.

Vaya a la pestaña recurso -> linaje; puede ver la relación de recursos cuando corresponda. Consulte la sección funcionalidades admitidas en los escenarios de linaje de Snowflake admitidos. Para obtener más información sobre el linaje en general, consulte guía del usuario de linaje y linaje de datos.

Vista de linaje de Copo de nieve

Nota:

Si las tablas de distintas bases de datos crearon una vista, examine todas las bases de datos simultáneamente con los nombres del punto y coma (;) Lista.

Sugerencias para solucionar problemas

  • Compruebe el identificador de cuenta en el paso de registro de origen. No incluyas https:// parte en la parte delantera.
  • Asegúrese de que el nombre del almacén y el nombre de la base de datos están en mayúsculas en la página de configuración del examen.
  • Compruebe el almacén de claves. Asegúrese de que no haya errores tipográficos en la contraseña.
  • Compruebe la credencial que configuró en Microsoft Purview. El usuario que especifique debe tener un rol predeterminado con los derechos de acceso necesarios tanto al almacén como a la base de datos que intenta examinar. Consulte Permisos necesarios para el examen. USE DESCRIBE USER; para comprobar el rol predeterminado del usuario que ha especificado para Microsoft Purview.
  • Use historial de consultas en Snowflake para ver si se encuentra alguna actividad.
    • Si hay un problema con el identificador o la contraseña de la cuenta, no verá ninguna actividad.
    • Si hay un problema con el rol predeterminado, debería ver al menos una USE WAREHOUSE . . . instrucción .
    • Puede usar la función de tabla QUERY_HISTORY_BY_USER para identificar qué rol usa la conexión. La configuración de un usuario dedicado de Microsoft Purview facilitará la solución de problemas.

Siguientes pasos

Ahora que ha registrado su origen, siga las guías siguientes para obtener más información sobre Microsoft Purview y sus datos.