Compartir a través de

Conexión y administración de Snowflake en Microsoft Purview

  • Artículo

En este artículo se describe cómo registrar Snowflake y cómo autenticar e interactuar con Snowflake en Microsoft Purview. Para obtener más información sobre Microsoft Purview, lea el artículo introductorio.

Funciones admitidas

Extracción de metadatos Examen completo Examen incremental Examen con ámbito Clasificación Etiquetar Directiva de acceso Linaje Compartir datos Vista en directo
Sí Sí No Sí Sí Sí No Sí No No

Al examinar el origen de Snowflake, Microsoft Purview admite:

  • Extracción de metadatos técnicos, entre los que se incluyen:

    • Servidor
    • Databases
    • Schemas
    • Tablas que incluyen las columnas, las claves externas y las restricciones únicas
    • Vistas que incluyen las columnas
    • Procedimientos almacenados, incluidos el conjunto de datos de parámetros y el conjunto de resultados
    • Funciones que incluyen el conjunto de datos de parámetros
    • Tubería
    • Etapas
    • Secuencias que incluyen las columnas
    • Tareas
    • Sequences

  • Captura del linaje estático en las relaciones de recursos entre tablas, vistas, secuencias y procedimientos almacenados.

En el caso de los procedimientos almacenados, puede elegir el nivel de detalles que se van a extraer en la configuración del examen. El linaje de procedimientos almacenados se admite para los lenguajes De scripting de Snowflake (SQL) y JavaScript, y se genera en función de la definición del procedimiento.

Al configurar el examen, puede optar por examinar una o varias bases de datos de Snowflake completamente en función de los nombres o patrones de nombre especificados, o limitar aún más el examen a un subconjunto de esquemas que coincidan con los nombres o patrones de nombre especificados.

Limitaciones conocidas

  • Cuando se elimina el objeto del origen de datos, actualmente el examen posterior no quitará automáticamente el recurso correspondiente en Microsoft Purview.
  • No se admite el linaje de procedimientos almacenados para los siguientes patrones:
    • Procedimiento almacenado definido en los lenguajes Java, Python y Scala.
    • Procedimiento almacenado mediante SQL EXECUTE IMMEDIATE con una consulta SQL estática como variable.

Requisitos previos

Permisos necesarios para el examen

Microsoft Purview admite la autenticación básica (nombre de usuario y contraseña) para examinar Snowflake. El rol predeterminado del usuario especificado se usará para realizar el examen. El usuario de Snowflake debe tener derechos de uso en un almacén y en las bases de datos que se van a examinar y leer el acceso a las tablas del sistema para acceder a metadatos avanzados.

Este es un tutorial de ejemplo para crear un usuario específicamente para el examen de Microsoft Purview y configurar los permisos. Si decide usar un usuario existente, asegúrese de que tiene derechos adecuados para los objetos de almacenamiento y base de datos.

  1. Configure un purview_reader rol. Para ello, necesita derechos ACCOUNTADMIN .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Cree un almacén para que Microsoft Purview use y conceda derechos.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Cree un usuario purview para el examen de Microsoft Purview.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Conceda derechos de lector a los objetos de base de datos.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrarse

En esta sección se describe cómo registrar Snowflake en Microsoft Purview mediante el portal de gobernanza de Microsoft Purview.

Pasos para registrarse

Para registrar un nuevo origen de Snowflake en el catálogo de datos, siga estos pasos:

  1. Vaya a su cuenta de Microsoft Purview en el portal de gobernanza de Microsoft Purview.
  2. Seleccione Mapa de datos en el panel de navegación izquierdo.
  3. Seleccione Registrar.
  4. En Registrar orígenes, seleccione Snowflake. Seleccione Continuar.

En la pantalla Registrar orígenes (Snowflake), siga estos pasos:

  1. Escriba un nombre que indique que el origen de datos aparecerá en el catálogo.

  2. Escriba la dirección URL del servidor en forma de <account_identifier>.snowflakecomputing.com, por ejemplo, orgname-accountname.snowflakecomputing.com. Obtenga más información sobre el identificador de cuenta de Snowflake. Tenga en cuenta que esta dirección URL se usa como parte del nombre completo de los recursos de Snowflake y es el punto de conexión predeterminado para que Microsoft Purview se conecte a Snowflake durante el examen.

  3. Agregue hosts adicionales si procede. Especifíquelo cuando desee que las operaciones de examen se conecten a un punto de conexión de Snowflake distinto de la dirección URL del servidor. Puede elegir el host para la conexión durante la configuración del examen.

    Sugerencia

    Si ya ha examinado Snowflake pero quiere cambiar a usar otro punto de conexión, por ejemplo, de punto de conexión público a punto de conexión privado, puede agregar un host adicional en el origen de datos y elegir ese host para la conexión en el examen para asegurarse de que Microsoft Purview genere los recursos con el mismo nombre completo que el anterior.

    Al registrar un origen de datos, Microsoft Purview realiza una comprobación de exclusividad de que la dirección URL del servidor y los hosts adicionales no se superponen con ningún origen existente.

  4. Seleccione una colección de la lista.

  5. Termine de registrar el origen de datos.

    opciones de orígenes de registro

Examinar

Siga los pasos siguientes para examinar Snowflake para identificar automáticamente los recursos. Para obtener más información sobre el examen en general, consulte nuestra introducción a los exámenes y la ingesta.

Autenticación para un examen

El tipo de autenticación admitido para un origen de Snowflake es Autenticación básica.

Creación y ejecución de un examen

Para crear y ejecutar un nuevo examen, siga estos pasos:

  1. En el portal de gobernanza de Microsoft Purview, vaya a Orígenes.

  2. Seleccione el origen de Snowflake registrado.

  3. Seleccione + Nuevo examen.

  4. Proporcione los detalles siguientes:

    1. Nombre: nombre del examen

    2. Conectar mediante integration runtime: seleccione el entorno de ejecución de integración resuelto automáticamente de Azure, Managed VNet IR o SHIR según su escenario. Obtenga más información en Elegir la configuración de Integration Runtime adecuada para su escenario. Para usar Managed VNet IR para conectarse a Snowflake a través de private link, siga los pasos descritos en Conexión a Snowflake a través del punto de conexión privado administrado para configurar primero el punto de conexión privado.

    3. Host para la conexión: elija el punto de conexión que se usa para establecer la conexión a Snowflake durante el examen. Puede elegir entre la dirección URL del servidor o los hosts adicionales que configuró en el origen de datos.

    4. Credencial: seleccione la credencial para conectarse al origen de datos. Asegúrese de:

      • Seleccione Autenticación básica al crear una credencial.
      • Proporcione el nombre de usuario usado para conectarse a Snowflake en el campo De entrada Nombre de usuario.
      • Almacene la contraseña de usuario usada para conectarse a Snowflake en la clave secreta.

    5. Almacén: especifique el nombre de la instancia de almacenamiento que se usa para habilitar el examen en mayúsculas. El rol predeterminado asignado al usuario especificado en la credencial debe tener derechos USAGE en este almacén.

    6. Bases de datos: especifique uno o varios nombres de instancia de base de datos que se van a importar en mayúsculas. Separe los nombres de la lista con un punto y coma (;). Por ejemplo, DB1;DB2. El rol predeterminado asignado al usuario especificado en la credencial debe tener derechos adecuados en los objetos de base de datos.

      Nota:

      La clasificación no se aplica a las tablas cuando se especifican más de un nombre de instancia de base de datos.

      Los patrones de nombres de base de datos aceptables pueden ser nombres estáticos o contener %. Por ejemplo: : A%;%B;%C%;D

      • Empezar con A o
      • Terminar con B o
      • Contener C o
      • D igual

    7. Esquema: enumera el subconjunto de esquemas que se van a importar expresados como una lista separada por punto y coma. Por ejemplo, schema1;schema2. Todos los esquemas de usuario se importan si esa lista está vacía. Todos los esquemas y objetos del sistema se omiten de forma predeterminada.

      Los patrones de nombres de esquema aceptables que usan pueden ser nombres estáticos o contener un carácter comodín %. Por ejemplo: : A%;%B;%C%;D

      • Empezar con A o
      • Terminar con B o
      • Contener C o
      • D igual

      El uso de NOT y caracteres especiales no es aceptable.

    8. Detalles del procedimiento almacenado: controla el número de detalles importados de los procedimientos almacenados:

      • Firma (valor predeterminado): nombre y parámetros de los procedimientos almacenados.
      • Código, firma: nombre, parámetros y código de procedimientos almacenados.
      • Linaje, código, firma: nombre, parámetros y código de procedimientos almacenados y el linaje de datos derivado del código.
      • Ninguno: no se incluyen los detalles del procedimiento almacenado.

      Nota:

      Si usa Integration Runtime autohospedado para el examen, se admite la configuración personalizada que no sea la firma predeterminada desde la versión 5.30.8541.1. Las versiones anteriores siempre extraen el nombre y los parámetros de los procedimientos almacenados.

    9. Memoria máxima disponible (aplicable cuando se usa el entorno de ejecución de integración autohospedado): memoria máxima (en GB) disponible en la máquina virtual del cliente que usarán los procesos de examen. Depende del tamaño del origen de Snowflake que se va a examinar.

      Nota:

      Como regla general, proporcione 1 GB de memoria por cada 1000 tablas.

      examen de Snowflake

  5. Seleccione Probar conexión para validar la configuración (disponible al usar Azure Integration Runtime).

  6. Seleccione Continuar.

  7. Seleccione un conjunto de reglas de examen para la clasificación. Puede elegir entre los conjuntos de reglas personalizados predeterminados del sistema existentes o crear un nuevo conjunto de reglas alineado. Consulte el artículo Clasificación para obtener más información.

    Nota:

    La clasificación no se aplicará a tablas o vistas cuando el nombre de la tabla, el nombre de la vista, el nombre del esquema o el nombre de la base de datos contengan caracteres especiales.

    Nota:

    Si usa el entorno de ejecución autohospedado, deberá actualizar a la versión 5.26.404.1 o superior para usar la clasificación de Snowflake. Puede encontrar la versión más reciente de Microsoft Integration Runtime aquí.

  8. Elija el desencadenador de examen. Puede configurar una programación o ejecutar el examen una vez.

  9. Revise el examen y seleccione Guardar y ejecutar.

Visualización de los exámenes y las ejecuciones de examen

Para ver los exámenes existentes:

  1. Vaya al portal de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.
  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .
  3. Seleccione el examen que tiene los resultados que desea ver. En el panel se muestran todas las ejecuciones de examen anteriores, junto con el estado y las métricas de cada ejecución de examen.
  4. Seleccione el identificador de ejecución para comprobar los detalles de la ejecución del examen.

Administrar los exámenes

Para editar, cancelar o eliminar un examen:

  1. Vaya al portal de Microsoft Purview. En el panel izquierdo, seleccione Mapa de datos.

  2. Seleccione el origen de datos. Puede ver una lista de exámenes existentes en ese origen de datos en Exámenes recientes o puede ver todos los exámenes en la pestaña Exámenes .

  3. Seleccione el examen que desea administrar. Después, podrá:

    • Edite el examen seleccionando Editar examen.
    • Para cancelar un examen en curso, seleccione Cancelar ejecución del examen.
    • Para eliminar el examen, seleccione Eliminar examen.

Nota:

  • La eliminación del examen no elimina los recursos de catálogo creados a partir de exámenes anteriores.

Linaje

Después de examinar el origen de Snowflake, puede examinar el catálogo de datos o buscar en el catálogo de datos para ver los detalles del recurso.

Vaya a la pestaña recurso -> linaje; puede ver la relación de recursos cuando corresponda. Consulte la sección funcionalidades admitidas en los escenarios de linaje de Snowflake admitidos. Para obtener más información sobre el linaje en general, consulte guía del usuario de linaje y linaje de datos.

Vista de linaje de Copo de nieve

Nota:

Si las tablas de distintas bases de datos crearon una vista, examine todas las bases de datos simultáneamente con los nombres del punto y coma (;) lista.

Conexión a Snowflake a través de un punto de conexión privado administrado

En esta sección se describen los pasos necesarios para configurar un punto de conexión privado administrado (PE) de Microsoft Purview a Snowflake en Azure. Más información sobre Azure Private Link y Snowflake.

  1. En la cuenta de Snowflake, recupere los puntos de conexión de destino y el identificador de recurso. Ejecute la función del sistema SYSTEM$GET_PRIVATELINK_CONFIG() con el rol De cuenta Administración y anote los valores de las propiedades siguientes:

    • privatelink-pls-id
    • privatelink-account-url
    • regionless-privatelink-account-url
    • privatelink_ocsp-url
    use role accountadmin; 
select key, value::varchar from table(flatten(input=>parse_json(SYSTEM$GET_PRIVATELINK_CONFIG())));

  2. En Microsoft Purview, cree un punto de conexión privado administrado en Snowflake.

    1. Siga los pasos para Crear una Virtual Network Integration Runtime administrada. Si ya tiene uno, asegúrese de que está en la versión 2, que admite Snowflake PE.
    2. Cree un punto de conexión privado administrado para Snowflake. Vaya a Punto de conexión privado administrado ->+ Nuevo ->Snowflake y rellene la siguiente información.
      • Id. de recurso o alias: rellene el valor de privatelink-pls-id que recuperó.
      • Nombres de dominio completos: agregue los privatelink_ocsp-url, regionless-privatelink-account-url y privatelink-account-url.

    Configuración del punto de conexión privado administrado para Snowflake

  3. Después de crear el PE, puede ver su estado de aprovisionamiento como Correcto y el estado de aprobación como Pendiente. Abra el PE y busque el identificador de recurso de punto de conexión privado administrado en la página de detalles.

  4. Póngase en contacto con el soporte técnico de Snowflake y proporcione el identificador de recurso para permitir que Snowflake apruebe este PE.

  5. Una vez que el soporte técnico de Snowflake confirme que el PE está aprobado, debería ver el estado de aprobación del punto de conexión privado administrado como Aprobado en Microsoft Purview.

  6. Registre el origen de datos y configure un examen. Al configurar el examen, elija la instancia de IR de red virtual administrada asociada a Snowflake PE.

Sugerencias para solucionar problemas

  • Compruebe el identificador de cuenta en el paso de registro de origen. No incluyas https:// parte en la parte delantera.
  • Asegúrese de que el nombre del almacén y el nombre de la base de datos están en mayúsculas en la página de configuración del examen.
  • Compruebe el almacén de claves. Asegúrese de que no haya errores tipográficos en la contraseña.
  • Compruebe la credencial que configuró en Microsoft Purview. El usuario que especifique debe tener un rol predeterminado con los derechos de acceso necesarios tanto al almacén como a la base de datos que intenta examinar. Consulte Permisos necesarios para el examen. USE DESCRIBE USER; para comprobar el rol predeterminado del usuario que ha especificado para Microsoft Purview.
  • Use historial de consultas en Snowflake para ver si se encuentra alguna actividad.
    • Si hay un problema con el identificador o la contraseña de la cuenta, no verá ninguna actividad.
    • Si hay un problema con el rol predeterminado, debería ver al menos una USE WAREHOUSE . . . instrucción .
    • Puede usar la función de tabla QUERY_HISTORY_BY_USER para identificar qué rol usa la conexión. La configuración de un usuario dedicado de Microsoft Purview facilitará la solución de problemas.

Pasos siguientes

Ahora que ha registrado su origen, siga las guías siguientes para obtener más información sobre Microsoft Purview y sus datos.