Crear un Azure Synapse Link for Dataverse con su Azure Synapse Workspace

Artículo
05/06/2024

Puede utilizar Azure Synapse Link para conectar sus datos de Microsoft Dataverse a Azure Synapse Analytics para explorar sus datos y acelerar el tiempo de conclusión. Este artículo muestra cómo realizar las siguientes tareas:

Conecte sus datos de Dataverse a su área de trabajo de Azure Synapse Analytics con el servicio de Azure Synapse Link.
Administrar tablas de Dataverse incluidas en Azure Synapse Link.
Supervise su Azure Synapse Link.
Desvincule su Azure Synapse Link.
Vuelva a vincular su Azure Synapse Link.
Vea los datos en Azure Synapse Analytics.

Nota

Azure Synapse Link for Microsoft Dataverse anteriormente se llamaba Exportar a data lake. El servicio cambió de nombre a partir de mayo de 2021 y continuará exportando datos a Azure Data Lake, así como Azure Synapse Analytics.

Requisitos previos

Dataverse: debe tener el rol de seguridad de administrador del sistema Dataverse. Además, las tablas que desee exportar a través de Azure Synapse Link deben tener habilitada la propiedad Seguimiento de cambios. Más información: Opciones avanzadas
Azure Data Lake Storage Gen2: debe tener una cuenta de Azure Data Lake Storage Gen2 y el acceso a los roles Propietario y Colaborador de datos de Storage Blob. Su cuenta de almacenamiento debe habilitar el espacio de nombres jerárquico para la configuración inicial y la sincronización delta. Se requiere permitir el acceso a la clave de la cuenta de almacenamiento solo para la configuración inicial.
Área de trabajo de Synapse: debe tener un área de trabajo de Synapse y acceso al rol Administrador de Synapse dentro de Synapse Studio. El área de trabajo de Synapse debe estar en la misma región que su cuenta de Azure Data Lake Storage Gen2. La cuenta de almacenamiento debe agregarse como un servicio vinculado dentro de Synapse Studio. Para crear un área de trabajo de Synapse, vaya a Crear un área de trabajo de Synapse.

Nota

La cuenta de almacenamiento y el espacio de trabajo de Synapse se debe crear en el mismo inquilino de Microsoft Entra que su inquilino de Power Apps.
Para establecer Habilitado desde redes virtuales y direcciones IP seleccionadas para la cuenta de almacenamiento y el espacio de trabajo vinculados, debe crear un Azure Synapse Link con identidades administradas. Más información: Utilice identidades administradas para Azure con su Azure Data Lake Storage (sin configurar identidades administradas, debe habilitar el acceso a la red pública para recursos de Azure tanto para la configuración inicial como para la sincronización delta).
No se admiten espacios de trabajo de Synapse que tengan puntos de conexión privados administrados, protección contra filtración de datos o redes virtuales administradas.
Debe tener el rol de acceso Lector en el grupo de recursos con la cuenta de almacenamiento y el espacio de trabajo de Synapse.
Cuando agrega varios usuarios al área de trabajo de Synapse, deben tener el acceso al rol Administrador de Synapse dentro de Synapse Studio y el rol Colaborador de datos de Storage Blob en la cuenta de Azure Data Lake Storage Gen2.
La creación de perfiles Synapse Link en un único entorno DV está limitada a un máximo de 10.

Conectar Dataverse al área de trabajo de Synapse

Inicie sesión en Power Apps y seleccione su entorno preferido.
En el panel de navegación izquierdo, seleccione Azure Synapse Link. Si Azure Synapse Link no está visible en el panel lateral, seleccione …Más y elija Descubrir todo. Seleccione Azure Synapse Link en la sección Administración de datos.
En la barra de comandos, seleccione Nuevo enlace.
Seleccione la opción Conectarse a su Azure Synapse Workspace.
Seleccione la Suscripción, el Grupo de recursos, el Nombre del área de trabajo y la Cuenta de almacenamiento. Asegúrese de que el área de trabajo y la cuenta de almacenamiento de Synapse cumplan con los requisitos especificados en la sección Requisitos previos. Seleccione Siguiente.

Nota

Como parte de vincular el entorno a un lago de datos, conceda el acceso al servicio de Azure Synapse Link a su cuenta de almacenamiento. Asegúrese de seguir los prerrequisitos de crear y configurar la cuenta Azure Data Lake Storage y otorgarse un rol de propietario en la cuenta de almacenamiento. Además, otorgue el acceso al servicio de flujo de datos de Power Platform a su cuenta de almacenamiento. Más información Preparación de los datos de autoservicio con flujos de datos.
Agregue las tablas que desea exportar y luego seleccione Guardar. Solo las tablas que tienen el seguimiento de cambios habilitado se pueden exportarse. Más información: Habilitar el seguimiento de cambios.

Puede seguir los pasos anteriores para crear un enlace desde un entorno en varias áreas de trabajo de Azure Synapse Analytics y data lakes de Azure en su suscripción de Azure agregando un data lake de Azure como servicio vinculado en un área de trabajo de Synapse. Del mismo modo, podría crear un enlace desde varios entornos en la misma área de trabajo de Azure Synapse Analytics y Azure Data Lake, todo en el mismo inquilino.

Nota

El servicio Azure Synapse Link for Dataverse se integra perfectamente en Power Platform como una característica lista para usar. Cumple con los estándares de seguridad y gobernanza establecidos para el almacenamiento y gobernanza de datos de Power Platform. Más información: Almacenamiento y gobernanza de datos

Los datos exportados por el servicio Azure Synapse Link se cifran en tránsito mediante Transport Layer Security (TLS) 1.2 o superior y se cifran en reposo en Azure Data Lake Storage Gen2. Además, los datos transitorios en el Blob Storage también se cifran en reposo. El cifrado en Azure Data Lake Storage Gen2 lo ayuda a proteger sus datos, implementar políticas de seguridad empresarial y cumplir con los requisitos de cumplimiento normativo. Más información: Cifrado de datos en reposo de Azure Más información: Configurar firewalls y redes virtuales de Azure Storage

Administrar datos de tablas en el espacio de trabajo de Synapse

Una vez que haya configurado Azure Synapse Link, puede administrar las tablas que se exportan de una de estas dos formas:

En la zona Azure Synapse Link de Power Apps (make.powerapps.com), seleccione Administrar tablas en la barra de comandos para agregar o eliminar una o más tablas vinculadas.
En el área Tablas de Power Apps Maker Portal, seleccione ... junto a una tabla y luego seleccione el data lake vinculado donde desea exportar los datos de la tabla.

Supervise su Azure Synapse Link

Después de configurar Azure Synapse Link, puede superisar Azure Synapse Link bajo la pestaña Tablas.

Supervisar un Azure Synapse Link

Habrá una lista de tablas que son parte del seleccionado Azure Synapse Link.
Hay diferentes etapas por las que circula el estado de sincronización. NotStarted indica que la tabla está esperando ser sincronizada. Una vez que se ha Completado la sincronización inicial de la tabla, habrá una etapa de procesamiento posterior en la que no se realizarán actualizaciones incrementales. Puede tardar varias horas, en función del tamaño de los datos. A medida que comiencen a realizarse las actualizaciones incrementales, la fecha de la última sincronización se actualizará periódicamente.
La columna Cuenta muestra el número de filas escritas. Cuando Solo anexar se establece en No, este es el número total de registros. Cuando Solo anexar se establece en Sí, este es el número total de cambios.
Las columnas Solo anexar y Estrategia de partición muestran el uso de diferentes configuraciones avanzadas.

Desvincular Azure Synapse Link

Seleccione Azure Synapse Link deseado para desvincular.
Seleccione Desenlazar en la barra de comandos.
Para eliminar tanto el sistema de archivos de Data Lake como la base de datos de Synapse, escriba el nombre del enlace para confirmar.
Seleccione Sí y espere unos minutos para que todo se desvincule y elimine.

Volver a vincular un Azure Synapse Link

Si eliminó el sistema de archivos al desvincular, siga los pasos anteriores para volver a vincular el mismo espacio de trabajo y data lake de Synapse. Si no eliminó el sistema de archivos al desvincular, debe borrar los datos para volver a vincular:

Navegue a Azure Synapse Analytics.
Seleccione ... para la base de datos desvinculada y seleccione Nuevo cuaderno > Cuaderno vacío.
Adjunte el cuaderno a un grupo de Apache Spark seleccionando un grupo en el menú desplegable. Si no tiene un grupo de Apache Spark, seleccione Administrar grupos para crear uno.
Ingrese el siguiente script, reemplace <DATABASE_NAME> con el nombre de la base de datos para desvincular y ejecutar el cuaderno.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

Después de ejecutar el cuaderno, actualice la lista de la base de datos desde el panel izquierdo. Si la base de datos aún existe, intente hacer clic derecho en la base de datos y seleccionar Borrar.
Navegue a Power Apps y vuelva a vincular el espacio de trabajo y el data lake de Synapse.

Acceda a datos casi en tiempo real y datos de instantáneas de solo lectura

Después de crear un Azure Synapse Link, dos versiones de los datos de la tabla se sincronizarán en Azure Synapse Analytics y/o Azure Data Lake Storage Gen2 en su suscripción de Azure predeterminada para asegurarse de que puede consumir datos actualizados de manera confiable en el lago en cualquier momento:

Datos casi en tiempo real: Proporciona una copia de los datos sincronizados desde Dataverse a través de Azure Synapse Link de manera eficiente, detectando qué datos han cambiado desde que se extrajeron inicialmente o se sincronizaron por última vez.
Datos de instantánea: proporciona una copia de solo lectura de datos casi en tiempo real que se actualiza a intervalos regulares (en este caso, cada hora).

Nota

Para crear datos de instantáneas de solo lectura, asegúrese de que la opción Ámbito permitido para operaciones de copia esté configurada en Desde cualquier cuenta de almacenamiento. Más información: Configurar el alcance permitido para las operaciones de copia

Seleccione el Azure Synapse Link que desee y luego seleccione el espacio de trabajo  Ir a Azure Synapse Analytics desde el panel superior.
Expanda las  Bases de datos Lake en el panel izquierdo, seleccione dataverse-environmentName-organizationUniqueName y expanda  Tablas.

Todas las Tablas de datos casi en tiempo real se enumeran y están disponibles para su análisis con la convención de nomenclatura DataverseTableName.Todas las Tablas de datos instantáneas se enumeran y están disponibles para su análisis con la convención de nomenclatura DataverseTableName_partitioned.

Tablas instantáneas y casi en tiempo real

¿Qué es lo próximo?

Después de usar con éxito el servicio de Azure Synapse Link for Dataverse, descubra cómo puede analizar y consumir sus datos con Centro de detección. Para acceder al Centro de detección, vaya a Power Apps > Azure Synapse Link. Seleccione su servicio vinculado y luego seleccione el centro de descubrimiento. Aquí puede encontrar herramientas recomendadas y documentación seleccionada para ayudarlo a aprovechar al máximo sus datos. Centro de descubrimiento.