Crear un Azure Synapse Link for Dataverse con Azure Data Lake

Artigo
05/09/2024

Pode usar Azure Synapse Link para conectar os seus datos de Microsoft Dataverse a Azure Data Lake Storage Gen2 para habilitar varios escenarios de análise. Este artigo mostra como realizar as seguintes tarefas:

Conectr os datos de Dataverse á conta de Azure Data Lake Storage Gen2 co servizo Azure Synapse Link.
Xestionar táboas de Dataverse incluídas en Azure Synapse Link.
Vixíe o seu Azure Synapse Link.
Desvincule Azure Synapse Link.
Volva ligar o seu Azure Synapse Link.
Consulte os seus datos en Azure Data Lake e comprenda a estrutura do ficheiro.

Nota

Azure Synapse Link for Dataverse antigamente coñecíase como Exportar a lago de datos. O servizo cambiou de nome en maio de 2021 e continuará exportando datos tamén a Azure Data Lake e Azure Synapse Analytics.

Requisitos previos

Azure Data Lake Storage Gen2: debe ter unha conta de Azure Data Lake Storage Gen2 e acceso de rol de Propietario e Colaborador de datos de Blob de almacenamento. A túa conta de almacenamento debe activar o espazo de nomes xerárquico para a configuración inicial e a sincronización delta. É necesario permitir o acceso á chave da conta de almacenamento só para a configuración inicial.

Nota

A conta de almacenamento debe crearse no mesmo Microsoft Entra inquilino que o teu Power Apps inquilino.
Para configurar Activado desde as redes virtuais e os enderezos IP seleccionados para que a conta de almacenamento vinculada outorgue acceso desde os enderezos IP seleccionados, debes crear un Azure Synapse Link con identidades xestionadas .Utilice identidades xestionadas para Azure co almacenamento de Azure Data Lake (sen as identidades xestionadas configuradas, debe habilitar o acceso á rede pública para os recursos de Azure tanto para a configuración inicial como para a sincronización delta. )
Debe ter o acceso de rol de Lector ao grupo de recursos coa conta de almacenamento.
Para ligar o ambiente a Azure Data Lake Storage Gen2, debe ter o rol de seguranza de administrador do sistema de Dataverse.
Só se poden exportar as táboas que teñan activado o rastrexo de modificacións.
A creación de Azure Synapse Link perfís nun único Dataverse entorno está limitada a un máximo de 10.

Conectar Dataverse a Azure Data Lake Storage Gen2

Inicie sesión en Power Apps e seleccione o seu contorno preferido.
No panel de navegación esquerdo, seleccione Azure Synapse Link. Se Azure Synapse Link non está visible no panel do panel lateral, selecciona …Máis e selecciona Descubrir todo. Azure Synapse Link está na sección Xestión de datos .
Na barra de comandos, selecciona + Nova ligazón ao data lake.
Seleccione a subscrición, o Grupo de recursos e a conta de almacenamento. Asegúrese de que a conta de almacenamento cumpre cos requisitos especificados na sección Requisitos previos. Seleccione Seguinte.

Nota

Como parte da ligazón do ambiente a un lago de datos, vostede concédelle o acceso ao servizo de Azure Synapse Link á súa conta de almacenamento. Asegúrese de que seguiu os requisitos previos de creación e configuración da conta de Azure Data Lake Storage e de que se lle concedeu un rol de propietario na conta de almacenamento. Ademais, vostede concede o acceso ao servizo de fluxos de datos de Power Platform para a súa conta de almacenamento. Máis información: Preparación de datos de autoservizo con fluxos de datos.
Engada as táboas que desexa exportar e logo seleccione Gardar. Só se poden exportar as táboas que teñan activado o rastrexo de modificacións. Máis información: Activar o rastrexo de cambios.

Podes seguir os pasos deste artigo para crear unha ligazón desde un ambiente a varios lagos de datos de Azure na túa subscrición a Azure. Do mesmo xeito, podería crear unha ligazón a partir de varios ambientes ao mesmo Azure Data Lake, todo dentro do mesmo inquilino.

Nota

O Azure Synapse Link for Dataverse servizo intégrase perfectamente no Power Platform como unha función lista para usar. Cumpre os estándares de seguridade e goberno establecidos para o Power Platform almacenamento e goberno de datos. Máis información: Almacenamento e goberno de datos

Os datos exportados polo Azure Synapse Link servizo cífranse durante o tránsito mediante Transport capa Security (TLS) 1.2 ou superior e cífranse en reposo en Azure Data Lake Storage Xen2. Adicionalmente, os datos temporais no almacenamento de BLOB tamén se cifran en repouso. A encriptación en Azure Data Lake Storage Gen2 axúdalle a protexer os seus datos, a implementar políticas de seguridade empresarial e a cumprir os requisitos regulamentarios de cumprimento. Máis información: Cifraxe en repouso de datos de Azure

Xestionar datos dunha táboa no lago de datos

Despois de configurar Azure Synapse Link, pode xestionar as táboas que se exportan de dúas formas:

Na área Azure Synapse Link do portal de creadores de Power Apps, seleccione Xestionar táboas na barra de comandos para engadir ou eliminar unha ou máis táboas ligadas.
No portal do creador de Power Apps, na zona Táboas, seleccione ... ao lado dunha táboa e, a continuación, seleccione o lago de datos ligado onde desexa exportar os datos da táboa.

Monitorar o seu Azure Synapse Link

Despois de configurar Azure Synapse Link, pode supervisar Azure Synapse Link na pestana Táboas .

Azure Synapse Link vixilancia

Haberá unha lista de táboas que forman parte do Azure Synapse Link seleccionado.
Hai diferentes etapas polas que circula o estado de sincronización. NotStarted indica que a táboa está a espera de sincronizarse. Unha vez que a sincronización inicial da táboa está Completada, hai unha fase de procesamento posterior na que non se realizarán actualizacións incrementais. Isto pode levar varias horas dependendo do tamaño dos teus datos. Cando as actualizacións incrementais comecen a producirse, a data da última sincronización actualizarase regularmente.
A columna Conta mostra o número de filas escritas. Cando Só anexar está configurado en Non, este é o número total de rexistros. Cando Só anexar está configurado en Si, este é o número total de cambios.
As columnas Anexar só e Estratexia de partición amosan o uso de diferentes configuracións avanzadas.

Desvincular un Azure Synapse Link

Seleccione o Azure Synapse Link que desexa desvincular.
Seleccione Desvincular o lago de datos da barra de comandos.
Para eliminar tanto o sistema de ficheiros do lago de datos, seleccione Eliminar o sistema de ficheiros do lago de datos.
Seleccione Si e deixe uns minutos para que todo se desvincule e elimine.

Volver ligar un Azure Synapse Link

Se eliminou o sistema de ficheiros ao desligar, siga os pasos anteriores para ligar de novo o mesmo lago de datos. Se non eliminaches o sistema de ficheiros ao desligar, debes borrar os datos para volver vincular:

Vaia ao Azure Data Lake.
Elimine o contedor de Dataverse.
Vaia ao Power Apps e ligue de novo o lago de datos.

Consulte os seus datos en Azure Data Lake Storage Gen 2

Seleccione o Azure Synapse Link desexado e seleccione Ir ao lago de datos de Azure no panel superior.
Expanda Sistemas de ficheiros e logo seleccione dataverse-environmentName-organizationUniqueName.

O ficheiro model.json, xunto co seu nome e versión, ofrece unha lista de táboas que se exportaron ao lago de datos. O ficheiro model.json tamén inclúe o estado de sincronización inicial e a hora de finalización da sincronización.

Amósase un cartafol que inclúe ficheiros de instantánea delimitados por comas (formato CSV) para cada táboa exportada ao lago de datos. Datos de táboa no lago de datos.

Vincula un espazo de traballo de Synapse a un perfil Azure Synapse Link existente só con data lake

Na barra de enderezos dos navegadores web, engádese ?athena.updateLake=true ao enderezo web que remata con exporttodatalake.
Seleccione un perfil existente na área Azure Synapse Link e, a continuación, seleccione a opción ampliada.
Selecciona Ligar a Azure Synapse Analytics Espazo de traballo e deixa uns minutos para que todo se ligue.

Actualizacións de instantáneas continuas

Os datos do Microsoft Dataverse poden cambiar continuamente a través da creación, actualización e eliminación de transaccións. As instantáneas ofrecen unha copia de só lectura de datos que se actualiza a intervalos regulares, neste caso, cada hora. Isto garante que nun determinado momento, un consumidor de análises de datos pode consumir datos do lago de forma fiable.

Actualizacións de instantáneas continuas.

Cando se engaden táboas como parte da exportación inicial, os datos da táboa escríbense nos ficheiros table.csv nos cartafoles correspondentes do lago de datos. Este é o intervalo T1, onde se crea un ficheiro de só lectura de instantáneas chamado táboa-T1.csv—por exemplo, Account-T1.csv ou Contacts-T1.csv—. Ademais, o ficheiro model.json actualízase para apuntar a estes ficheiros de instantánea. Ao abrir model.json, pode ver os detalles da instantánea.

A continuación facilítase un exemplo do ficheiro particionado Account.csv e do cartafol de instantánea no lago de datos.

Instantánea da táboa de contas.

Os cambios en Dataverse envíanse continuamente aos ficheiros CSV correspondentes usando o motor de alimentación. Este é o intervalo T2, onde se toma outra instantánea. táboa-T2.csv—por exemplo, Accounts-T2.csv ou Contacts-T2.csv (supoñendo que hai cambios na táboa) —e model.json actualízanse aos novos ficheiros de instantáneas. Calquera persoa nova que vexa datos de instantánea de T2 cara adiante será dirixido a ficheiros de instantánea máis recentes. Deste xeito, é posible que o visor de instantáneas orixinal siga funcionando nos ficheiros T1 de instantánea máis antigos mentres os espectadores novos poden ler as últimas actualizacións. Isto é útil en escenarios con procesos descendentes en execución máis longos.

Nota

Un novo ficheiro instantánea só se crea se hai unha actualización de datos. Só se conservarán os cinco ficheiros instantánea máis recentes. Os datos estancados eliminaranse automaticamente da túa conta Azure Data Lake Storage Xen 2.

A continuación facilítase un exemplo do ficheiro model.json, que sempre apunta ao último ficheiro de instantánea da conta co selo de tempo máis recente.

Exemplo de ficheiro model.json de instantánea.

E agora que?

Despois de usar con éxito o servizo Azure Synapse Link for Dataverse, descubra como pode analizar e consumir os seus datos coa Plataforma común de descubrimento. Para acceder á Plataforma común de descubrimento, vaia a Power Apps > Azure Synapse Link. Seleccione o servizo ligado e seleccione o separador Discover Hub. Aquí pode atopar ferramentas recomendadas e documentación seleccionada para axudalo a sacar o máximo valor aos seus datos. Discover Hub.