Copiar datos de Dataverse en Azure SQL

Artigo
04/09/2023

Use Azure Synapse Link para conectar o seus datos de Microsoft Dataverse a Azure Synapse Analytics para explorar os seus datos e acelerar o tempo para obter información. Este artigo móstralle como executar canles de Azure Synapse ou Azure Data Factory para copiar datos de Azure Data Lake Storage Gen2 a unha base de datos de Azure SQL coa función de actualizacións incrementais activada en Azure Synapse Link.

Nota

Azure Synapse Link for Microsoft Dataverse antigamente coñecíase como Exportar a lago de datos. O servizo cambiou de nome en maio de 2021 e continuará exportando datos tamén a Azure Data Lake e Azure Synapse Analytics. Este modelo é unha mostra de código. Recomendámosche que utilices este modelo como guía para probar a funcionalidade de recuperar datos de Azure Data Lake Storage Gen2 a Azure SQL Database mediante a canalización proporcionada.

Requisitos previos

Azure Synapse Link for Dataverse. Esta guía asume que xa cumpriu os requisitos previos para crear un Azure Synapse Link con Azure Data Lake. Máis información: Requisitos previos para un Azure Synapse Link for Dataverse co seu Azure Data Lake
Crea un Azure Synapse espazo de traballo ou Azure Data Factory baixo o mesmo Microsoft Entra inquilino que o teu Power Apps inquilino.
Crea un Azure Synapse Link for Dataverse coa actualización incremental do cartafol activada para establecer o intervalo de tempo. Máis información: Consultar e analizar actualizacións incrementais
O fornecedor de Microsoft.EventGrid debe estar rexistrado para o activador. Máis información: Portal de Azure. Nota: se está a usar esta función en Azure Synapse Analytics, asegúrese de que a súa subscrición tamén estea rexistrada co fornecedor de recursos de Data Factory, se non, recibirá un erro que indica que fallou a creación dunha "Subscrición de eventos".
Cree unha base de datos SQL de Azure coa propiedade Permitir que os servizos e recursos de Azure accedan a este servidor habilitada. Máis información: Que debo saber ao configurar a miña base de datos Azure SQL (PaaS)?
Cree e configure un tempo de execución de integración de Azure. Máis información: Crear un tempo de execución de integración de Azure - Azure Data Factory e Azure Synapse

Importante

O uso deste modelo pode supor custos adicionais. Estes custos están relacionados co uso de Azure Data Factory ou a canalización de espazos de traballo Synapse e facturan mensualmente. O custo de usar canalizacións depende principalmente do intervalo de tempo para a actualización incremental e dos volumes de datos. Para planificar e xestionar o custo do uso desta función, vai a: Supervisa os custos a nivel de pipeline con análise de custos

É importante ter en conta estes custos adicionais á hora de decidir usar este modelo, xa que non son opcionais e deben pagarse para seguir usando esta función.

Vaia ao portal de Azure e abra Azure Synapse espazo de traballo.
Seleccione Integrar > Examinar galería.
Seleccione Copiar datos de Dataverse en Azure SQL mediante Synapse Link desde a galería de integración.

Configurar o modelo de solución

Cree un servizo vinculado a Azure Data Lake Storage Gen2, que está conectado a Dataverse utilizando o tipo de autenticación adecuado. Para iso, seleccione Probar a conexión para validar a conectividade e despois seleccione Crear.
De xeito similar aos pasos anteriores, cree un servizo vinculado a Azure SQL Database onde se sincronizarán os datos de Dataverse.
Unha vez configuradas as Entradas, seleccione Usar este modelo.
Agora pódese engadir un disparador para automatizar esta canle, de xeito que esta sempre poida procesar ficheiros cando se completen periodicamente actualizacións incrementais. Vaia a Xestionar > Disparador e cree un disparador usando as seguintes propiedades:
- Nome: Insira un nome para o desencadeador, como triggerModelJson.
- Tipo: eventos de almacenamento.
- Subscrición de Azure: seleccione a subscrición que ten Azure Data Lake Storage Xeración 2.
- Nome da conta de almacenamento: seleccione o almacenamento que ten datos de Dataverse.
- Nome do recipiente: seleccione o contedor creado por Azure Synapse Link.
- O camiño do blob remata con: /model.json
- Evento: Blob creado.
- Ignorar blobs baleiros: Si.
- Iniciar disparador: active inicia disparador na creación.
Seleccione Continuar para continuar coa pantalla seguinte.
Na seguinte pantalla, o disparador valida os ficheiros coincidentes. Seleccione Aceptar para crear un disparador.
Asocie o disparador cunha canle. Vaia á canalización importada anteriormente e, a continuación, seleccione Engadir disparador > Novo/Editar.
Seleccione o disparador no paso anterior e, a continuación, seleccione Continuar para pasar á seguinte pantalla onde o disparador valida os ficheiros coincidentes.
Seleccione Continuar para continuar coa pantalla seguinte.
Na sección Parámetro de execución do disparador, introduza os seguintes parámetros e, a continuación, seleccione Aceptar.
- Contedor: @split(triggerBody().folderPath,'/')[0]
- Cartafol: @split(triggerBody().folderPath,'/')[1]
Despois de asociar o disparador coa canalización, seleccione Validar todo.
Unha vez que a validación teña éxito, seleccione Publicar todo.
Seleccione Publicar para publicar todos os cambios.

Engadir un filtro de subscrición de eventos

Para asegurarse de que o disparador se active só cando se complete a creación de model.json, os filtros avanzados deben actualizarse para a subscrición de eventos do disparador. Un evento rexístrase na conta de almacenamento a primeira vez que se executa o disparador.

Unha vez que se complete a execución do disparador, vaia á conta de almacenamento > Eventos > Subscricións a eventos.
Seleccione o evento que se rexistrou para o disparador model.json.
Seleccione o separador Filtros e logo seleccione Engadir novo filtro.
Cree o filtro:
- Chave: tema
- Operador: a cadea non remata en
- Valor: /blobs/model.json
Elimine o parámetro CopyBlob da matriz data.api Valor.
Seleccione Gardar para implementar o filtro adicional.