Compartir por

Cree unha Azure Synapse ligazón para Dataverse con Azure Data Lake

  • Artigo

Podes usar a Azure Synapse Ligazón para conectar os teus Microsoft Dataverse datos a Azure Data Lake Storage Xen2 para activar varios escenarios de análise. Este artigo mostra como realizar as seguintes tarefas:

  1. Conecta os teus Dataverse datos á túa conta Azure Data Lake Storage Xen2 co servizo Azure Synapse Link.
  2. Xestiona Dataverse táboas incluídas na Azure Synapse ligazón.
  3. Supervisa a túa Azure Synapse ligazón.
  4. Desliga a túa Azure Synapse ligazón.
  5. Volve vincular a túa Azure Synapse ligazón.
  6. Consulte os seus datos en Azure Data Lake e comprenda a estrutura do ficheiro.

Nota

Azure Synapse A ligazón para Dataverse coñecíase anteriormente como Export to data lake. O servizo cambiou de nome en maio de 2021 e continuará exportando datos tamén a Azure Data Lake e Azure Synapse Analytics.

Requisitos previos

  • Azure Data Lake Storage Gen2: debes ter unha Azure Data Lake Storage conta Gen2 e Propietario e Colaborador de datos de blob de almacenamento acceso ao rol. A túa conta de almacenamento debe activar o espazo de nomes xerárquico para a configuración inicial e a sincronización delta. É necesario permitir o acceso á chave da conta de almacenamento só para a configuración inicial.

Nota

  • A conta de almacenamento debe crearse no mesmo Microsoft Entra inquilino que o teu Power Apps inquilino.
  • Para configurar Activado desde as redes virtuais e os enderezos IP seleccionados para que a conta de almacenamento ligada outorgue acceso desde os enderezos IP seleccionados, debes crear unha Azure Synapse Ligazón con identidades.Utilice identidades xestionadas para Azure co almacenamento de Azure Data Lake (sen as identidades xestionadas configuradas, debe activar a rede pública acceso a recursos de Azure tanto para a configuración inicial como para a sincronización delta).
  • Recomendamos encarecidamente que active a función de eliminación suave na conta de almacenamento seleccionada para este fin. Activar a eliminación suave permítelle recuperar os datos borrados accidentalmente máis rápido.
  • Debes ter acceso de función de lector ao grupo de recursos coa conta de almacenamento.
  • Para ligar o ambiente a Azure Data Lake Storage Gen2, debe ter o rol de seguranza de administrador do sistema de Dataverse.
  • Só se poden exportar as táboas que teñan activado o rastrexo de modificacións.
  • A creación de Azure Synapse perfís de ligazón nun único Dataverse entorno está limitada a un máximo de 10.

Conectar Dataverse a Azure Data Lake Storage Gen2

  1. Inicia sesión en Power Apps e selecciona o teu ambiente preferido.

  2. No panel de navegación esquerdo, selecciona Azure Synapse Ligazón. Se a Azure Synapse Ligazón non está visible no panel do panel lateral, seleccione …Máis e seleccione a51>Descubre todo. Azure Synapse A ligazón está na sección Xestión de datos .

  3. Na barra de comandos, selecciona + Nova ligazón ao lago de datos.

  4. Seleccione a Subscrición, Grupo de recursos e Conta de almacenamento. Asegúrate de que a conta de almacenamento cumpra os requisitos especificados na sección Requisitos previos . Seleccione Seguinte.

    Nota

    Como parte de vincular o ambiente a un lago de datos, concedes ao servizo Azure Synapse Link acceso á túa conta de almacenamento. Asegúrate de seguir os requisitos previos para crear e configurar a conta de almacenamento de Azure Data Lake e concederte un rol de propietario na conta de almacenamento. Ademais, vostede concede o acceso ao servizo de fluxos de datos de Power Platform para a súa conta de almacenamento. Máis información: Preparación de datos de autoservizo con fluxos de datos.

  5. Engade as táboas que queres exportar e, a continuación, selecciona Gardar. Só se poden exportar as táboas que teñan activado o rastrexo de modificacións. Máis información: Activa o seguimento de cambios.

    Seleccione táboas para exportar.

Podes seguir os pasos deste artigo para crear unha ligazón desde un ambiente a varios lagos de datos de Azure na túa subscrición a Azure. Do mesmo xeito, podería crear unha ligazón a partir de varios ambientes ao mesmo Azure Data Lake, todo dentro do mesmo inquilino.

Nota

O servizo Azure Synapse Link for Dataverse intégrase perfectamente no Power Platform como unha función lista. Cumpre os estándares de seguridade e goberno establecidos para o Power Platform almacenamento e goberno de datos. Máis información: Almacenamento e goberno de datos

Os datos exportados polo servizo Azure Synapse Link cífranse durante o tránsito mediante Transport Layer Security (TLS) 1.2 ou superior e cífranse en reposo na Azure Data Lake Storage Gen2. Adicionalmente, os datos temporais no almacenamento de BLOB tamén se cifran en repouso. A encriptación en Azure Data Lake Storage Gen2 axúdalle a protexer os seus datos, a implementar políticas de seguridade empresarial e a cumprir os requisitos regulamentarios de cumprimento. Máis información: Azure Data Encryption-at-Rest

Xestionar datos dunha táboa no lago de datos

Despois de configurar a Azure Synapse ligazón, pode xestionar as táboas que se exportan de dúas formas:

  • Na área Power Apps Portal de maker Azure Synapse Ligazón , seleccione Xestionar táboas na barra de comandos para engadir ou eliminar unha ou máis táboas vinculadas.

  • Na área do Power Apps portal de creador Táboas , seleccione … a carón dunha táboa e a continuación, seleccione o lago de datos vinculado onde quere exportar os datos da táboa.

    Seleccione unha táboa para exportar.

Despois de configurar a Azure Synapse Ligazón, pode supervisar a Azure Synapse Ligazón na pestana Táboas .

Azure Synapse Seguimento de enlaces

  • Haberá unha lista de táboas que forman parte da ligazón Azure Synapse escollida.
  • Hai diferentes etapas polas que circula o estado de sincronización. NotStarted indica que a táboa está esperando para ser sincronizada. Unha vez que se complete a sincronización inicial da táboa, hai unha fase de procesamento posterior na que non se realizarán actualizacións incrementais. Isto pode levar varias horas dependendo do tamaño dos teus datos. Cando as actualizacións incrementais comecen a producirse, a data da última sincronización actualizarase regularmente.
  • A columna Contador amosa as filas de números escritas. Cando Só engadir está definido como Non, este é o número total de rexistros. Cando Só anexar se define como Si, este é o número total de cambios.
  • As columnas Anexar só e Estratexia de partición mostran o uso de diferentes configuracións avanzadas.

  1. Seleccione a Azure Synapse ligazón desexada para desvincular.

  2. Seleccione Desvincular data lake na barra de comandos.

  3. Para eliminar os dous sistemas de ficheiros de data lake, selecciona Eliminar o sistema de ficheiros de data lake.

  4. Selecciona Si e deixa uns minutos para que todo se desliga e se elimine.

Se eliminou o sistema de ficheiros ao desligar, siga os pasos anteriores para ligar de novo o mesmo lago de datos. Se non eliminaches o sistema de ficheiros ao desligar, debes borrar os datos para volver vincular:

  1. Vaia ao Azure Data Lake.

  2. Elimine o contedor de Dataverse.

  3. Vaia ao Power Apps e ligue de novo o lago de datos.

Consulte os seus datos en Azure Data Lake Storage Gen 2

  1. Seleccione a Azure Synapse ligazón desexada e, a continuación, seleccione Ir a Azure data lake no panel superior.

  2. Expanda Sistemas de ficheiros e, a continuación, seleccione dataverse-environmentName-organizationUniqueName.

O ficheiro model.json, xunto co seu nome e versión, ofrece unha lista de táboas que se exportaron ao lago de datos. O ficheiro model.json tamén inclúe o estado de sincronización inicial e a hora de finalización da sincronización.

Amósase un cartafol que inclúe ficheiros de instantánea delimitados por comas (formato CSV) para cada táboa exportada ao lago de datos. Datos da táboa no lago de datos.

  1. Na barra de enderezos dos navegadores web, engada ?athena.updateLake=true ao enderezo web que remata con exporttodatalake.

  2. Seleccione un perfil existente na Azure Synapse área de ligazón e, a continuación, seleccione a opción ampliada.

  3. Selecciona Ligar a Azure Synapse Analytics Espazo de traballo e deixa uns minutos para que todo se ligue.

Actualizacións de instantáneas continuas

Os datos do Microsoft Dataverse poden cambiar continuamente a través da creación, actualización e eliminación de transaccións. As instantáneas ofrecen unha copia de só lectura de datos que se actualiza a intervalos regulares, neste caso, cada hora. Isto garante que nun determinado momento, un consumidor de análises de datos pode consumir datos do lago de forma fiable.

Actualizacións continuas de instantáneas.

Cando se engaden táboas como parte da exportación inicial, os datos da táboa escríbense nos ficheiros table.csv nos cartafoles correspondentes do lago de datos. Este é o intervalo T1, onde se atopa un ficheiro de só lectura de instantáneas chamado table-T1.csv (por exemplo, Account-T1.csv ou Contacts-T1.csv). creado. Ademais, o ficheiro model.json actualízase para apuntar a estes ficheiros de instantánea. Ao abrir model.json, pode ver os detalles da instantánea.

A continuación facilítase un exemplo do ficheiro particionado Account.csv e do cartafol de instantánea no lago de datos.

Instantánea da táboa de contas.

Os cambios en Dataverse envíanse continuamente aos ficheiros CSV correspondentes usando o motor de alimentación. Este é o intervalo T2, onde se toma outra instantánea. table-T2.csv; por exemplo, Accounts-T2.csv ou Contacts-T2.csv (supoñendo que haxa cambios na táboa) e model.json actualízanse aos novos ficheiros de instantáneas. Calquera persoa nova que vexa datos de instantánea de T2 cara adiante será dirixido a ficheiros de instantánea máis recentes. Deste xeito, é posible que o visor de instantáneas orixinal siga funcionando nos ficheiros T1 de instantánea máis antigos mentres os espectadores novos poden ler as últimas actualizacións. Isto é útil en escenarios con procesos descendentes en execución máis longos.

Nota

Só se crea un novo ficheiro de instantáneas se hai unha actualización de datos. Só se conservan os últimos cinco ficheiros de instantáneas. Os datos estancados elimínanse automaticamente da túa conta Azure Data Lake Storage Xen 2.

A continuación facilítase un exemplo do ficheiro model.json, que sempre apunta ao último ficheiro de instantánea da conta co selo de tempo máis recente.

Exemplo de ficheiro model.json de instantáneas.

E agora que?

Despois de utilizar correctamente o servizo Azure Synapse Link for Dataverse , descubre como podes analizar e consumir os teus datos con Discover Hub. Para acceder a Discover Hub, vai a Power Apps>Azure Synapse Ligazón. Seleccione o seu servizo vinculado e, a continuación, seleccione a pestana Discover Hub . Aquí podes atopar ferramentas recomendadas e documentación seleccionada para axudarche a sacar o máximo proveito dos teus datos. Descubre Hub.

Consulte tamén

Analiza Dataverse datos no data lake con Power BI

Inxerir Dataverse datos no lago de datos con Azure Data Factory

Azure Synapse Ligazón para Dataverse Configuración avanzada

Azure Synapse Preguntas frecuentes sobre ligazóns