Criar um Azure Synapse Link para o Dataverse com o Azure Data Lake

Pode utilizar o Azure Synapse Link para ligar os dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para ativar vários cenários de análise. Este artigo mostra como executar as tarefas seguintes:

1. Ligue os seus dados Dataverse à sua conta Gen2 Azure Data Lake Storage com o serviço Azure Synapse Link.
2. Gerir tabelas do Dataverse incluídas no Azure Synapse Link.
3. Monitorize o seu Azure Synapse Link.
4. Desvincule o seu Azure Synapse Link.
5. Religa o teu Azure Synapse Link.
6. Veja os seus dados no Azure Data Lake e compreenda a estrutura do ficheiro.

Observação

Azure Synapse Link para Dataverse era conhecido anteriormente como Exportar para data lake. O serviço foi renomeado a partir de maio de 2021 e continuará a exportar dados para Azure Data Lake, bem como para Azure Synapse Analytics.

Pré-requisitos

• Azure Data Lake Storage Gen2: é necessário ter uma conta do Azure Data Lake Storage Gen2 e as permissões de Proprietário e Contribuidor de Dados do Blob de Armazenamento. A sua conta de armazenamento tem de permitir o Espaço de nomes hierárquico para a configuração inicial e para a sincronização delta. Permitir o acesso-chave à conta de armazenamento só é obrigatório para a configuração inicial. Sua conta de armazenamento deve ter o escopo permitido para operações de cópia definido como De qualquer conta de armazenamento.

Observação

• A conta de armazenamento tem de ser criada no mesmo locatário do Microsoft Entra que o locatário do Power Apps.
• Para definir Ativado a partir de redes virtuais e endereços IP selecionados para a conta de armazenamento associada para conceder acesso a partir de endereços IP selecionados, tem de criar um Azure Synapse Link com identidades geridas.Utilize identidades geridas para o Azure com o seu Azure Data Lake Storage (sem identidades geridas configuradas, tem de ativar o acesso à rede pública para recursos do Azure para configuração inicial e sincronização delta.)
• Recomendamos vivamente que ative a caraterística de eliminação recuperável na conta de armazenamento selecionada para essa finalidade. Ativar a eliminação suave permite que recupere de eliminações de dados acidentais mais rapidamente.
• Tem de ter acesso à função Leitor no grupo de recursos com a conta de armazenamento.
• Para associar o ambiente ao Azure Data Lake Storage Gen2, é necessário ter a função de segurança de administrador do sistema no Dataverse.
• Apenas as tabelas que tenham a monitorização de alterações ativada podem ser exportadas.
• A criação de perfis do Azure Synapse Link num único ambiente do Dataverse está limitada a um máximo de 10.

Ligar Dataverse a Azure Data Lake Storage Gen2

1. Inicia sessão no Power Apps e seleciona o teu ambiente preferido.

2. No painel de navegação esquerdo, selecione Azure Synapse Link. Se o Azure Synapse Link não estiver visível no painel lateral, selecione ... Mais e selecione Descobrir tudo. O Azure Synapse Link está na secção Gestão de Dados.

3. Na barra de comando, selecione + Nova associação a data lake.

4. Selecione a Subscrição, Grupo de recursos e Conta de armazenamento. Certifique-se de que a conta de armazenamento satisfaz os requisitos especificados na secção Pré-Requisitos. Selecione Seguinte.

   Observação

   Como parte da associação do ambiente a um data lake, concede ao serviço Azure Synapse Link acesso à sua conta de armazenamento. Certifique-se de que cumpriu os pré-requisitos de criar e configurar a conta de armazenamento do Azure data lake, e conceder a si próprio um papel de proprietário na conta de armazenamento. Adicionalmente, concede ao serviço Power Platform Dataflows acesso à sua conta de armazenamento. Mais informações: Preparação de dados personalizada com fluxos de dados.

5. Escolha as tabelas que pretende exportar selecionando-as uma a uma ou introduzindo uma lista de tabelas separadas por vírgulas na caixa de pesquisa e, em seguida, selecionando Guardar. Apenas as tabelas com a propriedade Monitorizar alterações podem ser exportadas. Mais informações: Opções avançadas para tabelas.

   

Pode seguir os passos neste artigo para criar uma ligação de um ambiente para vários lagos de dados do Azure na sua subscrição do Azure. De forma semelhante, pode criar uma ligação de múltiplos ambientes para o mesmo Azure Data Lake, dentro do mesmo locatário.

Observação

O serviço Azure Synapse Link for Dataverse está integrado de forma fluida na Power Platform como uma funcionalidade pronta a usar. Cumpre os padrões de segurança e governação definidos para o armazenamento e governação de dados do Power Platform. Mais informações: Armazenamento e governação de dados

Os dados exportados pelo serviço Azure Synapse Link são encriptados durante o trânsito usando o Transport Layer Security (TLS) 1.2 ou superior e encriptados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blob também são encriptados em repouso. A encriptação no Azure Data Lake Storage Gen2 ajuda-o a proteger os seus dados, implementar políticas de segurança empresariais e cumprir os requisitos de conformidade regulamentar. Para mais informações, consulte Azure Data Encryption-at-Rest.

Gerir os dados da tabela para o data lake

Depois de configurar o Azure Synapse Link, pode gerir as tabelas que são exportadas de duas formas:

• Na área Azure Synapse Link do Power Apps maker portal, selecione Gerir tabelas na barra de comando para adicionar ou remover uma ou mais tabelas associadas.

• Na área Tabelas do Power Apps maker portal, selecione ... junto a uma tabela e, em seguida, selecione o data lake associado para o qual pretende exportar os dados da tabela.

  

Monitorize o seu Azure Synapse Link

Depois de configurar o Azure Synapse Link, pode monitorizar o Azure Synapse Link no separador Tabelas.

• Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
• Existem diferentes fases por onde circula o estado de sincronização. NotStarted indica que a tabela está à espera de ser sincronizada. Uma vez Concluída a sincronização inicial da tabela, existe uma fase de pós-processamento onde não serão efetuadas atualizações incrementais. Dependendo do tamanho dos seus dados, poderá demorar algumas horas. À medida que as atualizações incrementais começarem a ocorrer, a data da última sincronização será regularmente atualizada.
• A coluna Contagem mostra o número de linhas escritas. Quando Acrescentar apenas está definido como Não, este é o número total de registos. Quando Acrescentar Apenas está definido como Sim, este é o número total de alterações.
• As colunas de Apenas anexar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvinculação de um Azure Synapse Link

1. Selecione a ligação Azure Synapse para desvincular.

2. Selecione Desvincular o data lake da barra de comando.

3. Para eliminar ambos os sistemas de ficheiros do data lake, selecione Eliminar o sistema de ficheiros do data lake.

4. Selecione Sime aguarde alguns minutos para que tudo seja desassociado e eliminado.

Religação de um link do Azure Synapse

Se apagou o sistema de ficheiros ao desvincular, siga os passos anteriores para voltar a ligar o mesmo data lake. Se não eliminar o sistema de ficheiros ao desvincular, tem de limpar os dados para voltar a vincular:

1. Aceder ao Azure Data Lake.

2. Eliminar o container Dataverse.

3. Acesse o Power Apps e reassocie o data lake.

Ver os seus dados no Azure Data Lake Storage Gen2

1. Selecione o Azure Synapse Link desejado e, em seguida, selecione Ir para o data lake Azure a partir do painel superior.

2. Expandir sistemas de ficheiros, e, em seguida, selecionar dataverse-environmentName-organizationUniqueName.

O ficheiro model.json, juntamente com o seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O ficheiro model.json também inclui o estado de sincronização inicial e o tempo de conclusão da sincronização.

Uma pasta que inclui ficheiros em formato CSV delimitados por vírgula de instantâneo é apresentada para cada tabela exportada para o data lake.

Associar um Espaço de trabalho do Synapse a um perfil existente do Azure Synapse Link apenas com data lake

1. Na barra de endereços de um navegador web, anexe ?athena.updateLake=true ao endereço web que termina em exporttodatalake.

2. Selecione um perfil existente na área do Azure Synapse Link e, em seguida, selecione a opção expandida.

3. Selecione Associar à Área de Trabalho do Azure Synapse Analytics e aguarde alguns minutos para que tudo seja associado.

Atualizações de instantâneos contínuas

Os dados do Microsoft Dataverse podem ser alterados continuamente através da criação, atualização e eliminação de transações. Os instantâneos fornecem uma cópia só de leitura de dados que são atualizados periodicamente, neste caso, a cada hora. Isto assegura que, a qualquer momento, um cliente de análise de dados pode consumir de forma fiável dados no lake.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são escritos para os ficheiros table.csv, sob as pastas correspondentes no data lake. Este é o intervalo T1, onde um ficheiro instantâneo só de leitura chamado tabela-T1.csv, por exemplo, Conta-T1.csv ou Contactos-T1.csv, é criado. Além disso, o ficheiro model.json é atualizado para apontar para estes ficheiros de instantâneos. Ao abrir o model.json, pode ver os detalhes do instantâneo.

Segue-se um exemplo de um ficheiro particionado Account.csv e do diretório de instantâneos no data lake.

As alterações no Dataverse são continuamente transferidas para os ficheiros CSV correspondentes utilizando o motor de alimentação gradual. Este é o intervalo T2, em que outro instantâneo é tirado. tabela-T2.csv — por exemplo, Contas-T2.csv ou Contactos-T2.csv (assumindo que existem alterações na tabela) — e model.json são atualizados com os novos ficheiros instantâneos. Qualquer pessoa nova que veja dados de instantâneo do T2 em diante é direcionada para os ficheiros de instantâneo mais recentes. Deste modo, o visualizador de instantâneos original pode continuar a funcionar nos ficheiros de instantâneo T1 mais antigos, enquanto os visualizadores mais recentes podem ler as atualizações mais recentes. Isto é útil em cenários com processos subsequentes que exigem mais tempo de execução.

Observação

• Um novo ficheiro snapshot é criado apenas quando há uma atualização de dados.
• Apenas os cinco ficheiros de instantâneo mais recentes são mantidos. Os dados estagnados são automaticamente removidos da sua conta Azure Data Lake Storage Gen 2.

Segue-se um exemplo do ficheiro model.json, que sempre aponta para o ficheiro de instantâneo da conta com carimbo de data/hora mais recente.

E agora?

Depois de usar com sucesso o serviço Azure Synapse Link for Dataverse, descubra como pode analisar e consumir os seus dados com Discover Hub. Para aceder ao Discover Hub, aceda a Power Apps>Azure Synapse Link. Selecione o seu serviço associado e, em seguida, selecione o separador Hub de Deteção. Aqui, encontrará ferramentas recomendadas e documentação organizada que o vão ajudar a tirar o máximo partido dos seus dados.

Ver também

Analisar dados do Dataverse no data lake com o Power BI

Ingerir dados do Dataverse no data lake com o Azure Data Factory

Configuração Avançada do Azure Synapse Link para Dataverse

Azure Synapse Link FAQ