Criar um Azure Synapse Link for Dataverse com o Azure Synapse Workspace

Artigo
04/20/2024

Você pode usar o Azure Synapse Link para conectar dados do Microsoft Dataverse ao Azure Synapse Analytics para explorá-los e acelerar o tempo para obter insights. Este artigo mostra como realizar as seguintes tarefas:

Conecte dados do Dataverse ao espaço de trabalho do Azure Synapse Analytics com o serviço do Azure Synapse Link.
Gerenciar tabelas do Dataverse incluídas no Azure Synapse Link.
Monitore o Azure Synapse Link.
Desvincule o Azure Synapse Link.
Vincule novamente o Azure Synapse Link.
Exiba dados no Azure Synapse Analytics.

Observação

O Azure Synapse Link for Microsoft Dataverse era conhecido antes como Exportar para o data lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

Dataverse: você deve ter o direito de acesso administrador do sistema no Dataverse. Além disso, as tabelas pelas quais você deseja exportar o Azure Synapse Link devem ter a propriedade Controlar alterações habilitada. Mais Informações: Opções avançadas
Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de funções Proprietário e Colaborador de Dados do Blob de Armazenamento. Sua conta de armazenamento deve habilitar namespace hierárquico para a configuração inicial e a sincronização delta. Permitir acesso à chave da conta de armazenamento é obrigatório apenas para a configuração inicial.
Workspace do Synapse: você deve ter um workspace do Synapse e o acesso da função Administrador do Synapse no Synapse Studio. O espaço de trabalho do Synapse deve estar na mesma região da conta Gen2 do Azure Data Lake Storage com a regra de acesso dos endereços IP allowAll. A conta de armazenamento deve ser adicionada como um serviço vinculado no Synapse Studio. Para criar um workspace do Synapse, vá para Criar um workspace do Synapse.

Observação

A conta de armazenamento e o espaço de trabalho do Synapse devem ser criados no mesmo locatário do Microsoft Entra do locatário do Power Apps.
A conta de armazenamento e o workspace do Synapse devem ser criados na mesma região do ambiente do Power Apps no qual o recurso será usado e no mesmo grupo de recursos.
Para definir Habilitado pelas redes virtuais e endereços IP selecionados para conta de armazenamento vinculada e espaço de trabalho para só conceder acesso a partir de redes virtuais e endereços IP selecionados ou para usar pontos de extremidade privados, você deve criar um Azure Synapse Link com identidades gerenciadas. Mais informações: Use identidades gerenciadas para o Azure com o Azure Data Lake Storage (sem identidades gerenciadas configuradas, você deve habilitar acesso à rede pública para recursos do Azure tanto para configuração inicial quanto para sincronização delta.)
Os espaços de trabalho do Synapse com pontos de extremidade privados gerenciados, proteção contra exfiltração dos dados ou redes virtuais gerenciadas não são compatíveis.
Você deve ter o direito de acesso de Leitor para o grupo de recursos com a conta de armazenamento e o workspace do Synapse.
Quando você adiciona vários usuários ao workspace do Synapse, eles devem ter o acesso da função Administrador do Synapse no Synapse Studio e da função Colaborador de Dados do Blob de Armazenamento na conta do Azure Data Lake Storage Gen2.
A criação de perfis do Link do Synapse em um único ambiente DV é limitada a um máximo de 10.

Conectar o Dataverse ao workspace do Synapse

Entre no Power Apps e selecione seu ambiente preferido.
No painel de navegação à esquerda, selecione Azure Synapse Link. Se o item não estiver no painel lateral, selecione …Mais e selecione o item desejado.
Na barra de comandos, selecione + Novo link.
Selecione a opção Conectar-se ao seu Azure Synapse workspace.
Selecione Assinatura, Grupo de recursos, Nome do workspace e Conta de armazenamento. Garanta que o workspace do Synapse e a conta de armazenamento atendam aos requisitos especificados na seção Pré-requisitos. Selecione Avançar.

Observação

Como parte da vinculação do ambiente a um data lake, você concede ao serviço do Azure Synapse Link acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.
Adicione as tabelas que deseja exportar e selecione Salvar. Somente as tabelas com controle de alterações habilitado podem ser exportadas. Mais informações: Habilitar o controle de alterações.

Você pode seguir as etapas acima para criar um link de um ambiente para vários espaços de trabalho do Azure Synapse Analytics e data lakes do Azure na assinatura do Azure, adicionando um data lake do Azure como um serviço vinculado em um espaço de trabalho do Synapse. Da mesma forma, você pode criar um link de vários ambientes para o mesmo espaço de trabalho do Azure Synapse Analytics e o Azure Data Lake, tudo no mesmo locatário.

Observação

O serviço Azure Synapse Link for Dataverse é perfeitamente integrado ao Power Platform como um recurso pronto para uso. Ele atende aos padrões de segurança e governança definidos para o armazenamento de dados e governança do Power Platform. Mais informações: Armazenamento de dados e governança

Os dados exportados pelo serviço Azure Synapse Link são criptografados em trânsito usando-se o recurso TLS (Transport Layer Security) 1.2 ou posterior e criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure Mais informações: Configurar firewalls e redes virtuais do Armazenamento do Azure

Gerenciar dados da tabela para o workspace do Synapse

Depois de configurar o Azure Synapse Link, você pode gerenciar as tabelas que são exportadas de duas maneiras:

Na área Azure Synapse Link do Power Apps (make.powerapps.com), selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.
Na área Tabelas do Maker Portal do Power Apps, selecione … ao lado de uma tabela e selecione o data lake vinculado para o qual deseja exportar os dados da tabela.

Monitorar seu Azure Synapse Link

Depois que configurar o Azure Synapse Link, você poderá monitorar o Azure Synapse Link na guia Tabelas.

Monitorar um Azure Synapse Link

Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
As colunas Somente acrescentar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvinculando um Azure Synapse Link

Selecione o Azure Synapse Link desejado para desvincular.
Selecione Desvincular na barra de comandos.
Para excluir o sistema de arquivos do data lake e o banco de dados Synapse, digite o nome do link para confirmar.
Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Vincular novamente a um Azure Synapse Link

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o workspace do Synapse. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

Navegue no Azure Synapse Analytics.
Selecione ... do banco de dados desvinculado e selecione Novo notebook > Notebook vazio.
Anexe o notebook a um pool do Apache Spark selecionando um pool no menu suspenso. Se você não tiver um pool do Apache Spark, selecione Gerenciar pools para criar um.
Insira o script a seguir, substitua <DATABASE_NAME> pelo nome do banco de dados a ser desvinculado e execute o notebook.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

Depois de executar o notebook, atualize a lista de banco de dados no painel esquerdo. Se o banco de dados ainda existir, tente clicar com o botão direito do mouse no banco de dados e selecionar Excluir.
Navegue até o Power Apps e vincule novamente o espaço de trabalho do Synapse e o data lake.

Acessar dados quase em tempo real e dados de instantâneo somente leitura

Depois de criar um Azure Synapse Link, duas versões dos dados de tabela serão sincronizadas no Azure Synapse Analytics e/ou no Azure Data Lake Storage Gen2 na sua assinatura do Azure por padrão para garantir que você possa consumir dados atualizados de forma confiável no lake a qualquer momento:

Dados quase em tempo real: oferece uma cópia de dados sincronizados do Dataverse por meio do Azure Synapse Link de maneira eficiente detectando quais dados foram alterados desde que foram inicialmente extraídos ou sincronizados pela última vez.
Dados de instantâneo: fornece uma cópia somente leitura de dados quase em tempo real que é atualizada em intervalos regulares (neste caso, a cada hora).

Observação

Para criar dados de instantâneo somente leitura, verifique se a configuração Escopo permitido para operações de cópia está definida como De qualquer conta de armazenamento. Mais informações: Configurar o escopo permitido para operações de cópia

Selecione o Azure Synapse Link desejado e, em seguida, selecione Ir para o espaço de trabalho do Azure Synapse Analytics no painel superior.
Expanda  Bancos de Dados do Lake no painel esquerdo, selecione dataverse-environmentName-organizationUniqueName e, em seguida, expanda  Tabelas.

Todas as Tabelas de Dados Quase em Tempo Real estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName. Todas as Tabelas de Dados de Instantâneo estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName_partitioned.

Tabelas quase em tempo real e de instantâneo

O que vem a seguir?

Depois de usar o serviço do Azure Synapse Link for Dataverse com êxito, descubra como você pode analisar e consumir seus dados com o Hub de Descobertas. Para acessar o Hub de Descobertas, vá para Power Apps > Azure Synapse Link. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.