Share via

Captura de dados de alterações com a evolução do esquema do Banco de Dados SQL do Azure para uma Sincronização Delta, utilizando um recurso de captura de dados alterados

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Neste artigo, você utiliza a interface de usuário do Azure Data Factory para criar um recurso de captura de dados de alterações (CDA). O recurso coleta dados alterados de uma fonte do banco de dados SQL do Azure e os adiciona ao Delta Lake armazenado no Azure Data Lake Storage Gen2, em tempo real. Essa atividade mostra o suporte à evolução do esquema utilizando um recurso de CDA entre a origem e o destino.

Neste artigo, você aprenderá como:

  • Crie um recurso de CDA.
  • Faça alterações dinâmicas de esquema em uma tabela de origem.
  • Valide as alterações de esquema na Sincronização Delta de destino.

Você pode modificar e expandir o padrão de configuração neste artigo.

Pré-requisitos

Antes de iniciar os procedimentos deste artigo, certifique-se de ter estes recursos:

  • Assinatura do Azure. Caso não tenha uma assinatura do Azure, crie uma conta gratuita do Azure.
  • Banco de dados SQL. Use o Banco de Dados SQL do Azure como armazenamento de dados de origem. Se você não tiver um banco de dados SQL, crie um no portal do Azure.
  • Conta de armazenamento. Use o Delta Lake armazenado no Azure Data Lake Storage Gen2 como um armazenamento de dados de destino. Se você não tiver uma conta de armazenamento, confira Criar uma conta de armazenamento para obter as etapas para criar uma.

Criar um artefato de CDA

  1. Vá para o painel Autor em seu data factory. Abaixo de Pipelines, um novo artefato de nível superior chamado Captura de Dados de Alterações (versão prévia) é exibido.

    Screenshot of a new top-level artifact for change data capture on the Factory Resources pane.

  2. Passe o mouse sobre a Captura de Dados de Alterações (versão prévia) até que três pontos apareçam. Em seguida, selecione Ações da Captura de Dados de Alterações (versão prévia).

    Screenshot of the button for change data capture actions appearing over the new top-level artifact.

  3. Selecione o Novo CDA (versão prévia). Essa etapa abre um submenu para iniciar o processo guiado.

    Screenshot of a list of change data capture actions.

  4. Você será solicitado a nomear o recurso de CDA. Por padrão, o nome é "adfcdc" com um número incrementado em 1. Você pode substituir esse nome padrão por um nome escolhido.

    Screenshot of the text box to update the name of a resource.

  5. Use a lista suspensa para escolher sua fonte de dados. Para este artigo, selecione Banco de Dados SQL do Azure.

    Screenshot of the guided process flyout with source options in a dropdown list.

  6. Em seguida, você será solicitado a selecionar um serviço vinculado. Crie um serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service.

  7. Depois de selecionar um serviço vinculado, você será solicitado a selecionar as tabelas de origem. Utilize as caixas de seleção para selecionar as tabelas de origem e, em seguida, selecione o valor da coluna Incremental usando a lista suspensa.

    Screenshot that shows selection of a source table and an incremental column.

    O painel lista apenas as tabelas que suportam tipos de dados de colunas incrementais.

    Observação

    Para habilitar o CDA com evolução de esquema em uma fonte de banco de dados SQL do Azure, escolha tabelas baseadas em colunas de marca d'água em vez de tabelas habilitadas para o CDA nativo do SQL.

  8. Depois de selecionar as tabelas de origem, selecione Continuar para definir o destino dos dados.

    Screenshot of the Continue button in the guided process to select a data target.

  9. Selecione um valor de Tipo de destino utilizando a lista suspensa. Para esse artigo, selecione Delta.

    Screenshot of a dropdown menu of all data target types.

  10. Em seguida, você será solicitado a selecionar um serviço vinculado. Crie um serviço vinculado ou selecione um existente.

    Screenshot of the box to choose or create a linked service to your data target.

  11. Selecione sua pasta de dados de destino. Você pode utilizar qualquer uma delas:

    • O botão Navegar em Caminho base de destino, que ajuda você a preencher automaticamente o caminho de navegação em todas as novas tabelas selecionadas para uma origem.
    • O botão Procurar do lado de fora para selecionar individualmente o caminho da pasta.

    Screenshot of a folder icon to browse for a folder path.

  12. Depois de selecionar o caminho da pasta, selecione o botão Continuar.

    Screenshot of the Continue button in the guided process to proceed to the next step.

  13. Uma nova guia para capturar dados de alteração será exibida. Essa guia é o estúdio de CDA, no qual você pode configurar seu novo recurso.

    Screenshot of the change data capture studio.

    Um novo mapeamento é criado automaticamente para você. Você pode atualizar as seleções Tabela de Origem e Tabela de Destino para seu mapeamento usando as listas de seleção.

    Screenshot of the source-to-target mapping in the change data capture studio.

  14. Depois de selecionar suas tabelas, suas colunas são mapeadas por padrão com a alternância Mapeamento automático ativada. O mapeamento automático mapeia automaticamente as colunas por nome no coletor, capta as alterações de novas colunas quando o esquema de origem evolui e envia essas informações para os tipos de coletores suportados.

    Screenshot of the toggle for automatic mapping turned on.

    Observação

    A evolução do esquema só funciona quando a opção Mapeamento automático está ativada. Para saber como editar mapeamentos de colunas ou incluir transformações, confira Captura de dados de alterações com um recurso de captura de dados alterados.

  15. Selecione o link Chaves e, em seguida, escolha a coluna Chaves a ser usada para rastrear as operações de exclusão.

    Screenshot of the link to enable Keys column selection.

    Screenshot of selecting a Keys column for the selected source.

  16. Ao concluir os mapeamentos, defina a latência de CDA usando o botão Definir Latência.

    Screenshot of the Set Latency button at the top of the canvas.

  17. Selecione a latência de CDA e selecione Aplicar para fazer as alterações.

    Por padrão, a latência é definida como 15 minutos. O exemplo neste artigo usa a opção Em tempo real para latência. A latência em tempo real capta continuamente as alterações nos dados de origem em intervalos de menos de 1 minuto.

    Para outras latências (por exemplo, se você selecionar 15 minutos), sua captura de dados de alterações processará seus dados de origem e selecionará todos os dados alterados desde o último horário processado.

    Screenshot of the options for setting latency.

  18. Quando terminar de configurar o CDA, selecione Publicar tudo para publicar as alterações.

    Screenshot of the publish button at the top of the canvas.

    Observação

    Se você não publicar suas alterações, não poderá iniciar seu recurso de CDA. O botão Iniciar na próxima etapa não estará disponível.

  19. Selecione Iniciar para começar a executar a captura de dados de alterações.

    Screenshot of the Start button at the top of the canvas.

Agora que a captura de dados de alterações está em execução, você pode:

  • Utilize a página de monitoramento para verificar quantas alterações (inserções, atualizações ou exclusões) foram lidas e gravadas, juntamente com outras informações de diagnóstico.

    Screenshot of the monitoring page of a selected change data capture.

    Screenshot of the monitoring page of a selected change data capture with a detailed view.

  • Validar se os dados de alteração chegaram ao Delta Lake armazenados no Azure Data Lake Storage Gen2, no formato Delta.

    Screenshot of a target Delta folder.

  • Valide o esquema dos dados alterados que chegaram.

    Screenshot of a Delta file.

Fazer alterações dinâmicas no nível do esquema nas tabelas de origem

  1. Adicione uma nova coluna PersonalEmail à tabela de origem utilizando uma instrução T-SQL ALTER TABLE como mostrado no exemplo a seguir.

    Screenshot of the ALTER command in Azure Data Studio.

  2. Valide se a nova coluna PersonalEmail aparece na tabela existente.

    Screenshot of a new table design with a column added for personal email.

Validar as alterações de esquema na Sincronização Delta

Confirme se a nova coluna PersonalEmail aparece na Sincronização Delta. Agora você sabe que os dados alterados com as mudanças de esquema chegaram ao destino.

Screenshot of a Delta file with a schema change.

Conteúdo relacionado