Partilhar via

Carrega dados de forma incremental a partir de um arquivo de dados de origem para um arquivo de dados de destino

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Uma solução de integração de dados, que carrega dados incrementalmente (ou delta) após um carregamento de dados completos inicial é um cenário bastante utilizado. Os tutoriais nesta secção mostram formas diferentes de carregar dados de forma incremental através da utilização do Azure Data Factory.

Carregamento de dados delta do banco de dados usando uma marca d'água

Neste caso, é possível definir uma marca d'água na base de dados de origem. Uma marca d'água é uma coluna com o último carimbo de data/hora atualizado ou uma chave de incrementação. A solução de carregamento delta carrega os dados alterados entre uma marca d'água antiga e uma nova marca d'água. O fluxo de trabalho para esta abordagem é descrito no diagrama seguinte:

Fluxo de trabalho para a utilização de uma marca d'água

Para obter instruções passo a passo, veja os seguintes tutoriais:

Para modelos, consulte o seguinte:

Carregamento de dados delta do Banco de Dados SQL usando a tecnologia Change Tracking

A tecnologia de Controlo de Alterações é uma solução simples no SQL Server e na Base de Dados SQL do Azure que fornece um mecanismo de controlo de alterações eficiente para aplicações. Permite que uma aplicação facilmente identifique dados que foram inseridos, atualizados ou eliminados.

O fluxo de trabalho para esta abordagem é descrito no diagrama seguinte:

Fluxo de trabalho para utilizar o Controlo de Alterações

Para obter instruções passo a passo, consulte o seguinte tutorial:

Carregando arquivos novos e alterados somente usando LastModifiedDate

Você pode copiar os arquivos novos e alterados somente usando LastModifiedDate para o armazenamento de destino. O ADF verificará todos os arquivos do armazenamento de origem, aplicará o filtro de arquivo por sua LastModifiedDate e copiará apenas o arquivo novo e atualizado desde a última vez para o armazenamento de destino. Por favor, esteja ciente de que, se você deixar o ADF digitalizar grandes quantidades de arquivos, mas você copiar apenas alguns arquivos para o destino, isso ainda levará muito tempo por causa do processo de digitalização de arquivos.

Para obter instruções passo a passo, consulte o seguinte tutorial:

Para modelos, consulte o seguinte:

Carregando novos arquivos somente usando a pasta particionada por tempo ou o nome do arquivo.

Você pode copiar somente novos arquivos, onde os arquivos ou pastas já foram particionados por tempo com informações de timelice como parte do nome do arquivo ou pasta (por exemplo, /aaaa/mm/dd/file.csv). É a abordagem de maior desempenho para carregar novos arquivos incrementalmente.

Para obter instruções passo a passo, consulte o seguinte tutorial:

Conteúdos relacionados

Avançar para o tutorial seguinte:

Copiar dados de forma incremental de uma tabela na Base de Dados SQL do Azure para o armazenamento de Blobs do Azure