Добавочная загрузка данных из исходного хранилища данных в целевое

Область применения:Фабрика данных Azure Azure Synapse Analytics

Совет

Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

В решениях для интеграции данных добавочная (разностная) загрузка данных после начальной загрузки данных является широко используемым сценарием. В руководствах этого раздела показаны различные способы пошаговой загрузки данных с помощью Фабрики данных Azure.

Разностная загрузка данных из базы данных c использованием предела

В этом случае следует определить предел в базе данных-источнике. Предел представляет собой столбец, содержащий метку времени последнего обновления или добавочный ключ. Решение разностной загрузки загружает измененные данные между значениями старого и нового пределов. Рабочий процесс для этого подхода показан на следующей схеме:

Workflow for using a watermark

Пошаговые инструкции представлены в следующих статьях:

См. шаблоны:

Разностная загрузка данных из базы данных SQL с помощью технологии отслеживания изменений

Технология отслеживания изменений — это упрощенное решение в SQL Server и Базе данных SQL Azure, которое предоставляет эффективный механизм отслеживания изменений для приложений. Эта технология позволяет приложению легко идентифицировать вставленные, обновленные или удаленные данные.

Рабочий процесс для этого подхода показан на следующей схеме:

Workflow for using Change Tracking

Пошаговые инструкции см. в следующем руководстве.

Загрузка новых и измененных файлов только с использованием LastModifiedDate

Новые и измененные файлы можно скопировать в целевое хранилище только с помощью LastModifiedDate. ADF проверит все файлы из исходного хранилища, применит фильтр файла по LastModifiedDate и скопирует только новые и обновленные файлы (с момента последнего копирования) в целевое хранилище. Имейте в виду, что если вы разрешите ADF проверить большой объем файлов, но скопировать только некоторые из них, это все равно займет много времени.

Пошаговые инструкции см. в следующем руководстве.

См. шаблоны:

Загрузка новых файлов только с использованием имен папок или файлов, секционированных по времени

Можно скопировать только новые файлы или папки, если они секционированы по времени и информация о временной секции указана в имени файла или папки (например, /yyyy/mm/dd/file.csv). Это самый оптимальный с точки зрения производительности подход к добавочной загрузке новых файлов.

Пошаговые инструкции см. в следующем руководстве.

Перейдите к следующему руководству: