Добавочная загрузка данных из исходного хранилища данных в целевое

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Совет

Ищете простой способ перемещения данных? Задание копирования в Microsoft Fabric предоставляет простой масштабируемый способ загрузки данных без создания конвейера. Узнайте, как создать его.

В решениях для интеграции данных добавочная (разностная) загрузка данных после начальной загрузки данных является широко используемым сценарием. В руководствах этого раздела показаны различные способы пошаговой загрузки данных с помощью Фабрики данных Azure.

Дельта загрузка данных из базы данных с использованием водяного знака

В этом случае определите водяной знак в базе данных-источнике. Предел представляет собой столбец, содержащий метку времени последнего обновления или добавочный ключ. Решение разностной загрузки загружает измененные данные между старой и новой отметками. Рабочий процесс для этого подхода показан на следующей схеме:

Пошаговые инструкции представлены в следующих статьях:

• Инкрементное копирование данных из одной таблицы в базе данных Azure SQL в хранилище блобов Azure
• Добавочное копирование данных из нескольких таблиц в экземпляре SQL Server в Базу данных SQL Azure

Для шаблонов см. следующее:

• Разностное копирование с использованием контрольной таблицы

Разностная загрузка данных из базы данных SQL с помощью технологии отслеживания изменений

Технология отслеживания изменений — это упрощенное решение в SQL Server и Базе данных SQL Azure, которое предоставляет эффективный механизм отслеживания изменений для приложений. Эта технология позволяет приложению легко идентифицировать вставленные, обновленные или удаленные данные.

Рабочий процесс для этого подхода показан на следующей схеме:

Пошаговые инструкции см. в следующем руководстве.

• Инкрементная копия данных из Azure SQL Database в хранилище BLOB-объектов Azure с использованием технологии отслеживания изменений

Загрузка новых и измененных файлов только с использованием LastModifiedDate

Новые и измененные файлы можно скопировать в целевое хранилище только с помощью LastModifiedDate. ADF проверит все файлы из исходного хранилища, применит фильтр файла по LastModifiedDate и скопирует только новые и обновленные файлы (с момента последнего копирования) в целевое хранилище. Если вы позволяете ADF сканировать огромные объемы файлов, но вы копируете только несколько файлов в место назначения, это по-прежнему займет много времени из-за процесса сканирования файлов.

Пошаговые инструкции см. в следующем руководстве.

• Инкрементально копировать новые и изменённые файлы на основе параметра LastModifiedDate из хранилища Azure Blob в хранилище Azure Blob

См. следующие шаблоны:

• Копирование новых файлов с использованием параметра LastModifiedDate

Загрузка новых файлов только через использование папки с временной секционированностью или имени файла

Можно скопировать только новые файлы или папки, если они секционированы по времени и информация о временной секции указана в имени файла или папки (например, /yyyy/mm/dd/file.csv). Это самый простой подход для добавочной загрузки новых файлов.

Пошаговые инструкции см. в следующем руководстве.

• Поэтапно копировать новые файлы на основе временных сегментированных папок или имен файлов из хранилища Azure Blob в хранилище Azure Blob

Связанный контент

Перейдите к следующему руководству:

Пошаговая загрузка данных из Базы данных SQL Azure в хранилище BLOB-объектов Azure