Добавочная загрузка данных из исходного хранилища данных в целевое
ОБЛАСТЬ ПРИМЕНЕНИЯ: 
Фабрика данных Azure Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
В решениях для интеграции данных добавочная (разностная) загрузка данных после начальной загрузки данных является широко используемым сценарием. В руководствах этого раздела показаны различные способы пошаговой загрузки данных с помощью Фабрики данных Azure.
Разностная загрузка данных из базы данных c использованием предела
В этом случае следует определить предел в базе данных-источнике. Предел представляет собой столбец, содержащий метку времени последнего обновления или добавочный ключ. Решение разностной загрузки загружает измененные данные между значениями старого и нового пределов. Рабочий процесс для этого подхода показан на следующей схеме:
Пошаговые инструкции представлены в следующих статьях:
- Пошаговая загрузка данных из Базы данных SQL Azure в хранилище BLOB-объектов Azure
- Добавочное копирование данных из нескольких таблиц в экземпляре SQL Server в Базу данных SQL Azure
См. шаблоны:
Разностная загрузка данных из базы данных SQL с помощью технологии отслеживания изменений
Технология отслеживания изменений — это упрощенное решение в SQL Server и Базе данных SQL Azure, которое предоставляет эффективный механизм отслеживания изменений для приложений. Эта технология позволяет приложению легко идентифицировать вставленные, обновленные или удаленные данные.
Рабочий процесс для этого подхода показан на следующей схеме:
Пошаговые инструкции см. в следующем руководстве.
Загрузка новых и измененных файлов только с использованием LastModifiedDate
Новые и измененные файлы можно скопировать в целевое хранилище только с помощью LastModifiedDate. ADF проверит все файлы из исходного хранилища, применит фильтр файла по LastModifiedDate и скопирует только новые и обновленные файлы (с момента последнего копирования) в целевое хранилище. Имейте в виду, что если вы разрешите ADF проверить большой объем файлов, но скопировать только некоторые из них, это все равно займет много времени.
Пошаговые инструкции см. в следующем руководстве.
- Incrementally copy new and changed files based on LastModifiedDate by using the Copy Data tool (Добавочное копирование новых и измененных файлов на основе параметра LastModifiedDate с помощью средства "Копирование данных")
См. шаблоны:
Загрузка новых файлов только с использованием имен папок или файлов, секционированных по времени
Можно скопировать только новые файлы или папки, если они секционированы по времени и информация о временной секции указана в имени файла или папки (например, /yyyy/mm/dd/file.csv). Это самый оптимальный с точки зрения производительности подход к добавочной загрузке новых файлов.
Пошаговые инструкции см. в следующем руководстве.
- Incrementally copy new files based on time partitioned file name by using the Copy Data tool (Добавочное копирование новых файлов на основе имени файла, секционированного по времени, с помощью средства "Копирование данных")
Связанный контент
Перейдите к следующему руководству: