Compartir vía


Carga incremental de datos de un almacén de datos de origen a un almacén de datos de destino

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.

En una solución de integración de datos, la carga incremental (o diferencial) de los datos después de una carga completa de los datos es un método ampliamente usado. En los tutoriales de esta sección se muestran distintas formas de cargar datos de forma incremental mediante Azure Data Factory.

Carga diferencial de datos de la base de datos mediante una marca de agua

En este caso, definirá una marca de agua en la base de datos de origen. Una marca de agua es una columna que tiene la marca de tiempo de la última actualización o una clave de incremento. La solución de carga diferencial carga los datos modificados entre una marca de agua antigua y una nueva marca de agua. En el siguiente diagrama se representa el flujo de trabajo de este enfoque:

Workflow for using a watermark

Consulte los siguientes temas para obtener instrucciones paso a paso:

Para las plantillas, consulte lo siguiente:

Carga diferencial de datos SQL DB mediante la tecnología Change Tracking

La tecnología de control de cambios es una solución ligera de SQL Server y Azure SQL Database que ofrece un mecanismo eficaz de control de cambios para las aplicaciones. Así, permite que una aplicación identifique fácilmente los datos que se insertaron, actualizaron o eliminaron.

En el siguiente diagrama se representa el flujo de trabajo de este enfoque:

Workflow for using Change Tracking

Para obtener instrucciones paso a paso, consulte el tutorial siguiente:

Carga de archivos nuevos y modificados solo mediante LastModifiedDate

Puede copiar los archivos nuevos y modificados en el almacén de destino utilizando solo LastModifiedDate. ADF examinará todos los archivos del almacén de origen, aplicará el filtro de archivos con LastModifiedDate, y copiará solo los archivos nuevos y actualizados desde la última vez en el almacén de destino. Tenga en cuenta que si deja que ADF analice grandes cantidades de archivos pero solo copia unos pocos en el destino, el proceso tardará mucho tiempo debido al proceso de examen de archivos.

Para obtener instrucciones paso a paso, consulte el tutorial siguiente:

Para las plantillas, consulte lo siguiente:

Carga de archivos nuevos mediante únicamente el nombre de archivo o la carpeta con particiones de tiempo

Puede copiar solamente archivos nuevos, donde ya se ha realizado una partición de tiempo de los archivos o carpetas con información de intervalo de tiempo como parte del nombre de archivo o carpeta (por ejemplo, /aaaa/mm/dd/file.csv). Es el enfoque de mayor rendimiento para la carga incremental de los nuevos archivos.

Para obtener instrucciones paso a paso, consulte el tutorial siguiente:

Avance al siguiente tutorial: