Carga incremental de datos de un almacén de datos de origen a un almacén de datos de destino
SE APLICA A:
Azure Data Factory Azure Synapse Analytics
Sugerencia
Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.
En una solución de integración de datos, la carga incremental (o diferencial) de los datos después de una carga completa de los datos es un método ampliamente usado. En los tutoriales de esta sección se muestran distintas formas de cargar datos de forma incremental mediante Azure Data Factory.
Carga diferencial de datos de la base de datos mediante una marca de agua
En este caso, definirá una marca de agua en la base de datos de origen. Una marca de agua es una columna que tiene la marca de tiempo de la última actualización o una clave de incremento. La solución de carga diferencial carga los datos modificados entre una marca de agua antigua y una nueva marca de agua. En el siguiente diagrama se representa el flujo de trabajo de este enfoque:
Consulte los siguientes temas para obtener instrucciones paso a paso:
- Carga de datos de forma incremental de Azure SQL Database a Azure Blob Storage
- Copia incremental de datos de varias tablas de una instancia de SQL Server en Azure SQL Database
Para las plantillas, consulte lo siguiente:
Carga diferencial de datos SQL DB mediante la tecnología Change Tracking
La tecnología de control de cambios es una solución ligera de SQL Server y Azure SQL Database que ofrece un mecanismo eficaz de control de cambios para las aplicaciones. Así, permite que una aplicación identifique fácilmente los datos que se insertaron, actualizaron o eliminaron.
En el siguiente diagrama se representa el flujo de trabajo de este enfoque:
Para obtener instrucciones paso a paso, consulte el tutorial siguiente:
Carga de archivos nuevos y modificados solo mediante LastModifiedDate
Puede copiar los archivos nuevos y modificados en el almacén de destino utilizando solo LastModifiedDate. ADF examinará todos los archivos del almacén de origen, aplicará el filtro de archivos con LastModifiedDate, y copiará solo los archivos nuevos y actualizados desde la última vez en el almacén de destino. Tenga en cuenta que si deja que ADF analice grandes cantidades de archivos pero solo copia unos pocos en el destino, el proceso tardará mucho tiempo debido al proceso de examen de archivos.
Para obtener instrucciones paso a paso, consulte el tutorial siguiente:
Para las plantillas, consulte lo siguiente:
Carga de archivos nuevos mediante únicamente el nombre de archivo o la carpeta con particiones de tiempo
Puede copiar solamente archivos nuevos, donde ya se ha realizado una partición de tiempo de los archivos o carpetas con información de intervalo de tiempo como parte del nombre de archivo o carpeta (por ejemplo, /aaaa/mm/dd/file.csv). Es el enfoque de mayor rendimiento para la carga incremental de los nuevos archivos.
Para obtener instrucciones paso a paso, consulte el tutorial siguiente:
Contenido relacionado
Avance al siguiente tutorial: