Läsa in data stegvis från ett källdatalager till ett måldatalager
GÄLLER FÖR:
Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
I en dataintegrationslösning är stegvis inläsning av data (eller deltadata) efter den första fullständiga datainläsningen ett vanligt scenario. Självstudierna i det här avsnittet visar olika sätt att läsa in data inkrementellt med Azure Data Factory.
Deltadatainläsning från databas med vattenstämpel
I det här fallet definierar du en vattenstämpel i din källdatabas. En vattenstämpel är en kolumn som har den senast uppdaterade tidsstämpeln eller en stegvis ökande nyckel. Lösningen för deltainläsning läser in de ändrade data mellan en gammal och en ny vattenstämpel. Arbetsflödet för den här metoden illustreras i följande diagram:
Stegvisa instruktioner finns i följande självstudier:
- Kopiera data stegvis från en tabell i Azure SQL Database till Azure Blob Storage
- Kopiera data stegvis från flera tabeller i en SQL Server-instans till Azure SQL Database
För mallar, se följande:
Inläsning av deltadata från SQL DB med tekniken Ändringsspårning
Tekniken för ändringsspårning är en enkel lösning i SQL Server och Azure SQL Database som tillhandahåller en effektiv ändringsspårningsmekanism för program. Det gör att ett program enkelt kan identifiera data som har infogats, uppdaterats eller tagits bort.
Arbetsflödet för den här metoden illustreras i följande diagram:
Stegvisa instruktioner finns i följande självstudie:
Läsa in endast nya och ändrade filer med hjälp av LastModifiedDate
Du kan kopiera de nya och ändrade filerna endast med hjälp av LastModifiedDate till målarkivet. ADF genomsöker alla filer från källarkivet, tillämpar filfiltret efter deras LastModifiedDate och kopierar bara den nya och uppdaterade filen sedan förra gången till målarkivet. Tänk på att om du låter ADF skanna stora mängder filer men bara kopierar några filer till målet tar det fortfarande lång tid på grund av filgenomsökningsprocessen.
Stegvisa instruktioner finns i följande självstudie:
För mallar, se följande:
Läsa in endast nya filer med hjälp av tidspartitionerat mapp- eller filnamn.
Du kan kopiera endast nya filer, där filer eller mappar redan har tidspartitionerats med tidssektorinformation som en del av fil- eller mappnamnet (till exempel /åååå/mm/dd/fil.csv). Det är den mest högpresterande metoden för inläsning av nya filer stegvis.
Stegvisa instruktioner finns i följande självstudie:
Relaterat innehåll
Fortsätt till följande självstudie: