Növekményes módon betölti az adatokat egy forrásadattárból egy céladattárba
A következőkre vonatkozik:
Azure Data Factory Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Adatintegrációs megoldások esetében gyakran használt forgatókönyv az adatok növekményes (vagy delta-) betöltése egy kezdeti, teljes adatbetöltést követően. A jelen szakaszban található oktatóanyagokból különböző módszereket ismerhet meg az adatok növekményes betöltésére vonatkozóan az Azure Data Factory használatával.
Változásadatok betöltése adatbázisból vízjel használatával
Ebben az esetben a forrásadatbázisban meghatároz egy vízjelet. A küszöbérték egy olyan oszlop, amely az utoljára frissített időbélyeget, vagy egy növekvő kulcsot tartalmaz. A változásbetöltési megoldás keretében a rendszer azokat az adatokat tölti be, amelyek megváltoztak egy régi és egy új küszöbérték között. A jelen megközelítés munkafolyamatának ábrázolása a következő diagramon látható:
A részletes utasításokhoz tekintse meg a következő oktatóanyagokat:
- Adatok növekményes másolása az Azure SQL Database egyik táblájából az Azure Blob Storage-ba
- Adatok növekményes másolása egy SQL Server-példány több táblájából az Azure SQL Database-be
A sablonokért tekintse meg a következőket:
Változásadatok betöltése az SQL DB-ből a Change Tracking technológia használatával
A változáskövetési technológia az SQL Server és az Azure SQL Database szolgáltatás egyik egyszerű megoldása, amely hatékony változáskövetési mechanizmust biztosít az alkalmazások számára. Lehetővé teszi az alkalmazások számára a beszúrt, frissített vagy törölt adatok egyszerű azonosítását.
A jelen megközelítés munkafolyamatának ábrázolása a következő diagramon látható:
Részletes útmutatásért tekintse meg az alábbi oktatóanyagot:
Új és módosított fájlok betöltése csak a LastModifiedDate használatával
Az új és módosított fájlokat csak a LastModifiedDate használatával másolhatja a céltárba. Az ADF megvizsgálja a forrástár összes fájlját, alkalmazza a fájlszűrőt a LastModifiedDate szerint, és csak az új és frissített fájlt másolja a legutóbbi időpont óta a céltárolóba. Vegye figyelembe, hogy ha lehetővé teszi, hogy az ADF nagy mennyiségű fájlt vizsgáljon, de csak néhány fájlt másoljon a célhelyre, ez a fájlvizsgálati folyamat miatt még sok időt vesz igénybe.
Részletes útmutatásért tekintse meg az alábbi oktatóanyagot:
A sablonokért tekintse meg a következőket:
Új fájlok betöltése csak időparticionált mappa vagy fájlnév használatával.
Új fájlokat csak akkor másolhat, ha a fájlok vagy mappák már időbélyeggel vannak particionálva a fájl vagy mappanév részeként (például /yyyy/mm/dd/file.csv). Ez a leghatékonyabb módszer az új fájlok növekményes betöltéséhez.
Részletes útmutatásért tekintse meg az alábbi oktatóanyagot:
Kapcsolódó tartalom
Folytassa a következő oktatóanyaggal: