Új és módosított fájlok másolása a LastModifiedDate és az Azure Data Factory között

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk egy megoldássablont ismertet, amellyel csak a LastModifiedDate által másolhat új és módosított fájlokat egy fájlalapú tárolóból egy céltárba.

A megoldássablon ismertetése

Ez a sablon először csak a LastModifiedDate attribútumuk alapján választja ki az új és módosított fájlokat, majd az adatforrástárból az adat céltárba másolja a kijelölt fájlokat.

A sablon egyetlen tevékenységet tartalmaz:

• Másolja az új és módosított fájlokat csak a LastModifiedDate fájltárból egy céltárba.

A sablon hat paramétert határoz meg:

• FolderPath_Source a mappa elérési útja, ahol a fájlokat a forrástárból olvashatja. Az alapértelmezett értéket a saját mappa elérési útjára kell cserélnie.
• Directory_Source az almappák elérési útja, ahol a forrástárból olvashatja a fájlokat. Az alapértelmezett értéket a saját almappája elérési útjára kell cserélnie.
• FolderPath_Destination a mappa elérési útja, ahová fájlokat szeretne másolni a céltárolóba. Az alapértelmezett értéket a saját mappa elérési útjára kell cserélnie.
• Directory_Destination az almappák elérési útja, ahol fájlokat szeretne másolni a céltárolóba. Az alapértelmezett értéket a saját almappája elérési útjára kell cserélnie.
• LastModified_From azon fájlok kijelölésére szolgál, amelyek LastModifiedDate attribútuma a dátum/idő érték után vagy azokkal egyenlő. Ha csak az új fájlokat szeretné kijelölni, amelyeket nem másoltak ki utoljára, ez a dátum/idő érték lehet az az idő, amikor a folyamat legutóbb aktiválódott. Az alapértelmezett "2019-02-01T00:00:00Z" értéket lecserélheti a várt LastModifiedDate értékre UTC időzónában.
• LastModified_To azon fájlok kijelölésére szolgál, amelyek LastModifiedDate attribútuma ennél a dátum/idő értéknél korábbi. Ha csak azokat az új fájlokat szeretné kijelölni, amelyeket nem másoltak át a korábbi futtatások során, ez a dátum/idő érték lehet a jelenlegi időpont. Az alapértelmezett "2019-02-01T00:00:00Z" értéket lecserélheti a várt LastModifiedDate értékre UTC időzónában.

A megoldássablon használata

1. Lépjen a Sablontárra az Azure Data Factory Szerző lapján, majd válassza ki a gombot, a Folyamatot és végül a + Sablontárat.

   

2. Keresse meg a sablont: Csak a LastModifiedDate által másolt új fájlok, jelölje ki, majd válassza a Folytatás lehetőséget.

   

3. Hozzon létre egy új kapcsolatot a céltárolóval. A céltároló az a hely, ahová fájlokat szeretne másolni.

   

4. Hozzon létre egy új kapcsolatot a forrástárolóval. A forrástárból szeretne fájlokat másolni.

   

5. Kattintson a Sablon használata lehetőségre.

   

6. A panelen elérhető folyamat az alábbi példában látható módon jelenik meg:

   

7. Válassza a Hibakeresés lehetőséget, írja meg a paraméterek értékét, és válassza a Befejezés lehetőséget. Az alábbi képen a paramétereket a következőképpen állítjuk be.

   • FolderPath_Source = sourcefolder
   • Directory_Source = almappák
   • FolderPath_Destination = célmappák
   • Directory_Destination = almappák
   • LastModified_From = 2019-02-01T00:00:00Z
   • LastModified_To = 2019-03-01T00:00:00Z

   A példa azt jelzi, hogy az időtartományon belül legutóbb módosított fájlok (2019-02-01T00:00:00Z–2019-03-01T00:00:00:00Z) a forráselérési útvonal forrásmappájából/almappájából a célelérési útvonal célmappájára/almappájára lesznek átmásolva. Ezeket az időpontokat vagy mappákat lecserélheti a saját paramétereire.

   

8. Tekintse át az eredményt. Láthatja, hogy csak a konfigurált időkereten belül utoljára módosított fájlok lesznek átmásolva a céltárolóba.

   

9. Most hozzáadhat egy átfedésmentes windowsos eseményindítót a folyamat automatizálásához, így a folyamat mindig csak a LastModifiedDate által másolhat új és módosított fájlokat. Válassza az Eseményindító hozzáadása, majd az Új/Szerkesztés lehetőséget.

   

10. Az Eseményindítók hozzáadása ablakban válassza az + Új lehetőséget.

11. Az eseményindító típusához válassza a Átfedés ablak lehetőséget, és állítsa be 15 percenként ismétlődőként (tetszőleges időközre válthat). Válassza az Igen aktiválva jelölőnégyzetet, majd kattintson az OK gombra.

    

12. Állítsa be az eseményindító futtatási paramétereinek értékét a következőként, és válassza a Befejezés lehetőséget.

    • = FolderPath_Source forrásmappát. A forrásadattárban lecserélheti a mappát.
    • = Directory_Source almappát. Helyettesítheti az almappát a forrásadattárban.
    • = FolderPath_Destination célmappát. A céladattárban lecserélheti a mappát.
    • = Directory_Destination almappát. Helyettesítheti az almappát a céladattárban.
    • = LastModified_From@trigger().outputs.windowStartTime. Ez egy rendszerváltozó az eseményindítóból, amely meghatározza a folyamat legutóbbi aktiválásának időpontját.
    • = LastModified_To@trigger().outputs.windowEndTime. Ez egy rendszerváltozó az eseményindítóból, amely meghatározza, hogy a folyamat mikor aktiválódik.

    

13. Kattintson Az összes közzététele gombra.

    

14. Hozzon létre új fájlokat az adatforrástár forrásmappájában. Most arra vár, hogy a folyamat automatikusan aktiválódjon, és csak az új fájlokat másolja a céltárba.

15. Válassza a Figyelés lapot a bal oldali navigációs panelen, és várjon körülbelül 15 percet, ha az eseményindító ismétlődése 15 percenként lett beállítva.

16. Tekintse át az eredményt. Láthatja, hogy a folyamat 15 percenként automatikusan aktiválódik, és csak a forrástárból származó új vagy módosított fájlok lesznek átmásolva a céltárba minden egyes folyamatfuttatásban.

    

Kapcsolódó tartalom

• Az Azure Data Factory bemutatása