FTP konfigurálása másolási tevékenységben

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az adatfolyamban az adatok FTP-ről való másolásához.

Támogatott formátum

Az FTP a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• Excel-formátum
• JSON formátum
• ORC formátum
• Parquet formátum
• XML-formátum

Támogatott konfiguráció

A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.

• Általános
• Forrás
• Hozzárendelés
• Beállítások

Általános

Az Általános beállítások lap konfigurálásához tekintse meg az Általános beállításokat ismertető útmutatót.

Forrás

A másolási tevékenység forrásának konfigurálásához lépjen a Forrás lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.

A következő három tulajdonság szükséges:

• Adattár típusa: Válassza a Külső lehetőséget.

• Csatlakozás ion: Válasszon egy FTP-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új FTP-kapcsolatot az Új lehetőség kiválasztásával.

• Fájl elérési útja: Válassza ki a fájl elérési útját, a helyettesítő karakterek elérési útját és a fájlok listáját a fájlok olvasási módjának megfelelően.

  • Fájl elérési útja: Ha ezt a típust választja, adja meg a forrásfájl elérési útját. A Tallózás gombra kattintva kiválaszthatja a forrásfájlokat, vagy manuálisan is megadhatja a fájl elérési útját.

  • Helyettesítő fájl elérési útja: Ha ezt a típust választja, adja meg a helyettesítő karakterek elérési útját a forrásmappák vagy fájlok szűréséhez.

    Az engedélyezett helyettesítő karakterek * (nulla vagy több karakter) és ? (nulla vagy egyetlen karakternek felel meg). A feloldás akkor használható ^ , ha a mappa neve helyettesítő karakterrel vagy ezzel a feloldó karakterrel rendelkezik. További példákért tekintse meg a Mappa és fájlszűrő példákat.

    

    Helyettesítő karakterek mappa elérési útja: Adja meg a mappa elérési útját helyettesítő karakterekkel a forrásmappák szűréséhez.

    Helyettesítő karakterek fájlneve: A forrásfájlok szűréséhez adja meg a helyettesítő karaktereket tartalmazó fájlnevet az adott mappaPath/helyettesítő mappa elérési útján.

  • Fájlok listája: Ha ezt a típust választja, adja meg a mappa elérési útját és a fájllista elérési útját, amely egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely a másolni kívánt fájlok listáját tartalmazza, soronként egy fájlt. További példákért tekintse meg a Fájllista példákat.

    Mappa elérési útja: Adja meg a forrásmappa elérési útját. Ez kötelező.
    Elérési út a fájllistához: Adja meg a másolandó fájlok listáját tartalmazó szövegfájl elérési útját.

    

• Fájlformátum: Válassza ki a legördülő listából alkalmazott fájlformátumot. Válassza a Gépház a fájlformátum konfigurálásához. A különböző fájlformátumok beállításairól részletes információt a támogatott formátumú cikkekben talál.

A Speciális területen a következő mezőket adhatja meg:

• Szűrés utolsó módosítás szerint: A fájlok szűrése az utolsó módosított dátumok alapján történik. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.

  • Kezdési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő a konfigurált időpontnál.
  • Befejezési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha utolsó módosításuk időpontja kisebb, mint a konfigurált idő.

  Ha a kezdési időpont (UTC) dátum/idő értékkel rendelkezik, de a befejezési idő (UTC) NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a dátum/idő értékkel. Ha a befejezési idő (UTC) dátum/idő értékkel rendelkezik, de a kezdési idő (UTC) NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma kisebb, mint a dátum/idő érték. A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy a rendszer nem alkalmaz fájlattribútum-szűrőt az adatokra.

• Az adattömbolás letiltása: Az adattömb úgy lett kialakítva, hogy optimalizálja a teljesítményt, és alatta történjen. Ezzel a beállítással letilthatja az egyes fájlokon belüli adattömb-készítést. Az FTP-ről történő adatmásoláskor a szolgáltatás először megpróbálja lekérni a fájl hosszát, majd több részre osztja a fájlt, és párhuzamosan olvassa be őket. Adja meg, hogy az FTP-kiszolgáló támogatja-e a fájlhossz lekérését, vagy egy bizonyos eltolásból szeretne olvasni. Alapértelmezés szerint nincs kijelölve.

• Partíciófelderítés engedélyezése: Adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útjából, és további forrásoszlopokként adja hozzá őket. Alapértelmezés szerint nincs kiválasztva, és bináris fájlformátum használata esetén nem támogatott.

  • Partíció gyökérútvonala: Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához.
    Ha nincs megadva, alapértelmezés szerint

    • Ha fájlelérési utat vagy fájllistát használ a forrásban, a partíció gyökérútvonala a konfigurált elérési út.
    • Helyettesítő karakteres mappaszűrő használatakor a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal.

    Tegyük fel például, hogy az elérési utat a következőképpen root/folder/year=2020/month=08/day=27konfigurálja:

    • Ha a partíció gyökérútvonalát adja meg, root/folder/year=2020a másolási tevékenység a fájlokon belüli oszlopok mellett még két oszlopot hoz létre a hónap és a nap során a "08" és a "27" értékkel.
    • Ha nincs megadva a partíció gyökérútvonala, a rendszer nem hoz létre további oszlopot.

    

• Bináris átvitel használata: Adja meg, hogy a bináris átviteli módot használja-e. Jelölje ki a bináris mód (alapértelmezett) használatához, vagy törölje a jelölését az ASCII használatához.

• Egyidejű kapcsolatok maximális száma: Ez a tulajdonság az adattárban a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátját jelzi. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.

• További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott. További információ: További oszlopok hozzáadása másolás közben.

Hozzárendelés

A Leképezés lap konfigurálásához tekintse meg a leképezések konfigurálása a leképezési lapon című témakört. Ha a Bináris fájlt választja fájlformátumként, a leképezés nem támogatott.

Beállítások

A Gépház lap konfigurációjához válassza a Beállítások lap egyéb beállításainak konfigurálását.

Táblázat összefoglalása

Az alábbi táblázat további információkat tartalmaz az FTP másolási tevékenységéről.

Forrás

Név	Leírás	Érték	Szükséges	JSON-szkripttulajdonság
Adattár típusa	Az adattár típusa.	Külső	Igen	/
Kapcsolat	Az FTP-kapcsolat a forrásadattárhoz.	< AZ FTP-kapcsolat >	Igen	kapcsolat
Fájl elérési útja	A forrásadatok lekéréséhez használt fájl elérési útja.	• Fájl elérési útja • Helyettesítő karakterek elérési útja • Fájlok listája	Igen	/
Elérési út	A forrásfájl elérési útja.	< fájl elérési útja>	Igen	fileName folderpath
Helyettesítő karakterek elérési útjai	A forrásfájl helyettesítő karakterének elérési útja.	< a helyettesítő karakterfájl elérési útja >	Igen helyettesítő karakteres fájlnév esetén	wildcardFolderPath wildcardFileName
Mappa elérési útja	A forrásmappa elérési útja.	< gyakori kezdőmappa elérési útja>	Igen	folderPath
Fájllista elérési útja	Egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely a másolni kívánt fájlok listáját tartalmazza, soronként egy fájlt.	< fájllista elérési útja >	Nem	fileListPath
Fájlformátum	A forrásadatok fájlformátuma. A különböző fájlformátumokról további információt a támogatott formátumú cikkekben talál.	/	Igen	/
Szűrés utoljára módosítva	A tartományban legutóbb módosított [Kezdési időpont, Befejezési idő) fájlok szűrése további feldolgozás céljából történik. Az idő az UTC időzónára lesz alkalmazva a következő yyyy-mm-ddThh:mm:ss.fffZformátumban: . Ezek a tulajdonságok kihagyhatók, ami azt jelenti, hogy a rendszer nem alkalmaz fájlattribútum-szűrőt. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.	dátum/idő	Nem	modifiedDatetimeStart modifiedDatetimeEnd
Adattömb-készítés letiltása	Az adattömb úgy lett kialakítva, hogy optimalizálja a teljesítményt, és alatta történjen. Ezzel a beállítással letilthatja az egyes fájlokon belüli adattömb-készítést. Az FTP-ről történő adatmásoláskor a szolgáltatás először megpróbálja lekérni a fájl hosszát, majd több részre osztja a fájlt, és párhuzamosan olvassa be őket. Adja meg, hogy az FTP-kiszolgáló támogatja-e a fájlhossz lekérését, vagy egy bizonyos eltolásból szeretne olvasni.	ki van jelölve vagy nincs kijelölve (alapértelmezett)	Nem	disableChunking: igaz vagy hamis (alapértelmezett)
Partíciófelderítés engedélyezése	Azt jelzi, hogy elemezni kell-e a partíciókat a fájl elérési útjából, és további forrásoszlopokként kell-e hozzáadni őket.	ki van jelölve vagy nincs kijelölve (alapértelmezett)	Nem	enablePartitionDiscovery: igaz vagy hamis (alapértelmezett)
Partíció gyökérútvonala	Az abszolút partíció gyökérútvonala a particionált mappák adatoszlopként való olvasásához. Adja meg, ha a partíciófelderítés engedélyezve van.	< partíció gyökérútvonala >	Nem	partitionRootPath
Bináris átvitel használata	Azt jelzi, hogy a bináris átviteli módot használja-e. Az értékek a bináris mód (alapértelmezett) és az ASCII esetében hamisak.	ki van jelölve (alapértelmezett) vagy nincs kijelölve	Nem	useBinaryTransfer: igaz (alapértelmezett) vagy hamis
Egyidejű kapcsolatok maximális kihasználása	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	< az egyidejű kapcsolatok felső korlátja > (egész szám)	Nem	maxConcurrent Csatlakozás ions
További oszlopok	Adjon hozzá további adatoszlopokat a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott. További információ: További oszlopok hozzáadása másolás közben	•Név •Érték	Nem	továbbicolumnok: •név •Érték

Kapcsolódó tartalom

• FTP-összekötő áttekintése