SFTP konfigurálása másolási tevékenységben
Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az adatfolyamban az adatok SFTP-ből való másolására.
Támogatott formátum
Az SFTP a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.
- Avro formátum
- Bináris formátum
- Tagolt szövegformátum
- Excel-formátum
- JSON formátum
- ORC formátum
- Parquet formátum
- XML-formátum
Támogatott konfiguráció
A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.
Általános
Az Általános beállítások lap konfigurálásához tekintse meg az Általános beállításokat ismertető útmutatót.
Forrás
A másolási tevékenység forrásának konfigurálásához lépjen a Forrás lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.
A következő három tulajdonság szükséges:
Adattár típusa: Válassza a Külső lehetőséget.
Csatlakozás ion: Válasszon egy SFTP-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új SFTP-kapcsolatot az Új lehetőség kiválasztásával.
Fájl elérési útja: Válassza ki a fájl elérési útját, a helyettesítő karakterek elérési útját és a fájlok listáját a fájlok olvasási módjának megfelelően.
Fájl elérési útja: Ha ezt a típust választja, adja meg a forrásfájl elérési útját. A Tallózás gombra kattintva kiválaszthatja a forrásfájlokat, vagy manuálisan is megadhatja a fájl elérési útját.
Helyettesítő fájl elérési útja: Ha ezt a típust választja, adja meg a helyettesítő karakterek elérési útját a forrásmappák vagy fájlok szűréséhez.
Az engedélyezett helyettesítő karakterek
*
(nulla vagy több karakter) és?
(nulla vagy egyetlen karakternek felel meg). A feloldás akkor használható^
, ha a mappa neve helyettesítő karakterrel vagy ezzel a feloldó karakterrel rendelkezik. További példákért tekintse meg a Mappa és fájlszűrő példákat.Helyettesítő karakterek mappa elérési útja: Adja meg a mappa elérési útját helyettesítő karakterekkel a forrásmappák szűréséhez.
Helyettesítő karakterek fájlneve: A forrásfájlok szűréséhez adja meg a helyettesítő karaktereket tartalmazó fájlnevet a megadott mappa elérési útja/helyettesítő mappa elérési útja alatt.
Fájlok listája: Ha ezt a típust választja, adja meg a mappa elérési útját és a fájllista elérési útját, amely egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely a másolni kívánt fájlok listáját tartalmazza, soronként egy fájlt. További példákért tekintse meg a Fájllista példákat.
Mappa elérési útja: Adja meg a forrásmappa elérési útját. Ez kötelező.
Elérési út a fájllistához: Adja meg a másolandó fájlok listáját tartalmazó szövegfájl elérési útját.
Fájlformátum: Válassza ki a legördülő listából alkalmazott fájlformátumot. Válassza a Gépház a fájlformátum konfigurálásához. A különböző fájlformátumok beállításairól részletes információt a támogatott formátumú cikkekben talál.
A Speciális területen a következő mezőket adhatja meg:
Szűrés utoljára módosítva: A fájlok szűrése a megadott utolsó módosított dátumok alapján történik. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.
- Kezdési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő a konfigurált időpontnál.
- Befejezési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha utolsó módosításuk időpontja kisebb, mint a konfigurált idő.
Ha a kezdési időpont (UTC) dátum/idő értékkel rendelkezik, de a befejezési idő (UTC) NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a dátum/idő értékkel. Ha a befejezési idő (UTC) dátum/idő értékkel rendelkezik, de a kezdési idő (UTC) NULL, az azt jelenti, hogy azok a fájlok lesznek kiválasztva, amelyek utolsó módosított attribútuma kisebb, mint a dátum/idő érték. A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy a rendszer nem alkalmaz fájlattribútum-szűrőt az adatokra.
Az adattömbolás letiltása: Az adattömb úgy lett kialakítva, hogy optimalizálja a teljesítményt, és alatta történjen. Ezzel a beállítással letilthatja az egyes fájlokon belüli adattömb-készítést. Amikor adatokat másol az SFTP-ből, a szolgáltatás először megpróbálja lekérni a fájl hosszát, majd több részre osztja a fájlt, és párhuzamosan olvassa be őket. Adja meg, hogy az SFTP-kiszolgáló támogatja-e a fájlhossz lekérését vagy egy bizonyos eltolásból való olvasást. Alapértelmezés szerint nincs kijelölve.
Partíciófelderítés engedélyezése: Adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útjából, és további forrásoszlopokként adja hozzá őket. Alapértelmezés szerint nincs kiválasztva, és bináris fájlformátum használata esetén nem támogatott.
Partíció gyökérútvonala: Ha a partíciófelderítés engedélyezve van, adja meg az abszolút gyökér elérési utat a particionált mappák adatoszlopként való olvasásához.
Ha nincs megadva, alapértelmezés szerint- Ha fájlelérési utat vagy fájllistát használ a forrásban, a partíció gyökérútvonala a konfigurált elérési út.
- Helyettesítő karakteres mappaszűrő használatakor a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal.
Tegyük fel például, hogy az elérési utat a következőképpen
root/folder/year=2020/month=08/day=27
konfigurálja:- Ha a partíció gyökérútvonalát adja meg,
root/folder/year=2020
a másolási tevékenység a fájlokon belüli oszlopok mellett még két oszlopot hoz létre a hónap és a nap során a "08" és a "27" értékkel. - Ha nincs megadva a partíció gyökérútvonala, a rendszer nem hoz létre további oszlopot.
Egyidejű kapcsolatok maximális száma: Ez a tulajdonság az adattárban a tevékenységfuttatás során létesített egyidejű kapcsolatok felső korlátját jelzi. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.
További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott. További információ: További oszlopok hozzáadása másolás közben.
Cél
A másolási tevékenység célhelyének konfigurálásához lépjen a Cél lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.
- Adattár típusa: Válassza a Külső lehetőséget.
- Csatlakozás ion: Válasszon egy SFTP-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új SFTP-kapcsolatot az Új lehetőség kiválasztásával.
- Fájl elérési útja: Adja meg az adatok írásának elérési útját. A Tallózás gombra kattintva kiválaszthatja a forrásfájlokat, vagy manuálisan is megadhatja a fájl elérési útját.
- Fájlformátum: Válassza ki a legördülő listából alkalmazott fájlformátumot. Válassza a Gépház a fájlformátum konfigurálásához. A különböző fájlformátumok beállításairól részletes információt a támogatott formátumú cikkekben talál.
A Speciális területen a következő mezőket adhatja meg:
Másolási viselkedés: Adja meg a másolási viselkedést, ha a forrás fájlalapú adattárból származik. Válasszon az alábbi tulajdonságok közül.
- Egybesimított hierarchia: A forrásmappából származó összes fájl a célmappa első szintjén található. A célfájlok automatikusan létrehozott névvel rendelkeznek.
- Fájlok egyesítése: A forrásmappából származó összes fájlt egyetlen fájlba egyesíti. Ha a fájlnév meg van adva, az egyesített fájlnév a megadott név. Ellenkező esetben ez egy automatikusan létrehozott fájlnév.
- Hierarchia megőrzése (alapértelmezett): Megőrzi a fájlhierarchiát a célmappában. A forrásfájlnak a forrásmappához viszonyított elérési útja megegyezik a célfájl célmappához viszonyított elérési útával.
- Dinamikus tartalom hozzáadása: Válassza ezt a lehetőséget a másolási viselkedés dinamikus tartalom használatával történő megadásához.
Egyidejű kapcsolatok maximális száma: Az adattárban a tevékenységfuttatás során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.
Művelet időtúllépése (perc):: Adja meg az egyes adattömbek SFTP-kiszolgálóra való írásának időtúllépését. Az alapértelmezett érték 60 perc.
Feltöltés ideiglenes fájllal: Itt adhatja meg, hogy ideiglenes fájlokba szeretne-e feltölteni és átnevezni őket, vagy közvetlenül írni a célmappába vagy fájlhelyre. Alapértelmezés szerint ki van jelölve, és a szolgáltatás először ideiglenes fájlokba ír, majd átnevezi őket a feltöltés befejezésekor.
Ez a sorozat (1) segít elkerülni azokat az ütközéseket, amelyek sérült fájlhoz vezethetnek, ha más folyamatok is ugyanarra a fájlra írnak, és (2) győződjön meg arról, hogy a fájl eredeti verziója létezik az átvitel során. Ha az SFTP-kiszolgáló nem támogatja az átnevezési műveletet, tiltsa le ezt a beállítást, és győződjön meg arról, hogy nincs egyidejű írás a célfájlba.
Tipp.
Ha "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" vagy "SftpOperationFail" hibaüzenet jelenik meg, amikor adatokat ír az SFTP-be, és a használt SFTP-felhasználó rendelkezik a megfelelő engedélyekkel, ellenőrizze, hogy az SFTP-kiszolgáló támogatja-e a fájl átnevezési műveletét. Ha nem, tiltsa le a Feltöltés ideiglenes fájllal beállítást, és próbálkozzon újra.
Hozzárendelés
A Leképezés lap konfigurálásához tekintse meg a leképezések konfigurálása a leképezési lapon című témakört. Ha a Bináris fájlt választja fájlformátumként, a leképezés nem támogatott.
Beállítások
A Gépház lap konfigurációjához válassza a Beállítások lap egyéb beállításainak konfigurálását.
Táblázat összefoglalása
Az alábbi táblázat további információkat tartalmaz az SFTP másolási tevékenységéről.
Forrás
Név | Leírás | Érték | Szükséges | JSON-szkripttulajdonság |
---|---|---|---|---|
Adattár típusa | Az adattár típusa. | Külső | Igen | / |
Kapcsolat | Az SFTP-kapcsolat a forrásadattárhoz. | < az SFTP-kapcsolat > | Igen | kapcsolat |
Fájl elérési útja | A forrásadatok lekéréséhez használt fájl elérési útja. | • Fájl elérési útja • Helyettesítő karakterek elérési útja • Fájlok listája |
Igen | / |
Elérési út | A forrásfájl elérési útja. | < fájl elérési útja> | Igen | fileName folderPath |
Helyettesítő karakterek elérési útjai | A forrásfájl helyettesítő karakterének elérési útja. | < a helyettesítő karakterfájl elérési útja > | Igen helyettesítő karakteres fájlnév esetén | wildcardFolderPath wildcardFileName |
Mappa elérési útja | A forrásmappa elérési útja. | < a mappa elérési útja> | Igen | folderPath |
Fájllista elérési útja | Egy adott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely a másolni kívánt fájlok listáját tartalmazza, soronként egy fájlt. | < fájllista elérési útja > | Nem | fileListPath |
Fájlformátum | A forrásadatok fájlformátuma. A különböző fájlformátumokról további információt a támogatott formátumú cikkekben talál. | / | Igen | / |
Szűrés utoljára módosítva | A tartományban legutóbb módosított [Kezdési időpont, Befejezési idő) fájlok szűrése további feldolgozás céljából történik. Az idő az UTC időzónára lesz alkalmazva a következő yyyy-mm-ddThh:mm:ss.fffZ formátumban: . Ezek a tulajdonságok kihagyhatók, ami azt jelenti, hogy a rendszer nem alkalmaz fájlattribútum-szűrőt. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja. |
dátum/idő | Nem | modifiedDatetimeStart modifiedDatetimeEnd |
Adattömb-készítés letiltása | Az adattömb úgy lett kialakítva, hogy optimalizálja a teljesítményt, és alatta történjen. Ezzel a beállítással letilthatja az egyes fájlokon belüli adattömb-készítést. Amikor adatokat másol az SFTP-ből, a szolgáltatás először megpróbálja lekérni a fájl hosszát, majd több részre osztja a fájlt, és párhuzamosan olvassa be őket. Adja meg, hogy az SFTP-kiszolgáló támogatja-e a fájlhossz lekérését vagy egy bizonyos eltolásból való olvasást. | ki van jelölve vagy nincs kijelölve (alapértelmezett) | Nem | disableChunking: igaz vagy hamis (alapértelmezett) |
Partíciófelderítés engedélyezése | Azt jelzi, hogy elemezni kell-e a partíciókat a fájl elérési útjából, és további forrásoszlopokként kell-e hozzáadni őket. | ki van jelölve vagy nincs kijelölve (alapértelmezett) | Nem | enablePartitionDiscovery: igaz vagy hamis (alapértelmezett) |
Partíció gyökérútvonala | Az abszolút partíció gyökérútvonala a particionált mappák adatoszlopként való olvasásához. Adja meg, ha a partíciófelderítés engedélyezve van. | < partíció gyökérútvonala > | Nem | partitionRootPath |
Egyidejű kapcsolatok maximális kihasználása | Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. | < az egyidejű kapcsolatok felső korlátja > (egész szám) |
Nem | maxConcurrent Csatlakozás ions |
További oszlopok | Adjon hozzá további adatoszlopokat a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott. További információ: További oszlopok hozzáadása másolás közben | •Név •Érték |
Nem | továbbicolumnok: •név •Érték |
Cél
Név | Leírás | Érték | Szükséges | JSON-szkripttulajdonság |
---|---|---|---|---|
Adattár típusa | Az adattár típusa. | Külső | Igen | / |
Kapcsolat | A forrás SFTP-hez való kapcsolat. | < a kapcsolat > | Igen | kapcsolat |
Elérési út | A céladatok fájlútvonala. | A célfájl elérési útja | Igen | folderPath fileName |
Fájlformátum | A forrásadatok fájlformátuma. A különböző fájlformátumokról további információt a támogatott formátumú cikkekben talál. | / | Igen | / |
Másolási viselkedés | Meghatározza a másolási viselkedést, ha a forrás fájlalapú adattárból származó fájlok. | • Egybesimított hierarchia • Fájlok egyesítése • A hierarchia megőrzése |
Nem | copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy |
Egyidejű kapcsolatok maximális kihasználása | Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. | < egyidejű kapcsolatok maximális kihasználása > | Nem | maxConcurrent Csatlakozás ions |
Művelet időtúllépése (perc) | Az egyes adattömbek SFTP-kiszolgálóra való írásának időtúllépése. | < a művelet időtúllépése > Az alapértelmezett érték 60 |
Nem | operationTimeout |
Feltöltés ideiglenes fájllal | Azt jelzi, hogy ideiglenes fájl(ok) feltöltése és átnevezése legyen-e. Tiltsa le ezt a beállítást, ha az SFTP-kiszolgáló nem támogatja az átnevezési műveletet. | ki van jelölve (alapértelmezett) vagy nincs kijelölve | Nem | useTempFileRename: igaz (alapértelmezett) vagy hamis |
Kapcsolódó tartalom
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: