Oracle Cloud Storage konfigurálása másolási tevékenységben

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet egy adatfolyamban az adatok Oracle Cloud Storage-ból való másolásához.

Előfeltételek

Az Adatok Oracle Cloud Storage-ból való másolásához tekintse meg az Object Storage Amazon S3 kompatibilitási API-t az előfeltételekről és a szükséges engedélyről.

Támogatott formátum

Az Oracle Cloud Storage a következő fájlformátumokat támogatja. A formátumalapú beállításokat az egyes cikkekben találja.

• Avro formátum
• Bináris formátum
• Tagolt szövegformátum
• Excel-formátum
• JSON formátum
• ORC formátum
• Parquet formátum
• XML-formátum

Támogatott konfiguráció

A másolási tevékenység minden lapjának konfigurációjához tekintse meg a következő szakaszokat:

• Általános
• Forrás
• Hozzárendelés
• Beállítások

Általános

Az Általános lap konfigurációjához lépjen az Általános lapra.

Forrás

A másolási tevékenység Forrás lapján az Oracle Cloud Storage az alábbi tulajdonságokat támogatja.

A következő tulajdonságok szükségesek:

• Adattár típusa: Válassza a Külső lehetőséget.

• Csatlakozás ion: Válasszon egy Oracle Cloud Storage-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Oracle Cloud Storage-kapcsolatot az Új lehetőség kiválasztásával.

• Fájl elérési útjának típusa: A fájl elérési útjaként kiválaszthatja a fájl elérési útját, az előtagot, a helyettesítő karakterek elérési útját vagy a fájlok listáját. Az egyes beállítások konfigurációja a következő:

  • Fájl elérési útja: Az adatok átmásolhatók a Fájl elérési útján megadott gyűjtőből vagy mappából/fájl elérési útból.

  • Előtag: Adja meg a gyűjtőt és az előtagot.

    • Gyűjtő: Adja meg az Oracle Cloud Storage gyűjtő nevét. Kötelező.

    • Előtag: Az Oracle Cloud Storage kulcs nevének előtagja a megadott gyűjtő alatt a forrás Oracle Cloud Storage-fájlok szűréséhez. Az Oracle Cloud Storage-kulcsok, amelyeknek a neve a kezdőbetűkkel given_bucket/this_prefix kezdődik, ki vannak választva. Az Oracle Cloud Storage szolgáltatásoldali szűrőjét használja, amely jobb teljesítményt nyújt, mint a helyettesítő karakterek szűrői.

      

  • Helyettesítő karakterek elérési útja: Adja meg a gyűjtő és a helyettesítő karakter elérési útját.

    • Gyűjtő: Adja meg az Oracle Cloud Storage gyűjtő nevét. Kötelező.

    • Helyettesítő karakterek elérési útjai: A forrásmappák vagy fájlok szűréséhez adja meg a megadott gyűjtő alatt helyettesítő karaktereket tartalmazó mappát vagy fájl elérési útját.

      Az engedélyezett helyettesítő karakterek a következők: * (nulla vagy több karakternek felel meg) és ? (nulla vagy egyetlen karakternek felel meg). A feloldás akkor használható ^ , ha a mappa neve helyettesítő karakterrel vagy ezzel a feloldó karakterrel rendelkezik. További példákért tekintse meg a Mappa és fájlszűrő példákat.

      

      • Helyettesítő karakterek mappa elérési útja: Adja meg a mappa elérési útját helyettesítő karakterekkel a megadott gyűjtőben a forrásmappák szűréséhez.
      • Helyettesítő karakterfájl neve: A forrásfájlok szűréséhez adja meg a megadott gyűjtő- és mappaútvonal (vagy helyettesítő mappa elérési útja) alatti helyettesítő karaktereket tartalmazó fájlnevet.

  • Fájlok listája: Adja meg a mappa elérési útját és a fájllista elérési útját, hogy jelezze egy adott fájlkészlet másolását. Mutasson egy szövegfájlra, amely tartalmazza a másolandó fájlok listáját, soronként egy fájlt, amely a konfigurált elérési út relatív elérési útja. További példákért tekintse meg a Fájllista példákat.

    

    • Mappa elérési útja: Adja meg a mappa elérési útját a megadott gyűjtő alatt. Kötelező.
    • Elérési út a fájllistához: Adja meg a másolandó fájlok listáját tartalmazó szövegfájl elérési útját.

• Rekurzívan: Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha ez a jelölőnégyzet be van jelölve, és a cél egy fájlalapú tároló, a program nem másol vagy hoz létre üres mappát vagy almappát a célhelyen.

• Fájlformátum: Válassza ki a legördülő listából alkalmazott fájlformátumot. Válassza a Gépház a fájlformátum konfigurálásához. A különböző fájlformátumok beállításaiért tekintse meg a támogatott formátumú cikkeket.

A Speciális területen a következő mezőket adhatja meg:

• Szűrés utoljára módosítva: A fájlok szűrése a megadott utolsó módosított dátumok alapján történik. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.

  • Kezdési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha az utolsó módosításuk időpontja nagyobb vagy egyenlő a konfigurált időpontnál.
  • Befejezési idő (UTC):: A fájlok akkor lesznek kiválasztva, ha utolsó módosításuk időpontja kisebb, mint a konfigurált idő.

  Ha a kezdési időpont (UTC) dátum/idő értékkel rendelkezik, de a befejezési idő (UTC) NULL, az azt jelenti, hogy azokat a fájlokat jelöli ki, amelyek utolsó módosított attribútuma nagyobb vagy egyenlő a dátum/idő értéknél. Ha a befejezési idő (UTC) dátum/idő értékkel rendelkezik, de a kezdési idő (UTC) NULL, az azt jelenti, hogy azok a fájlok, amelyeknek az utolsó módosított attribútuma kisebb, mint a dátum/idő érték, a rendszer kijelöli. A tulajdonságok null értékűek lehetnek, ami azt jelenti, hogy a rendszer nem alkalmaz fájlattribútum-szűrőt az adatokra.

• Partíciók felderítésének engedélyezése: Adja meg, hogy elemezni szeretné-e a partíciókat a fájl elérési útján, és más forrásoszlopokként adja hozzá őket. Alapértelmezés szerint nincs kiválasztva, és bináris fájlformátum használata esetén nem támogatott.

  • Partíciók gyökérútvonala: Ha a partíciófelderítés engedélyezve van, adja meg a particionált mappák adatoszlopként való olvasásának abszolút gyökérútvonalát.

    Ha nincs megadva, alapértelmezés szerint:

    • Ha fájlelérési utat vagy fájllistát használ a forrásban, a partíció gyökérútvonala a konfigurált elérési út.
    • Helyettesítő karakteres mappaszűrő használata esetén a partíció gyökérútvonala az első helyettesítő karakter előtti alútvonal.
    • Előtag használata esetén a partíció gyökérútvonala az utolsó "/" előtti alútvonal.

    Tegyük fel például, hogy az elérési utat root/folder/year=2020/month=08/day=27a következőképpen konfigurálja:

    • Ha a partíció gyökérútvonalát adja meg, root/folder/year=2020a másolási tevékenység két további oszlopot hoz létre, a hónapot és a napot. Ezek az oszlopok a fájlokon belüli oszlopok mellett a "08" és a "27" értéket is tartalmazzák.
    • Ha a partíció gyökérútvonala nincs megadva, a rendszer nem hoz létre további oszlopot.

    

• Egyidejű kapcsolatok maximális száma: Az adattárban a tevékenységfuttatás során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.

• További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott.

Hozzárendelés

A Leképezés lap konfigurálásához tekintse meg a Leképezés lap leképezéseinek konfigurálása című témakört. Ha a Bináris fájlt választja fájlformátumként, a leképezés nem támogatott.

Beállítások

Gépház lapkonfigurációról a Gépház lapon található egyéb beállítások konfigurálása című témakörben olvashat.

Táblázat összefoglalása

Az alábbi táblázat további információkat tartalmaz az Oracle Cloud Storage másolási tevékenységéről.

Forrásadatok

Név	Leírás	Érték	Szükséges	JSON-szkripttulajdonság
Adattár típusa	Az adattár típusa.	Külső	Igen	/
Kapcsolat	A forrásadattárhoz való kapcsolódás.	<Az Oracle Cloud Storage-kapcsolat>	Igen	kapcsolat
Fájl elérési útja	A forrásadatok lekéréséhez használt fájl elérési útja.	• Fájl elérési útja • Előtag • Helyettesítő karakterek elérési útja • Fájlok listája	Igen	/
Fájl elérési útja
Vödör	Az Oracle Cloud Storage gyűjtőneve.	<a gyűjtő neve>	Igen	bucketName
Taglista	A megadott gyűjtő alatti mappa elérési útja.	<a mappa neve>	Nem	folderpath
Fájlnév	A megadott gyűjtő és mappa elérési útja alatti fájlnév.	<a fájl neve>	Nem	fileName
Előtag esetén
Vödör	Az Oracle Cloud Storage gyűjtőneve.	<a gyűjtő neve>	Igen	bucketName
Előtag	Az Oracle Cloud Storage kulcs nevének előtagja a megadott gyűjtőben az Oracle Cloud Storage-fájlok forrásának szűréséhez.	<az előtag>	Nem	Előtag
Helyettesítő karakterek elérési útja
Vödör	Az Oracle Cloud Storage gyűjtőneve.	<a gyűjtő neve>	Igen	bucketName
Helyettesítő karakterek mappa elérési útja	A mappa elérési útja helyettesítő karakterekkel a megadott gyűjtő alatt a forrásmappák szűréséhez.	<a mappa elérési útja helyettesítő karakterekkel>	Nem	wildcardFolderPath
Helyettesítő karakterek fájlneve	A fájl neve helyettesítő karakterekkel a megadott gyűjtő- és mappaútvonal (vagy helyettesítő mappa elérési útja) alatt a forrásfájlok szűréséhez.	<a fájl neve helyettesítő karakterekkel>	Igen	wildcardFileName
Fájlok listájához
Vödör	Az Oracle Cloud Storage gyűjtőneve.	<a gyűjtő neve>	Igen	bucketName
Taglista	A megadott gyűjtő alatti mappa elérési útja.	<a mappa neve>	Nem	folderpath
Fájllista elérési útja	Egy megadott fájlkészlet másolását jelzi. Mutasson egy szövegfájlra, amely a másolni kívánt fájlok listáját tartalmazza, soronként egy fájlt.	< fájllista elérési útja >	Nem	fileListPath
Fájlformátum	A forrásadatok fájlformátuma. A különböző fájlformátumokról a támogatott formátumú cikkekben olvashat bővebben.	/	Igen	/
Rekurzív	Azt jelzi, hogy az adatok rekurzív módon vannak-e beolvasva az almappákból vagy csak a megadott mappából. Ha ez a jelölőnégyzet be van jelölve, és a cél egy fájlalapú tároló, a program nem másol vagy hoz létre üres mappát vagy almappát a célhelyen.	kiválasztva (alapértelmezett) vagy a kijelölés megszüntetése	Nem	Rekurzív
Szűrés utoljára módosítva	A tartomány utolsó módosított időpontjával [Kezdési idő, Befejezési idő) rendelkező fájlok további feldolgozásra lesznek szűrve. Az idő az UTC időzónára lesz alkalmazva a következő yyyy-mm-ddThh:mm:ss.fffZformátumban: . Ezek a tulajdonságok kihagyhatók, ami azt jelenti, hogy nincs fájlattribútum-szűrő alkalmazva. Ez a tulajdonság nem érvényes, ha a fájl elérési útját fájllistaként konfigurálja.	dátum/idő	Nem	modifiedDatetimeStart modifiedDatetimeEnd
Partíciók felderítésének engedélyezése	Azt jelzi, hogy elemezni kell-e a partíciókat a fájl elérési útjából, és más forrásoszlopokként kell-e hozzáadni őket.	ki van jelölve vagy nincs kijelölve (alapértelmezett)	Nem	enablePartitionDiscovery: igaz vagy hamis (alapértelmezett)
Partíciók gyökérútvonala	Ha a partíciófelderítés engedélyezve van, adja meg a particionált mappák adatoszlopként való olvasásának abszolút gyökérútvonalát.	< a partíció gyökérútvonala >	Nem	partitionRootPath
Egyidejű kapcsolatok maximális kihasználása	Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat.	<egyidejű kapcsolatok maximális kihasználása>	Nem	maxConcurrent Csatlakozás ions
További oszlopok	Adjon hozzá más adatoszlopokat a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott.	•Név •Érték	Nem	továbbicolumnok: •név •Érték

Kapcsolódó tartalom

• Az Oracle Cloud Storage-összekötő áttekintése