Konfigurera Oracle Cloud Storage i en kopieringsaktivitet

Den här artikeln beskriver hur du använder kopieringsaktiviteten i en datapipeline för att kopiera data från Oracle Cloud Storage.

Förutsättningar

Information om hur du kopierar data från Oracle Cloud Storage finns i Object Storage Amazon S3 Compatibility API for the prerequisites and required permission (Objektlagring, Amazon S3-kompatibilitets-API för kompatibilitet för objektlagring) för förhandskraven och nödvändig behörighet.

Format som stöds

Oracle Cloud Storage stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Konfiguration som stöds

Om du vill konfigurera varje flik för en kopieringsaktivitet går du till följande avsnitt:

• Allmänt
• Source
• Mappning
• Inställningar

Allmänt

För Konfiguration av fliken Allmänt går du till Allmänt.

Källa

Följande egenskaper stöds för Oracle Cloud Storage på fliken Källa för en kopieringsaktivitet.

Följande egenskaper krävs:

• Datalagertyp: Välj Extern.

• Anslut ion: Välj en Oracle Cloud Storage-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Oracle Cloud Storage-anslutning genom att välja Ny.

• Filsökvägstyp: Du kan välja Filsökväg, Prefix, Sökväg till jokertecken eller Lista över filer som filsökvägstyp. Konfigurationen av var och en av dessa inställningar är:

  • Filsökväg: Data kan kopieras från den angivna bucketen eller mapp-/filsökvägen som anges i Filsökväg.

  • Prefix: Ange bucketenoch prefixet.

    • Bucket: Ange bucketnamnet för Oracle Cloud Storage. Det krävs.

    • Prefix: Prefix för Oracle Cloud Storage-nyckelnamnet under den angivna bucketen för att filtrera Oracle Cloud Storage-källfiler. Oracle Cloud Storage-nycklar vars namn börjar med given_bucket/this_prefix har valts. Den använder Oracle Cloud Storages filter på tjänstsidan, vilket ger bättre prestanda än ett jokerteckenfilter.

      

  • Sökväg till jokerteckenfil: Ange sökvägarna Bucket och Jokertecken.

    • Bucket: Ange bucketnamnet för Oracle Cloud Storage. Det krävs.

    • Sökvägar med jokertecken: Ange mappen eller filsökvägen med jokertecken under din angivna bucket för att filtrera dina källmappar eller -filer.

      Tillåtna jokertecken är: * (matchar noll eller fler tecken) och ? (matchar noll eller ett enda tecken). Använd ^ för att fly om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.

      

      • Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken under den angivna bucketen för att filtrera källmappar.
      • Namn på jokerteckenfil: Ange filnamnet med jokertecken under den angivna bucket- och mappsökvägen (eller sökvägen till jokerteckenmappen) för att filtrera källfiler.

  • Lista över filer: Ange mappsökväg och sökväg till fillista som anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till den konfigurerade sökvägen. Om du vill ha fler exempel går du till Exempel på fillista.

    

    • Mappsökväg: Ange sökvägen till mappen under den angivna bucketen. Det krävs.
    • Sökväg till fillista: Ange sökvägen till textfilen som innehåller en lista över filer som du vill kopiera.

• Rekursivt: Anger om data läse rekursivt från undermapparna eller endast från den angivna mappen. När den här kryssrutan är markerad och målet är ett filbaserat arkiv kopieras inte en tom mapp eller undermapp på målet.

• Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. Inställningar för olika filformat finns i artiklarna i format som stöds.

Under Avancerat kan du ange följande fält:

• Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen som du angav. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.

  • Starttid (UTC): Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
  • Sluttid (UTC): Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.

  När Starttid (UTC) har ett datetime-värde men Sluttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är större än eller lika med datetime-värdet är markerade. När Sluttid (UTC) har ett datetime-värde men Starttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är mindre än datetime-värdet har valts. Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på data.

• Aktivera identifiering av partitioner: Ange om partitionerna ska parsas från filsökvägen och lägga till dem som andra källkolumner. Den är inte markerad som standard och stöds inte när du använder binärt filformat.

  • Rotsökväg för partitioner: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.

    Om den inte har angetts, som standard:

    • När du använder en filsökväg eller lista över filer på källan är partitionens rotsökväg den sökväg som du har konfigurerat.
    • När du använder ett jokerteckenmappfilter är partitionens rotsökväg undersökvägen före det första jokertecknet.
    • När du använder ett prefix är partitionsrotsökvägen undersökvägen före den sista "/".

    Anta till exempel att du konfigurerar sökvägen som root/folder/year=2020/month=08/day=27:

    • Om du anger partitionsrotsökvägen som root/folder/year=2020genererar kopieringsaktiviteten ytterligare två kolumner, månad och dag. Dessa kolumner har värdena "08" respektive "27", förutom kolumnerna i filerna.
    • Om partitionens rotsökväg inte har angetts genereras ingen extra kolumn.

    

• Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.

• Ytterligare kolumner: Lägg till fler datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare.

Mappning

Information om konfiguration av fliken Mappning finns i Konfigurera dina mappningar under fliken Mappning. Om du väljer Binärt som filformat stöds inte mappning.

Inställningar

Information om Inställningar flikkonfiguration finns i Konfigurera dina andra inställningar under fliken Inställningar.

Tabellsammanfattning

Följande tabell innehåller mer information om kopieringsaktiviteten i Oracle Cloud Storage.

Källinformation

Namn	Description	Värde	Krävs	JSON-skriptegenskap
Typ av datalager	Din datalagertyp.	Externt	Ja	/
Anslutning	Din anslutning till källdatalagret.	<din Oracle Cloud Storage-anslutning>	Ja	anslutning
Filsökvägstyp	Filsökvägstypen som används för att hämta källdata.	• Filsökväg • Prefix • Sökväg till jokerteckenfil • Lista över filer	Ja	/
För filsökväg
Hink	Bucketnamnet för Oracle Cloud Storage.	<ditt bucketnamn>	Ja	bucketName
Katalog	Sökvägen till mappen under den angivna bucketen.	<ditt mappnamn>	Nej	mappsökväg
Filnamn	Filnamnet under den angivna bucket- och mappsökvägen.	<ditt filnamn>	Nej	fileName
För prefix
Hink	Bucketnamnet för Oracle Cloud Storage.	<ditt bucketnamn>	Ja	bucketName
Prefix	Prefixet för Oracle Cloud Storage-nyckelnamnet under den angivna bucketen för att filtrera Oracle Cloud Storage-källfiler.	<ditt prefix>	Nej	Prefix
För sökväg till jokerteckenfil
Hink	Bucketnamnet för Oracle Cloud Storage.	<ditt bucketnamn>	Ja	bucketName
Sökväg till jokerteckenmapp	Mappsökvägen med jokertecken under den angivna bucketen för att filtrera källmappar.	<mappsökväg med jokertecken>	Nej	jokerteckenFolderPath
Namn på jokerteckenfil	Filnamnet med jokertecken under den angivna bucket- och mappsökvägen (eller sökvägen till jokerteckenmappen) för att filtrera källfiler.	<ditt filnamn med jokertecken>	Ja	jokerteckenFilnamn
För lista över filer
Hink	Bucketnamnet för Oracle Cloud Storage.	<ditt bucketnamn>	Ja	bucketName
Katalog	Sökvägen till mappen under den angivna bucketen.	<ditt mappnamn>	Nej	mappsökväg
Sökväg till fillista	Anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad.	< sökväg till fillista >	Nej	fileListPath
Filformat	Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds.	/	Ja	/
Rekursivt	Anger om data läse rekursivt från undermapparna eller endast från den angivna mappen. När den här kryssrutan är markerad och målet är ett filbaserat arkiv kopieras inte en tom mapp eller undermapp på målet.	markerad (standard) eller avmarkera	Nej	Rekursiv
Filtrera efter senast ändrad	Filerna med den senaste ändrade tiden i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning. Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Dessa egenskaper kan hoppas över, vilket innebär att inget filattributfilter tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.	datetime	Nej	modifiedDatetimeStart modifiedDatetimeEnd
Aktivera identifiering av partitioner	Anger om partitionerna ska parsas från filsökvägen och lägga till dem som andra källkolumner.	markerad eller omarkerad (standard)	Nej	enablePartitionDiscovery: sant eller falskt (standard)
Rotsökväg för partitioner	När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.	< partitionens rotsökväg >	Nej	partitionRootPath
Maximalt antal samtidiga anslutningar	Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.	<maximalt antal samtidiga anslutningar>	Nej	maxConcurrent Anslut ions
Ytterligare kolumner	Lägg till andra datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare.	• Namn •Värde	Nej	additionalColumns: •Namn •Värde

Relaterat innehåll

• Översikt över Oracle Cloud Storage-anslutningsprogram