แชร์ผ่าน

กําหนดค่า Oracle Cloud Storage ในกิจกรรมการคัดลอก

  • บทความ

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์ข้อมูลเพื่อคัดลอกข้อมูลจาก Oracle Cloud Storage

ข้อกำหนดเบื้องต้น

หากต้องการคัดลอกข้อมูลจาก Oracle Cloud Storage โปรดดู API ความเข้ากันได้ของ Object Storage Amazon S3 สําหรับข้อกําหนดเบื้องต้นและสิทธิ์ที่จําเป็น

รูปแบบที่ได้รับการสนับสนุน

ที่เก็บข้อมูลระบบคลาวด์ของ Oracle รองรับรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ

การกําหนดค่าที่ได้รับการสนับสนุน

สําหรับการกําหนดค่าของแต่ละแท็บบนกิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้:

ทั่วไป

สําหรับการกําหนดค่าแท็บทั่วไป ไปที่ทั่วไป

แหล่งที่มา

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ Oracle Cloud Storage บนแท็บ แหล่งข้อมูล ของกิจกรรมการคัดลอก

สกรีนช็อตที่แสดงแท็บแหล่งข้อมูลและรายการคุณสมบัติ

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

  • ชนิดของที่เก็บข้อมูล: เลือก ภายนอก

  • เชื่อมต่อ: เลือกการเชื่อมต่อ Oracle Cloud Storage จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่อสร้างการเชื่อมต่อใหม่ Oracle Cloud Storage โดยการเลือกใหม่

  • ประเภทพาธของไฟล์: คุณสามารถเลือกเส้นทางของไฟล์ คํานําหน้า เส้นทางไฟล์อักขระตัวแทน หรือรายการของไฟล์เป็นประเภทเส้นทางของไฟล์ของคุณได้ การกําหนดค่าของแต่ละการตั้งค่าเหล่านี้คือ:

    • พาธของไฟล์: ข้อมูลสามารถคัดลอกจากบักเก็ตหรือเส้นทางโฟลเดอร์/ไฟล์ที่ระบุใน เส้นทางไฟล์

    • คํานําหน้า: ระบุ บักเก็ต และ คํานําหน้า

      • บักเก็ต: ระบุชื่อบักเก็ตพื้นที่เก็บข้อมูล Oracle Cloud ซึ่งจําเป็น

      • คํานําหน้า: คํานําหน้าสําหรับชื่อคีย์ Oracle Cloud Storage ภายใต้บักเก็ตที่ระบุเพื่อกรองไฟล์ Oracle Cloud Storage ของแหล่งข้อมูล คีย์ Oracle Cloud Storage ที่มีชื่อเริ่มต้นด้วย given_bucket/this_prefix ถูกเลือกไว้ ใช้ตัวกรองด้านบริการของ Oracle Cloud Storage ซึ่งให้ประสิทธิภาพที่ดีกว่าตัวกรองอักขระตัวแทน

        สกรีนช็อตที่แสดงวิธีกําหนดค่าชนิดเส้นทางของไฟล์คํานําหน้า

    • เส้นทางไฟล์อักขระตัวแทน: ระบุเส้นทางบักเก็ตและอักขระตัวแทน

      • บักเก็ต: ระบุชื่อบักเก็ตพื้นที่เก็บข้อมูล Oracle Cloud ซึ่งจําเป็น

      • เส้นทางอักขระตัวแทน: ระบุโฟลเดอร์หรือเส้นทางของแฟ้มด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุของคุณเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทางของคุณ

        สัญลักษณ์ตัวแทนที่อนุญาตคือ: * (ตรงกับอักขระศูนย์หรือมากกว่า) และ ? (ตรงกับศูนย์หรืออักขระเดียว) ใช้ ^ เพื่อหลีกเลี่ยงถ้าชื่อโฟลเดอร์ของคุณมีอักขระตัวแทนหรืออักขระหลีกเลี่ยงนี้อยู่ภายใน สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างตัวกรองโฟลเดอร์และไฟล์

        สกรีนช็อตที่แสดงวิธีการกําหนดค่าเส้นทางไฟล์อักขระตัวแทน

        • เส้นทางโฟลเดอร์อักขระตัวแทน: ระบุเส้นทางโฟลเดอร์ด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุเพื่อกรองโฟลเดอร์ต้นทาง
        • ชื่อไฟล์อักขระตัวแทน: ระบุชื่อไฟล์ด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุและเส้นทางโฟลเดอร์ (หรือเส้นทางโฟลเดอร์อักขระตัวแทน) เพื่อกรองไฟล์ต้นทาง

    • รายการไฟล์: ระบุ พาธ โฟลเดอร์และ พาธไปยังรายการ ไฟล์เพื่อระบุเพื่อคัดลอกชุดไฟล์ที่ระบุ ชี้ไปที่ไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอกหนึ่งไฟล์ต่อบรรทัดซึ่งเป็นเส้นทางสัมพัทธ์ไปยังเส้นทางที่กําหนดค่าไว้ สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างรายการไฟล์

      สกรีนช็อตที่แสดงวิธีการกําหนดค่ารายการของไฟล์

      • เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์ภายใต้บักเก็ตที่ระบุ ซึ่งจําเป็น
      • เส้นทางไปยังรายการไฟล์: ระบุเส้นทางของไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอก

  • แบบเรียกใช้ซ้ํา: ระบุว่าข้อมูลถูกอ่านซ้ําจากโฟลเดอร์ย่อยหรือเฉพาะจากโฟลเดอร์ที่ระบุ เมื่อเลือกกล่องกาเครื่องหมายนี้ และปลายทางคือที่เก็บที่ยึดตามไฟล์ โฟลเดอร์หรือโฟลเดอร์ย่อยที่ว่างเปล่าจะไม่ถูกคัดลอกหรือสร้างขึ้นที่ปลายทาง

  • รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือกการตั้งค่าเพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับ

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

  • กรองตามการปรับเปลี่ยนล่าสุด: ไฟล์จะถูกกรองตามวันที่ปรับเปลี่ยนล่าสุดที่คุณระบุ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็นรายการของไฟล์

    • เวลาเริ่มต้น (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับเวลาที่กําหนดไว้
    • เวลาสิ้นสุด (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดน้อยกว่าเวลาที่กําหนดไว้

    เมื่อ เวลาเริ่มต้น (UTC) มีค่าวันที่เวลา แต่ เวลาสิ้นสุด (UTC) เป็น NULL นั่นหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับค่าวันที่เวลาที่ถูกเลือก เมื่อ เวลาสิ้นสุด (UTC) มีค่าวันที่เวลา แต่ เวลาเริ่มต้น (UTC) เป็น NULL นั่นหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดน้อยกว่าค่าวันที่เวลาถูกเลือก คุณสมบัติอาจเป็น NULL ซึ่งหมายความว่าไม่มีการใช้ตัวกรองแอตทริบิวต์ของไฟล์กับข้อมูล

  • เปิดใช้งานการค้นพบพาร์ติชัน: ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มพาร์ติชันเหล่านั้นเป็นคอลัมน์ต้นทางอื่น หรือไม่ ซึ่งไม่ได้ถูกเลือกตามค่าเริ่มต้นและไม่ได้รับการสนับสนุนเมื่อคุณใช้รูปแบบไฟล์ไบนารี

    • เส้นทางรากของพาร์ติชัน: เมื่อเปิดใช้งานการค้นพบพาร์ติชัน ให้ระบุเส้นทางรากสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่มีพาร์ติชันเป็นคอลัมน์ข้อมูล

      หากไม่ได้ระบุไว้ ตามค่าเริ่มต้น:

      • เมื่อคุณใช้พาธของไฟล์หรือรายการของไฟล์ในแหล่งที่มา พาธรูทของพาร์ติชันคือเส้นทางที่คุณกําหนดค่า
      • เมื่อคุณใช้ตัวกรองโฟลเดอร์อักขระตัวแทน เส้นทางรากของพาร์ติชันคือพาธย่อยก่อนสัญลักษณ์ตัวแทนแรก
      • เมื่อคุณใช้คํานําหน้า เส้นทางรากของพาร์ติชันคือพาธย่อยก่อน "/" สุดท้าย

      ตัวอย่างเช่น สมมติว่าคุณกําหนดค่าเส้นทางเป็น root/folder/year=2020/month=08/day=27:

      • ถ้าคุณระบุเส้นทางรากของพาร์ติชันเป็น root/folder/year=2020กิจกรรมการคัดลอกจะสร้างสองคอลัมน์ เดือนและวันเพิ่มเติม คอลัมน์เหล่านี้มีค่า "08" และ "27" ตามลําดับนอกเหนือจากคอลัมน์ภายในไฟล์
      • ถ้าไม่ได้ระบุเส้นทางรากของพาร์ติชัน จะไม่มีการสร้างคอลัมน์พิเศษ

      สกรีนช็อตที่แสดงการเปิดใช้งานการค้นพบพาร์ติชัน

  • การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น

  • คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นทาง นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง

การแม็ป

สําหรับ การกําหนดค่าแท็บการแมป ดู กําหนดค่าการแมปของคุณภายใต้แท็บ การแมป ถ้าคุณเลือก ไบนารี เป็นรูปแบบไฟล์ของคุณ การแมปจะไม่ได้รับการสนับสนุน

การตั้งค่า

สําหรับการกําหนดค่าแท็บการตั้งค่า ให้ดู กําหนดค่าการตั้งค่าอื่นๆ ของคุณภายใต้แท็บ การตั้งค่า

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน Oracle Cloud Storage

ข้อมูลต้นทาง

ชื่อ คำอธิบาย ค่า ที่ต้องการ คุณสมบัติสคริปต์ JSON
ชนิดของที่เก็บข้อมูล ประเภทที่เก็บข้อมูลของคุณ ภายนอก ใช่ /
เชื่อมต่อชั่น การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง <การเชื่อมต่อที่เก็บข้อมูล Oracle Cloud ของคุณ> ใช่ เชื่อม ต่อ
ชนิดพาธของไฟล์ ชนิดพาธของไฟล์ที่ใช้ในการรับข้อมูลต้นทาง • พาธของไฟล์
• คํานําหน้า
• เส้นทางไฟล์อักขระตัวแทน
• รายการไฟล์		 ใช่ /
สําหรับ เส้นทางไฟล์
ถัง ชื่อบักเก็ตที่เก็บข้อมูล Oracle Cloud <ชื่อบักเก็ตของคุณ> ใช่ bucketName
ได เรก ทอรี เส้นทางไปยังโฟลเดอร์ภายใต้บักเก็ตที่ระบุ <ชื่อโฟลเดอร์ของคุณ> ไม่ โฟลเดอร์พาธ
ชื่อไฟล์ ชื่อไฟล์ภายใต้บักเก็ตและเส้นทางโฟลเดอร์ที่ระบุ <ชื่อไฟล์ของคุณ> ไม่ fileName
สําหรับ คํานําหน้า
ถัง ชื่อบักเก็ตที่เก็บข้อมูล Oracle Cloud <ชื่อบักเก็ตของคุณ> ใช่ bucketName
คํานําหน้า คํานําหน้าสําหรับชื่อคีย์ Oracle Cloud Storage ภายใต้บักเก็ตที่ระบุเพื่อกรองแหล่งที่มาของไฟล์ Oracle Cloud Storage <คํานําหน้าของคุณ> ไม่ คํานําหน้า
สําหรับ เส้นทางไฟล์อักขระตัวแทน
ถัง ชื่อบักเก็ตที่เก็บข้อมูล Oracle Cloud <ชื่อบักเก็ตของคุณ> ใช่ bucketName
เส้นทางโฟลเดอร์อักขระตัวแทน เส้นทางโฟลเดอร์ที่มีอักขระตัวแทนภายใต้บักเก็ตที่ระบุเพื่อกรองโฟลเดอร์ต้นทาง <เส้นทางโฟลเดอร์ของคุณที่มีอักขระตัวแทน> ไม่ wildcardFolderPath
ชื่อไฟล์อักขระตัวแทน ชื่อแฟ้มที่มีอักขระตัวแทนภายใต้บักเก็ตและเส้นทางโฟลเดอร์ที่ระบุ (หรือเส้นทางโฟลเดอร์สัญลักษณ์ตัวแทน) เพื่อกรองแฟ้มต้นฉบับ <ชื่อไฟล์ของคุณที่มีอักขระตัวแทน> ใช่ wildcardFileName
สําหรับ รายการแฟ้ม
ถัง ชื่อบักเก็ตที่เก็บข้อมูล Oracle Cloud <ชื่อบักเก็ตของคุณ> ใช่ bucketName
ได เรก ทอรี เส้นทางไปยังโฟลเดอร์ภายใต้บักเก็ตที่ระบุ <ชื่อโฟลเดอร์ของคุณ> ไม่ โฟลเดอร์พาธ
เส้นทางไปยังรายการไฟล์ บ่งชี้ว่าจะคัดลอกชุดไฟล์ที่ระบุ ชี้ไปที่ไฟล์ข้อความที่มีรายการไฟล์ที่คุณต้องการคัดลอกหนึ่งไฟล์ต่อหนึ่งบรรทัด < เส้นทางรายการไฟล์ > ไม่ fileListPath
รูปแบบไฟล์ รูปแบบไฟล์สําหรับข้อมูลต้นฉบับของคุณ สําหรับข้อมูลเกี่ยวกับรูปแบบไฟล์ที่แตกต่างกัน โปรดดูที่บทความในรูปแบบที่รองรับ / ใช่ /
เรียกใช้ซ้ํา ระบุว่าข้อมูลถูกอ่านซ้ําจากโฟลเดอร์ย่อย หรืออ่านจากโฟลเดอร์ที่ระบุเท่านั้น เมื่อเลือกกล่องกาเครื่องหมายนี้ และปลายทางคือที่เก็บที่ยึดตามไฟล์ โฟลเดอร์หรือโฟลเดอร์ย่อยที่ว่างเปล่าจะไม่ถูกคัดลอกหรือสร้างขึ้นที่ปลายทาง เลือกแล้ว (ค่าเริ่มต้น) หรือยกเลิกการเลือก ไม่ เกิด ซ้ำ
กรองตามการปรับเปลี่ยนล่าสุด ไฟล์ที่มีเวลาที่ปรับเปลี่ยนครั้งล่าสุดในช่วง [เวลาเริ่มต้น เวลาสิ้นสุด) จะถูกกรองสําหรับการประมวลผลเพิ่มเติม เวลาจะถูกนําไปใช้กับโซนเวลา UTC ในรูปแบบของyyyy-mm-ddThh:mm:ss.fffZ สามารถข้ามคุณสมบัติเหล่านี้ได้ ซึ่งหมายความว่าไม่มีการใช้ตัวกรองแอตทริบิวต์ของไฟล์ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็นรายการของไฟล์ datetime ไม่ modifiedDatetimeStart
modifiedDatetimeEnd
เปิดใช้งานการค้นพบพาร์ติชัน ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มเป็นคอลัมน์ต้นทางอื่น ๆ หรือไม่ เลือกหรือไม่เลือก (ค่าเริ่มต้น) ไม่ enablePartitionDiscovery:
จริง หรือ เท็จ (ค่าเริ่มต้น)
เส้นทางรากของพาร์ติชัน เมื่อเปิดใช้งานการค้นพบพาร์ติชัน ให้ระบุเส้นทางรากสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่มีพาร์ติชันเป็นคอลัมน์ข้อมูล < เส้นทางรากของพาร์ติชันของคุณ > ไม่ partitionRootPath
การเชื่อมต่อพร้อมกันสูงสุด ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น <การเชื่อมต่อพร้อมกันสูงสุด> ไม่ maxConcurrent เชื่อมต่อ ions
คอลัมน์เพิ่มเติม เพิ่มคอลัมน์ข้อมูลอื่น ๆ เพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง • ชื่อ
•ค่า		 ไม่ additionalColumns:
•ชื่อ
•ค่า

เนื้อหาที่เกี่ยวข้อง