กําหนดค่า HTTP ในกิจกรรมการคัดลอก
บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์ข้อมูลเพื่อคัดลอกข้อมูลจากและไปยัง HTTP
รูปแบบที่ได้รับการสนับสนุน
HTTP สนับสนุนรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ
- รูปแบบ Avro
- รูปแบบไบนารี
- รูปแบบข้อความที่คั่นด้วยตัวคั่น
- รูปแบบ Excel
- รูปแบบ JSON
- รูปแบบ ORC
- รูปแบบ Parquet
- รูปแบบ XML
การกําหนดค่าที่ได้รับการสนับสนุน
สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ
หมายเหตุ
ปลายทางไม่ได้รับการสนับสนุนในตัวเชื่อมต่อ HTTP
ทั่วไป
โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดค่าแท็บ การตั้งค่าทั่วไป
ทรัพยากร
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ HTTP ภายใต้แท็บ แหล่งข้อมูล ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติสามประการต่อไปนี้:
- ชนิดของที่เก็บข้อมูล: เลือก ภายนอก
- เชื่อมต่อ: เลือกการเชื่อมต่อ HTTP จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่อให้สร้างการเชื่อมต่อ HTTP ใหม่โดยการเลือกใหม่
- ชนิดเชื่อมต่อ: เลือก HTTP
- URL สัมพัทธ์: URL สัมพัทธ์ไปยังทรัพยากรที่ประกอบด้วยข้อมูล เมื่อไม่ได้ระบุคุณสมบัตินี้ จะใช้ URL ที่ระบุไว้ในข้อกําหนดการเชื่อมต่อเท่านั้น ตัวเชื่อมต่อ HTTP จะคัดลอกข้อมูลจาก URL ที่รวมกัน:
/[relative URL specified] - การตั้งค่าไฟล์: เลือก การตั้งค่า ไฟล์เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
วิธีการร้องขอ: เมธอด HTTP ค่าที่อนุญาตคือ รับ (ค่าเริ่มต้น) และ โพสต์
ส่วนหัวเพิ่มเติม: ส่วนหัวของคําขอ HTTP เพิ่มเติม
เนื้อความของการร้องขอ: เนื้อความของการร้องขอ HTTP
คําขอหมดเวลา: หมดเวลา (ค่าช่วงเวลา) สําหรับคําขอ HTTP เพื่อรับคําตอบ ค่านี้คือหมดเวลาเพื่อให้ได้คําตอบ ไม่ใช่การหมดเวลาในการอ่านข้อมูลการตอบสนอง ค่าเริ่มต้นคือ 00:01:40
การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
ข้ามจํานวนบรรทัด: จํานวนแถวที่ไม่ว่างเปล่าที่จะข้ามเมื่ออ่านข้อมูลจากไฟล์อินพุต
คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง
การแม็ป
สําหรับ การกําหนดค่าแท็บการแมป ดู กําหนดค่าการแมปของคุณภายใต้แท็บการแมป ถ้าคุณเลือกไบนารีเป็นรูปแบบไฟล์ของคุณ การแมปจะไม่ได้รับการสนับสนุน
การตั้งค่า
สําหรับการตั้งค่าการกําหนดค่าแท็บ ให้ไปที่ กําหนดค่าการตั้งค่าอื่น ๆ ของคุณภายใต้แท็บ การตั้งค่า
ข้อมูลสรุปของตาราง
ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน HTTP
ทรัพยากร
| ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ JSON |
|---|---|---|---|---|
| ชนิดของที่เก็บข้อมูล | ประเภทที่เก็บข้อมูลของคุณ | ภายนอก | ใช่ | / |
| เชื่อมต่อชั่น | การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง | <การเชื่อมต่อของคุณ> | ใช่ | เชื่อม ต่อ |
| ชนิดเชื่อมต่อ | การเชื่อมต่อของข้อมูลต้นทางของคุณ | <การเชื่อมต่อของแหล่งข้อมูลของคุณ> | ใช่ | / |
| URL สัมพัทธ์ | URL สัมพัทธ์ไปยังทรัพยากรที่ประกอบด้วยข้อมูล เมื่อไม่ได้ระบุคุณสมบัตินี้ จะใช้ URL ที่ระบุไว้ในข้อกําหนดการเชื่อมต่อเท่านั้น ตัวเชื่อมต่อ HTTP จะคัดลอกข้อมูลจาก URL ที่รวมกัน: /[relative URL specified] |
<URL สัมพัทธ์ของคุณ> | ไม่ | relativeUrl |
| วิธีการร้องขอ | เมธอด HTTP ค่าที่อนุญาตคือ รับ (ค่าเริ่มต้น) และ โพสต์ | •รับ •โพสต์ |
ไม่ | requestMethod |
| ส่วนหัวเพิ่มเติม | ส่วนหัวของคําขอ HTTP เพิ่มเติม | <ส่วนหัวเพิ่มเติมของคุณ> | ไม่ | additionalHeaders |
| เนื้อความของคําขอ | เนื้อความคําขอสําหรับคําขอ HTTP | <เนื้อความสําหรับคําขอ POST HTTP> | ไม่ | requestBody |
| คําขอหมดเวลา | หมดเวลา (ค่าช่วงเวลา) สําหรับคําขอ HTTP เพื่อรับการตอบสนอง ค่านี้คือหมดเวลาเพื่อให้ได้คําตอบ ไม่ใช่การหมดเวลาในการอ่านข้อมูลการตอบสนอง ค่าเริ่มต้นคือ 00:01:40 | timespan | ไม่ | requestTimeout |
| การเชื่อมต่อพร้อมกันสูงสุด | ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น | <การเชื่อมต่อพร้อมกันสูงสุด> | ไม่ | maxConcurrent เชื่อมต่อ ions |
| ข้ามจํานวนบรรทัด | จํานวนแถวที่ไม่ว่างเปล่าที่จะข้ามเมื่ออ่านข้อมูลจากไฟล์อินพุต | <จํานวนบรรทัดข้ามของคุณ> | ไม่ | skipLineCount |
| คอลัมน์เพิ่มเติม | เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง | • ชื่อ •ค่า |
ไม่ | additionalColumns: •ชื่อ •ค่า |