รูปแบบ JSON ใน Data Factory ใน Microsoft Fabric
บทความนี้สรุปวิธีการกําหนดค่ารูปแบบ JSON ในไปป์ไลน์ข้อมูลของ Data Factory ใน Microsoft Fabric
ความสามารถที่รองรับ
รูปแบบ JSON ได้รับการสนับสนุนสําหรับกิจกรรมและตัวเชื่อมต่อต่อไปนี้เป็นต้นทางและปลายทาง
หมวดหมู่ | ตัวเชื่อมต่อ/กิจกรรม |
---|---|
ตัวเชื่อมต่อที่สนับสนุน | Amazon S3 |
เข้ากันได้กับ Amazon S3 | |
ที่เก็บข้อมูล Azure Blob | |
Azure Data Lake Storage Gen1 | |
Azure Data Lake Storage รุ่น2 | |
ไฟล์ Azure | |
ระบบไฟล์ | |
FTP | |
พื้นที่เก็บข้อมูล Google Cloud | |
HTTP | |
ไฟล์ของเลคเฮ้าส์ | |
ที่เก็บข้อมูล Oracle Cloud | |
SFTP | |
กิจกรรมที่ได้รับการสนับสนุน | คัดลอกกิจกรรม (ต้นทาง/ปลายทาง) |
ค้นหากิจกรรม | |
กิจกรรม GetMetadata | |
ลบกิจกรรม |
รูปแบบ JSON ในกิจกรรมการคัดลอก
หากต้องการกําหนดค่ารูปแบบ JSON ให้เลือกการเชื่อมต่อของคุณในต้นทางหรือปลายทางของกิจกรรมการคัดลอกไปป์ไลน์ข้อมูลจากนั้นเลือก JSON ในรายการดรอปดาวน์ของ รูปแบบไฟล์ เลือก การตั้งค่า สําหรับการกําหนดค่าเพิ่มเติมของรูปแบบนี้
รูปแบบ JSON เป็นแหล่งข้อมูล
หลังจากที่คุณเลือก การตั้งค่า ในส่วน รูปแบบไฟล์ คุณสมบัติต่อไปนี้จะแสดงในกล่องโต้ตอบการตั้งค่ารูปแบบไฟล์แบบป็อปอัพ
ชนิดการบีบอัด: เลือกตัวแปลงสัญญาณการบีบอัดที่ใช้อ่านไฟล์ JSON ในรายการดรอปดาวน์ คุณสามารถเลือกจากไม่มี, bzip2, gzip, deflate, ZipDeflate, TarGzip หรือ tar ได้
หากคุณเลือก ZipDeflate เป็นชนิดการบีบอัด รักษาชื่อไฟล์ zip เป็นโฟลเดอร์จะปรากฏขึ้นภายใต้การตั้งค่าขั้นสูงในแท็บแหล่งข้อมูล
- รักษาชื่อไฟล์ zip เป็นโฟลเดอร์: ระบุว่าจะเก็บรักษาชื่อไฟล์ zip ต้นทางเป็นโครงสร้างโฟลเดอร์ในระหว่างการคัดลอกหรือไม่
- หากเลือกกล่องกาเครื่องหมายนี้ (ค่าเริ่มต้น) บริการจะเขียนไฟล์ที่ไม่มีการบีบอัดไปยัง
<specified file path>/<folder named as source zip file>/
- หากไม่ได้ทําเครื่องหมายที่กล่องนี้ บริการจะเขียนไฟล์ที่คลายซิปโดยตรงไปยัง
<specified file path>
ตรวจสอบให้แน่ใจว่าคุณไม่มีชื่อไฟล์ที่ซ้ํากันในไฟล์ zip ต้นทางที่แตกต่างกันเพื่อหลีกเลี่ยงการแข่งรถหรือพฤติกรรมที่ไม่คาดคิด
- หากเลือกกล่องกาเครื่องหมายนี้ (ค่าเริ่มต้น) บริการจะเขียนไฟล์ที่ไม่มีการบีบอัดไปยัง
หากคุณเลือก TarGzip/tar เป็นชนิดการบีบอัด ชื่อไฟล์บีบอัดเป็นโฟลเดอร์จะแสดงภายใต้การตั้งค่าขั้นสูงในแท็บแหล่งข้อมูล
- รักษาชื่อไฟล์การบีบอัดเป็นโฟลเดอร์: บ่งชี้ว่าจะรักษาชื่อไฟล์บีบอัดต้นทางเป็นโครงสร้างโฟลเดอร์ในระหว่างการคัดลอกหรือไม่
- หากเลือกกล่องกาเครื่องหมายนี้ (ค่าเริ่มต้น) บริการจะเขียนไฟล์ที่ขยายเป็น
<specified file path>/<folder named as source compressed file>/
- หากไม่ได้เลือกกล่องกาเครื่องหมายนี้ บริการจะเขียนไฟล์ที่ขยายโดยตรงไปยัง
<specified file path>
ตรวจสอบให้แน่ใจว่าคุณไม่มีชื่อไฟล์ที่ซ้ํากันในไฟล์ต้นฉบับที่แตกต่างกันเพื่อหลีกเลี่ยงการแข่งรถหรือลักษณะการทํางานที่ไม่คาดคิด
- หากเลือกกล่องกาเครื่องหมายนี้ (ค่าเริ่มต้น) บริการจะเขียนไฟล์ที่ขยายเป็น
- รักษาชื่อไฟล์ zip เป็นโฟลเดอร์: ระบุว่าจะเก็บรักษาชื่อไฟล์ zip ต้นทางเป็นโครงสร้างโฟลเดอร์ในระหว่างการคัดลอกหรือไม่
ระดับการบีบอัด: อัตราส่วนการบีบอัด คุณสามารถเลือกจาก เร็วที่สุด หรือ เหมาะสมที่สุด
เร็วที่สุด: การดําเนินการบีบอัดควรเสร็จสมบูรณ์โดยเร็วที่สุดแม้ว่าไฟล์ผลลัพธ์จะไม่ได้รับการบีบอัดอย่างเหมาะสมก็ตาม
เหมาะสมที่สุด: การดําเนินการบีบอัดควรได้รับการบีบอัดอย่างเหมาะสมแม้ว่าการดําเนินการจะใช้เวลานานขึ้นก็ตาม สําหรับข้อมูลเพิ่มเติม ให้ไปที่บทความระดับการบีบอัด
การเข้ารหัส: ระบุชนิดการเข้ารหัสที่ใช้ในการอ่านไฟล์ทดสอบ เลือกชนิดหนึ่งจากรายการดรอปดาวน์ ค่าเริ่มต้นคือ UTF-8
รูปแบบ JSON เป็นปลายทาง
หลังจากที่คุณเลือก การตั้งค่า คุณสมบัติต่อไปนี้จะแสดงในกล่องโต้ตอบการตั้งค่ารูปแบบไฟล์แบบป็อปอัพ
ชนิดการบีบอัด: เลือกตัวแปลงสัญญาณการบีบอัดที่ใช้ในการเขียนไฟล์ JSON ในรายการดรอปดาวน์ คุณสามารถเลือกจากไม่มี, bzip2, gzip, deflate, ZipDeflate, TarGzip หรือ tar ได้
ระดับการบีบอัด: อัตราส่วนการบีบอัด คุณสามารถเลือกจาก เหมาะสม หรือ เร็วที่สุด
เร็วที่สุด: การดําเนินการบีบอัดควรเสร็จสมบูรณ์โดยเร็วที่สุดแม้ว่าไฟล์ผลลัพธ์จะไม่ได้รับการบีบอัดอย่างเหมาะสมก็ตาม
เหมาะสมที่สุด: การดําเนินการบีบอัดควรได้รับการบีบอัดอย่างเหมาะสมแม้ว่าการดําเนินการจะใช้เวลานานขึ้นก็ตาม สําหรับข้อมูลเพิ่มเติม ให้ไปที่บทความระดับการบีบอัด
การเข้ารหัส: ระบุชนิดการเข้ารหัสที่ใช้ในการเขียนไฟล์ทดสอบ เลือกชนิดหนึ่งจากรายการดรอปดาวน์ ค่าเริ่มต้นคือ UTF-8
ภายใต้ การตั้งค่าขั้นสูง ใน แท็บ ปลายทาง คุณสมบัติที่เกี่ยวข้องกับรูปแบบ JSON ต่อไปนี้จะแสดงขึ้นมา
- รูปแบบไฟล์: ระบุรูปแบบของข้อมูลที่จัดเก็บไว้ในไฟล์ JSON แต่ละไฟล์ ค่าที่อนุญาตคือ: ชุดของออบเจ็กต์ (บรรทัด JSON) และอาร์เรย์ของวัตถุ ค่าเริ่มต้นคือ ชุดของวัตถุ ดู ส่วนรูปแบบ ไฟล์ JSON สําหรับรายละเอียดเกี่ยวกับรูปแบบเหล่านี้
รูปแบบไฟล์ JSON
เมื่อคัดลอกข้อมูลจากไฟล์ JSON กิจกรรมการคัดลอกสามารถตรวจจับและแยกวิเคราะห์รูปแบบต่อไปนี้ของไฟล์ JSON ได้โดยอัตโนมัติ เมื่อเขียนข้อมูลไปยังไฟล์ JSON คุณสามารถกําหนดค่ารูปแบบไฟล์ในคัดลอกปลายทางกิจกรรมได้
ชนิด I: setOfObjects
แต่ละไฟล์มีวัตถุเดียว เส้น JSON หรือวัตถุที่เชื่อมเข้าด้วยกัน
ตัวอย่าง JSON วัตถุเดียว
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }
เส้น JSON (ค่าเริ่มต้นสําหรับปลายทาง)
{"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"} {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"} {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
ตัวอย่าง JSON แบบเชื่อมเข้าด้วยกัน
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" } { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" } { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" }
ประเภท II: arrayOfObjects
แต่ละไฟล์มีอาร์เรย์ของออบเจ็กต์
[ { "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }, { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" }, { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" } ]
ข้อมูลสรุปของตาราง
JSON เป็นแหล่งข้อมูล
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนในส่วนแหล่งกิจกรรมการคัดลอกเมื่อใช้รูปแบบ JSON
ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ JSON |
---|---|---|---|---|
รูปแบบไฟล์ | รูปแบบไฟล์ที่คุณต้องการใช้ | JSON | ใช่ | type (ภายใต้ datasetSettings ):JSON |
ชนิดการบีบอัด | ตัวแปลงสัญญาณการบีบอัดที่ใช้เพื่ออ่านไฟล์ JSON | เลือกจาก: ไม่มี bzip2 gzip แฟบ ZipDeflate ทาร์กซิป น้ํามันดิน |
ไม่ | type (ภายใต้ compression ): bzip2 gzip แฟบ ZipDeflate ทาร์กซิป น้ํามันดิน |
ระดับการบีบอัด | อัตราส่วนการบีบอัด | เร็วที่สุด เหมาะ สม |
ไม่ | ระดับ (ภายใต้ compression ): เร็วที่สุด เหมาะ สม |
การเข้ารหัส | ชนิดการเข้ารหัสที่ใช้ในการอ่านไฟล์ทดสอบ | "UTF-8" (ตามค่าเริ่มต้น),"UTF-8 โดยไม่มี BOM", "UTF-16LE", "UTF-16BE", "UTF-32LE", "UTF-32BE", "US-ASCII", "UTF-7", "BIG5", "EUC-JP", "EUC-KR", "GB2312", "GB18030", "JOHAB", "SHIFT-JIS", "CP875", "CP866", "IBM00858", "IBM037", "IBM273", "IBM437", "IBM500", "IBM737", "IBM775", "IBM850", "IBM852", "IBM855", "IBM857", "IBM860", "IBM861", "IBM863", "IBM863", "IBM864", "IBM865", "IBM869", "IBM870", "IBM01140", "IBM01141", "IBM01142", "IBM01143", "IBM01144", "IBM01145", "IBM01146", "IBM01147", "IBM01148", "IBM01149", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-13", "ISO-8859-15", "WINDOWS-874", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1255 2", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255", "WINDOWS-1256", "WINDOWS-1257", "WINDOWS-1258" | ไม่ใช่ | encodingName |
รักษาชื่อไฟล์ zip เป็นโฟลเดอร์ | ระบุว่าจะรักษาชื่อไฟล์ zip ต้นทางเป็นโครงสร้างโฟลเดอร์ในระหว่างการคัดลอกหรือไม่ | เลือกแล้ว (ค่าเริ่มต้น) หรือยกเลิกการเลือก | ไม่ | preserveZipFileNameAsFolder (ภายใต้ compressionProperties ->type เป็น ZipDeflateReadSettings ):จริง (ค่าเริ่มต้น) หรือ เท็จ |
รักษาชื่อไฟล์การบีบอัดเป็นโฟลเดอร์ | ระบุว่าจะรักษาชื่อไฟล์ที่บีบอัดต้นทางเป็นโครงสร้างโฟลเดอร์ในระหว่างการคัดลอกหรือไม่ | เลือกแล้ว (ค่าเริ่มต้น) หรือยกเลิกการเลือก | ไม่ | preserveCompressionFileNameAsFolder (ภายใต้ compressionProperties ->type ตาม TarGZipReadSettings หรือ TarReadSettings ):จริง (ค่าเริ่มต้น) หรือ เท็จ |
JSON เป็นปลายทาง
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนในส่วนคัดลอกกิจกรรม ปลายทาง เมื่อใช้รูปแบบ JSON
ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ JSON |
---|---|---|---|---|
รูปแบบไฟล์ | รูปแบบไฟล์ที่คุณต้องการใช้ | JSON | ใช่ | type (ภายใต้ datasetSettings ):JSON |
ชนิดการบีบอัด | ตัวแปลงสัญญาณการบีบอัดที่ใช้ในการเขียนไฟล์ JSON | เลือกจาก: ไม่มี bzip2 gzip แฟบ ZipDeflate ทาร์กซิป น้ํามันดิน |
ไม่ | type (ภายใต้ compression ): bzip2 gzip แฟบ ZipDeflate ทาร์กซิป น้ํามันดิน |
ระดับการบีบอัด | อัตราส่วนการบีบอัด | เร็วที่สุด เหมาะ สม |
ไม่ | ระดับ (ภายใต้ compression ): เร็วที่สุด เหมาะ สม |
การเข้ารหัส | ชนิดการเข้ารหัสที่ใช้ในการเขียนไฟล์ทดสอบ | "UTF-8" (ตามค่าเริ่มต้น),"UTF-8 โดยไม่มี BOM", "UTF-16LE", "UTF-16BE", "UTF-32LE", "UTF-32BE", "US-ASCII", "UTF-7", "BIG5", "EUC-JP", "EUC-KR", "GB2312", "GB18030", "JOHAB", "SHIFT-JIS", "CP875", "CP866", "IBM00858", "IBM037", "IBM273", "IBM437", "IBM500", "IBM737", "IBM775", "IBM850", "IBM852", "IBM855", "IBM857", "IBM860", "IBM861", "IBM863", "IBM863", "IBM864", "IBM865", "IBM869", "IBM870", "IBM01140", "IBM01141", "IBM01142", "IBM01143", "IBM01144", "IBM01145", "IBM01146", "IBM01147", "IBM01148", "IBM01149", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-13", "ISO-8859-15", "WINDOWS-874", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1255 2", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255", "WINDOWS-1256", "WINDOWS-1257", "WINDOWS-1258" | ไม่ใช่ | encodingName |
รูปแบบไฟล์ | ระบุรูปแบบของข้อมูลที่จัดเก็บไว้ในไฟล์ JSON แต่ละไฟล์ | ชุดของวัตถุ อาร์เรย์ของวัตถุ |
ไม่ | filePattern: setOfObjects arrayOfObjects |