รูปแบบ Avro ใน Data Factory ใน Microsoft Fabric
บทความนี้สรุปวิธีการกําหนดค่ารูปแบบ Avro ในไปป์ไลน์ข้อมูลของ Data Factory ใน Microsoft Fabric
ความสามารถที่รองรับ
รูปแบบ Avro ได้รับการสนับสนุนสําหรับกิจกรรมและตัวเชื่อมต่อต่อไปนี้เป็นต้นทางและปลายทาง
| หมวดหมู่ | ตัวเชื่อมต่อ/กิจกรรม |
|---|---|
| ตัวเชื่อมต่อที่สนับสนุน | Amazon S3 |
| เข้ากันได้กับ Amazon S3 | |
| ที่เก็บข้อมูล Azure Blob | |
| Azure Data Lake Storage Gen1 | |
| Azure Data Lake Storage รุ่น2 | |
| ไฟล์ Azure | |
| ระบบไฟล์ | |
| FTP | |
| พื้นที่เก็บข้อมูล Google Cloud | |
| HTTP | |
| ไฟล์ของเลคเฮ้าส์ | |
| ที่เก็บข้อมูล Oracle Cloud | |
| SFTP | |
| กิจกรรมที่ได้รับการสนับสนุน | คัดลอกกิจกรรม (ต้นทาง/ปลายทาง) |
| ค้นหากิจกรรม | |
| กิจกรรม GetMetadata | |
| ลบกิจกรรม |
รูปแบบ Avro ในกิจกรรมการคัดลอก
หากต้องการกําหนดค่ารูปแบบ Avro ให้เลือกการเชื่อมต่อของคุณในต้นทางหรือปลายทางของกิจกรรมการคัดลอกไปป์ไลน์ข้อมูลจากนั้นเลือก Avro ในรายการดรอปดาวน์ของ รูปแบบไฟล์ เลือก การตั้งค่า สําหรับการกําหนดค่าเพิ่มเติมของรูปแบบนี้
รูปแบบ Avro เป็นแหล่งข้อมูล
หลังจากที่คุณเลือก การตั้งค่า ในส่วน รูปแบบไฟล์ คุณสมบัติต่อไปนี้จะแสดงในกล่องโต้ตอบการตั้งค่ารูปแบบไฟล์แบบป็อปอัพ
ชนิดการบีบอัด: เลือกตัวแปลงสัญญาณการบีบอัดที่ใช้ในการอ่านไฟล์ Avro ในรายการดรอปดาวน์ คุณสามารถเลือกจาก ไม่มี หรือ เลเวล ได้ คุณยังสามารถเลือก เพิ่มเนื้อหา แบบไดนามิกเพื่อระบุประเภทในตัวสร้างนิพจน์ได้
ระดับการบีบอัด: ระบุอัตราส่วนการบีบอัด เลือกได้ตั้งแต่ 1 ถึง 7 คุณยังสามารถเลือก เพิ่มเนื้อหา แบบไดนามิกเพื่อระบุระดับในตัวสร้างนิพจน์ได้
รูปแบบ Avro เป็นปลายทาง
หลังจากที่คุณเลือก การตั้งค่า คุณสมบัติต่อไปนี้จะแสดงในกล่องโต้ตอบการตั้งค่ารูปแบบไฟล์แบบป็อปอัพ
ชนิดการบีบอัด: เลือกตัวแปลงสัญญาณการบีบอัดที่ใช้ในการเขียนไฟล์ Avro ในรายการดรอปดาวน์ คุณสามารถเลือกจาก ไม่มี หรือ เลเวล ได้ คุณยังสามารถเลือก เพิ่มเนื้อหา แบบไดนามิกเพื่อระบุประเภทในตัวสร้างนิพจน์ได้
ระดับการบีบอัด: ระบุอัตราส่วนการบีบอัด เลือกได้ตั้งแต่ 1 ถึง 7 คุณยังสามารถเลือก เพิ่มเนื้อหา แบบไดนามิกเพื่อระบุระดับในตัวสร้างนิพจน์ได้
ภายใต้ การตั้งค่าขั้นสูง ใน แท็บ ปลายทาง คุณสมบัติที่เกี่ยวข้องกับรูปแบบ Avro ต่อไปนี้จะแสดงขึ้นมา
- แถวสูงสุดต่อไฟล์: เมื่อเขียนข้อมูลลงในโฟลเดอร์ คุณสามารถเลือกที่จะเขียนไปยังหลายไฟล์และระบุแถวสูงสุดต่อไฟล์ได้
- คํานําหน้าชื่อไฟล์: ใช้ได้เมื่อมีการกําหนดค่าแถวสูงสุดต่อไฟล์ ระบุคํานําหน้าชื่อไฟล์เมื่อเขียนข้อมูลไปยังหลายไฟล์ ส่งผลให้เป็นรูปแบบนี้:
<fileNamePrefix>_00000.<fileExtension>ถ้าไม่ได้ระบุ คํานําหน้าชื่อไฟล์จะถูกสร้างขึ้นโดยอัตโนมัติ คุณสมบัตินี้ใช้ไม่ได้เมื่อแหล่งข้อมูลเป็นที่เก็บตามไฟล์หรือตัวเลือกพาร์ติชันที่เปิดใช้งานที่เก็บข้อมูล
ข้อมูลสรุปของตาราง
Avro เป็นแหล่งข้อมูล
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนในส่วนแหล่งกิจกรรมการคัดลอกเมื่อใช้รูปแบบ Avro
| ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ Avro |
|---|---|---|---|---|
| รูปแบบไฟล์ | รูปแบบไฟล์ที่คุณต้องการใช้ | Avro | ใช่ | type (ภายใต้ datasetSettings):Avro |
| ชนิดการบีบอัด | ตัวแปลงสัญญาณการบีบอัดที่ใช้ในการอ่านไฟล์ Avro | ไม่มี แฟบ |
ไม่ | avroCompressionCodec: แฟบ |
| ระดับการบีบอัด | อัตราส่วนการบีบอัด | 1 ถึง 7 | ไม่ | avroCompressionLevel: 1 ถึง 7 |
Avro เป็นปลายทาง
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนในส่วนคัดลอกกิจกรรม ปลายทาง เมื่อใช้รูปแบบ Avro
| ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ Avro |
|---|---|---|---|---|
| รูปแบบไฟล์ | รูปแบบไฟล์ที่คุณต้องการใช้ | Avro | ใช่ | type (ภายใต้ datasetSettings):Avro |
| ชนิดการบีบอัด | ตัวแปลงสัญญาณการบีบอัดที่ใช้ในการเขียนไฟล์ Avro | ไม่มี แฟบ |
ไม่ | avroCompressionCodec: แฟบ |
| ระดับการบีบอัด | อัตราส่วนการบีบอัด | 1 ถึง 7 | ไม่ | avroCompressionLevel: 1 ถึง 7 |
| แถวสูงสุดต่อไฟล์ | เมื่อเขียนข้อมูลลงในโฟลเดอร์ คุณสามารถเลือกที่จะเขียนไปยังหลายไฟล์และระบุแถวสูงสุดต่อไฟล์ได้ | < แถวสูงสุดของคุณต่อไฟล์ > | ไม่ | maxRowsPerFile |
| คํานําหน้าชื่อไฟล์ | ใช้ได้เมื่อมีการกําหนดค่าแถวสูงสุดต่อไฟล์ ระบุคํานําหน้าชื่อไฟล์เมื่อเขียนข้อมูลไปยังหลายไฟล์ ส่งผลให้เป็นรูปแบบนี้: <fileNamePrefix>_00000.<fileExtension> ถ้าไม่ได้ระบุ คํานําหน้าชื่อไฟล์จะถูกสร้างขึ้นโดยอัตโนมัติ คุณสมบัตินี้ใช้ไม่ได้เมื่อแหล่งข้อมูลเป็นที่เก็บตามไฟล์หรือตัวเลือกพาร์ติชันที่เปิดใช้งานที่เก็บข้อมูล |
< คํานําหน้าชื่อไฟล์ของคุณ > | ไม่ | fileNamePrefix |