การแมปการแปลงโฟลว์ข้อมูลในกระแสข้อมูล gen2 (พรีวิว)

สำคัญ

การแมปการแปลงโฟลว์ข้อมูลในกระแสข้อมูล gen2 อยู่ในการแสดงตัวอย่างสาธารณะและอาจมีการเปลี่ยนแปลง

การแมปการแปลงกระแสข้อมูล (MDF) ในกระแสข้อมูล gen2 ช่วยให้คุณสามารถเขียน ดําเนินการ และตรวจสอบการแปลงข้อมูลตาม Spark ได้โดยตรงภายใน Data Factory ใน Microsoft Fabric

การแปลง MDF นําความสามารถของ Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows มาสู่ Microsoft Fabric ผ่านประสบการณ์การเขียนภาพแบบ low-code ที่คุ้นเคยซึ่งรวมเข้ากับกระแสข้อมูล gen2

ด้วยการแปลง MDF คุณสามารถ:

• โยกย้ายไปป์ไลน์ Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows ที่มีอยู่ไปยัง Fabric
• สร้างการแปลงใหม่ตาม Spark โดยตรงใน Fabric
• ดําเนินการแปลง MDF โดยใช้ไปป์ไลน์ข้อมูล Fabric
• ตรวจสอบการดําเนินการแปลงโดยใช้ประสบการณ์การตรวจสอบแบบบูรณาการ
• ใช้รูปแบบการแปลง Mapping Data Flow ที่คุ้นเคยภายใน Fabric ต่อไป

การแปลงโฟลว์ข้อมูลการแมปคืออะไร

การแปลง MDF ขยายกระแสข้อมูล gen2 ด้วยความสามารถในการแปลงที่ขับเคลื่อนด้วย Spark สําหรับปริมาณงานการเตรียมข้อมูลและการแปลงข้อมูลขนาดใหญ่

การแปลง MDF ให้:

• ประสบการณ์การเขียนด้วยภาพแบบใช้โค้ดน้อย
• การดําเนินการตาม Spark
• การประสานรวมแบบบูรณาการผ่านไปป์ไลน์ Fabric
• ข้อมูลเชิงลึกในการตรวจสอบและการดําเนินการโดยตรงใน Fabric

ใช้การแปลง MDF เพื่อ:

• โยกย้ายไปป์ไลน์ Azure Data Factory หรือ Azure Synapse Analytics Mapping Data Flows ที่มีอยู่ไปยัง Fabric
• สร้างไปป์ไลน์การแปลงใหม่ที่ใช้ Spark ใน Fabric

การแปลง MDF รวมเข้ากับกระแสข้อมูล gen2 อย่างสมบูรณ์ และมอบประสบการณ์การเขียนที่คุ้นเคยคล้ายกับ Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows

สถานการณ์ที่ได้รับการสนับสนุน

การแปลง MDF ในปัจจุบันรองรับสถานการณ์ต่อไปนี้

โยกย้ายโฟลว์ข้อมูลการแมปที่มีอยู่

คุณสามารถโยกย้ายโฟลว์ข้อมูล Azure Data Factory และ Azure Synapse Analytics Mapping ที่มีอยู่ไปยัง Fabric โดยใช้ประสบการณ์การโยกย้ายในตัวของ Azure Data Factory/Synapse Analytics

ระหว่างการย้ายข้อมูล

1. การแมปโฟลว์ข้อมูลจะถูกแปลงเป็นการแปลง MDF ในกระแสข้อมูล gen2
2. ไปป์ไลน์และตรรกะการแปลงจะถูกโยกย้ายเข้าด้วยกัน
3. การแปลง MDF เปิดอยู่ภายในพื้นที่ทํางานการแปลงแบบฝังตัวในกระแสข้อมูล gen2
4. ตรรกะการแปลงที่มีอยู่สามารถเขียน ตรวจสอบ ดําเนินการ และตรวจสอบใน Fabric ต่อไปได้

สร้างการแปลงโฟลว์ข้อมูลการแมปใหม่ใน Fabric

คุณยังสามารถสร้างการแปลง MDF ใหม่ได้โดยตรงในกระแสข้อมูล gen2 ประสบการณ์นี้ช่วยให้คุณ:

• สร้างการแปลงตาม Spark โดยใช้อินเทอร์เฟซแบบภาพ
• ใช้ความสามารถในการแปลง Mapping Data Flow ที่คุ้นเคย
• ดําเนินการแปลงโดยใช้ไปป์ไลน์ข้อมูล Fabric
• ตรวจสอบการดําเนินการผ่านประสบการณ์การตรวจสอบแบบบูรณาการ

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะใช้การแปลง MDF ในกระแสข้อมูล gen2 ตรวจสอบให้แน่ใจว่าตรงตามข้อกําหนดเบื้องต้นต่อไปนี้:

• ความจุ Fabric
• สิทธิ์ของผู้สนับสนุนหรือสูงกว่าไปยังพื้นที่ทํางาน Fabric
• การเชื่อมต่อ Fabric ที่มีอยู่สําหรับแหล่งข้อมูลที่รองรับ
• (ไม่บังคับ) พื้นที่ทํางาน Azure Data Factory หรือ Azure Synapse Analytics ที่มีอยู่ หากคุณกําลังใช้สถานการณ์การโยกย้าย

Limitations

ความสามารถต่อไปนี้ไม่ได้รับการสนับสนุนในการแสดงตัวอย่างสาธารณะในขณะนี้:

พื้นที่	ข้อจำกัด
โฟลว์เล็ต	ไม่สนับสนุน
ไลบรารี Data Flow	ไม่สนับสนุน
ฟังก์ชันที่ผู้ใช้กําหนดเอง (UDF)	ไม่สนับสนุน
การดําเนินการกระแสข้อมูล	การแปลง MDF สามารถดําเนินการได้ผ่านกิจกรรมกระแสข้อมูลไปป์ไลน์เท่านั้น การดําเนินการโดยตรงจากกระแสข้อมูล gen2 ยังไม่ได้รับการสนับสนุนในขณะนี้ เฉพาะการดําเนินการ บันทึก เท่านั้นที่พร้อมใช้งานจากเมนู บันทึกและเรียกใช้
Managed เครือข่ายเสมือน (เครือข่ายเสมือนที่มีการจัดการ)	การสนับสนุน Managed เครือข่ายเสมือน (Managed VNet) ไม่พร้อมใช้งานในการแสดงตัวอย่างนี้
การดําเนินการรันไทม์	การดําเนินการแปลง MDF ในปัจจุบันใช้รันไทม์ Synapse Spark พื้นฐาน คล้ายกับ Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows
ความเท่าเทียมกันของคุณลักษณะ	ความสามารถของ Mapping Data Flow บางรายการไม่พร้อมใช้งานในการแสดงตัวอย่างนี้

ตัวเชื่อมต่อที่รองรับ

การแปลง MDF รองรับตัวเชื่อมต่อต้นทางและซิงก์ที่ใช้บ่อยที่สุดที่มีอยู่ใน Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows

ปัจจุบันรองรับตัวเชื่อมต่อต่อไปนี้:

ประเภท	ที่เก็บข้อมูล	การแปลง MDF ในกระแสข้อมูล gen2 (แหล่งที่มา/ซิงก์)	ประเภทการรับรองความถูกต้องที่รองรับ
<ค 0>Azure	ที่เก็บข้อมูล Azure Blob	✓/✓	พื้นฐาน, ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน, บริการหลัก
	Azure Cosmos DB สําหรับ NoSQL	✓/✓	Basic
	Azure Data Explorer	✓/✓	ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน
	Azure Data Lake Storage รุ่น1	✓/✓	พื้นฐาน, ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน, บริการหลัก
	Azure Data Lake Storage รุ่น2	✓/✓	พื้นฐาน, ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน, บริการหลัก
	Azure Database for MySQL	✓/✓	Basic
	Azure Database for PostgreSQL	✓/✓	Basic
	ทะเลสาบ Azure Databricks Delta Lake	✓/✓ ใช้ รูปแบบเดลต้า	Basic
	ฐานข้อมูล Azure SQL	✓/✓	พื้นฐาน, ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน, บริการหลัก
	Azure SQL Managed Instance	✓/✓	พื้นฐาน, ข้อมูลประจําตัวที่มีการจัดการ / ข้อมูลประจําตัวพื้นที่ทํางาน, บริการหลัก
	Azure Synapse Analytics	✓/✓	Basic
ฐานข้อมูล	Snowflake	✓/✓	Basic
แฟ้ม	อเมซอน S3	✓/✓	Basic
	SFTP	✓/✓	Basic
	REST ทั่วไป	✓/✓	พื้นฐาน หลักการบริการ

ในระหว่างการเขียน:

• การเชื่อมต่อ Fabric ที่มีอยู่สามารถนํากลับมาใช้ใหม่ได้
• สามารถสร้างการเชื่อมต่อใหม่ได้โดยตรงจากประสบการณ์การเขียนโดยใช้ประสบการณ์การรับข้อมูล
• การกําหนดค่าต้นทางและซิงก์เป็นไปตามรูปแบบการแมป Data Flow ที่คุ้นเคย

การแปลงที่สนับสนุน

การแปลง MDF มอบประสบการณ์การแปลงภาพแบบ low-code ที่คุ้นเคยสําหรับการสร้างไปป์ไลน์การแปลงข้อมูลที่ใช้ Spark ที่ปรับขนาดได้ใน Fabric

ขณะนี้รองรับการแปลงต่อไปนี้:

ชื่อ	ประเภท	คำอธิบาย
การรวม	ตัวแก้ไขเค้าร่าง	กําหนดการรวม เช่น SUM, MIN, MAX และ COUNT ที่จัดกลุ่มตามคอลัมน์ที่มีอยู่หรือคอลัมน์ที่คํานวณ
เปลี่ยนแถว	ตัวปรับเปลี่ยนแถว	ตั้งค่าการแทรก ลบ อัปเดต และนโยบาย upsert ในแถว
ยืนยัน	ตัวปรับเปลี่ยนแถว	กําหนดกฎการยืนยันสําหรับแถวในสตรีมข้อมูล
นักแสดง	ตัวแก้ไขเค้าร่าง	เปลี่ยนชนิดข้อมูลคอลัมน์ด้วยการตรวจสอบชนิด
การแยกแบบมีเงื่อนไข	อินพุต/เอาต์พุตหลายรายการ	กําหนดเส้นทางแถวไปยังสตรีมต่างๆ ตามเงื่อนไขการจับคู่
คอลัมน์ที่ได้รับ	ตัวแก้ไขเค้าร่าง	สร้างคอลัมน์ใหม่หรือปรับเปลี่ยนเขตข้อมูลที่มีอยู่โดยใช้นิพจน์
การโทรภายนอก	ตัวแก้ไขเค้าร่าง	เรียกปลายทางภายนอกแบบอินไลน์สําหรับแต่ละแถว
มีอยู่	อินพุต/เอาต์พุตหลายรายการ	ตรวจสอบว่ามีข้อมูลอยู่ในแหล่งข้อมูลหรือสตรีมอื่นหรือไม่
ตัวกรอง	ตัวปรับเปลี่ยนแถว	กรองแถวตามเงื่อนไข
แบน	ฟอร์แมตเตอร์	แบนโครงสร้างลําดับชั้น เช่น อาร์เรย์ JSON เป็นแถว
เข้าร่วม	อินพุต/เอาต์พุตหลายรายการ	รวมข้อมูลจากสองแหล่งข้อมูลหรือสตรีม
การค้นหาข้อมูล	อินพุต/เอาต์พุตหลายรายการ	อ้างอิงข้อมูลจากแหล่งหรือสตรีมอื่น
สาขาใหม่	อินพุต/เอาต์พุตหลายรายการ	ใช้เส้นทางการแปลงหลายเส้นทางในสตรีมเดียวกัน
การแยกวิเคราะห์	ฟอร์แมตเตอร์	แยกวิเคราะห์ JSON ข้อความที่คั่น หรือสตริงที่จัดรูปแบบ XML
แกนหมุน	ตัวแก้ไขเค้าร่าง	แปลงค่าแถวที่แตกต่างกันเป็นคอลัมน์
ลำดับ	ตัวแก้ไขเค้าร่าง	สร้างการจัดอันดับที่เรียงลําดับตามเงื่อนไขการจัดเรียง
เลือก	ตัวแก้ไขเค้าร่าง	เปลี่ยนชื่อ จัดลําดับใหม่ หรือลบคอลัมน์
จม	-	กําหนดปลายทางสําหรับข้อมูลที่แปลง
เรียงลำดับ	ตัวปรับเปลี่ยนแถว	เรียงลําดับแถวในสตรีมข้อมูลปัจจุบัน
Source	-	กําหนดแหล่งที่มาของโฟลว์ข้อมูล
รัดกุม	ฟอร์แมตเตอร์	แปลงชนิดที่ซับซ้อนเป็นค่าสตริง
คีย์ตัวแทน	ตัวแก้ไขเค้าร่าง	สร้างค่าคีย์ตัวแทนที่เพิ่มขึ้น
สหภาพ	อินพุต/เอาต์พุตหลายรายการ	รวมสตรีมข้อมูลหลายรายการในแนวตั้ง
การเปลี่ยนรูปแบบจากแนวนอนเป็นแนวตั้ง	ตัวแก้ไขเค้าร่าง	แปลงคอลัมน์เป็นค่าแถว
หน้าต่าง	ตัวแก้ไขเค้าร่าง	กําหนดการรวมตามหน้าต่างผ่านสตรีมข้อมูล

สร้างการแปลงโฟลว์ข้อมูลการแมปในกระแสข้อมูล gen2

ในการสร้างการแปลง MDF ใหม่ใน Fabric:

1. เปิดพื้นที่ทํางาน Fabric ของคุณ

2. เลือก รายการใหม่

3. เลือก กระแสข้อมูล Gen2

4. ระบุชื่อสําหรับรายการกระแสข้อมูล gen2 และเลือก สร้าง

5. ในพื้นที่ทํางานกระแสข้อมูล gen2 ใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้:

   • เลือก เรียกใช้การแปลงโฟลว์ข้อมูลการแมป จาก การจัดกลุ่มการดําเนินการ ใหม่ ใน Ribbon หลักของกระแสข้อมูล gen2
   • เลือกไทล์ เรียกใช้การแปลงโฟลว์ข้อมูลการแมป (ADF Mapping Data Flows) จากพื้นที่ทํางาน

   

   

การดําเนินการแปลง MDF ใหม่จะปรากฏบนพื้นที่ทํางานกระแสข้อมูล gen2 และเปิดประสบการณ์การเขียนการแปลง MDF แบบฝังตัว

Tip

ประสบการณ์การเขียนการแปลง MDF ใช้อินเทอร์เฟซภาพที่คุ้นเคยคล้ายกับ Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows

สร้างการแปลงโฟลว์ข้อมูลการแมป

หลังจากที่คุณสร้างการแปลง MDF แล้ว คุณสามารถเริ่มเขียนตรรกะการแปลงได้

เปิดใช้โหมดแก้ไขข้อบกพร่อง

สําหรับการเขียนแบบโต้ตอบและการแสดงตัวอย่างข้อมูล:

1. เปิดการสลับการแก้ไข ข้อบกพร่องของโฟลว์ข้อมูล จากแถบเครื่องมือแบบลอย
2. รอให้เซสชันการแก้ไขข้อบกพร่องเริ่มต้น
3. หลังจากเปิดใช้งานแล้ว คุณสามารถดูตัวอย่างแหล่งข้อมูลและข้อมูลการแปลงระหว่างการเขียนได้

Note

เซสชันการดีบักอาจใช้เวลาหลายนาทีในการเริ่มต้น โดยขึ้นอยู่กับความพร้อมใช้งานของรันไทม์ของ Spark

เพิ่มแหล่งที่มา

ในการกําหนดค่าแหล่งที่มา:

1. เลือก เพิ่มแหล่งที่มา
2. เลือกประเภทการเชื่อมต่อ
3. เลือกการเชื่อมต่อ Fabric ที่มีอยู่หรือสร้างการเชื่อมต่อใหม่โดยตรงผ่านประสบการณ์ รับข้อมูล หากจําเป็น
4. เรียกดูและเลือกไฟล์ต้นฉบับ ตาราง หรือชุดข้อมูล

หลังจากที่คุณกําหนดค่าการเชื่อมต่อต้นทางและชุดข้อมูลแล้ว ให้ใช้แท็บ แสดงตัวอย่างข้อมูล เพื่อตรวจสอบความถูกต้องและแสดงตัวอย่างข้อมูลต้นฉบับระหว่างการเขียนแบบโต้ตอบ

เพิ่มการแปลง

เมื่อต้องการเพิ่มการแปลง:

1. เลือกไอคอนถัดจาก + แหล่งที่มาหรือการแปลง
2. เลือกชนิดการแปลง
3. กําหนดการตั้งค่าการแปลง

คุณสามารถสร้างตรรกะการแปลงต่อไปได้โดยใช้พื้นที่ทํางานการแปลงภาพ

กําหนดค่าอ่างล้างจาน

หลังจากตรรกะการแปลงเสร็จสมบูรณ์:

1. เพิ่มการแปลงอ่างล้างจาน
2. กําหนดค่าการเชื่อมต่อปลายทาง
3. กําหนดการตั้งค่าการเขียน

ตรวจสอบและบันทึก

ก่อนดําเนินการ:

1. เลือก ตรวจสอบความถูกต้อง จากแถบเครื่องมือการแปลง MDF

   

2. แก้ไขปัญหาการตรวจสอบความถูกต้องหากมีการรายงาน

3. เลือก บันทึก จากเมนู บันทึกและเรียกใช้

   

Note

ขณะนี้มีเพียงการดําเนินการ บันทึก เท่านั้นที่ได้รับการสนับสนุนสําหรับกระแสข้อมูล gen2 ที่มีการแปลง MDF ในการแสดงตัวอย่างสาธารณะ

ดําเนินการแปลงโฟลว์ข้อมูลการแมปโดยใช้ไปป์ไลน์ Fabric

คุณดําเนินการแปลง MDF ผ่านไปป์ไลน์ข้อมูล Fabric โดยใช้กิจกรรมกระแสข้อมูล

ในการดําเนินการแปลง MDF:

1. สร้างไปป์ไลน์ Fabric ใหม่
2. เพิ่มกิจกรรม กระแสข้อมูล ไปยังไปป์ไลน์
3. ใน การตั้งค่ากิจกรรม ให้เลือกรายการกระแสข้อมูล gen2 ที่มีการแปลง MDF
4. เลือกคิวรีการแปลง MDF ที่จะดําเนินการ
5. กําหนดการตั้งค่ารันไทม์ของ Spark ตามต้องการ
6. ตรวจสอบและเผยแพร่ไปป์ไลน์
7. เรียกใช้ไปป์ไลน์ด้วยตนเองหรือกําหนดค่ากําหนดการหรือทริกเกอร์

กําหนดการตั้งค่ารันไทม์ของ Spark

MDF แปลงดําเนินการโดยใช้รันไทม์ Spark ที่มีการจัดการที่รวมเข้ากับ Data Factory ใน Microsoft Fabric คุณสามารถกําหนดการตั้งค่ารันไทม์ของ Spark ระหว่างการดําเนินการไปป์ไลน์ รวมถึง:

• การคํานวณขนาด
• คุณสมบัติของอ่างล้างจาน

ตรวจสอบการดําเนินการแปลงโฟลว์ข้อมูลการแมป

คุณสามารถตรวจสอบการดําเนินการแปลง MDF ผ่าน:

• บานหน้าต่างเอาต์พุตไปป์ไลน์

  

• ศูนย์กลางการตรวจสอบ

  

วิธีดูรายละเอียดการตรวจสอบ

1. เปิดรายละเอียดการเรียกใช้ไปป์ไลน์
2. เลือกกิจกรรมกระแสข้อมูลจากการเรียกใช้กิจกรรม
3. ตรวจสอบสถานะการดําเนินการและรายละเอียดรันไทม์

เนื้อหาที่เกี่ยวข้อง

• กระแสข้อมูล gen2 คืออะไร
• อัปเกรดไปป์ไลน์โฟลว์ข้อมูลการแมป Azure Data Factory ไปยัง Fabric
• คู่มือเกี่ยวกับกระแสข้อมูล Fabric สําหรับผู้ใช้ Azure Data Factory Mapping Data Flow
• ใช้กระแสข้อมูลในไปป์ไลน์
• ตรวจสอบกระแสข้อมูลของคุณ