การวางแผนการโยกย้ายสําหรับ Azure Data Factory ไปยัง Fabric Data Factory

Microsoft Fabric รวบรวมเครื่องมือวิเคราะห์ของ Microsoft ไว้ในแพลตฟอร์ม SaaS เดียว มีความสามารถที่แข็งแกร่งสําหรับการประสานเวิร์กโฟลว์ การเคลื่อนย้ายข้อมูล การจําลองแบบ และการแปลงตามขนาด Fabric Data Factory มีสภาพแวดล้อม SaaS ที่สร้างขึ้นบน Azure Data Factory (ADF) PaaS ผ่านการปรับปรุงที่ใช้งานง่ายและฟังก์ชันพิเศษ ทําให้ Fabric Data Factory เป็นการปรับปรุงโซลูชันการรวมข้อมูลที่มีอยู่ของคุณให้ทันสมัยอย่างสมบูรณ์แบบ

คู่มือนี้แสดงกลยุทธ์การโยกย้าย ข้อควรพิจารณา และแนวทางที่จะช่วยคุณย้ายจาก Azure Data Factory ไปยัง Fabric Data Factory

ทําไมต้องย้ายข้อมูล

การโยกย้ายจากไปป์ไลน์ ADF และ Synapse ไปยัง Fabric Data Factory เป็นมากกว่าการยกและเปลี่ยน: เป็นโอกาสในการลดความซับซ้อนของการกํากับดูแล กําหนดมาตรฐานรูปแบบ และใช้คุณสมบัติขั้นสูงของ Fabric Data Factory เพื่อปรับปรุงกลยุทธ์การรวมข้อมูลของคุณ

Fabric มีคุณสมบัติใหม่มากมาย ได้แก่:

• กิจกรรมไปป์ไลน์แบบบูรณาการ เช่น อีเมล และ Teams สําหรับการกําหนดเส้นทางข้อความ
• CI/CD ในตัว (ไปป์ไลน์การปรับใช้) โดยไม่ต้องพึ่งพา Git ภายนอก
• การผสานรวมพื้นที่ทํางานที่ราบรื่นกับ OneLake, Warehouse และ Lakehouse สําหรับการวิเคราะห์แบบครบวงจร
• โมเดลข้อมูลความหมายที่คล่องตัว จะรีเฟรชที่ ปรับขนาดเพื่อตอบสนองความต้องการทั้งแบบบริการตนเองและข้อมูลขององค์กร
• ความสามารถ AI ในตัวพร้อม Copilot เพื่อช่วยคุณสร้างและจัดการไปป์ไลน์

สําหรับการเปรียบเทียบโดยละเอียด โปรดดู คู่มือการเปรียบเทียบ Azure Data Factory และ Fabric Data Factory

ข้อควรพิจารณาก่อนย้ายข้อมูล

การโยกย้ายจาก Azure Data Factory (ADF) ไปยัง Fabric Data Factory เกี่ยวข้องกับข้อควรพิจารณาที่สําคัญหลายประการ สิ่งที่ควรทราบมีดังนี้

• ไปป์ไลน์ที่ซับซ้อนและตัวเชื่อมต่อแบบกําหนดเอง: สิ่งเหล่านี้อาจต้องมีการปรับเปลี่ยนด้วยตนเองเพื่อทํางานในสภาพแวดล้อมใหม่
• รันไทม์การรวม: รันไทม์แบบเดิมอาจต้องมีการปรับโครงสร้างใหม่เพื่อให้สอดคล้องกับสถาปัตยกรรมของ Fabric
• ความแตกต่างของกระแสข้อมูล: กระแสข้อมูลการแมป ADF ใช้การแปลงตาม Spark ในขณะที่ Fabric Dataflow Gen2 ทํางานแตกต่างกันและอาจต้องทําใหม่
• ความปลอดภัยและระบบเครือข่าย: ตรวจสอบข้อมูลประจําตัวที่มีการจัดการ ปลายทางส่วนตัว และการกําหนดค่าเกตเวย์ ทดสอบการตั้งค่าเหล่านี้อีกครั้งและอัปเดตสิทธิ์ตามต้องการ
• การทดสอบและการตรวจสอบความถูกต้อง: ตรวจสอบให้แน่ใจว่าไปป์ไลน์ที่ย้ายไปให้ผลลัพธ์ที่ถูกต้องตรงตาม SLA และปฏิบัติตามข้อกําหนด ใช้สายรัดทดสอบที่ทนทานสําหรับการเปรียบเทียบตามวัตถุประสงค์

เพื่อจัดการกับความท้าทายเหล่านี้ ให้ปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดเหล่านี้:

1. ดําเนินการสินค้าคงคลังทรัพย์สินอย่างละเอียด ระบุรายการที่ซ้ํากัน รายการที่ไม่ได้ใช้ และการขึ้นต่อกัน
2. ใช้ เครื่องมือประเมินการย้ายข้อมูล และตรวจสอบ ความเท่าเทียมกันของตัวเชื่อมต่อ และความ เท่าเทียม กันของกิจกรรมเพื่อระบุและแมปช่องว่างของคุณลักษณะตั้งแต่เนิ่นๆ
3. ลองใช้สคริปต์อัตโนมัติและเครื่องมือของพาร์ทเนอร์สําหรับการย้ายข้อมูลจํานวนมาก
4. รักษาเอกสารโดยละเอียดและแผนย้อนกลับ
5. มีส่วนร่วมกับผู้มีส่วนได้ส่วนเสียตลอดกระบวนการ
6. เรียกใช้การย้ายข้อมูลแบบเพิ่มหน่วยเพื่อลดความเสี่ยง
7. ใช้สคริปต์การตรวจสอบความถูกต้องที่ขับเคลื่อนด้วย AI เพื่อเร่งการแก้ไขปัญหา

เส้นทางการย้ายข้อมูล

เส้นทางการย้ายข้อมูลจะขึ้นอยู่กับเนื้อหา ADF และความเท่าเทียมกันของคุณสมบัติ ตัวเลือกได้แก่:

• รายการ Azure Data Factory ใน Fabric เพื่อความต่อเนื่อง - มุมมองสดของอินสแตนซ์ Azure Data Factory ที่มีอยู่ภายใน Fabric ทําให้สามารถย้ายและทดสอบได้ทีละน้อย นี่เป็นขั้นตอนแรกที่ดีก่อนที่จะใช้เครื่องมือแปลงหรือการปรับแพลตฟอร์มใหม่
• ใช้เครื่องมือแปลง powershell เพื่อโยกย้ายไปป์ไลน์ที่มีความเท่าเทียมกันสูง - ทําให้การโยกย้ายไปป์ไลน์ กิจกรรม และพารามิเตอร์ตามขนาดเป็นไปโดยอัตโนมัติ เหมาะอย่างยิ่งสําหรับรูปแบบมาตรฐาน เช่น Copy, Lookup และ Stored Procedure
• การโยกย้ายด้วยตนเองสําหรับสภาพแวดล้อมที่ซับซ้อน - สร้างไปป์ไลน์ใหม่ใน Fabric เพื่อใช้ประโยชน์จากคุณลักษณะใหม่และเพิ่มประสิทธิภาพ นี่เป็นสิ่งจําเป็นสําหรับไปป์ไลน์ที่มีความเท่าเทียมกันต่ําหรือตรรกะที่กําหนดเอง แต่ก็เป็นโอกาสในการปรับปรุงสถาปัตยกรรมของคุณให้ทันสมัย

รายการ Azure Data Factory ในพื้นที่ทํางาน Fabric ของคุณ

การเพิ่ม ADF ที่มีอยู่ไปยังพื้นที่ทํางาน Fabric ของคุณ จะช่วยให้คุณมองเห็นและกํากับดูแลได้ทันทีในขณะที่คุณย้ายข้อมูลทีละน้อย เหมาะอย่างยิ่งสําหรับการค้นพบ การกําหนดความเป็นเจ้าของ และการทดสอบแบบเคียงข้างกัน เนื่องจากทีมสามารถดูไปป์ไลน์ จัดระเบียบภายใต้พื้นที่ทํางาน Fabric และวางแผนการเคลื่อนย้ายต่อโดเมนได้ ใช้รายการ Azure Data Factory เพื่อจัดทําแค็ตตาล็อกสิ่งที่มีอยู่ จัดลําดับความสําคัญของไปป์ไลน์ที่มีมูลค่าสูงสุด/ความเสี่ยงต่ําที่สุดก่อน และสร้างแบบแผน (การตั้งชื่อ โฟลเดอร์ การนําการเชื่อมต่อกลับมาใช้ใหม่) ที่สคริปต์การแปลงและเครื่องมือของคู่ค้าของคุณสามารถปฏิบัติตามได้อย่างสม่ําเสมอ

การติดตั้งใน Fabric ทําได้ผ่านชนิดรายการ Azure Data Factory: นํา Azure Data Factory ของคุณมาสู่ Fabric

ใช้เครื่องมืออัปเกรด PowerShell

Microsoft เสนอยูทิลิตี้การโยกย้าย ADF-to-Fabric ในโมดูล Azure PowerShell เมื่อคุณใช้โมดูล คุณสามารถแปลชุดย่อยขนาดใหญ่ของ ADF JSON (ไปป์ไลน์ กิจกรรม พารามิเตอร์) เป็นคําจํากัดความแบบ Fabric-native ทําให้คุณมีจุดเริ่มต้นที่รวดเร็ว คาดหวังความครอบคลุมที่แข็งแกร่งสําหรับรูปแบบ การคัดลอก/การค้นหา/กระบวนงานที่เก็บไว้ และโฟลว์การควบคุม พร้อมการติดตามผลด้วยตนเองสําหรับกรณีขอบ (ตัวเชื่อมต่อแบบกําหนดเอง นิพจน์ที่ซับซ้อน โครงสร้างโฟลว์ข้อมูลบางอย่าง) ปฏิบัติต่อเอาต์พุตสคริปต์เป็น นั่งร้าน: เรียกใช้เป็นชุด บังคับใช้การตรวจสอบสไตล์โค้ด/เส้นบรรทัด จากนั้นแนบการเชื่อมต่อและแก้ไขคุณสมบัติที่ไม่ตรงกัน สร้างสิ่งนี้ในการเรียกใช้ CI ที่ทําซ้ําได้ เพื่อให้คุณสามารถทําซ้ําได้ในขณะที่คุณเรียนรู้ แทนที่จะแก้ไขไปป์ไลน์ทุกรายการด้วยมือ

สําหรับคําแนะนําฉบับเต็ม โปรดดู การโยกย้าย PowerShell สําหรับบทช่วยสอนโดยละเอียดพร้อมตัวอย่าง โปรดดูบทช่วยสอนการโยกย้าย PowerShell

การโยกย้ายแบบแมนวล

การโยกย้ายด้วยตนเองเป็นสิ่งจําเป็นสําหรับไปป์ไลน์ที่ซับซ้อนที่มีความเท่าเทียมกันต่ํา แต่ก็เป็นโอกาสในการปรับปรุงสถาปัตยกรรมของคุณให้ทันสมัยและนําคุณสมบัติแบบบูรณาการของ Fabric มาใช้ เส้นทางนี้ต้องมีการวางแผนและพัฒนาล่วงหน้ามากขึ้น แต่สามารถให้ประโยชน์ในระยะยาวในด้านการบํารุงรักษา ประสิทธิภาพ และต้นทุน

หากต้องการย้ายข้อมูลอย่างมีประสิทธิภาพ ให้พิจารณาขั้นตอนเหล่านี้

1. ประเมินและสินค้าคงคลัง: จัดทําแค็ตตาล็อกสินทรัพย์ ADF ทั้งหมด รวมถึงไปป์ไลน์ ชุดข้อมูล บริการที่เชื่อมโยง และรันไทม์การรวม ระบุการขึ้นต่อกันและรูปแบบการใช้งาน
2. ระบุรายการที่ซ้ํากันและไม่ได้ใช้: ล้างรายการที่ไม่ได้ใช้หรือซ้ําซ้อนใน ADF เพื่อปรับปรุงการย้ายข้อมูลและสภาพแวดล้อมการรวมข้อมูลของคุณ
3. ระบุช่องว่าง: ใช้ เครื่องมือประเมินการย้ายข้อมูล และตรวจสอบ ความเท่าเทียมกันของตัวเชื่อมต่อ และความ เท่าเทียมกันของกิจกรรม เพื่อระบุช่องว่างระหว่างไปป์ไลน์ ADF และไปป์ไลน์ Fabric และวางแผนสําหรับทางเลือกอื่น
4. ตรวจสอบคุณสมบัติใหม่: ใช้ คู่มือการตัดสินใจในการย้ายข้อมูล และ คู่มือการตัดสินใจในการรวมข้อมูล เพื่อตัดสินใจว่าเครื่องมือ Fabric ใดจะเหมาะกับความต้องการของคุณมากที่สุด
5. แผน: ตรวจสอบ แนวทางปฏิบัติที่ดีที่สุดสําหรับการย้ายข้อมูล สําหรับข้อควรพิจารณาสําหรับแต่ละรายการของคุณ และแนวทางในการใช้ประโยชน์สูงสุดจากความสามารถที่ได้รับการปรับปรุงของ Fabric
6. การเปลี่ยน ADF: พิจารณา เพิ่ม Azure Data Factory itemin Microsoft Fabric เป็นขั้นตอนแรกในการโยกย้าย ซึ่งช่วยให้สามารถเปลี่ยนทีละน้อยในแพลตฟอร์มเดียว
7. จัดลําดับความสําคัญ: จัดอันดับไปป์ไลน์ของคุณตามผลกระทบทางธุรกิจ ความซับซ้อน และความสะดวกในการย้ายข้อมูล
8. ทําให้เป็นอัตโนมัติในที่ที่คุณสามารถทําได้: สําหรับไปป์ไลน์ที่มีความซับซ้อนต่ําทั้งหมด ให้พิจารณาใช้ เครื่องมืออัปเกรด PowerShell เพื่อทําให้การโยกย้ายบางส่วนเป็นไปโดยอัตโนมัติ
9. พิจารณาการใช้เครื่องมือ: ใช้เครื่องมือเหล่านี้เพื่อทําให้การพักผ่อนหย่อนใจง่ายขึ้น:
   • ใช้ เทมเพลต Fabric เป็นจุดเริ่มต้นสําหรับไปป์ไลน์ที่มีสถานการณ์การรวมข้อมูลทั่วไป
   • ใช้ การกําหนดพารามิเตอร์ เพื่อสร้างไปป์ไลน์ที่นํากลับมาใช้ใหม่ได้
   • ใช้ Copilot ใน Fabric Data Factory เพื่อช่วยในการสร้างไปป์ไลน์
   • ใช้ ไปป์ไลน์การปรับใช้สําหรับ CI/CD และการควบคุมเวอร์ชัน
10. การโยกย้ายด้วยตนเอง: สําหรับสถานการณ์ที่ไม่รองรับโดยวิธีการโยกย้ายอื่นๆ ให้สร้างใหม่ใน Fabric:
    1. สร้างการเชื่อมต่อใหม่: ตั้งค่า การเชื่อมต่อ ใน Fabric เพื่อแทนที่บริการที่เชื่อมโยงใน ADF
    2. สร้างกิจกรรมใหม่: ตั้งค่า กิจกรรม ของคุณในไปป์ไลน์ แทนที่ กิจกรรมที่ไม่รองรับ ด้วยทางเลือก Fabric หรือใช้กิจกรรมไปป์ไลน์เรียกใช้
    3. กําหนดเวลาและตั้งค่าทริกเกอร์: สร้างกําหนดการและทริกเกอร์เหตุการณ์ใหม่ใน Fabric เพื่อให้ตรงกับกําหนดการ ADF ของคุณ
11. ทดสอบอย่างละเอียด: ตรวจสอบไปป์ไลน์ที่ย้ายกับผลลัพธ์ที่คาดหวัง เกณฑ์มาตรฐานประสิทธิภาพ และข้อกําหนดการปฏิบัติตามข้อกําหนด

ตัวอย่างสถานการณ์การโยกย้าย

การย้ายจาก ADF ไปยัง Fabric อาจเกี่ยวข้องกับกลยุทธ์ที่แตกต่างกันไปตามกรณีการใช้งานของคุณ ส่วนนี้สรุปเส้นทางการโยกย้ายทั่วไปและข้อควรพิจารณาเพื่อช่วยให้คุณวางแผนได้อย่างมีประสิทธิภาพ

• สถานการณ์สมมติที่ 1: ไปป์ไลน์ ADF และโฟลว์ข้อมูล
• สถานการณ์ที่ 2: ADF ที่มี CDC, SSIS และ Airflow
• สถานการณ์สมมติที่ 3: การโยกย้าย PowerShell
• สถานการณ์สมมติที่ 4: รายการ ADF ในพื้นที่ทํางาน Fabric

สถานการณ์สมมติที่ 1: ไปป์ไลน์ ADF และโฟลว์ข้อมูล

ปรับปรุงสภาพแวดล้อม ETL ของคุณให้ทันสมัยโดยการย้ายไปป์ไลน์และโฟลว์ข้อมูลไปยัง Fabric วางแผนสําหรับองค์ประกอบเหล่านี้:

• สร้างบริการที่เชื่อมโยงใหม่เป็นการเชื่อมต่อ
• กําหนดคุณสมบัติของชุดข้อมูลแบบอินไลน์ในกิจกรรมไปป์ไลน์
• แทนที่ SHIR (รันไทม์การรวมที่โฮสต์เอง) ด้วย OPDG (เกตเวย์ข้อมูลภายในองค์กร) และ VNet IR ด้วยเกตเวย์ข้อมูลเครือข่ายเสมือน
• สร้างกิจกรรม ADF ที่ไม่ได้รับการสนับสนุนใหม่โดยใช้ทางเลือก Fabric หรือกิจกรรมเรียกใช้ไปป์ไลน์ กิจกรรมที่ไม่รองรับ ได้แก่
  • Data Lake Analytics (U-SQL) ซึ่งเป็นบริการ Azure ที่เลิกใช้แล้ว
  • กิจกรรมการตรวจสอบความถูกต้อง ซึ่งสามารถสร้างใหม่ได้โดยใช้ Get Metadata, ไปป์ไลน์ลูป และกิจกรรม If
  • Power Query ซึ่งรวมเข้ากับ Fabric อย่างสมบูรณ์เป็นกระแสข้อมูลที่สามารถใช้โค้ด M ซ้ําได้
  • กิจกรรม Notebook, Jar และ Python สามารถแทนที่ด้วยกิจกรรม Databricks ใน Fabric
  • กิจกรรม Hive, Pig, MapReduce, Spark และ Streaming สามารถแทนที่ด้วยกิจกรรม HDInsight ใน Fabric ได้

ตัวอย่างเช่น นี่คือหน้าการกําหนดค่าชุดข้อมูล ADF พร้อมเส้นทางไฟล์และการตั้งค่าการบีบอัด:

และนี่คือกิจกรรมการคัดลอกสําหรับ Data Factory ใน Fabric ซึ่งการบีบอัดและเส้นทางไฟล์เป็นแบบอินไลน์ในกิจกรรม:

สถานการณ์ที่ 2: ADF ที่มี CDC, SSIS และ Airflow

สร้าง CDC ใหม่เป็น คัดลอกรายการงาน สําหรับ Airflow ให้คัดลอก DAG ของคุณลงในข้อเสนอ Apache Airflow ของ Fabric เรียกใช้แพคเกจ SSIS โดยใช้ไปป์ไลน์ ADF และเรียกใช้จาก Fabric

สถานการณ์สมมติที่ 3: การโยกย้าย PowerShell

ใช้โมดูล Microsoft.FabricPipelineUpgrade PowerShell เพื่อโยกย้ายไปป์ไลน์ Azure Data Factory ของคุณไปยัง Fabric วิธีนี้ใช้ได้ดีสําหรับการโยกย้ายไปป์ไลน์ กิจกรรม และพารามิเตอร์ตามขนาดโดยอัตโนมัติ โมดูล PowerShell แปลชุดย่อยขนาดใหญ่ของ ADF JSON เป็นคําจํากัดความแบบ Fabric-native ซึ่งเป็นจุดเริ่มต้นที่รวดเร็วสําหรับการย้ายข้อมูล

สําหรับคําแนะนําโดยละเอียด โปรดดูบทช่วยสอนการโยกย้าย PowerShell

สถานการณ์สมมติที่ 4: รายการ ADF ในพื้นที่ทํางาน Fabric

คุณสามารถเพิ่มโรงงาน ADF ทั้งหมดในพื้นที่ทํางาน Fabric เป็นรายการดั้งเดิมได้ วิธีนี้ช่วยให้คุณจัดการโรงงาน ADF ควบคู่ไปกับสิ่งประดิษฐ์ Fabric ภายในอินเทอร์เฟซเดียวกัน ADF UI ยังคงสามารถเข้าถึงได้อย่างเต็มที่ ช่วยให้คุณสามารถตรวจสอบ จัดการ และแก้ไขรายการโรงงาน ADF ได้โดยตรงจากพื้นที่ทํางาน Fabric อย่างไรก็ตาม การดําเนินการของไปป์ไลน์ กิจกรรม และรันไทม์การรวมยังคงเกิดขึ้นภายในทรัพยากร Azure ของคุณ

คุณลักษณะนี้มีประโยชน์สําหรับองค์กรที่เปลี่ยนไปใช้ Fabric เนื่องจากให้มุมมองแบบรวมของทั้งทรัพยากร ADF และ Fabric ซึ่งช่วยลดความยุ่งยากในการจัดการและการวางแผนสําหรับการย้ายข้อมูล

สําหรับข้อมูลเพิ่มเติม โปรดดู นํา Azure Data Factory ของคุณเข้าสู่ Fabric

เนื้อหาที่เกี่ยวข้อง

• แนวทางปฏิบัติที่ดีที่สุดสําหรับการย้ายข้อมูล
• การเปรียบเทียบตัวเชื่อมต่อระหว่าง ADF และ Fabric Data Factory