ภาพรวมของการโยกย้าย Azure Synapse Spark ไปยัง Fabric

ใช้บทความนี้เป็นจุดเริ่มต้นสําหรับการโยกย้ายปริมาณงาน Azure Synapse Spark ไปยัง Microsoft Fabric ช่วยให้คุณตัดสินใจได้ว่าจะใช้คําแนะนําใด สามารถย้ายข้อมูลได้โดยตรง และยังจําเป็นต้องมีการปรับโครงสร้างใหม่หรือการตรวจสอบความถูกต้องด้วยตนเอง

วิศวกรรมข้อมูล Fabric รองรับรายการ lakehouse, notebook, environment, Spark job definition และ pipeline การโยกย้าย Synapse Spark ส่วนใหญ่เกี่ยวข้องกับการรวมกันของการโยกย้ายรายการ การเปลี่ยนแปลงการเข้าถึงข้อมูล การโยกย้ายข้อมูลเมตา การปรับโครงสร้างโค้ด และการตรวจสอบความถูกต้องหลังการโยกย้าย

ก่อนที่คุณจะย้าย

ก่อนที่คุณจะเริ่มต้น ให้ยืนยันว่า Fabric Data Engineering เป็นปลายทางที่เหมาะสมสําหรับปริมาณงานของคุณ ตรวจสอบรันไทม์ Spark, โมเดลความปลอดภัย, โมเดลพูล, โมเดลสภาพแวดล้อม และรูปแบบการเข้าถึงข้อมูลที่การใช้งาน Synapse ปัจจุบันของคุณขึ้นอยู่กับ

เริ่มต้นด้วยบทความเหล่านี้:

หากคุณกําลังโยกย้ายพื้นที่ทํางาน Synapse ที่มีอยู่ ให้วางแผนที่จะสร้างหรือใช้พื้นที่ทํางาน Fabric ที่มีอยู่เป็นเป้าหมายการโยกย้าย บทความนี้ไม่ครอบคลุมถึงการเตรียมใช้งานพื้นที่ทํางานแบบเต็มหรือการย้ายปริมาณงานที่ไม่ใช่ Spark

คุณสามารถย้ายข้อมูลอะไรได้บ้าง

การโยกย้าย Synapse-to-Fabric มักจะครอบคลุมหลายสตรีมงาน

พื้นที่การย้ายข้อมูล ขอบเขตทั่วไป คําแนะนําเบื้องต้น
การวางแผนและการประเมินผล พูล Spark สินค้าคงคลัง สมุดบันทึก คําจํากัดความงาน Spark ฐานข้อมูลทะเลสาบ บริการที่เชื่อมโยง และตัวบล็อก ระยะที่ 1: กลยุทธ์และการวางแผนการโยกย้าย
รายการ การปรับโครงสร้างโค้ด พูล การกําหนดค่า และไลบรารี สมุดบันทึก, คําจํากัดความงาน Spark, พูล Spark, การแมปฐานข้อมูลทะเลสาบ, mssparkutils, บริการที่เชื่อมโยง, เส้นทางไฟล์, API แค็ตตาล็อก, การตรวจสอบสิทธิ์ของตัวเชื่อมต่อ, สภาพแวดล้อม, พูลแบบกําหนดเอง, คุณสมบัติ Spark, ความเข้ากันได้ของไลบรารี ระยะที่ 2: การโยกย้ายปริมาณงาน Spark
Hive Metastore และข้อมูลเมตาของทะเลสาบ ฐานข้อมูล ตาราง พาร์ติชัน ตารางที่มีการจัดการเทียบกับตารางภายนอก ระยะที่ 3: Hive Metastore และการย้ายข้อมูล
การเข้าถึงข้อมูลและไปป์ไลน์ ทางลัด OneLake, การเข้าถึง ADLS Gen2, กิจกรรมการคัดลอก, การโยกย้ายไปป์ไลน์ ย้ายข้อมูลและไปป์ไลน์
การรักษาความปลอดภัย การตรวจสอบความถูกต้อง และการเคลื่อนย้าย บทบาท การเชื่อมต่อ การกํากับดูแล การตรวจสอบ การวางแผนการเคลื่อนย้าย ระยะที่ 4: การโยกย้ายความปลอดภัยและการกํากับดูแล

เลือกเส้นทางการย้ายข้อมูล

ใช้เส้นทางที่ตรงกับเป้าหมายของคุณ

  • คุณต้องมีแผนการย้ายข้อมูลแบบ end-to-end เริ่มต้นด้วยชุดแนวทางปฏิบัติที่ดีที่สุด 4 ขั้นตอน นี่คือจุดเริ่มต้นที่ดีที่สุดสําหรับการย้ายข้อมูลการผลิตส่วนใหญ่
  • คุณต้องการย้ายรายการ Spark ที่รองรับอย่างรวดเร็ว เริ่มต้นด้วย Spark Migration Assistant แล้วใช้บทความการปรับโครงสร้างใหม่และการตรวจสอบความถูกต้องเพื่อปิดช่องว่าง
  • คุณต้องการความช่วยเหลือในด้านเดียวเท่านั้น ใช้บทความเฉพาะงานสําหรับสมุดบันทึก คําจํากัดความงาน Spark พูล ไลบรารี ข้อมูลเมตา Hive Metastore หรือการโยกย้ายข้อมูล/ไปป์ไลน์

สําหรับทีมส่วนใหญ่ วิธีที่เร็วที่สุดในการโยกย้าย Synapse Spark คือ:

  1. รีวิว เปรียบเทียบ Fabric และ Azure Synapse Spark: ความแตกต่างที่สําคัญ
  2. อ่านระยะที่ 1: กลยุทธ์และการวางแผนการย้ายข้อมูล
  3. เรียกใช้ Spark Synapse เพื่อ Fabric Spark Migration Assistant หากมี
  4. ปรับโครงสร้างสมุดบันทึก งาน Spark พูล และไลบรารีโดยใช้เฟส 2: การโยกย้ายปริมาณงาน Spark
  5. ตรวจสอบการเข้าถึงข้อมูล ข้อมูลเมตา ความปลอดภัย และความพร้อมในการเคลื่อนย้ายโดยใช้บทความแนวทางปฏิบัติที่ดีที่สุดที่เหลืออยู่

สกรีนช็อตที่แสดงสถานการณ์การโยกย้าย

การโยกย้ายจาก Synapse Spark ไปยัง Fabric มักจะเป็นกระบวนการคัดลอกและดัดแปลงมากกว่าการย้ายในสถานที่โดยตรง คุณสามารถย้ายสินทรัพย์จํานวนมากได้อย่างรวดเร็ว แต่คุณยังคงคาดหวังว่าจะตรวจสอบพฤติกรรมรันไทม์ แทนที่การผสานรวมเฉพาะของ Synapse และปรับความปลอดภัย ข้อมูลเมตา และรูปแบบการดําเนินงานให้สอดคล้องกับ Fabric

ชุดแนวทางปฏิบัติแนะนํา

ใช้ชุดแนวทางปฏิบัติแนะนําสําหรับเส้นทางการย้ายข้อมูลแบบครบวงจรที่มีโครงสร้าง

บทความการย้ายข้อมูลเฉพาะงาน

หากต้องการคําแนะนําที่ตรงเป้าหมายสําหรับงานการย้ายข้อมูลที่เฉพาะเจาะจง ให้ใช้บทความเหล่านี้

เนื้อหาที่เกี่ยวข้อง

  • Last updated on