การวางแผนย้ายข้อมูล: Azure Synapse Analytics พูล SQL เฉพาะเพื่อ Fabric คลังข้อมูล

นําไปใช้กับ: < / c0 >< c1 / >คลังสินค้าใน Microsoft Fabric

บทความนี้อธิบายกลยุทธ์ ข้อควรพิจารณา และวิธีการย้ายจากพูล SQL เฉพาะทาง Azure Synapse Analytics ไปยัง Microsoft Fabric คลังข้อมูล

Tip

ใช้ Fabric Migration Assistant for คลังข้อมูล เพื่อประสบการณ์การย้ายข้อมูลอัตโนมัติจากพูล SQL เฉพาะ Azure Synapse Analytics บทความนี้ประกอบด้วยข้อมูลเชิงกลยุทธ์และการวางแผนที่สําคัญ

บทนําการโยกย้าย

Microsoft Fabric เป็นโซลูชันการวิเคราะห์ SaaS แบบครบวงจรสําหรับองค์กร บริษัทมีบริการครบวงจร เช่น Data Factory, Data Engineering, Data Warehousing, Data Science, Real-Time Intelligence และ Power BI

บทความนี้อธิบายตัวเลือกสําหรับสคีมา (DDL), โค้ดฐานข้อมูล (DML) และการย้ายข้อมูล พร้อมช่วยคุณเลือกตัวเลือกสําหรับสถานการณ์ของคุณ ใช้มาตรฐานอุตสาหกรรม TPC-DS สําหรับการแสดงประกอบและการทดสอบประสิทธิภาพ ผลลัพธ์ของคุณอาจแตกต่างกันขึ้นอยู่กับปัจจัยต่าง ๆ เช่น ชนิดข้อมูล ความกว้างของตาราง และความหน่วงของแหล่งที่มา

เตรียมพร้อมสําหรับการโยกย้าย

วางแผนโครงการย้ายข้อมูลของคุณอย่างรอบคอบก่อนเริ่ม และตรวจสอบให้แน่ใจว่าสคีมา โค้ด และข้อมูลของคุณเข้ากันได้กับ Fabric คลังข้อมูล ลองพิจารณาข้อจํากัด ประเมินปริมาณงานที่จําเป็นในการรีแฟกเตอร์รายการที่ไม่เข้ากันและทรัพยากรอื่น ๆ ที่จําเป็นสําหรับการย้ายข้อมูล

เป้าหมายสําคัญอีกประการหนึ่งของการวางแผนคือการปรับการออกแบบให้โซลูชันของคุณใช้ประโยชน์จากประสิทธิภาพของการสืบค้น Fabric คลังข้อมูล อย่างเต็มที่ การออกแบบคลังข้อมูลสําหรับมาตราส่วนแนะนํารูปแบบการออกแบบที่ไม่ซ้ํากัน ดังนั้นวิธีดั้งเดิมจึงไม่ได้ดีที่สุดเสมอไป ตรวจสอบแนวทางการทํางาน แม้ว่าคุณจะสามารถปรับแต่งการออกแบบได้บ้างหลังการย้ายข้อมูล แต่การเปลี่ยนแปลงก่อนหน้าจะช่วยประหยัดเวลาและความพยายาม การย้ายจากเทคโนโลยีหรือสภาพแวดล้อมหนึ่งไปยังอีกสภาพแวดล้อมหนึ่งเป็นความพยายามครั้งใหญ่เสมอ

แผนภาพต่อไปนี้แสดงวงจรชีวิตการย้ายข้อมูลและงานที่เกี่ยวข้องกับเสาหลักทั้งห้า ได้แก่ การประเมินและประเมินผล การวางแผนและออกแบบ การย้ายข้อมูลการติดตามและกํากับดูแล และการเพิ่มประสิทธิภาพและปรับปรุงให้ทันสมัย

แผนภาพวงจรชีวิตการย้ายข้อมูล รวมถึงการประเมินและประเมินผล วางแผนและออกแบบ ย้ายข้อมูล ตรวจสอบและกํากับดูแล และปรับปรุงและทันสมัย

Runbook สําหรับการโยกย้าย

พิจารณากิจกรรมต่อไปนี้เป็นรันบุ๊กการวางแผนสําหรับการโยกย้ายของคุณจากพูล SQL เฉพาะของ Synapse ไปยัง Fabric คลังข้อมูล

  1. ประเมินและประเมิน
    1. ระบุวัตถุประสงค์และแรงจูงใจ สร้างผลลัพธ์ที่ชัดเจนตามที่ต้องการ
    2. ค้นหา ประเมิน และกําหนดมาตรฐานสถาปัตยกรรมที่มีอยู่
    3. ระบุผู้ถือผลประโยชน์ร่วมและผู้สนับสนุนหลัก
    4. กําหนดขอบเขตของสิ่งที่ต้องย้าย
      1. เริ่มต้นจากสิ่งเล็ก ๆ เรียบง่าย และเตรียมรับมือกับการย้ายข้อมูลเล็ก ๆ หลายครั้ง
      2. เริ่มต้นการตรวจสอบและจัดทําเอกสารลําดับขั้นทั้งหมดของกระบวนการ
      3. สร้างฐานข้อมูลและกระบวนการสําหรับการย้ายข้อมูล
      4. กําหนดการเปลี่ยนแปลงของโมเดลข้อมูล หากมี
      5. ตั้งค่าพื้นที่ทํางาน Fabric
    5. ประเมินทักษะและความชอบของทีมคุณ
      1. ทํางานโดยอัตโนมัติได้ทุกที่ที่เป็นไปได้
      2. ใช้เครื่องมือและคุณลักษณะที่มีอยู่ภายใน Azure เพื่อลดความพยายามในการโยกย้าย
    6. ฝึกอบรมพนักงานก่อนเวลาบนแพลตฟอร์มใหม่
      1. ระบุความต้องการที่เพิ่มขึ้นและสินทรัพย์การฝึกอบรม รวมถึง Microsoft Learn
  2. การวางแผนและการออกแบบ
    1. กําหนดสถาปัตยกรรมที่ต้องการ
    2. เลือก วิธีการและเครื่องมือสําหรับการย้ายข้อมูล เพื่อดําเนินการดังต่อไปนี้:
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลงสคีมา (DDL) รวมถึงเมตาดาต้าสําหรับตารางและมุมมอง
      3. การนําเข้าข้อมูล รวมถึงข้อมูลในอดีต
        1. หากจําเป็น ให้ออกแบบโมเดลข้อมูลใหม่โดยใช้ประสิทธิภาพและความสามารถในการขยายแพลตฟอร์มใหม่
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
        1. โยกย้ายหรือปรับโครงสร้างขั้นตอนการจัดเก็บและกระบวนการทางธุรกิจใหม่
    3. สินค้าคงคลังและแยกคุณลักษณะการรักษาความปลอดภัยและสิทธิ์ของวัตถุจากแหล่งข้อมูล
    4. ออกแบบและวางแผนเพื่อทดแทนหรือปรับปรุงกระบวนการ ETL/ELT ที่มีอยู่สําหรับภาระงานแบบเพิ่มขึ้น
      1. สร้างกระบวนการ ETL/ELT แบบขนานไปยังสภาพแวดล้อมใหม่
    5. เตรียมแผนการย้ายข้อมูลโดยละเอียด
      1. แมปสถานะปัจจุบันไปยังสถานะที่ต้องการ
  3. อพยพ
    1. ดําเนินการย้ายสคีมา ข้อมูล และโค้ด
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลงสคีมา (DDL)
      3. การนำเข้าข้อมูล
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
    2. หากจําเป็น ให้ปรับมาตราส่วนทรัพยากรพูล SQL เฉพาะเพื่อช่วยความเร็วในการโยกย้ายชั่วคราว
    3. ใช้ความปลอดภัยและสิทธิ์
    4. โยกย้ายกระบวนการ ETL/ELT ที่มีอยู่สําหรับการโหลดแบบเพิ่มหน่วย
      1. โยกย้ายหรือปรับโครงสร้างกระบวนการโหลด ETL/ELT แบบเพิ่มหน่วย
      2. ทดสอบและเปรียบเทียบกระบวนการโหลดแบบเพิ่มขนาน
    5. ปรับแผนการย้ายข้อมูลโดยละเอียดตามความจําเป็น
  4. การตรวจสอบและกํากับดูแล
    1. รันแบบขนาน และเปรียบเทียบกับสภาพแวดล้อมต้นทางของคุณ
      1. ทดสอบแอปพลิเคชัน แพลตฟอร์มข่าวกรองธุรกิจ และเครื่องมือคิวรี
      2. Benchmark และปรับประสิทธิภาพคิวรีให้เหมาะสม
      3. ตรวจสอบและจัดการค่าใช้จ่าย ความปลอดภัย และประสิทธิภาพการทํางาน
    2. ดําเนินการเปรียบเทียบและประเมินผลการกํากับดูแล
  5. ปรับให้เหมาะสมและปรับให้ทันสมัย
    1. เมื่อธุรกิจมีความสะดวก แอปพลิเคชันการเปลี่ยนแปลงและแพลตฟอร์มการรายงานหลักไปยัง Fabric
      1. ปรับขนาดทรัพยากรขึ้นหรือลดตามการเปลี่ยนแปลงของภาระงานจาก Azure Synapse Analytics ไปยัง Microsoft Fabric
      2. สร้างเทมเพลตที่ทําซ้ําได้จากประสบการณ์สําหรับการโยกย้ายในอนาคต วนซ้ำ
      3. ระบุโอกาสในการเพิ่มประสิทธิภาพต้นทุน ความปลอดภัย ความสามารถในการขยาย และความเป็นเลิศในการดําเนินงาน
      4. ระบุโอกาสในการปรับปรุงอสังหาริมทรัพย์ของคุณให้ทันสมัยด้วย คุณลักษณะ Fabric ล่าสุด

ยกแล้วเปลี่ยนเกียร์ หรือปรับปรุงให้ทันสมัยดี?

โดยทั่วไปแล้ว มีสถานการณ์การโยกย้ายข้อมูลสองประเภทโดยไม่คํานึงถึงวัตถุประสงค์และขอบเขตของการย้ายที่วางแผนไว้: การยกและเปลี่ยนตามที่เป็น หรือวิธีการแบบเป็นระยะที่รวมการเปลี่ยนแปลงสถาปัตยกรรมและรหัส

ลิฟท์และกะ

ในการย้ายแบบลิฟต์และชิฟต์ คุณจะย้ายโมเดลข้อมูลที่มีอยู่โดยมีการเปลี่ยนแปลงเล็กน้อยไปยัง Fabric คลังข้อมูล ใหม่ วิธีการนี้จะลดความเสี่ยงและเวลาการโยกย้ายข้อมูลโดยลดการทํางานใหม่ที่จําเป็นในการตระหนักถึงประโยชน์ของการโยกย้ายข้อมูล

การโยกย้ายแบบยกและเลื่อนนั้นเหมาะสมสําหรับสถานการณ์เหล่านี้:

  • คุณมีสภาพแวดล้อมที่มีอยู่พร้อมคลังสินค้าจํานวนน้อยที่จะโยกย้าย
  • คุณมีสภาพแวดล้อมที่มีข้อมูลที่อยู่ในโครงสร้างแบบดาวหรือแบบจําลองแบบจําลองที่ออกแบบมาอย่างดีแล้ว
  • คุณอยู่ภายใต้แรงกดดันด้านเวลาและต้นทุนในการย้ายไปยัง Fabric คลังข้อมูล

สรุปแล้ว วิธีนี้ใช้ได้ดีสําหรับงานที่ปรับแต่งให้เหมาะกับสภาพแวดล้อม SQL pool เฉพาะของ Azure Synapse ปัจจุบัน และไม่จําเป็นต้องเปลี่ยนแปลง Fabric มากนัก

ปรับให้ทันสมัยด้วยวิธีการแบบเป็นระยะ ๆ ด้วยการเปลี่ยนแปลงทางสถาปัตยกรรม

หากคลังข้อมูลเก่าพัฒนามาเป็นเวลานาน คุณอาจต้องออกแบบใหม่เพื่อรักษาระดับประสิทธิภาพที่ต้องการ

คุณอาจต้องการออกแบบสถาปัตยกรรมใหม่เพื่อใช้ประโยชน์จากเอนจินและฟีเจอร์ใหม่ที่มีใน Fabric workspace

ความแตกต่างของการออกแบบ: พูล SQL เฉพาะของ Synapse และ Fabric คลังข้อมูล

พิจารณาความแตกต่างของคลังข้อมูล Azure Synapse และ Microsoft Fabric ต่อไปนี้ โดยเปรียบเทียบพูล SQL เฉพาะกับ Fabric คลังข้อมูล

ข้อควรพิจารณาของตาราง

เมื่อคุณย้ายตารางระหว่างสภาพแวดล้อมที่แตกต่างกัน โดยทั่วไปแล้วเฉพาะข้อมูลดิบและการโยกย้ายเมตาดาต้าจริง โดยปกติคุณจะไม่ย้ายองค์ประกอบฐานข้อมูลอื่น ๆ จากระบบต้นทาง เช่น ดัชนี เพราะอาจไม่จําเป็นหรือถูกนําไปใช้ในสภาพแวดล้อมใหม่แตกต่างกัน

การเพิ่มประสิทธิภาพในสภาพแวดล้อมต้นทาง เช่น ดัชนี จะระบุว่าคุณอาจต้องการการปรับแต่งในส่วนใดในสภาพแวดล้อมใหม่ Fabric จัดการการปรับแต่งเหล่านี้โดยอัตโนมัติ

ข้อควรพิจารณาของ T-SQL

มีความแตกต่างทางไวยากรณ์หลายประการในภาษาการจัดการข้อมูล (DML) ที่ควรพิจารณา ตรวจสอบพื้นที่ผิวหน้า T-SQL ใน Fabric คลังข้อมูล และทําการประเมินโค้ดเมื่อคุณเลือกวิธีการย้ายโค้ดฐานข้อมูล

คุณอาจจําเป็นต้องเขียนส่วนต่างๆ ของรหัส T-SQL DML ของคุณใหม่ ทั้งนี้ขึ้นอยู่กับความแตกต่างของพาริตีในช่วงเวลาของการโยกย้าย

ความแตกต่างในการแมปชนิดข้อมูล

Fabric คลังข้อมูล มีความแตกต่างหลายประการของชนิดข้อมูลเมื่อเทียบกับพูล SQL เฉพาะทาง Azure Synapse Analytics กลุ่ม สําหรับข้อมูลเพิ่มเติม ดูชนิดข้อมูลใน Microsoft Fabric

ตารางต่อไปนี้แสดงการแมปประเภทข้อมูลที่รองรับจากพูล SQL เฉพาะทาง Azure Synapse ไปยัง Fabric คลังข้อมูล

พูล SQL เฉพาะ Synapse คลังข้อมูล ผ้า
เงิน ทศนิยม(19,4)
เงินสมอลมันนี่ ทศนิยม(10,4)
Small วันที่เวลา วันที่และเวลา 2
วันที่และเวลา วันที่และเวลา 2
เอ็นชาร์ เผา
นวาร์ชาร์ วาร์ชาร์
tinyint smallint
ไบ นารี varbinary
วันที่เวลาออฟเซ็ต* วันที่และเวลา 2

* Datetime2 จะไม่เก็บข้อมูลออฟเซ็ตโซนเวลาพิเศษที่ datetimeoffset เก็บไว้ เนื่องจาก Fabric คลังข้อมูล ยังไม่รองรับชนิดข้อมูล datetimeoffset คุณจึงต้องดึงข้อมูลเขตเวลาออกเป็นคอลัมน์แยกต่างหาก

Tip

พร้อมที่จะโยกย้ายหรือไม่

หากต้องการเริ่มต้นใช้งานด้วยประสบการณ์การโยกย้ายอัตโนมัติ โปรดดู ผู้ช่วยการโยกย้าย Fabric สําหรับ คลังข้อมูล

สําหรับขั้นตอนและรายละเอียดการย้ายข้อมูลด้วยตนเองเพิ่มเติม โปรดดูวิธีการย้ายสําหรับพูล SQL เฉพาะ Azure Synapse Analytics ที่ Fabric คลังข้อมูล

เนื้อหาที่เกี่ยวข้อง

  • อัปเดตล่าสุดเมื่อ