การวางแผนย้ายข้อมูล: Teradata ถึง Fabric คลังข้อมูล

นําไปใช้กับ: < / c0 >< c1 / >คลังสินค้าใน Microsoft Fabric

การย้าย Enterprise Teradata estate ไปยัง Fabric คลังข้อมูล นั้นมีมากกว่าการถ่ายโอนสคีมาและการถ่ายโอนข้อมูล วางแผนสําหรับโค้ด SQL และ BTEQ การโหลดกระบวนการ ความปลอดภัย รายงาน การดําเนินงาน และประสิทธิภาพ

บทความนี้จัดงานออกเป็นห้าขั้นตอน ใช้แต่ละขั้นตอนเป็นคู่มือที่ทําซ้ําได้สําหรับแต่ละคลื่นการย้ายถิ่น สําหรับการใช้งานที่แนะนํา ดูที่ วิธีการย้ายข้อมูลสําหรับ Teradata สําหรับการแก้ไขโค้ด ดูที่ Translate Teradata SQL for Fabric คลังข้อมูล

Important

ยืนยันข้อจํากัด Fabric คลังข้อมูล ปัจจุบันและพื้นที่ผิวของ T-SQL ก่อนแต่ละคลื่นการย้ายข้อมูล กําหนดเจ้าของและแผนการแก้ไขสําหรับความแตกต่างของการบล็อกแต่ละจุด

ใช้การปรับปรุงแบบเลือกปฏิบัติสําหรับงานส่วนใหญ่:

  • รักษารูปแบบธุรกิจและตรรกะที่ผ่านการตรวจสอบแล้ว
  • ใช้ Migration Assistant เพื่อแปลและปรับใช้เมตาดาต้าที่รองรับ
  • แทนที่ SQL, ยูทิลิตี้ และการดําเนินงานเฉพาะของ Teradata ด้วยแพทเทิร์นที่เป็น Fabric native
  • ออกแบบเฉพาะงานที่ถูกบล็อกโดยการพึ่งพาที่ไม่รองรับหรือปัญหาสถาปัตยกรรมที่มีอยู่เท่านั้น

ย้ายข้อมูลเป็นระลอกตามโดเมนธุรกิจ, data mart หรือคลัสเตอร์งาน หลีกเลี่ยงการย้ายครั้งใหญ่ครั้งเดียว

ประเมินและประเมินผล

ประเมินเวิร์กสตรีมเหล่านี้ร่วมกันเพื่อไม่ให้พลาดความสัมพันธ์ที่ขึ้นต่อกัน:

กระบวนการทำงาน ประเมิน
การออกแบบและประสิทธิภาพ โมเดลข้อมูล ปริมาณ การเติบโต ความเอียง ความกว้างของตาราง ความพร้อมกัน เวลารัน และวัตถุประสงค์ของบริการ
ETL และการโหลด FastLoad, MultiLoad, Teradata Parallel Transporter, การนําเข้า/ส่งออก BTEQ, การตั้งเวลา, พฤติกรรมการรีสตาร์ท และการโหลดแบบเพิ่มทีละน้อย
ความปลอดภัยและการปฏิบัติการ ผู้ใช้ บทบาท สิทธิ์ บัญชีบริการ การตรวจสอบ การกู้คืน การตรวจสอบ และการเป็นเจ้าของการสนับสนุน
การแสดงผลและรายงาน รายงาน, โมเดลเชิงความหมาย, แอปพลิเคชัน, การส่งออก, ตารางรีเฟรช และการพึ่งพาการเชื่อมต่อ
ความเข้ากันได้ของ SQL ตาราง, วิว, แมโคร, ขั้นตอน, ฟังก์ชัน, ชนิดข้อมูล, QUALIFYตาราง PERIODที่เปลี่ยนแปลงได้ , และกระบวนการควบคุม BTEQ
เครื่องมือการย้ายข้อมูล การสกัดเมตาดาต้า, ความพร้อมของ Migration Assistant, การเคลื่อนย้ายข้อมูล, การควบคุมซอร์สโค้ด และระบบอัตโนมัติในการติดตั้ง
นอกเหนือจากการย้ายถิ่นฐาน การคัดแปลง การย้อนกลับ การเพิ่มประสิทธิภาพ การฝึกอบรม การปลดระวาง และแนวปฏิบัติที่นํากลับมาใช้ใหม่สําหรับคลื่นถัดไป

กําหนดผลลัพธ์ทางธุรกิจ ขอบเขต เจ้าของ ตัวชี้วัดความสําเร็จ และความคาดหวังในการย้อนกลับ สร้างรายการวัตถุ แผนที่การพึ่งพา ค่าพื้นฐานภาระงาน รีจิสเตอร์ความเข้ากันได้ และแผนผังคลื่น

การวางแผนและออกแบบ

เปลี่ยนการประเมินให้เป็นการออกแบบที่สามารถดําเนินการได้:

  1. ยืนยันคลังสินค้าเป็นเป้าหมายสําหรับการวิเคราะห์เชิงสัมพันธ์ที่เน้น SQL
  2. กําหนดพื้นที่ทํางานสําหรับการพัฒนา การทดสอบ และการผลิต ความจุ การตั้งชื่อ และการเป็นเจ้าของ
  3. แมปวัตถุและชนิดข้อมูลของ Teradata ไปยังเป้าหมาย Fabric บันทึกรายการที่ไม่รองรับและทางเลือกที่ได้รับการอนุมัติ ใช้ Migration Assistant สําหรับการแปลเมตาดาต้า
  4. ออกแบบการเคลื่อนย้ายข้อมูลย้อนหลังและข้อมูลเพิ่มแยกกัน
  5. ออกแบบการเข้าถึงใหม่เกี่ยวกับ Microsoft Entra ID, บทบาท workspace, สิทธิ์รายการ และสิทธิ์ SQL ของ Warehouse
  6. กําหนดเกณฑ์การปรับใช้ การตรวจสอบความถูกต้อง การตัดต่อ และการย้อนกลับ

สนับสนุนโมเดลมิติ การโหลดแบบกลุ่ม ELT แบบโมดูลาร์ และการนํากลับมาใช้ใหม่แบบควบคุมผ่าน OneLake ในการออกแบบเป้าหมาย

อพยพ

ดําเนินการแต่ละคลื่นตามลําดับนี้:

  1. จัดเตรียมพื้นที่ทํางานเป้าหมาย ตัวตน การเชื่อมต่อ และเส้นทางการปรับใช้
  2. อัปโหลดไฟล์ SQL ที่แตกออกมาจาก Teradata ไปยัง Migration Assistant แปลเมตาดาต้า และแก้ไขวัตถุที่ต้องการการดูแล
  3. คัดลอกชุดข้อมูลตัวอย่างและตรวจสอบอัตราการส่งข้อมูล การแมป ข้อผิดพลาด และพฤติกรรมการรีสตาร์ท
  4. ดําเนินการโหลดข้อมูลย้อนหลังให้เสร็จสมบูรณ์และตั้งค่าการซิงโครไนซ์แบบเพิ่มทีละน้อยเมื่อจําเป็น
  5. สร้างกระบวนการรักษาความปลอดภัยและการดําเนินงานใหม่
  6. ตรวจสอบข้อมูล พฤติกรรม SQL รายงาน แอปพลิเคชัน และประสิทธิภาพที่เป็นตัวแทน
  7. เปลี่ยนเส้นทางการเชื่อมต่อและตัดเส้นทางหลังจากผ่านเกณฑ์การยอมรับ

อย่าใช้ความสําเร็จในการสร้างวัตถุเป็นสัญญาณเดียวที่ทําให้เสร็จสมบูรณ์ คลื่นจะสมบูรณ์ก็ต่อเมื่อข้อมูล พฤติกรรม ความปลอดภัย การดําเนินงาน และการบริโภคในปลายทางผ่านเกณฑ์การยอมรับ

ติดตามและบริหารจัดการ

ดําเนินการซอร์สและเป้าหมายพร้อมกันในช่วงเวลาที่กําหนดโดยโปรไฟล์ความเสี่ยงของงาน

  • เปรียบเทียบความสดใหม่ของข้อมูล จํานวนแถว การรวมธุรกิจ และผลลัพธ์รายงานระหว่างสภาพแวดล้อม
  • ตรวจสอบระยะเวลาโหลด, ระยะเวลาการสืบค้น, ความล้มเหลว, การลองใหม่, การใช้ความจุ, เซสชันที่ใช้งานอยู่ และปัญหาที่ผู้ใช้รายงาน
  • ตรวจสอบการกําหนดสิทธิ์การเข้าถึง ตัวตนพิเศษ สิทธิ์คลังสินค้า และผลการทดสอบความปลอดภัย
  • เก็บโค้ดที่แปลแล้ว ทรัพย์สินสําหรับการปรับใช้ การตัดสินใจแมป หลักฐานการทดสอบ และข้อยกเว้นในซอร์สโค้ดควบคุมไว้
  • ติดตามความพร้อมในการย้ายข้อมูลตามภาระงานและประตูการยอมรับ ไม่ใช่แค่จํานวนวัตถุที่ย้ายเท่านั้น
  • บันทึกปัญหาการแปลและโหลดซ้ําเป็นแนวทางที่นํากลับมาใช้ใหม่สําหรับคลื่นถัดไป
  • กําหนดขั้นตอนการยกระดับ การกู้คืน การย้อนกลับ และการดูแลเกินปกติก่อนการย้ายการผลิต

การกํากับดูแลรวมถึงสายสืบทอด การเป็นเจ้าของ การจัดประเภท การรักษาพนักงาน การตรวจสอบบัญชี และความรับผิดชอบในการดําเนินงาน ใช้การควบคุมเหล่านี้ในระหว่างการย้ายข้อมูล ไม่ใช่หลังจากการย้ายขั้นสุดท้าย

ปรับปรุงและทันสมัย

หลังจากที่คุณยืนยันความถูกต้องและความเสถียรแล้ว ให้ลบรูปแบบความเข้ากันได้ชั่วคราวและใช้ความสามารถที่เป็นของ Fabric native

  • รีแฟกเตอร์การแปล SQL แบบตัวอักษรให้เป็น T-SQL แบบโมดูลาร์
  • ทําให้มุมมองที่ซ้อนกันลึกและงานกระบวนการที่เป็นโมโนลิธิกง่ายขึ้น
  • มาตรฐานการนําเข้าข้อมูลความเร็วสูงบนรูปแบบไฟล์ที่มีประสิทธิภาพและสามารถเริ่มใหม่ได้
  • ปรับแต่งโดยใช้แนวทางประสิทธิภาพ Fabric คลังข้อมูล และการทดสอบความพร้อมกันที่เป็นตัวแทน
  • ลดการคัดลอกข้อมูลที่ไม่จําเป็นโดยใช้การเข้าถึง OneLake ที่มีการควบคุมในตําแหน่งที่เหมาะสมกับสถาปัตยกรรม
  • ผสานรวม Data Factory, Power BI, โน้ตบุ๊ก และงาน Fabric อื่น ๆ ที่ช่วยลดความซ้ําซ้อนหรือความซับซ้อนในการดําเนินงาน
  • ตรวจสอบความจุ ความปลอดภัย ความน่าเชื่อถือ และต้นทุนหลังจากพฤติกรรมของงานคงที่
  • เปลี่ยนคลื่นที่เสร็จสมบูรณ์ให้เป็นเทมเพลตที่นํากลับมาใช้ใหม่ได้สําหรับโดเมนถัดไป

รายการตรวจสอบการยอมรับคลื่นการย้าย

ก่อนการสลับสัญญาณ ให้ตรวจสอบว่า:

  • รายการวัตถุและแผนที่การพึ่งพาครบถ้วนสําหรับคลื่นนี้
  • ข้อจํากัดการบล็อก T-SQL ได้รับการอนุมัติการแก้ไขแล้ว
  • สคีมาและโค้ดจะถูกนําไปใช้ซ้ําในทุกสภาพแวดล้อมเป้าหมาย
  • เส้นทางข้อมูลย้อนหลังและแบบเพิ่มทีละน้อยผ่านการทดสอบขนาดและการกู้คืน
  • การกระทบยอดข้อมูลและการตรวจสอบธุรกิจเป็นไปตามเกณฑ์ที่ตกลงกันไว้
  • ความปลอดภัยจะถูกสร้างขึ้นใหม่และตรวจสอบด้วยตัวตนตัวแทน
  • รายงาน โมเดลเชิงความหมาย แอปพลิเคชัน และงานปฏิบัติการจะผ่านการทดสอบ
  • ประสิทธิภาพและความพร้อมกันตอบสนองเป้าหมายของภาระงาน
  • การติดตามผล การเป็นเจ้าของการสนับสนุน การยกเลิก และแผนไฮเปอร์แคร์กําลังดําเนินการอยู่
  • เจ้าของธุรกิจและฝ่ายเทคนิคอนุมัติการย้ายเครื่อง