วิธีการย้ายข้อมูลจาก Teradata ไปยัง Fabric คลังข้อมูล

นําไปใช้กับ: < / c0 >< c1 / >คลังสินค้าใน Microsoft Fabric

การย้ายข้อมูล Teradata มีสองขั้นตอนหลัก: ย้ายเมตาดาต้าด้วย Fabric Migration Assistant จากนั้นย้ายข้อมูลด้วย Copy job, pipeline Fabric หรือ COPY INTO ดําเนินการย้ายข้อมูลให้เสร็จสิ้นโดยการตรวจสอบผลลัพธ์และเปลี่ยนเส้นทางการเชื่อมต่อ

สําหรับการวางแผนโปรแกรม ดูที่ วางแผนย้ายข้อมูลจาก Teradata สําหรับไวยากรณ์และการแมปวัตถุ ดูที่ Translate Teradata SQL for Fabric คลังข้อมูล

ลำดับขั้น วิธีที่แนะนํา ผลลัพธ์
เมตาดาต้า อัปโหลดไฟล์ zip ของ Teradata .sql และ/หรือ.bteqไฟล์ไปยัง Migration Assistant วัตถุที่รองรับจะถูกแปลและสร้างใน Warehouse ใหม่
การแก้ไข ตรวจสอบวัตถุเพื่อแก้ไขและใช้การแมปที่มีเอกสารหรือคําแนะนํา คำแนะนำของ Copilot วัตถุที่จําเป็นจะถูกแก้ไขและนําไปใช้งาน
ข้อมูล ใช้ Copy job สําหรับการถ่ายโอนแบบมีคําแนะนํา;ใช้ไฟล์แบบ staged และ COPY INTO สําหรับการโหลดจํานวนมาก ข้อมูลต้นทางจะถูกโหลดและกระทบยอด
การโยกย้าย ตรวจสอบความถูกต้องของงานและเปลี่ยนเส้นทางการโหลดและรายงานการเชื่อมต่อ การใช้งานแอปพลิเคชัน Fabric คลังข้อมูล

Note

Migration Assistant แปลและเผยแพร่เมตาดาต้าและโค้ด การเคลื่อนย้ายข้อมูลจะทํางานแยกเป็นงานคัดลอกหรือขั้นตอนการนําเข้าในเวิร์กโฟลว์การย้ายข้อมูล

ข้อกําหนดเบื้องต้น

ก่อนเริ่ม เตรียมตัวให้พร้อม:

  • พื้นที่ทํางาน Fabric ที่มีความจุใช้งานจริง
  • คลังไฟล์ zip ของ .sql และ/หรือ .bteq ไฟล์ที่มีตาราง Teradata, view, procedure, function, macro และการกําหนดวัตถุที่จําเป็นอื่น ๆ
  • ทุกความสัมพันธ์ที่ขึ้นต่อกันสําหรับสคีมาในคลื่นการย้ายข้อมูล
  • ชื่อคลังสินค้าปลายทางและตัวเลือกการจัดเรียงข้อมูล
  • ระบุข้อมูลรับรองต้นทางหากคุณวางแผนจะใช้งานคัดลอกสําหรับการเคลื่อนย้ายข้อมูล

รวมคํานิยาม DDL แทนไฟล์ที่มีเพียงคําสั่งแบบสแตนด์อโลนSELECT Migration Assistant จะไม่สนใจไฟล์ที่รับเฉพาะคําค้นซึ่งไม่ได้กําหนดวัตถุ

ย้ายข้อมูลเมตาด้วย Migration Assistant

Migration Assistant รองรับ Teradata เป็นแหล่งข้อมูลและแปลงเมตาดาต้า Teradata ที่อัปโหลดเป็น T-SQL ที่รองรับ Fabric

  1. ในพื้นที่ทํางาน Fabric ของคุณ ให้เลือก ย้ายข้อมูล
  2. ภายใต้ ย้ายไปยังคลังข้อมูล ให้เลือกไทล์ต้นทาง Teradata (Preview)
  3. ในเมนู ตั้งค่าซอร์สโค้ด ให้เลือก เลือกไฟล์ (Choose file) เรียกดูไฟล์ zip ของคุณ แล้วเลือก ถัดไป
  4. ตรวจสอบวัตถุต้นทางที่ตรวจพบและเลือกสคีมาหรือวัตถุแต่ละรายการสําหรับคลื่นการย้ายนี้
    • เมื่อคุณเลือกวัตถุแต่ละชิ้น คุณยังสามารถเห็นวัตถุที่ขึ้นกับวัตถุที่เลือกสําหรับการย้ายข้อมูลได้ด้วย
  5. เมื่อ กําหนดปลายทาง ให้เลือกพื้นที่ทํางาน ป้อนชื่อคลังสินค้าใหม่ และเลือกการจัดเรียงข้อมูล
  6. ตรวจสอบอินพุต จากนั้นเลือก ย้ายข้อมูล
  7. รอขณะที่ Migration Assistant แปลเมตาดาต้าที่รองรับและสร้างคลังสินค้าใหม่
  8. ตรวจสอบสรุปการย้ายข้อมูลเมตา ขยาย แสดงวัตถุที่ย้าย เพื่อดูแต่ละวัตถุและสถานะของมัน
  9. เลือกวัตถุเพื่อตรวจสอบการปรับชนิดข้อมูลหรือการปรับ SQL ในรายละเอียด
  10. ส่งออกสรุปเมื่อคุณต้องการบันทึกออฟไลน์สําหรับการตรวจสอบหรือติดตามการย้ายข้อมูล

วัตถุที่ขาดการพึ่งพาหรือโครงสร้างที่ไม่รองรับจะปรากฏภายใต้ Objects to fix

แก้ไขปัญหาการแปลเมตาดาต้า

ใช้ Migration Assistant เพื่อตรวจสอบและแก้ไขวัตถุที่ไม่ได้สร้างโดยอัตโนมัติ:

  1. เปิด Fix issues และเลือกวัตถุ
  2. ตรวจสอบคํานิยามต้นทาง ความคิดเห็นการแปลอัตโนมัติ และรายละเอียดข้อผิดพลาดในคําค้นหาที่แชร์
  3. หากเปิดใช้งาน Copilot สําหรับ tenant และความจุของคุณ ให้เลือก Fix query errors เพื่อสร้างคําแนะนําการแก้ไข
  4. ตรวจสอบการเปลี่ยนแปลงทั้งหมดที่สร้างโดย AI ปรับสคริปต์ตามความจําเป็น
  5. เลือก Run เพื่อตรวจสอบสคริปต์และสร้างวัตถุ
  6. ทําซ้ําสําหรับวัตถุที่จําเป็นแต่ละชิ้น ข้ามวัตถุที่ไม่จําเป็นในเป้าหมาย

Copilot ก็ทําผิดพลาดได้ เปรียบเทียบโค้ดที่แก้ไขแล้วกับพฤติกรรมของ Teradata และทดสอบกรณีขอบเขต, null, precision และข้อผิดพลาด

คัดลอกข้อมูล

หลังจากข้อมูลเมตาของตารางที่ต้องการแล้ว ให้เลือกวิธีการย้ายข้อมูลหนึ่งวิธี

ใช้งานคัดลอก

ใช้งานคัดลอกสําหรับการโอนแบบมีคําแนะนําแบบเต็มหรือแบบเพิ่มทีละน้อย:

  1. ใน Migration Assistant ให้เปิด Copy data แล้วเลือก ใช้งานคัดลอก
  2. ตั้งชื่องานและเชื่อมต่อกับ Teradata โดยใช้ข้อมูลรับรองต้นทาง
  3. เลือกตารางที่ต้องการคัดลอก
  4. เลือกคลังสินค้าจากแคตตาล็อก OneLake
  5. ตรวจสอบการแมปตารางและคอลัมน์
  6. เลือกสําเนาเต็มรูปแบบแบบครั้งเดียวสําหรับการย้ายครั้งแรก หรือสําเนาแบบเพิ่มทีละน้อยสําหรับช่วงเวลาการอยู่ร่วมกันเมื่อการตั้งค่าต้นทางรองรับ
  7. เลือก บันทึก + เรียกใช้ จากนั้นตรวจสอบจํานวนแถว ระยะเวลา และความล้มเหลว

ใช้ไฟล์แบบ staged และ COPY INTO

สําหรับการถ่ายโอนข้อมูลขนาดใหญ่ในอดีต ให้ถ่ายโอนตาราง Teradata จํานวนมากไปยัง ADLS Gen2 ใช้ไฟล์ Parquet เมื่อรองรับ เก็บไฟล์ manifest สําหรับการแยกไฟล์ และโหลดไฟล์โดยใช้ COPY INTO

ตัวอย่าง:

COPY INTO dbo.FactSales
FROM 'https://<storage-account>.dfs.core.windows.net/<container>/factsales/'
WITH (
    FILE_TYPE = 'PARQUET'
);

ใช้ การเข้าถึงพื้นที่ทํางานที่เชื่อถือได้ และตัวตนพื้นที่ทํางานเมื่อการกําหนดค่าเครือข่ายบัญชีจัดเก็บข้อมูลต้องการ ใช้ Fabric pipeline แทนเมื่อกระบวนการต้องการการจัดการหลายขั้นตอน การแปลง การแตกแขนง หรือการกู้คืนแบบกําหนดเอง

แทนที่ยูทิลิตี้โหลด Teradata

ยูทิลิตี้ Teradata แสดงทั้งพฤติกรรมการเคลื่อนย้ายข้อมูลและการจัดการออร์เคสตรา สร้างพฤติกรรมทั้งหมดขึ้นมาใหม่แทนที่จะแปลเฉพาะคําสั่งโหลดเท่านั้น

ยูทิลิตี้ Teradata วิธี Fabric รูปแบบการอพยพ
FastLoad COPY INTO หรือ งานคัดลอก โหลดไฟล์แบบกลุ่มไปยังไฟล์ที่จัดเป็นขั้นตอน สร้างตารางเป้าหมายว่าง และโหลดพร้อมกัน
มัลติโหลด COPY INTO บวก MERGE โหลดไฟล์ลงในตาราง staging ตรวจสอบความถูกต้อง จากนั้นรวมการแทรก อัปเดต และลบลงในเป้าหมาย
เทราดาต้า ทรานสปอร์ตเตอร์แบบขนาน Fabric pipeline พร้อมกิจกรรมคัดลอกและสคริปต์ สร้างโอเปอเรเตอร์ ลําดับ การจัดการข้อผิดพลาด และความพึ่งพาใหม่เป็นขั้นตอนของท่อส่งข้อมูลอย่างชัดเจน
บีทีคิว .IMPORT COPY INTO โต๊ะ แทนที่พฤติกรรมการนําเข้าฝั่งไคลเอนต์ด้วยการโหลดไฟล์แบบ staged ที่มีการควบคุม
บีทีคิว .EXPORT Pipeline, สมุดโน้ตบุ๊ก หรือรูปแบบการส่งออกที่รองรับ เลือกปลายทางและรูปแบบไฟล์ตามระบบที่ใช้

ตรวจสอบและเปลี่ยนเส้นทางการเชื่อมต่อ

ก่อนเปลี่ยนเส้นทาง:

  • กระทบยอดแถว, การรวม, ค่าศูนย์, ทศนิยม, เวลาประทับ และค่าที่ไวต่อการจัดเรียงข้อมูล
  • มุมมองทดสอบ, ขั้นตอน, ฟังก์ชัน, การแทนที่ BTEQ, รายงาน และโมเดลเชิงความหมาย
  • ทดสอบการโหลดล้มเหลว - เล่นซ้ําเมื่อโหลดไม่สําเร็จ ล้มเหลวบางส่วน การซิงโครไนซ์แบบเพิ่มทีละน้อย และการทํางานพร้อมกันสูงสุด
  • เปรียบเทียบผลลัพธ์ต้นทางและเป้าหมายสําหรับวัฏจักรธุรกิจที่เป็นตัวแทน
  • รันโหลดเดลต้าครั้งสุดท้ายและทําเช็คลิสต์การตัดต่อให้เสร็จสมบูรณ์
  • อัปเดตรายงาน โมเดลเชิงความหมาย แอปพลิเคชัน และการเชื่อมโยง ETL/ELT ไปยัง Fabric คลังข้อมูล