แชร์ผ่าน

สถานการณ์แบบ end-to-end ของ Data Factory: บทนําและสถาปัตยกรรม

  • บทความ

บทช่วยสอนนี้ช่วยให้คุณเร่งกระบวนการประเมินผลสําหรับ Data Factory ใน Microsoft Fabric โดยให้คําแนะนําทีละขั้นตอนสําหรับสถานการณ์การรวมข้อมูลเต็มรูปแบบภายในหนึ่งชั่วโมง ในตอนท้ายของบทช่วยสอนนี้ คุณเข้าใจค่าและความสามารถที่สําคัญของ Data Factory และทราบวิธีการเสร็จสิ้นสถานการณ์การรวมข้อมูลแบบ end-to-end ทั่วไป

ภาพรวม: ทําไม Data Factory ใน Microsoft Fabric

ส่วนนี้ช่วยให้คุณเข้าใจบทบาทของ Fabric โดยทั่วไปและบทบาทที่โรงงานข้อมูลมีบทบาทอยู่ภายใน

ทําความเข้าใจค่าของ Microsoft Fabric

Microsoft Fabric มีร้านค้าแบบครบวงจรสําหรับทุกความต้องการด้านการวิเคราะห์สําหรับทุกองค์กร ครอบคลุมการบริการที่หลากหลายรวมถึงการเคลื่อนย้ายข้อมูลที่จัดเก็บข้อมูลริบ บึง วิศวกรรมข้อมูล การรวมข้อมูล และวิทยาศาสตร์ข้อมูล การวิเคราะห์แบบเรียลไทม์ และข่าวกรองธุรกิจ ด้วย Fabric ไม่จําเป็นต้องเย็บรวมบริการที่แตกต่างกันจากผู้ขายหลายราย แต่ผู้ใช้ของคุณเพลิดเพลินไปกับผลิตภัณฑ์แบบ end-to-end ผสานรวมกันสูง เป็นผลิตภัณฑ์เดี่ยวและครอบคลุมที่เข้าใจง่าย บนเครื่อง สร้าง และทํางาน

ทําความเข้าใจค่าของ Data Factory ใน Microsoft Fabric

Data Factory in Fabric ผสานรวม Power Query ที่ใช้งานง่ายด้วยมาตราส่วนและพลังของ Azure Data Factory ซึ่งนําผลิตภัณฑ์ที่ดีที่สุดของทั้งสองเข้าด้วยกันเป็นประสบการณ์แบบครบวงจร เป้าหมายคือเพื่อให้แน่ใจว่าการรวมข้อมูลใน Factory ทํางานได้ดีสําหรับทั้งนักพัฒนาข้อมูลพลเมืองและมืออาชีพ ซึ่งให้การเตรียมข้อมูลและประสบการณ์การแปลงที่เปิดใช้งาน AI ที่มีรหัสต่ํา การแปลงข้อมูลแบบ petabyte ตัวเชื่อมต่อหลายร้อยตัวที่มีการเชื่อมต่อแบบไฮบริด และมัลติคลาวด์ Purview มีการกํากับดูแลและการบริการมีข้อผูกมัดของมาตราส่วนองค์กร/Op, CI/CD, การจัดการวงจรชีวิตของแอปพลิเคชัน และการตรวจสอบ

บทนํา - ทําความเข้าใจคุณลักษณะสําคัญสามประการของ Data Factory

  • การนําเข้าข้อมูล: กิจกรรมการคัดลอกในไปป์ไลน์ช่วยให้คุณสามารถย้ายข้อมูลระดับเพตะไบต์จากแหล่งข้อมูลหลายร้อยแหล่งลงใน Data Lakehouse ของคุณเพื่อการประมวลผลเพิ่มเติม
  • การแปลงและเตรียมความพร้อมข้อมูล: Dataflow Gen2 มีส่วนติดต่อที่เขียนโค้ดน้อยสําหรับการแปลงข้อมูลของคุณโดยใช้การแปลงข้อมูลมากกว่า 300+ รายการ โดยมีความสามารถในการโหลดผลลัพธ์ที่แปลงแล้วลงในปลายทางหลายแห่ง เช่น ฐานข้อมูล Azure SQL, Lakehouse และอื่นๆ
  • การทํางานอัตโนมัติของโฟลว์การรวมแบบ end-to-end: ไปป์ไลน์ให้การจัดเรียงของกิจกรรมที่รวมถึงการคัดลอก กระแสข้อมูล และกิจกรรมสมุดบันทึกและอื่นๆ ซึ่งช่วยให้คุณจัดการกิจกรรมทั้งหมดในที่เดียว กิจกรรมในไปป์ไลน์สามารถเชื่อมโยงเข้าด้วยกันเพื่อดําเนินการตามลําดับ หรือสามารถดําเนินการได้อย่างอิสระควบคู่กัน

ในกรณีการใช้งานการรวมข้อมูลแบบ end-to-end นี้ คุณจะได้เรียนรู้:

  • วิธีการนําเข้าข้อมูลโดยใช้ตัวช่วยคัดลอกในไปป์ไลน์
  • วิธีแปลงข้อมูลโดยใช้กระแสข้อมูลโดยมีประสบการณ์การไม่มีรหัสหรือโดยการเขียนโค้ดของคุณเองเพื่อประมวลผลข้อมูลด้วยสคริปต์หรือกิจกรรมสมุดบันทึก
  • วิธีการทําให้โฟลว์การรวมข้อมูลทั้งหมดเป็นแบบอัตโนมัติโดยใช้ไปป์ไลน์ที่มีทริกเกอร์และกิจกรรมโฟลว์การควบคุมที่ยืดหยุ่น

สถาปัตยกรรม

ในอีก 50 นาทีข้างหน้า คุณได้รับมอบหมายให้ทําสถานการณ์การรวมข้อมูลแบบ end-to-end ให้เสร็จสิ้น ซึ่งรวมถึงการนําเข้าข้อมูลดิบจากแหล่งเก็บลงในตารางทองแดงของเลคเฮ้าส์ ประมวลผลข้อมูลทั้งหมด ย้ายข้อมูลไปยังตารางสีทองของ data Lakehouse ส่งอีเมลเพื่อแจ้งให้คุณทราบเมื่องานทั้งหมดเสร็จสมบูรณ์ และสุดท้าย การตั้งค่าโฟลว์ทั้งหมดเพื่อเรียกใช้ตามกําหนดเวลา

สถานการณ์สมมติจะแบ่งออกเป็นสามโมดูล:

A diagram of the data flow and modules of the tutorial.

คุณใช้ชุดข้อมูล ตัวอย่าง NYC-Taxi เป็นแหล่งข้อมูลสําหรับบทช่วยสอน หลังจากที่คุณทําเสร็จแล้ว คุณจะสามารถรับข้อมูลเชิงลึกเกี่ยวกับส่วนลดรายวันสําหรับค่าโดยสารรถแท็กซี่สําหรับระยะเวลาที่กําหนดโดยใช้ Data Factory ใน Microsoft Fabric

เนื้อหาที่เกี่ยวข้อง

ในบทนําสู่บทช่วยสอนแบบ end-to-end ของเราสําหรับการรวมข้อมูลครั้งแรกของคุณโดยใช้ Data Factory ใน Microsoft Fabric คุณได้เรียนรู้:

  • คุณค่าและบทบาทของ Microsoft Fabric
  • ค่าและบทบาทของ Data Factory in Fabric
  • คุณสมบัติที่สําคัญของโรงงานข้อมูล
  • สิ่งที่คุณจะได้เรียนรู้ในบทช่วยสอนนี้

ดําเนินการต่อไปยังส่วนถัดไปตอนนี้เพื่อสร้างไปป์ไลน์ข้อมูลของคุณ

โมดูล 1: สร้างไปป์ไลน์ด้วย Data Factory