Microsoft Fabric Data Engineering คืออะไร?

Microsoft Fabric Data Engineering ช่วยให้ผู้ใช้สามารถออกแบบ สร้าง และดูแลโครงสร้างพื้นฐานและระบบที่ช่วยให้องค์กรของพวกเขาสามารถเก็บรวบรวม จัดเก็บ ประมวลผล และวิเคราะห์ข้อมูลปริมาณมหาศาลได้

Fabric มีความสามารถด้านวิศวกรรมข้อมูลหลากหลายเพื่อให้มั่นใจว่าข้อมูลของคุณเข้าถึงได้ง่าย จัดระเบียบดี และมีคุณภาพสูง เมื่อต้องการเข้าถึงโฮมเพจของวิศวกรรมข้อมูล ให้เลือก ปริมาณงาน จากบานหน้าต่างนําทาง จากนั้นเลือกไทล์ Data Engineering จากโฮมเพจวิศวกรรมข้อมูล คุณสามารถ:

  • สร้างและจัดการข้อมูลของคุณโดยใช้เลคเฮ้าส์

  • ออกแบบไปป์ไลน์เพื่อคัดลอกข้อมูลลงในเลคเฮ้าส์ของคุณ

  • ใช้ข้อกําหนดงาน Spark เพื่อส่งงานชุด/การสตรีมไปยังคลัสเตอร์ Spark

  • ใช้สมุดบันทึกเพื่อเขียนโค้ดสําหรับการนําเข้าข้อมูล การเตรียมการ และการแปลงข้อมูล

    สกรีนช็อตที่แสดงออบเจ็กต์วิศวกรรมข้อมูล

เลคเฮ้าส์

เลคเฮ้าส์เป็นสถาปัตยกรรมข้อมูลที่ช่วยให้องค์กรสามารถจัดเก็บและจัดการข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างในที่เดียวโดยใช้เครื่องมือและเฟรมเวิร์กต่าง ๆ เพื่อประมวลผลและวิเคราะห์ข้อมูลนั้น เครื่องมือและเฟรมเวิร์กเหล่านี้สามารถรวมถึงคิวรีและการวิเคราะห์ที่ใช้ SQL รวมถึงการเรียนรู้ของเครื่องและเทคนิคการวิเคราะห์ขั้นสูงอื่น ๆ

ข้อกําหนดงาน Apache Spark

ข้อกําหนดงาน Spark คือชุดของคําแนะนําที่กําหนดวิธีการดําเนินงานบนคลัสเตอร์ Spark ซึ่งรวมถึงข้อมูล เช่น แหล่งข้อมูลอินพุตและเอาท์พุต การแปลง และการตั้งค่าการกําหนดค่าสําหรับแอปพลิเคชัน Spark ข้อกําหนดงาน Spark ช่วยให้คุณสามารถส่งงานชุด/สตรีมมิ่งไปยังคลัสเตอร์ Spark ใช้ตรรกะการแปลงที่แตกต่างกันกับข้อมูลที่โฮสต์บน lakehouse ของคุณพร้อมกับสิ่งอื่น ๆ อีกมากมาย

สมุด

สมุดบันทึกเป็นสภาพแวดล้อมการประมวลผลแบบโต้ตอบที่ช่วยให้ผู้ใช้สามารถสร้างและแชร์เอกสารที่ประกอบด้วยโค้ดสด สมการ การแสดงภาพ และข้อความคําบรรยาย พวกเขาช่วยให้ผู้ใช้สามารถเขียนและเขียนโค้ดในภาษาการเขียนโปรแกรมต่างๆรวมถึง Python, R และ Scala คุณสามารถใช้สมุดบันทึกสําหรับการนําเข้าข้อมูล การเตรียมการ การวิเคราะห์ และงานที่เกี่ยวข้องกับข้อมูลอื่นๆ

Pipeline

ไปป์ไลน์เป็นชุดของขั้นตอนที่สามารถรวบรวม ประมวลผล และแปลงข้อมูลจากฟอร์มดิบเป็นรูปแบบที่คุณสามารถใช้สําหรับการวิเคราะห์และการตัดสินใจ ซึ่งเป็นองค์ประกอบสําคัญของวิศวกรรมข้อมูล เนื่องจากมีวิธีย้ายข้อมูลจากแหล่งข้อมูลไปยังปลายทางด้วยวิธีที่เชื่อถือได้ ปรับขนาดได้ และมีประสิทธิภาพ

คุณสามารถใช้ Data Engineering ได้ฟรีเมื่อสมัครทดลองใช้ Fabric คุณยังสามารถซื้อความจุ Fabric หรือความจุสํารองของ Fabric ได้

เนื้อหาที่เกี่ยวข้อง

เริ่มต้นใช้งานวิศวกรรมข้อมูล:

  • Last updated on