แชร์ผ่าน

วิศวกรรมข้อมูลใน Microsoft Fabric คืออะไร

  • บทความ

วิศวกรรมข้อมูลใน Microsoft Fabric ช่วยให้ผู้ใช้สามารถออกแบบ สร้าง และรักษาโครงสร้างพื้นฐานและระบบที่ช่วยให้องค์กรสามารถรวบรวม จัดเก็บ ประมวลผล และวิเคราะห์ข้อมูลจํานวนมากได้

Microsoft Fabric มีความสามารถด้านวิศวกรรมข้อมูลต่าง ๆ เพื่อให้แน่ใจว่าข้อมูลของคุณสามารถเข้าถึงได้ง่าย มีการจัดการอย่างดี และมีคุณภาพสูง จากโฮมเพจวิศวกรรมข้อมูล คุณสามารถ:

  • สร้างและจัดการข้อมูลของคุณโดยใช้เลคเฮ้าส์

  • ออกแบบไปป์ไลน์เพื่อคัดลอกข้อมูลลงในเลคเฮ้าส์ของคุณ

  • ใช้ข้อกําหนดงาน Spark เพื่อส่งงานชุด/การสตรีมไปยังคลัสเตอร์ Spark

  • ใช้สมุดบันทึกเพื่อเขียนโค้ดสําหรับการนําเข้าข้อมูล การเตรียมการ และการแปลงข้อมูล

    สกรีนช็อตที่แสดงวิศวกรข้อมูลวัตถุ

เลคเฮ้าส์

เลคเฮ้าส์เป็นสถาปัตยกรรมข้อมูลที่ช่วยให้องค์กรสามารถจัดเก็บและจัดการข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างในที่เดียวโดยใช้เครื่องมือและเฟรมเวิร์กต่าง ๆ เพื่อประมวลผลและวิเคราะห์ข้อมูลนั้น เครื่องมือและเฟรมเวิร์กเหล่านี้สามารถรวมถึงคิวรีและการวิเคราะห์ที่ใช้ SQL รวมถึงการเรียนรู้ของเครื่องและเทคนิคการวิเคราะห์ขั้นสูงอื่น ๆ

ข้อกําหนดงาน Apache Spark

ข้อกําหนดงาน Spark คือชุดของคําแนะนําที่กําหนดวิธีการดําเนินงานบนคลัสเตอร์ Spark ซึ่งรวมถึงข้อมูล เช่น แหล่งข้อมูลอินพุตและเอาท์พุต การแปลง และการตั้งค่าการกําหนดค่าสําหรับแอปพลิเคชัน Spark ข้อกําหนดงาน Spark ช่วยให้คุณสามารถส่งงานชุด/สตรีมมิ่งไปยังคลัสเตอร์ Spark ใช้ตรรกะการแปลงที่แตกต่างกันกับข้อมูลที่โฮสต์บน lakehouse ของคุณพร้อมกับสิ่งอื่น ๆ อีกมากมาย

โน้ตบุ๊ก

สมุดบันทึกเป็นสภาพแวดล้อมการประมวลผลแบบโต้ตอบที่ช่วยให้ผู้ใช้สามารถสร้างและแชร์เอกสารที่ประกอบด้วยโค้ดสด สมการ การแสดงภาพ และข้อความคําบรรยาย พวกเขาช่วยให้ผู้ใช้สามารถเขียนและเขียนโค้ดในภาษาการเขียนโปรแกรมต่างๆรวมถึง Python, R และ Scala คุณสามารถใช้สมุดบันทึกสําหรับการนําเข้าข้อมูล การเตรียมการ การวิเคราะห์ และงานที่เกี่ยวข้องกับข้อมูลอื่นๆ

ไปป์ไลน์ข้อมูล

ไปป์ไลน์ข้อมูลคือชุดของขั้นตอนที่สามารถรวบรวม ประมวลผล และแปลงข้อมูลจากฟอร์มดิบเป็นรูปแบบที่คุณสามารถใช้สําหรับการวิเคราะห์และการตัดสินใจ ซึ่งเป็นองค์ประกอบสําคัญของวิศวกรรมข้อมูล เนื่องจากมีวิธีย้ายข้อมูลจากแหล่งข้อมูลไปยังปลายทางด้วยวิธีที่เชื่อถือได้ ปรับขนาดได้ และมีประสิทธิภาพ

คุณสามารถใช้วิศวกรข้อมูลใน Microsoft Fabric ได้ฟรีเมื่อคุณลงทะเบียนทดลองใช้ Fabric คุณยังสามารถซื้อ ความจุ Microsoft Fabric หรือความจุที่สงวนไว้ของ Fabric ได้

เนื้อหาที่เกี่ยวข้อง

เริ่มต้นใช้งานการวิศวกรข้อมูล: