เอกสารประกอบวิศวกรข้อมูลใน Microsoft Fabric

วิศวกรรมข้อมูลใน Microsoft Fabric ช่วยให้ผู้ใช้สามารถออกแบบ สร้าง และรักษาโครงสร้างพื้นฐานและระบบที่ช่วยให้องค์กรสามารถรวบรวม จัดเก็บ ประมวลผล และวิเคราะห์ข้อมูลจํานวนมากได้

เกี่ยวกับวิศวกรข้อมูล

ภาพรวม

• วิศวกรรมข้อมูลคืออะไร
• เลคเฮาส์คืออะไร
• บทบาทและสิทธิ์ของพื้นที่ทํางาน

เริ่มต้นใช้งานเลคเฮ้าส์

เริ่มต้นใช้งาน

• สร้างเลคเฮ้าส์
• นําทางไปยัง lakehouse explorer

วิธีแนะนำ

• รับข้อมูลลงใน lakehouse โดยใช้สมุดบันทึก

เริ่มต้นใช้งานสมุดบันทึก

เริ่มต้นใช้งาน

• สร้างและใช้สมุดบันทึก

วิธีแนะนำ

• พัฒนาและเรียกใช้สมุดบันทึก
• สํารวจข้อมูลเลคเฮ้าส์ด้วยสมุดบันทึก
• แสดงสมุดบันทึกแบบเป็นภาพ
• ตัวควบคุมแหล่งข้อมูลของสมุดบันทึกและการปรับใช้
• ใช้ NotebookUtils ในสมุดบันทึก
• ผู้เขียนและเรียกใช้ T-SQL Notebooks

API สําหรับ GraphQL

ภาพรวม

• Fabric API สําหรับ GraphQL คืออะไร

เริ่มต้นใช้งาน

• สร้าง API สําหรับ GraphQL และเพิ่มข้อมูล

วิธีแนะนำ

• จัดการความสัมพันธ์
• เชื่อมต่อแอปพลิเคชัน
• คิวรีแหล่งข้อมูลหลายแหล่ง

ทะเลสาบเดลตา

แนวคิด

• ตารางเลคเฮ้าส์และเดลต้า

วิธีแนะนำ

• การปรับ Delta ให้เหมาะสมและ V-Order
• โหลดไปยังตาราง

บทช่วยสอนแบบ end-to-end ของเลคเฮ้าส์

แนวคิด

• ภาพรวมสถานการณ์สมมติของเลคเฮ้าส์

บทช่วยสอน

• ขั้นตอนที่ 1 - สร้างพื้นที่ทํางาน
• ขั้นตอนที่ 2 - สร้างเลคเฮ้าส์
• ขั้นตอนที่ 3 - นําเข้าข้อมูลลงใน lakehouse
• ขั้นตอนที่ 4 - แปลงข้อมูลเป็นตาราง delta
• ขั้นตอนที่ 5 - สร้างรายงาน
• ขั้นตอนที่ 6 - ล้างข้อมูล

Apache Spark

แนวคิด

• ข้อกําหนดงาน Apache Spark
• ภาพรวมการตรวจสอบ Spark
• ผู้ให้คําแนะนํา Apache Spark

เริ่มต้นใช้งาน

• สร้างข้อกําหนดงาน Spark
• สร้างข้อกําหนดงาน Spark ด้วย Fabric API
• การรวม Git ข้อกําหนดงานของ Spark

วิธีแนะนำ

• จัดกําหนดการและเรียกใช้ข้อกําหนดงาน Spark
• ตรวจสอบแอปพลิเคชัน Spark
• จัดการไลบรารี Apache Spark
• วิธีใช้ Fabric MSSparkUtils
• กําหนดค่าการตั้งค่าความจุ

การรวม VS Code

วิธีแนะนำ

• ใช้สมุดบันทึกจาก VS Code
• ใช้รูปภาพคอนเทนเนอร์จาก VS Code
• ใช้สมุดบันทึกจากรหัส VS กับทรัพยากร
• ใช้ข้อกําหนดงาน Spark จาก VS Code
• สํารวจเลคเฮ้าส์จาก VS Code
• พัฒนาสมุดบันทึกจากประสบการณ์เว็บ VS Code

เริ่มต้นใช้งานกับสภาพแวดล้อม

เริ่มต้นใช้งาน

• สภาพแวดล้อม Microsoft Fabric

วิธีแนะนำ

• จัดการการคํานวณ Spark ในสภาพแวดล้อม
• จัดการไลบรารีในสภาพแวดล้อม
• การรวม Git สภาพแวดล้อมและไปป์ไลน์การปรับใช้
• จัดการสภาพแวดล้อมผ่าน API สาธารณะ
• จัดการทรัพยากรในสภาพแวดล้อม Fabric
• โยกย้ายไลบรารีพื้นที่ทํางานที่มีอยู่และคุณสมบัติ Spark ไปยังสภาพแวดล้อม