เอกสารประกอบวิศวกรข้อมูลใน Microsoft Fabric

วิศวกรรมข้อมูลใน Microsoft Fabric ช่วยให้ผู้ใช้สามารถออกแบบ สร้าง และรักษาโครงสร้างพื้นฐานและระบบที่ช่วยให้องค์กรสามารถรวบรวม จัดเก็บ ประมวลผล และวิเคราะห์ข้อมูลจํานวนมากได้

เกี่ยวกับวิศวกรข้อมูล

ภาพรวม

• วิศวกรรมข้อมูลคืออะไร
• เลคเฮาส์คืออะไร

แนวคิด

• ตารางเลคเฮ้าส์และเดลต้า
• บทบาทและสิทธิ์ของพื้นที่ทํางาน
• เลือกที่เก็บข้อมูล

วิธีแนะนำ

• การปรับ Delta ให้เหมาะสมและ V-Order
• โหลดไปยังตาราง

เริ่มต้นใช้งานเลคเฮ้าส์

เริ่มต้นใช้งาน

• สร้างเลคเฮ้าส์
• นําทางไปยัง lakehouse explorer

วิธีแนะนำ

• รับข้อมูลลงใน lakehouse โดยใช้สมุดบันทึก

บทช่วยสอน

• ขั้นตอนที่ 1 - สร้างพื้นที่ทํางาน
• ขั้นตอนที่ 2 - สร้างเลคเฮ้าส์
• ขั้นตอนที่ 3 - นําเข้าข้อมูลลงใน lakehouse
• ขั้นตอนที่ 4 - แปลงข้อมูลเป็นตาราง delta
• ขั้นตอนที่ 5 - สร้างรายงาน
• ขั้นตอนที่ 6 - ล้างข้อมูล

เริ่มต้นใช้งานสมุดบันทึก

เริ่มต้นใช้งาน

• สร้างและใช้สมุดบันทึก

วิธีแนะนำ

• พัฒนาและเรียกใช้สมุดบันทึก
• สํารวจข้อมูลเลคเฮ้าส์ด้วยสมุดบันทึก
• แสดงสมุดบันทึกแบบเป็นภาพ
• ตัวควบคุมแหล่งข้อมูลของสมุดบันทึกและการปรับใช้
• ผู้เขียนและเรียกใช้ T-SQL Notebooks

คิวรีด้วย API สําหรับ GraphQL

ภาพรวม

• Fabric API สําหรับ GraphQL คืออะไร

เริ่มต้นใช้งาน

• สร้าง API สําหรับ GraphQL และเพิ่มข้อมูล

วิธีแนะนำ

• จัดการความสัมพันธ์
• เชื่อมต่อกับแอปพลิเคชัน
• คิวรีแหล่งข้อมูลหลายแหล่ง
• การควบคุมแหล่งที่มาของ GraphQL และไปป์ไลน์การปรับใช้
• การตรวจสอบแดชบอร์ดและการบันทึก (ตัวอย่าง)

การรวม VS Code

แนวคิด

• ส่วนขยาย VS Code สําหรับวิศวกรรมข้อมูลคืออะไร

วิธีแนะนำ

• ใช้สมุดบันทึกจาก VS Code
• ใช้รูปภาพคอนเทนเนอร์จาก VS Code
• ใช้ข้อกําหนดงาน Spark จาก VS Code
• สํารวจเลคเฮ้าส์จาก VS Code
• พัฒนาสมุดบันทึกจากประสบการณ์เว็บ VS Code

Apache Spark สําหรับวิศวกรรมข้อมูล

แนวคิด

• ข้อกําหนดงาน Apache Spark
• Apache Spark advisor คืออะไร

เริ่มต้นใช้งาน

• สร้างข้อกําหนดงาน Spark
• สร้างข้อกําหนดงาน Spark ด้วย Fabric API
• การรวม Git ข้อกําหนดงานของ Spark

วิธีแนะนำ

• จัดกําหนดการและเรียกใช้ข้อกําหนดงาน Spark
• จัดการไลบรารี Apache Spark
• วิธีใช้ Fabric MSSparkUtils

เริ่มต้นใช้งานกับสภาพแวดล้อม

เริ่มต้นใช้งาน

• สภาพแวดล้อม Microsoft Fabric

วิธีแนะนำ

• จัดการการคํานวณ Spark ในสภาพแวดล้อม
• จัดการไลบรารีในสภาพแวดล้อม
• การรวม Git สภาพแวดล้อมและไปป์ไลน์การปรับใช้
• จัดการสภาพแวดล้อมผ่าน API สาธารณะ
• การจัดการไลบรารีในสภาพแวดล้อมที่ปลอดภัยโดยการป้องกันการเข้าถึงขาออก

ผ้า Livy API

ภาพรวม

• Livy API คืออะไร

เริ่มต้นใช้งาน

• สร้างและเรียกใช้งาน Spark โดยใช้ Livy API
• ส่งงานเซสชัน Livy API
• ส่งชุดงาน Livy API

ปรับให้เหมาะสมกับมุมมองทะเลสาบ Materialized

ภาพรวม

• มุมมองทะเลสาบที่เป็นภาพประกอบคืออะไร

เริ่มต้นใช้งาน

• เริ่มต้นใช้งานด้วยมุมมองทะเลสาบที่เป็นภาพเป็นภาพ
• ใช้สถาปัตยกรรม Medallion พร้อมมุมมองทะเลสาบที่เป็นวัสดุ
• จัดการมุมมองทะเลสาบที่มีลักษณะเป็นภาพ