ดูแลโต๊ะ Delta ใน Lakehouse

เรียกใช้การบํารุงรักษาตารางบนตารางเดลต้าเพื่อให้ตารางทํางานได้ดีเมื่อเวลาผ่านไปโดยการกระชับไฟล์ขนาดเล็ก ใช้การเพิ่มประสิทธิภาพการอ่าน และลบไฟล์ที่ล้าสมัยซึ่งไม่ได้อ้างอิงอีกต่อไป

คุณสามารถรันการบํารุงรักษาได้ทั้งแบบ ad hoc ในพอร์ทัล Fabric (การดําเนินการบํารุงรักษาโต๊ะ lakehouse) หรือเป็นกระบวนการที่กําหนดเวลาและจัดการโดยใช้โน้ตบุ๊ก, pipeline หรือ REST API pipeline ของ Fabric Data Factory รวมถึงกิจกรรม Lakehouse Maintenance (Preview) เฉพาะที่สามารถรัน OPTIMIZE (พร้อมตัวเลือก V-order) และ VACUUM บนตาราง Delta ของ Lakehouse เป็นส่วนหนึ่งของเวิร์กโฟลว์ท่อส่งที่กําหนดเวลาไว้ บทความนี้มุ่งเน้นไปที่เวิร์กโฟลว์พอร์ทัลเฉพาะกิจ

สําหรับคําแนะนําการบํารุงรักษาข้ามปริมาณงาน รวมถึงคําแนะนําสําหรับจุดสิ้นสุดการวิเคราะห์ SQL, Power BI Direct Lake และผู้บริโภค คลังข้อมูล โปรดดู การบํารุงรักษาและการเพิ่มประสิทธิภาพตารางข้ามปริมาณงาน สําหรับรูปแบบการบํารุงรักษาที่เน้นโค้ดเป็นหลัก ดูที่ การปรับแต่งตาราง Delta Lake และ V-order และ Manage the lakehouse ด้วย Fabric REST API

ดูแลโต๊ะจาก Lakehouse

การดูแลโต๊ะใน Lakehouse ใช้เฉพาะกับโต๊ะ Delta เท่านั้น ไม่รองรับตาราง Legacy Hive ที่ใช้รูปแบบ เช่น Parquet, ORC, AVRO หรือ CSV

ในกล่องโต้ตอบ เรียกใช้คําสั่งการบํารุงรักษา ให้เลือกตัวเลือกตามเป้าหมายของคุณ

ตามแนวทางปฏิบัติทั่วไป ให้เรียกใช้การบํารุงรักษาหลังจากการนําเข้าหรืออัปเดตกิจกรรมที่สําคัญ หรือเมื่อคุณสังเกตเห็นไฟล์ขนาดเล็กจํานวนมากและประสิทธิภาพการอ่านที่ช้าลง

หมายเหตุ

ประสานงานกับไปป์ไลน์: สําหรับงานบํารุงรักษาที่เกิดซ้ํา ให้ใช้ กิจกรรมการบํารุงรักษาเลคเฮาส์ (พรีวิว) ในไปป์ไลน์ Fabric Data Factory มันเปิดเผยตัวเลือกเดียวกัน (OPTIMIZE พร้อม V-order เสริม, VACUUM) และผสานรวมกับขั้นตอนอื่น ๆ ในท่อผ่านการพึ่งพา, ทริกเกอร์ และพารามิเตอร์—เพื่อให้คุณสามารถเชื่อมต่อการบํารุงรักษาด้วยการโหลดข้อมูลและติดตาม ด้วยกิจกรรม Refresh SQL Endpoint ในท่อเดียวกัน

  1. จากบัญชี Fabric ของคุณ ไปยังบ้านริมทะเลสาบที่ต้องการ

  2. ใน Lakehouse explorer ใต้ Tables ให้คลิกขวาที่ตารางเป้าหมาย (หรือใช้จุดไข่ปลา)

  3. เลือกรายการเมนูการบํารุงรักษา

    สกรีนช็อตแสดงกล่องโต้ตอบ เรียกใช้คําสั่งการบํารุงรักษา

  4. ในกล่องโต้ตอบ เรียกใช้คําสั่งการบํารุงรักษา ให้เลือกตัวเลือกการบํารุงรักษา:

    • เลือกตัวเลือก เปิด เพื่อกระชับไฟล์ Parquet ขนาดเล็กให้เป็นไฟล์ขนาดใหญ่เพื่อการอ่านที่มีประสิทธิภาพมากขึ้น

    • หากเลือก On คุณยังสามารถเลือกช่องทําเครื่องหมาย Apply V-order ได้ เมื่อคุณเลือกตัวเลือกนี้ Fabric จะใช้ V-order (การจัดเรียง, เข้ารหัส และบีบอัดที่ปรับแต่ง) เป็นส่วนหนึ่งของการปรับแต่ง

      หมายเหตุ

      ลําดับ V มีผลกระทบต่อเวลาการเขียนเฉลี่ยประมาณ 15% นอกจากนี้ยังสามารถให้การบีบอัดได้ถึง 50% มากขึ้น

    • เลือกตัวเลือก เปิด เพื่อเรียกใช้คําสั่ง Delta Lake VACUUM และลบไฟล์ที่ไม่ได้อ้างอิงที่เก่ากว่าเกณฑ์การเก็บรักษาของคุณ สําหรับพฤติกรรมการเก็บรักษาและรายละเอียดด้านความปลอดภัย โปรดดู การตั้งค่าการเก็บรักษาสุญญากาศ

    • เลือกตัวเลือก เปิด เพื่อรวมธุรกรรมเป็นไฟล์ปาร์เก้และลบไฟล์เวกเตอร์การลบเพิ่มเติมล้างพื้นที่และเพิ่มประสิทธิภาพการอ่านตาราง

  5. เลือก เรียกใช้ทันที เพื่อดําเนินการงานการบํารุงรักษาตาราง

  6. ติดตามการดําเนินการงานในที่ใดที่หนึ่งต่อไปนี้:

    • บานหน้าต่างการแจ้งเตือน (ไอคอนกระดิ่งในส่วนหัวของพอร์ทัล Fabric) สําหรับสถานะการเรียกใช้ทันที
    • ฮับการตรวจสอบ (เลือก ตรวจสอบ ในการนําทางด้านซ้าย) เพื่อดูรายละเอียดงานทั้งหมด ค้นหากิจกรรมที่มี TableMaintenance ในชื่อกิจกรรมสําหรับการรันที่เริ่มต้นโดยพอร์ทัล สําหรับการเรียกใช้การบํารุงรักษาผ่านไปป์ไลน์ Fabric Data Factory ให้มองหาการเรียกใช้ไปป์ไลน์ในมุมมอง ไปป์ไลน์ฮับ > การตรวจสอบ และกรองตามชื่อกิจกรรมการบํารุงรักษาเลคเฮาส์

หลังจากที่คุณรันการบํารุงรักษา ความสําเร็จจะปรากฏเป็นกิจกรรมการบํารุงรักษาตารางที่เสร็จสมบูรณ์ในการแจ้งเตือน และเป็นรายการที่สําเร็จ TableMaintenance ในฮับการตรวจสอบ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการนําทางและตัวกรองฮับการตรวจสอบ โปรดดู การใช้ฮับการตรวจสอบ

การตั้งค่าการกักเก็บสุญญากาศ

คําสั่งจะ VACUUM ลบไฟล์ที่ไม่ได้อ้างอิงโดยบันทึกเดลต้าอีกต่อไป และเก่ากว่าเกณฑ์การเก็บข้อมูลของคุณ เกณฑ์การเก็บรักษาเริ่มต้นคือเจ็ดวัน

การใช้ช่วงเวลาการเก็บรักษาที่สั้นลงสามารถลดประวัติการเดินทางข้ามเวลาของเดลต้าและอาจส่งผลกระทบต่อผู้อ่านหรือผู้เขียนพร้อมกัน พอร์ทัลแฟบริคและคําขอการบํารุงรักษา API ล้มเหลวตามค่าเริ่มต้นสําหรับช่วงเวลาการเก็บรักษาที่ต่ํากว่าเจ็ดวัน

ถ้าคุณต้องใช้ช่วงเวลาการเก็บรักษาต่ํากว่าเจ็ดวัน ให้ตั้งค่า spark.databricks.delta.retentionDurationCheck.enabled เป็น false ในคุณสมบัติ Spark ของสภาพแวดล้อม Fabric ที่ใช้โดยปริมาณงาน Spark ของพื้นที่ทํางานของคุณ หากต้องการเรียนรู้ตําแหน่งที่จะกําหนดค่าและแนบสภาพแวดล้อม โปรดดู สร้าง กําหนดค่า และใช้สภาพแวดล้อมใน Fabric และการตั้งค่าการกําหนดค่าการคํานวณ Spark ในสภาพแวดล้อม Fabric