การเก็บรักษาข้อมูลใน Fabric คลังข้อมูล

นําไปใช้กับ:✅ Warehouse ใน Microsoft Fabric

ใน Microsoft Fabric คลังสินค้าจะเก็บรักษาและรักษาข้อมูลเวอร์ชันต่างๆ โดยอัตโนมัติตามระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ ระยะเวลาการเก็บรักษานี้จะกําหนดว่าคุณสามารถดําเนินการสืบค้น การเดินทางข้ามเวลา สร้าง โคลนตาราง ใช้ จุดคืนค่า และสร้าง สแนปช็อตคลังสินค้าได้นานแค่ไหน

การเก็บรักษาข้อมูลจะเริ่มโดยอัตโนมัติเมื่อคุณสร้างคลังสินค้า ตามค่าเริ่มต้น คลังสินค้าจะเก็บประวัติข้อมูลไว้เป็นเวลา 30 วันตามปฏิทิน คุณสามารถกําหนดค่าระยะเวลาการเก็บรักษาเป็นค่าใดก็ได้ระหว่าง 1 ถึง 120 วัน ระบบจะลบไฟล์ที่หมดอายุโดยอัตโนมัติหลังจากสิ้นสุดระยะเวลาการเก็บรักษา

คลังสินค้าจะเก็บข้อมูลแทรก การอัปเดต และการลบทั้งหมดไว้ภายในระยะเวลาการเก็บรักษาที่กําหนดค่าไว้

  • การเพิ่มระยะเวลาการเก็บรักษา จะให้กรอบเวลาที่ยาวขึ้นสําหรับคิวรีการเดินทางข้ามเวลา โคลนตาราง ณ จุดที่ผ่านมา จุดคืนค่า และสแนปช็อตคลังสินค้า อย่างไรก็ตาม ระยะเวลาการเก็บรักษาที่นานขึ้นจะเพิ่มการใช้พื้นที่จัดเก็บและค่าใช้จ่ายที่เกี่ยวข้อง
  • การลดระยะเวลาการเก็บรักษาจะช่วยลดต้นทุนการจัดเก็บ แต่จํากัดระยะเวลาที่คุณสามารถสืบค้นหรือกู้คืนข้อมูลในอดีตได้

วิธีการทํางานของการเก็บรักษาข้อมูล

เมื่อมีการปรับเปลี่ยนข้อมูล คลังสินค้าจะไม่ละทิ้งสถานะรุ่นก่อนหน้าทันที ข้อมูลเวอร์ชันก่อนหน้าจะถูกเก็บรักษาไว้เป็นส่วนหนึ่งของบันทึกธุรกรรม Delta Lake แทน กลไกการกําหนดเวอร์ชันนี้เป็นสิ่งที่ช่วยให้การเดินทางข้ามเวลา โคลนตาราง จุดคืนค่า และสแนปช็อตคลังสินค้าทํางานได้

เมื่อเวอร์ชันข้อมูลในอดีตเกินระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ กระบวนการรวบรวมขยะเบื้องหลังจะลบไฟล์ที่หมดอายุออกจาก OneLake โดยอัตโนมัติ กระบวนการล้างข้อมูลนี้ทํางานแบบอะซิงโครนัส และไม่ส่งผลกระทบต่อคิวรีที่ใช้งานอยู่หรือธุรกรรมที่กําลังดําเนินอยู่

คลังสินค้าจะวัดอายุของข้อมูลที่เก็บรักษาไว้ในวันปฏิทินแบบสัมบูรณ์นับจากเวลาที่สร้างเวอร์ชันข้อมูล รวมถึงทุกครั้งที่ความจุ Microsoft Fabric หยุดชั่วคราว

ช่วงระยะเวลาการเก็บรักษา

ถ้าคุณไม่ได้ตั้งค่าคอนฟิกรอบระยะเวลาการเก็บรักษาอย่างชัดเจน คลังสินค้าที่มีอยู่จะใช้ระยะเวลาการเก็บรักษาเริ่มต้นที่ 30 วันตามปฏิทิน คุณสามารถกําหนดระยะเวลาการเก็บรักษาข้อมูลได้ตั้งแต่ 1 ถึง 120 วัน

กําหนดค่าการเก็บรักษาข้อมูล

กําหนดระยะเวลาการเก็บรักษาข้อมูลสําหรับคลังสินค้าโดยใช้ ALTER DATABASE ... ตั้งค่าคําสั่ง T-SQL สําหรับขั้นตอนและข้อมูลเพิ่มเติม โปรดดู วิธีกําหนดค่าการเก็บรักษาข้อมูลใน Fabric คลังข้อมูล

ลักษณะการทํางานเมื่อเปลี่ยนระยะเวลาการเก็บรักษา

การทําความเข้าใจลักษณะการทํางานเมื่อคุณเปลี่ยนระยะเวลาการเก็บรักษาจะช่วยคุณวางแผนการเปลี่ยนแปลงเพื่อหลีกเลี่ยงการสูญหายของข้อมูลที่ไม่คาดคิดหรือการเพิ่มขนาดพื้นที่เก็บข้อมูล

การเพิ่มระยะเวลาการเก็บรักษา

เมื่อเพิ่มระยะเวลาการเก็บรักษา การตั้งค่าใหม่จะมีผลทันที อย่างไรก็ตาม คุณไม่สามารถกู้คืนข้อมูลในอดีตที่ระบบล้างข้อมูลไปแล้วภายใต้ระยะเวลาการเก็บรักษาที่สั้นลงก่อนหน้านี้ เฉพาะเวอร์ชันข้อมูลที่ยังคงมีอยู่ใน OneLake ในขณะที่มีการเปลี่ยนแปลงเท่านั้นที่ได้รับประโยชน์จากระยะเวลาการเก็บรักษาที่ขยายออกไป

ตัวอย่างเช่น หากคลังสินค้าของคุณมีระยะเวลาการเก็บรักษา 7 วันในปัจจุบัน และคุณเพิ่มเป็น 60 วัน การเปลี่ยนแปลงจะมีผลตั้งแต่จุดนั้นเป็นต้นไป เวอร์ชันข้อมูลที่ระบบล้างข้อมูลแล้วก่อนการเปลี่ยนแปลง (เก่ากว่า 7 วัน) จะไม่สามารถกู้คืนได้ อย่างไรก็ตาม เวอร์ชันข้อมูลทั้งหมดที่ยังอยู่ภายในกรอบเวลา 7 วัน ณ เวลาที่มีการเปลี่ยนแปลง พร้อมกับเวอร์ชันที่สร้างขึ้นใหม่ในอนาคต จะถูกเก็บรักษาไว้นานถึง 60 วัน

การลดระยะเวลาการเก็บรักษา

เมื่อลดระยะเวลาการเก็บรักษา เวอร์ชันข้อมูลที่อยู่นอกระยะเวลาการเก็บรักษาใหม่ที่สั้นลงจะมีสิทธิ์ใช้การล้างข้อมูล กระบวนการล้างข้อมูลจะทํางานแบบอะซิงโครนัสในเบื้องหลังและไม่เกิดขึ้นในทันที คิวรีที่ใช้งานอยู่ซึ่งกําลังดําเนินการอยู่แล้วจะไม่ได้รับผลกระทบ

ตัวอย่างเช่น หากคลังสินค้าของคุณมีระยะเวลาการเก็บรักษา 30 วัน และคุณลดเหลือ 7 วัน เวอร์ชันข้อมูลที่มีอายุระหว่าง 8 ถึง 30 วันจะมีสิทธิ์สําหรับการล้างข้อมูลเบื้องหลัง

Important

การลดระยะเวลาการเก็บรักษานั้นไม่สามารถย้อนกลับได้จากมุมมองของการเข้าถึงข้อมูล

แม้ว่าคุณจะเพิ่มระยะเวลาการเก็บรักษาอีกครั้งหลังจากนั้นไม่นาน แต่ข้อมูลที่อยู่นอกกรอบเวลาที่สั้นลงในช่วงเวลานั้นจะไม่สามารถเข้าถึงได้อีกต่อไป ก่อนที่จะลดระยะเวลาการเก็บรักษา ให้ตรวจสอบให้แน่ใจว่าระยะเวลาการเก็บรักษาใหม่เป็นไปตามข้อกําหนดในการกู้คืนข้อมูลและการปฏิบัติตามข้อกําหนดขององค์กรของคุณ

วันที่ปิดรับการเก็บรักษา

time_travel_retention_cutoff_dateคอลัมน์ในมุมมองแค็ตตาล็อกระบบ sys.databases สะท้อนถึงวันที่แรกสุดที่แท้จริงซึ่งข้อมูลการเดินทางข้ามเวลาพร้อมใช้งาน ไม่ใช่ระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ในปัจจุบัน ข้อมูลจริงที่เก่าที่สุดอาจแตกต่างจากระยะเวลาการเก็บรักษาที่กําหนดค่าไว้

ระยะเวลาการเก็บรักษาที่ผู้ใช้กําหนดค่าจะกําหนดจํานวนวันของประวัติที่ระบบ ควร เก็บรักษาไว้ในอนาคต อย่างไรก็ตาม ประวัติที่กู้คืนได้จริง จะขึ้นอยู่กับข้อมูลที่เก็บรักษาไว้ก่อนที่จะมีการเปลี่ยนแปลงการเก็บรักษา

สองสถานการณ์ทําให้เกิดความแตกต่างระหว่างการเก็บรักษาที่กําหนดค่าไว้และประวัติที่มีอยู่จริง:

  • การเก็บรักษาลดลง — คลังสินค้าจะทําเครื่องหมายข้อมูลในอดีตที่เก่ากว่าระยะเวลาการเก็บขยะใหม่สําหรับการเก็บขยะทันทีและนําออกอย่างถาวร
  • การเก็บรักษาเพิ่มขึ้นในภายหลัง — คลังสินค้าไม่สามารถกู้คืนประวัติที่ถูกลบได้ ต้องรอให้ประวัติใหม่สะสมก่อนที่หน้าต่างที่กําหนดค่าไว้แบบเต็มจะพร้อมใช้งาน

สถานการณ์การเก็บรักษาข้อมูล

พิจารณาสถานการณ์ต่อไปนี้เมื่อตัดสินใจว่าจะกําหนดค่าระยะเวลาการเก็บรักษาของคุณอย่างไร:

การปฏิบัติตามข้อกำหนดและการตรวจสอบ

องค์กรที่มีข้อกําหนดด้านกฎระเบียบหรือการปฏิบัติตามข้อกําหนดอาจต้องเก็บรักษาข้อมูลไว้เป็นระยะเวลานานขึ้นเพื่อให้เป็นไปตามภาระผูกพันในการตรวจสอบ การกําหนดค่าระยะเวลาการเก็บรักษา 90 หรือ 120 วันสามารถให้กรอบเวลาในอดีตที่กว้างขึ้นสําหรับผู้ตรวจสอบเพื่อตรวจสอบการเปลี่ยนแปลงข้อมูลเมื่อเวลาผ่านไป

การพัฒนาและการทดสอบ

สําหรับพื้นที่ทํางานการพัฒนาหรือทดสอบที่ข้อมูลในอดีตมีความสําคัญน้อยกว่าระยะเวลาการเก็บรักษาที่สั้นลง 1 ถึง 7 วันสามารถลดต้นทุนการจัดเก็บได้ การลดขนาดนี้มีประโยชน์เมื่อใช้พื้นที่ทํางานสําหรับการสร้างต้นแบบอย่างรวดเร็วหรือการพัฒนาแบบวนซ้ํา

การเพิ่มประสิทธิภาพต้นทุน

หากคลังสินค้าของคุณได้รับการแก้ไขข้อมูลขนาดใหญ่บ่อยครั้ง (เช่น การบรรทุกเต็มรายวัน) ปริมาณของข้อมูลในอดีตที่เก็บรักษาไว้อาจเพิ่มขึ้นอย่างมาก ในสถานการณ์เหล่านี้ การลดระยะเวลาการเก็บรักษาจะช่วยควบคุมต้นทุนการจัดเก็บในขณะที่ยังคงรักษากรอบเวลาการกู้คืนที่เหมาะสม

การเตรียมความพร้อมในการกู้คืนข้อมูล

สําหรับคลังสินค้าการผลิต การรักษาระยะเวลาการเก็บรักษาที่นานขึ้นจะช่วยให้มีความยืดหยุ่นมากขึ้นสําหรับการกู้คืนข้อมูลผ่าน จุดคืนค่าโคลนตาราง และการสืบค้น การเดินทางข้ามเวลา ในกรณีที่ข้อมูลเสียหายโดยไม่ได้ตั้งใจ

การเก็บรักษาที่กําหนดค่าได้ส่งผลต่อฟีเจอร์ที่ขึ้นต่อกันอย่างไร

ระยะเวลาการเก็บรักษาที่กําหนดค่าไว้จะใช้อย่างสม่ําเสมอกับคุณลักษณะต่อไปนี้ใน Fabric คลังข้อมูล การเปลี่ยนระยะเวลาการเก็บรักษาจะส่งผลโดยตรงต่อความพร้อมใช้งานและลักษณะการทํางานของคุณลักษณะเหล่านี้

การเดินทางในเวลา

การเดินทางข้ามเวลา ช่วยให้คุณสามารถสืบค้นข้อมูลตามที่มีอยู่ ณ ช่วงเวลาที่ผ่านมาภายในระยะเวลาการเก็บรักษา FOR TIMESTAMP AS OFคําใบ้คิวรีสามารถดึงข้อมูลจากจุดใดก็ได้ภายในระยะเวลาการเก็บรักษาที่กําหนดค่าไว้

ตัวอย่างเช่น หากกําหนดระยะเวลาการเก็บรักษาเป็น 15 วัน คุณจะสืบค้นข้อมูลได้ตามที่มีอยู่ไม่เกิน 15 วันตามปฏิทินในอดีต

ตารางโคลน

โคลนตาราง ขึ้นอยู่กับระยะเวลาการเก็บรักษา คุณสามารถสร้างโคลนของตาราง ณ เวลาที่ผ่านมาได้เฉพาะภายในระยะเวลาการเก็บรักษาที่กําหนดค่าไว้เท่านั้น หากคุณร้องขอโคลนเกินระยะเวลาการเก็บรักษา จะเกิดข้อผิดพลาด

จุดคืนค่า

ใช้จุดคืนค่าเพื่อคืนค่าคลังสินค้า ระบบจะเก็บทั้งจุดคืนค่าที่ระบบสร้างขึ้นและที่ผู้ใช้กําหนดไว้สําหรับระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ หลังจากหมดระยะเวลาการเก็บรักษา ระบบจะลบจุดคืนค่าโดยอัตโนมัติ

  • คลังสินค้าจะสร้างจุดคืนค่าที่ระบบสร้างขึ้นโดยอัตโนมัติทุก ๆ แปดชั่วโมง จุดคืนค่าเหล่านี้จะพร้อมใช้งานสําหรับระยะเวลาการเก็บรักษาที่กําหนดค่าไว้
  • จุดคืนค่าที่ผู้ใช้กําหนดจะพร้อมใช้งานสําหรับระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ ระบบจะลบจุดคืนค่าเหล่านี้โดยอัตโนมัติหลังจากหมดอายุ

Fabric รักษาจํานวนจุดคืนค่าขั้นต่ําเพื่อให้แน่ใจว่ามีจุดคืนค่าเพียงพอเสมอ

สแนปช็อตของคลังสินค้า

แนปช็อตคลังสินค้าสามารถอ้างอิงข้อมูลภายในระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ การประทับเวลาสแนปช็อตสามารถตั้งค่าเป็นจุดใดก็ได้ภายในระยะเวลาการเก็บรักษาที่กําหนดค่าไว้ หรือเวลาสร้างฐานข้อมูล แล้วแต่ว่ากรณีใดจะเกิดขึ้นภายหลัง

การเรียกเก็บเงินสําหรับที่เก็บข้อมูล

การเก็บรักษาข้อมูลส่งผลโดยตรงต่อการใช้ที่เก็บข้อมูล OneLake ข้อมูลที่เก็บรักษาแต่ละเวอร์ชันจะใช้พื้นที่เก็บข้อมูล และระยะเวลาการเก็บรักษาที่นานขึ้นจะสะสมเวอร์ชันในอดีตมากขึ้น

ขณะวางแผนการกําหนดค่าการเก็บรักษา ให้พิจารณาการแลกเปลี่ยนระหว่างประโยชน์ของการเข้าถึงประวัติข้อมูลที่ยาวนานขึ้นและต้นทุนพื้นที่จัดเก็บที่เกี่ยวข้อง สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการตรวจสอบที่เก็บข้อมูล โปรดดู ตรวจสอบโดยใช้แอปเมตริกความจุ

  • ไฟล์ข้อมูลที่เก็บไว้: เวอร์ชันในอดีตของข้อมูลที่จัดเก็บเป็นไฟล์ปาร์เก้ใน OneLake จะใช้พื้นที่เก็บข้อมูล ค่าใช้จ่ายในการจัดเก็บเป็นสัดส่วนกับปริมาณและความถี่ของการแก้ไขข้อมูลในระยะเวลาการเก็บรักษา
  • จุดคืนค่า: ข้อมูลเมตาสําหรับจุดคืนค่าที่ระบบสร้างขึ้นและผู้ใช้กําหนดจะใช้พื้นที่เก็บข้อมูลด้วย อย่างไรก็ตาม จุดคืนค่าจะจัดเก็บข้อมูลเมตาเป็นหลักและอ้างอิงไฟล์ข้อมูลที่มีอยู่ ดังนั้นค่าใช้จ่ายในการจัดเก็บจึงค่อนข้างเล็ก
  • ไม่มีค่าบริการประมวลผลสําหรับการเก็บรักษา: ไม่มีค่าบริการการประมวลผลที่เกิดขึ้นสําหรับการเก็บรักษาข้อมูลในอดีตเท่านั้น ค่าบริการประมวลผลจะมีผลเฉพาะเมื่อคุณสืบค้นหรือกู้คืนข้อมูลอย่างจริงจัง

หากต้องการประเมินผลกระทบของพื้นที่จัดเก็บข้อมูลจากการเปลี่ยนแปลงระยะเวลาการเก็บรักษา ให้พิจารณาสิ่งต่อไปนี้

  • ปริมาณเฉลี่ยต่อวันของการแก้ไขข้อมูลในคลังสินค้าของคุณ
  • ระยะเวลาการเก็บรักษาปัจจุบันและระยะเวลาการเก็บรักษาใหม่ที่เสนอ
  • เดลต้าระหว่างสองช่วงเวลาคูณด้วยปริมาณการปรับเปลี่ยนเฉลี่ยรายวันให้การเปลี่ยนแปลงโดยประมาณในปริมาณการจัดเก็บ

ออกแบบข้อควรพิจารณา

  • กําหนดค่าระยะเวลาการเก็บรักษาตามข้อกําหนดการกู้คืนข้อมูล การปฏิบัติตามข้อกําหนด และต้นทุนขององค์กรของคุณ ค่าเริ่มต้น 30 วันให้ความสมดุลระหว่างความพร้อมใช้งานของข้อมูลและต้นทุนพื้นที่จัดเก็บสําหรับปริมาณงานส่วนใหญ่
  • ประสานงานการเปลี่ยนแปลงระยะเวลาการเก็บรักษาด้วยกลยุทธ์การสํารองข้อมูลและการกู้คืนจากความเสียหายของคุณ ตรวจสอบให้แน่ใจว่าระยะเวลาการเก็บรักษาสอดคล้องกับวัตถุประสงค์ของจุดกู้คืน (RPO) ของคุณ
  • ตรวจสอบการใช้ที่เก็บข้อมูล OneLake หลังจากเปลี่ยนระยะเวลาการเก็บรักษาเพื่อทําความเข้าใจผลกระทบต่อต้นทุนการจัดเก็บ
  • ระยะเวลาการเก็บรักษาของแผนจะเปลี่ยนแปลงในช่วงที่มีกิจกรรมน้อยเมื่อเป็นไปได้ เพื่อไม่ให้เกิดผลกระทบต่อผู้ใช้
  • ระยะเวลาการเก็บรักษาถูกตั้งค่าที่ระดับคลังสินค้า หากคุณต้องการระยะเวลาการเก็บรักษาที่แตกต่างกันสําหรับชุดข้อมูลที่แตกต่างกัน ให้พิจารณาจัดระเบียบเป็นคลังสินค้าแยกต่างหาก ขณะนี้ยังไม่รองรับการตั้งค่าการเก็บรักษาระดับตารางแต่ละรายการ

Limitations

  • ระบุระยะเวลาการเก็บรักษาเป็นทั้งวัน ไม่รองรับค่าเศษส่วน
  • การลดระยะเวลาการเก็บรักษาจะไม่เรียกคืนพื้นที่เก็บข้อมูลในทันที การล้างข้อมูลที่หมดอายุจะเกิดขึ้นแบบอะซิงโครนัสในเบื้องหลัง
  • การหยุดความจุ Microsoft Fabric ชั่วคราวจะส่งผลต่อกิจกรรมการล้างข้อมูลขยะ กระบวนการนี้จะไม่ลบข้อมูลในอดีตที่เก่ากว่าการตั้งค่าการเก็บรักษาข้อมูลปัจจุบันในขณะที่ความจุหยุดชั่วคราว กิจกรรมการทําความสะอาดจะตามทันเมื่อความจุกลับมาทํางานอีกครั้ง
  • การตั้งค่าการเก็บข้อมูลจะใช้กับคลังสินค้าเท่านั้น ไม่รองรับตําแหน่งข้อมูลการวิเคราะห์ SQL ของ Lakehouse
  • ข้อมูลเชิงลึกของคิวรีและบันทึกการตรวจสอบ SQL ไม่อยู่ภายใต้นโยบายการเก็บรักษาข้อมูลนี้ และมีการจัดการแยกต่างหาก

การเก็บรักษารายการที่ลดลง (พรีวิว)

การเก็บรักษาสินค้าที่ลดลงจะรักษาคลังสินค้าและตาราง Schema สแนปช็อต สิทธิ์ และคิวรีที่บันทึกไว้ที่เกี่ยวข้องสําหรับรอบระยะเวลาที่กําหนดค่าได้หลังจากที่ทิ้งหรือลบ สิ่งนี้ทําให้มั่นใจได้ว่าการลบโดยไม่ได้ตั้งใจจะไม่ส่งผลให้ข้อมูลสูญหายอย่างถาวรหรือการหยุดทํางานที่ส่งผลกระทบต่อธุรกิจ การเก็บรักษาแบบยกเลิกรับประกันระยะเวลาการเก็บรักษาขั้นต่ํา 7 วันตามปฏิทิน และมีการกําหนดค่าการเก็บรักษาระดับผู้เช่าแยกต่างหาก คุณสามารถกําหนดค่าระยะเวลาการเก็บรักษาสินค้าที่ลดลงในการตั้งค่าผู้เช่าการกู้คืนสินค้า

ขั้นตอนต่อไป