แชร์ผ่าน

การทํางานร่วมกันในรูปแบบตาราง Delta Lake

  • บทความ

ใน Microsoft Fabric รูปแบบตาราง Delta Lake เป็นมาตรฐานสําหรับการวิเคราะห์ Delta Lake เป็นเลเยอร์ที่เก็บข้อมูลแบบโอเพนซอร์สที่นํา ACID (อะตอม ความสม่ําเสมอ การแยก การแยก ความทนทาน) กับปริมาณงานข้อมูลขนาดใหญ่และการวิเคราะห์

ประสบการณ์การใช้งาน Fabric ทั้งหมดสร้างและใช้ตาราง Delta Lake ขับเคลื่อนการทํางานร่วมกันและประสบการณ์ผลิตภัณฑ์แบบรวม ตาราง Delta Lake ที่ผลิตโดยกลไกการคํานวณหนึ่งเช่น Synapse Data Warehouse หรือ Synapse Spark สามารถใช้ได้โดยกลไกอื่น ๆ เช่น Power BI เมื่อคุณนําเข้าข้อมูลลงใน Fabric Fabric จะจัดเก็บเป็นตาราง Delta ตามค่าเริ่มต้น คุณสามารถรวมข้อมูลภายนอกที่มีตาราง Delta Lake ได้อย่างง่ายดายโดยใช้ทางลัด OneLake

คุณลักษณะเดลต้าเลคและประสบการณ์การใช้งาน Fabric

เพื่อให้สามารถทํางานร่วมกันได้ ประสบการณ์ Fabric ทั้งหมดจึงสอดคล้องกับคุณลักษณะ Delta Lake และความสามารถของ Fabric ประสบการณ์บางอย่างสามารถเขียนไปยังตาราง Delta Lake เท่านั้นในขณะที่ประสบการณ์อื่น สามารถอ่านจากตารางดังกล่าวได้

  • ผู้เขียน: คลังข้อมูล กระแสข้อมูล และส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake
  • ผู้อ่าน: จุดสิ้นสุดการวิเคราะห์ SQL และแบบจําลองความหมายของทะเลสาบโดยตรงของ Power BI
  • ผู้เขียนและผู้อ่าน: รันไทม์ Fabric Spark กระแสข้อมูล ไปป์ไลน์ข้อมูล และฐานข้อมูล Kusto Query Language (KQL)

เมทริกซ์ต่อไปนี้แสดงคุณลักษณะ Delta Lake ที่สําคัญและการสนับสนุนของพวกเขาในแต่ละความสามารถของ Fabric

ความสามารถของผ้า การแมปคอลัมน์ตามชื่อ เวกเตอร์การลบ การเขียนตามลําดับ V การปรับตารางให้เหมาะสมและการบํารุงรักษา เขียนพาร์ติชัน อ่านพาร์ติชัน การคลัสเตอร์ของเหลว TIMESTAMP_NTZ เวอร์ชัน Delta reader/writer และคุณลักษณะตารางเริ่มต้น
คลังข้อมูลส่งออก Delta Lake ไม่ใช่ ใช่ ใช่ ใช่ ไม่ ใช่ ไม่ ไม่ ผู้อ่าน: 3
ผู้เขียน: 7
เวกเตอร์การลบ
จุดสิ้นสุดการวิเคราะห์ SQL ใช่ ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) ใช่ ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
Fabric Spark Runtime 1.3 ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
Fabric Spark Runtime 1.2 ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
Fabric Spark Runtime 1.1 ตกลง ไม่ ใช่ ใช่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
กระแสข้อมูล ใช่ ใช่ ใช่ ไม่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
ไปป์ไลน์ข้อมูล ไม่ใช่ ไม่ ใช่ ไม่ใช่ ใช่ เขียนทับเท่านั้น ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
แบบจําลองความหมายทะเลสาบโดยตรงของ Power BI ใช่ ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) ใช่ ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
ส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake ใช่ N/A (ไม่สามารถใช้ได้) ตกลง ไม่ ใช่ N/A (ไม่สามารถใช้ได้) ไม่ใช่ ไม่ ผู้อ่าน: 2
ผู้เขียน: 5
ฐานข้อมูล KQL ใช่ ใช่ ไม่ ไม่ใช่* ใช่ ใช่ ไม่ ไม่ ผู้อ่าน: 1
ผู้เขียน: 1
เหตุการณ์สตรีม ไม่ใช่ ไม่ ไม่ ไม่ ใช่ N/A (ไม่สามารถใช้ได้) ไม่ใช่ ไม่ ผู้อ่าน: 1
ผู้เขียน: 2

*ฐานข้อมูล KQL มีความสามารถบํารุงรักษาตารางบางอย่างเช่นการเก็บรักษา ข้อมูลจะถูกลบออกเมื่อสิ้นสุดระยะเวลาการเก็บรักษาจาก OneLake สําหรับข้อมูลเพิ่มเติม ให้ดู หนึ่งสําเนาแบบลอจิคัล

หมายเหตุ

  • Fabric ไม่เขียนการแมปคอลัมน์ตามชื่อตามค่าเริ่มต้น ประสบการณ์ Fabric เริ่มต้นจะสร้างตารางที่เข้ากันได้ทั่วทั้งบริการ Delta lake ซึ่งผลิตโดยบริการจากบุคคลที่สามอาจมีคุณลักษณะตารางที่เข้ากันไม่ได้
  • ประสบการณ์การใช้งานผ้าบางอย่างไม่ได้รับการปรับให้เหมาะสมและความสามารถด้านการบํารุงรักษาของตารางที่สืบทอดกันมา เช่น bin-compaction, V-order และล้างไฟล์เก่าที่ไม่ถูกเฟรนด์ เพื่อให้ตาราง Delta Lake เหมาะสมที่สุดสําหรับการวิเคราะห์ ให้ทําตามเทคนิคในการใช้ คุณลักษณะการบํารุงรักษาตารางเพื่อจัดการตาราง delta ใน Fabric สําหรับตารางที่ส่งการนําเข้าโดยใช้ประสบการณ์เหล่านั้น

ข้อจำกัดปัจจุบัน

ในขณะนี้ Fabric ไม่รองรับคุณลักษณะ Delta Lake เหล่านี้:

  • เดลต้า เลค 3.x Uniform
  • การเขียนคอลัมน์ข้อมูลประจําตัว (คุณลักษณะ Databricks ที่เป็นกรรมสิทธิ์)
  • ตารางเดลต้าไลฟ์ (คุณลักษณะ Databricks ที่เป็นกรรมสิทธิ์)
  • RLE (เปิดใช้งานการเข้ารหัสความยาว) บนไฟล์จุดตรวจสอบ

เนื้อหาที่เกี่ยวข้อง