คลังข้อมูลใน Microsoft Fabric คืออะไร

  • บทความ

นําไปใช้กับ: จุดสิ้นสุดการวิเคราะห์ SQL และ Warehouse ใน Microsoft Fabric

Microsoft Fabric ให้บริการลูกค้าด้วยผลิตภัณฑ์แบบครบวงจรที่จัดการกับทุกแง่มุมของอสังหาริมทรัพย์ข้อมูลของพวกเขาโดยนําเสนอข้อมูลที่สมบูรณ์ SaaS-ified Data, Analytics และแพลตฟอร์ม AI ซึ่งเป็นศูนย์กลางของทะเลสาบและเปิด พื้นฐานของ Microsoft Fabric ช่วยให้ผู้ใช้มือใหม่ผ่านผู้เชี่ยวชาญที่มีประสบการณ์เพื่อใช้ประโยชน์จากฐานข้อมูลการวิเคราะห์การรับส่งข้อความการรวมข้อมูลและภาระงานข่าวกรองธุรกิจผ่านประสบการณ์ SaaS ที่สมบูรณ์ใช้งานง่ายแชร์กับ Microsoft OneLake เป็นศูนย์กลาง

ประสบการณ์ SaaS ที่เลคเป็นศูนย์กลางที่สร้างขึ้นสําหรับระดับทักษะใด ๆ

Microsoft Fabric แนะนําคลังข้อมูล lake-centric ที่สร้างขึ้นบนเครื่องมือประมวลผลแบบกระจายระดับองค์กรที่ช่วยให้อุตสาหกรรมมีประสิทธิภาพชั้นนําในระดับในขณะที่ไม่ต้องกําหนดค่าและการจัดการ ด้วยประสบการณ์ SaaS ที่ใช้งานง่ายที่รวมเข้ากับ Power BI สําหรับการวิเคราะห์และการรายงานที่ง่าย คลังสินค้าใน Microsoft Fabric ผสานรวมโลกของที่จัดเก็บข้อมูลดิบและคลังสินค้าเข้าด้วยกันอย่างง่ายดายด้วยเป้าหมายที่ทําให้การลงทุนขององค์กรในอสังหาริมทรัพย์เพื่อการวิเคราะห์ง่ายขึ้นอย่างมาก ปริมาณงานคลังข้อมูลได้รับประโยชน์จากความสามารถที่สมบูรณ์ของเครื่องมือ SQL ผ่านรูปแบบข้อมูลแบบเปิด ทําให้ลูกค้าสามารถมุ่งเน้นไปที่การเตรียมข้อมูล การวิเคราะห์ และการรายงานบนสําเนาเดียวของข้อมูลที่จัดเก็บไว้ใน Microsoft OneLake ของพวกเขา

คลังสินค้าถูกสร้างขึ้นสําหรับระดับทักษะใด ๆ - จากนักพัฒนาพลเมืองผ่านไปยังนักพัฒนามืออาชีพ DBA หรือวิศวกรข้อมูล ชุดประสบการณ์การใช้งานอันมากมายที่สร้างขึ้นในพื้นที่ทํางาน Microsoft Fabric ช่วยให้ลูกค้าสามารถลดเวลาในข้อมูลเชิงลึกด้วยการมีแบบจําลองความหมายที่เชื่อมต่อกันได้ง่ายและใช้งานได้สะดวกซึ่งรวมเข้ากับ Power BI ในโหมด DirectLake ซึ่งช่วยให้ประสิทธิภาพชั้นนําของอุตสาหกรรมแบบไม่เป็นรองใครช่วยให้มั่นใจได้ว่ารายงานของลูกค้าจะมีข้อมูลล่าสุดสําหรับการวิเคราะห์และการรายงานอยู่เสมอ การคิวรีข้ามฐานข้อมูลสามารถใช้ประโยชน์ได้อย่างรวดเร็วและราบรื่นในการใช้แหล่งข้อมูลหลายแหล่งที่ครอบคลุมหลายฐานข้อมูลสําหรับข้อมูลเชิงลึกอย่างรวดเร็วและการทําซ้ําข้อมูลเป็นศูนย์

คลังสินค้าเสมือนที่มีการคิวรีข้ามฐานข้อมูล

Microsoft Fabric ให้ความสามารถแก่ลูกค้าในการเตรียมคลังเสมือนจริงที่ประกอบด้วยข้อมูลจากทุกแหล่งโดยใช้ทางลัด ลูกค้าสามารถสร้างคลังสินค้าเสมือนได้โดยการสร้างทางลัดไปยังข้อมูลของพวกเขาไม่ว่าจะอยู่ที่ไหนก็ตาม คลังเสมือนสามารถประกอบด้วยข้อมูลจาก OneLake, Azure Data Lake Storage หรือที่เก็บข้อมูลผู้จําหน่ายระบบคลาวด์อื่น ๆ ภายในขอบเขตเดียวและไม่มีการทําซ้ําข้อมูล

ปลดล็อกค่าอย่างราบรื่นจากแหล่งข้อมูลที่หลากหลายผ่านการคิวรีข้ามฐานข้อมูลที่สมบูรณ์ใน Microsoft Fabric การคิวรีข้ามฐานข้อมูลช่วยให้ลูกค้าสามารถใช้แหล่งข้อมูลหลายแหล่งได้อย่างรวดเร็วและราบรื่นสําหรับข้อมูลเชิงลึกอย่างรวดเร็วและด้วยการทําซ้ําข้อมูลเป็นศูนย์ ข้อมูลที่จัดเก็บไว้ในแหล่งข้อมูลต่าง ๆ สามารถรวมกันได้อย่างง่ายดายเพื่อให้ลูกค้าสามารถส่งมอบข้อมูลเชิงลึกที่สมบูรณ์ซึ่งก่อนหน้านี้ต้องใช้ความพยายามอย่างมากจากการรวมข้อมูลและทีมวิศวกรรม

คิวรีข้ามฐานข้อมูลสามารถสร้างขึ้นผ่านตัว แก้ไขคิวรีวิชวล ซึ่งนําเสนอเส้นทางที่ไม่มีโค้ดไปยังข้อมูลเชิงลึกในหลายตาราง ตัว แก้ไขคิวรี SQL หรือเครื่องมือที่คุ้นเคยอื่น ๆ เช่น SQL Server Management Studio (SSMS) ยังสามารถใช้เพื่อสร้างคิวรีข้ามฐานข้อมูลได้

การจัดการปริมาณงานอัตโนมัติ

คลังสินค้าใน Microsoft Fabric ใช้ประโยชน์จากกลไกการประมวลผลคิวรีแบบกระจายชั้นนําของอุตสาหกรรม ซึ่งให้ปริมาณงานที่มีขอบเขตการแยกที่เป็นธรรมชาติแก่ลูกค้า ไม่มีลูกบิดที่จะหันมาใช้การจัดสรรอิสระและการสร้างแหล่งทรัพยากรใหม่เพื่อให้มีประสิทธิภาพที่ดีที่สุดสําหรับสายพันธุ์ที่มีมาตราส่วนอัตโนมัติและพร้อมกันที่สร้างขึ้น การแยกจริงทําได้โดยการแยกปริมาณงานด้วยลักษณะที่แตกต่างกันทําให้มั่นใจได้ว่างาน ETL จะไม่รบกวนการวิเคราะห์เฉพาะกิจและการรายงานปริมาณงาน

เปิดรูปแบบการทํางานร่วมกันของเครื่องยนต์แบบไร้รอยต่อ

ข้อมูลในคลังจะถูกจัดเก็บไว้ในรูปแบบไฟล์ parquet และเผยแพร่เป็น Delta Lake Logs การเปิดใช้งานธุรกรรม ACID และการทํางานร่วมกันของกลไกข้ามที่สามารถใช้ประโยชน์จากปริมาณงานอื่น ๆ ของ Microsoft Fabric เช่น Spark, Pipelines, Power BI และ Azure Data Explorer ลูกค้าไม่จําเป็นต้องสร้างสําเนาข้อมูลหลายฉบับเพื่อเปิดใช้งานผู้เชี่ยวชาญด้านข้อมูลด้วยชุดทักษะที่แตกต่างกันอีกต่อไป วิศวกรข้อมูลที่คุ้นเคยกับการทํางานใน Python สามารถใช้ข้อมูลเดียวกันกับที่มีการวางรูปแบบและให้บริการโดยผู้เชี่ยวชาญด้านคลังข้อมูลที่คุ้นเคยกับการทํางานใน SQL ได้อย่างง่ายดาย ในแบบขนาน ผู้เชี่ยวชาญ BI สามารถใช้ข้อมูลเดียวกันได้อย่างรวดเร็วและง่ายดายเพื่อสร้างชุดการแสดงภาพที่หลากหลายใน Power BI ด้วยประสิทธิภาพการบันทึกและไม่มีการทําซ้ําข้อมูล

การแยกที่จัดเก็บและคํานวณ

การคํานวณและการจัดเก็บจะถูกแยกส่วนในคลังสินค้าซึ่งช่วยให้ลูกค้าสามารถปรับขนาดได้ใกล้เคียงกันทันทีเพื่อตอบสนองความต้องการทางธุรกิจของพวกเขา ซึ่งทําให้กลไกการคํานวณหลายตัวสามารถอ่านได้จากแหล่งเก็บข้อมูลที่ได้รับการสนับสนุนใดๆ พร้อมการรักษาความปลอดภัยที่แข็งแกร่งและการรับประกันทรานแซคชัน ACID แบบเต็ม

สามารถย่อยโหลดและแปลงตามขนาดได้อย่างง่ายดาย

คุณสามารถ นําเข้า ข้อมูลลงใน Warehouse ผ่านไปป์ไลน์ กระแสข้อมูล การคิวรีข้ามฐานข้อมูล หรือคําสั่งคัดลอกลงในได้ เมื่อนําเข้าแล้ว สามารถวิเคราะห์ข้อมูลโดยกลุ่มธุรกิจหลายกลุ่มผ่านฟังก์ชันการทํางาน เช่น การแชร์และการคิวรีข้ามฐานข้อมูล ถึงเวลาข้อมูลเชิงลึกแล้วผ่านทางประสบการณ์ BI แบบรวมเต็มรูปแบบผ่านการสร้างรูปแบบข้อมูลกราฟิกที่ใช้งานง่ายบนเว็บสําหรับการคิวรีภายในตัวแก้ไขคลังสินค้า

รายการคลังข้อมูลใน Microsoft Fabric

มีรายการคลังข้อมูลที่แตกต่างกันสองรายการ: จุดสิ้นสุดการวิเคราะห์ SQL ของเลคเฮ้าส์และคลังสินค้า

จุดสิ้นสุดการวิเคราะห์ SQL ของเลคเฮ้าส์

จุดสิ้นสุดการวิเคราะห์ SQL คือคลังสินค้าที่สร้างขึ้นโดยอัตโนมัติจาก Lakehouse ใน Microsoft Fabric ลูกค้าสามารถเปลี่ยนจากมุมมอง "ทะเลสาบ" ของเลคเฮ้าส์ (ซึ่งสนับสนุนวิศวกรรมข้อมูลและ Apache Spark) ไปยังมุมมอง "SQL" ของเลคเฮ้าส์เดียวกันได้ จุดสิ้นสุดการวิเคราะห์ SQL เป็นแบบอ่านอย่างเดียว และข้อมูลสามารถปรับเปลี่ยนได้ผ่านมุมมอง "ทะเลสาบ" ของเลคเฮ้าส์โดยใช้ Spark เท่านั้น

ด้วยจุดสิ้นสุดการวิเคราะห์ SQL ของ Lakehouse ผู้ใช้มีชุดย่อยของคําสั่ง SQL ที่สามารถกําหนดและคิวรีวัตถุข้อมูล แต่ไม่สามารถจัดการข้อมูลได้ คุณสามารถดําเนินการต่อไปนี้ในจุดสิ้นสุดการวิเคราะห์ SQL:

  • คิวรีตารางที่อ้างอิงข้อมูลในโฟลเดอร์ Delta Lake ใน lake ของคุณ
  • สร้างมุมมอง TVF แบบอินไลน์ และขั้นตอนเพื่อย่อความหมายและตรรกะทางธุรกิจของคุณใน T-SQL
  • จัดการสิทธิ์บนวัตถุ

ในพื้นที่ทํางาน Microsoft Fabric จุดสิ้นสุดการวิเคราะห์ SQL จะมีข้อความว่า "จุดสิ้นสุดการวิเคราะห์ SQL" ภายใต้คอลัมน์ชนิด เลคเฮ้าส์แต่ละแห่งมีจุดสิ้นสุดการวิเคราะห์ SQL ที่สร้างขึ้นโดยอัตโนมัติ ซึ่งสามารถใช้ประโยชน์ได้ผ่านเครื่องมือ SQL ที่คุ้นเคย เช่น SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL ตัวแก้ไขคิวรี

สกรีนช็อตที่แสดงชนิดจุดสิ้นสุดการวิเคราะห์ SQL ในพื้นที่ทํางาน

เมื่อต้องเริ่มต้นใช้งานจุดสิ้นสุดการวิเคราะห์ SQL ดูได้ดียิ่งขึ้นด้วยกัน: ของเลคเฮ้าส์และคลังสินค้าใน Microsoft Fabric

คลังข้อมูลของ Synapse

ในพื้นที่ทํางาน Microsoft Fabric คลังข้อมูล Synapse หรือ Warehouse มีการติดป้ายชื่อเป็น 'Warehouse' ภายใต้คอลัมน์ Type คลังสินค้าสนับสนุนธุรกรรม DDL และคิวรี DML

สกรีนช็อตที่แสดงชนิดคลังสินค้าในพื้นที่ทํางาน

ไม่เหมือนกับจุดสิ้นสุดการวิเคราะห์ SQL ซึ่งสนับสนุนเฉพาะคิวรีแบบอ่านอย่างเดียวและการสร้างมุมมองและ TVFs คลังสินค้ามีการสนับสนุน DDL และ DML ธุรกรรมเต็มรูปแบบและถูกสร้างขึ้นโดยลูกค้า คลังสินค้ามีข้อมูลนําเข้าจากหนึ่งในวิธีการนําเข้าข้อมูลที่ได้รับการสนับสนุน เช่น คัดลอกลงใน ไปป์ไลน์ กระแสข้อมูล หรือตัวเลือกการนําเข้าฐานข้อมูลข้าม เช่น CREATE TABLE AS SELECT (CTAS), INSERT. เลือก หรือเลือก ลงใน

เมื่อต้องการเริ่มต้นใช้งานคลังสินค้า ดูสร้างคลังสินค้าใน Microsoft Fabric

เปรียบเทียบคลังสินค้าและจุดสิ้นสุดการวิเคราะห์ SQL ของเลคเฮ้าส์

ในส่วนนี้จะอธิบายความแตกต่างระหว่างจุดสิ้นสุด Warehouse และ SQL Analytics ใน Microsoft Fabric

แผนภาพของพื้นที่ทํางาน Fabric สําหรับคลังข้อมูล รวมถึงจุดสิ้นสุดการวิเคราะห์ SQL และ Warehouse

จุดสิ้นสุดการวิเคราะห์ SQL เป็นคลังสินค้าแบบอ่านอย่างเดียวที่สร้างขึ้นโดยอัตโนมัติเมื่อสร้างจาก Lakehouse ใน Microsoft Fabric ตาราง Delta ที่สร้างขึ้นผ่าน Spark ใน Lakehouse จะสามารถมองเห็นได้โดยอัตโนมัติในจุดสิ้นสุดการวิเคราะห์ SQL เป็นตาราง จุดสิ้นสุดการวิเคราะห์ SQL ช่วยให้วิศวกรข้อมูลสามารถสร้างเลเยอร์เชิงสัมพันธ์ที่ด้านบนของข้อมูลจริงในเลคเฮ้าส์และเปิดเผยเครื่องมือการวิเคราะห์และการรายงานโดยใช้สายอักขระการเชื่อมต่อ SQL นักวิเคราะห์ข้อมูลสามารถใช้ T-SQL เพื่อเข้าถึงข้อมูลของ Lakehouse ได้โดยใช้ Synapse Data Warehouse ใช้จุดสิ้นสุดการวิเคราะห์ SQL เพื่อออกแบบคลังสินค้าของคุณสําหรับความต้องการ BI และการให้บริการข้อมูล

คลัง ข้อมูล Synapse หรือ Warehouse เป็นคลังข้อมูล 'ดั้งเดิม' และสนับสนุนความสามารถ T-SQL เกี่ยวกับการทําธุรกรรมเต็มรูปแบบ เช่น คลังข้อมูลองค์กร ตรงข้ามกับจุดสิ้นสุดการวิเคราะห์ SQL ที่มีการสร้างตารางและข้อมูลโดยอัตโนมัติ คุณสามารถควบคุม การสร้างตาราง โหลด แปลง และคิวรีข้อมูลของคุณในคลังข้อมูลได้อย่างเต็มที่โดยใช้พอร์ทัล Microsoft Fabric หรือคําสั่ง T-SQL

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการคิวรีข้อมูลของคุณใน Microsoft Fabric ดูคิวรีจุดสิ้นสุดการวิเคราะห์ SQL หรือ Warehouse ใน Microsoft Fabric

เปรียบเทียบความสามารถในการเชื่อมต่อคลังสินค้าที่แตกต่างกัน

เพื่อให้บริการกรณีการใช้งานการวิเคราะห์ของคุณให้ดีที่สุด มีหลายความสามารถที่พร้อมใช้งานสําหรับคุณ โดยทั่วไปแล้ว คลังสินค้าสามารถคิดได้ว่าเป็นเซตใหญ่ของความสามารถอื่น ๆ ทั้งหมด ซึ่งมีความสัมพันธ์เชิงไวยากรณ์ระหว่างข้อเสนอการวิเคราะห์อื่น ๆ ทั้งหมดที่มี T-SQL

ภายในผ้า มีผู้ใช้ที่อาจจําเป็นต้องตัดสินใจระหว่าง Warehouse, Lakehouse และแม้แต่ Datamart ของ Power BI

ข้อเสนอของ Microsoft Fabric

คลังสินค้า

จุดสิ้นสุดการวิเคราะห์ SQL ของเลคเฮ้าส์

Datamart ของ Power BI

สิทธิ์การใช้งาน

Fabric หรือ Power BI Premium

Fabric หรือ Power BI Premium

เฉพาะ Power BI Premium เท่านั้น

ความสามารถหลัก

คลังข้อมูลเต็มรูปแบบที่สอดคล้องกับมาตรฐาน ACID พร้อมการสนับสนุนการทําธุรกรรมใน T-SQL

อ่านเท่านั้น จุดสิ้นสุดการวิเคราะห์ SQL ที่ระบบสร้างขึ้นสําหรับ Lakehouse สําหรับการคิวรีและการให้บริการ T-SQL รองรับการวิเคราะห์บนตาราง Delta ของ Lakehouse และโฟลเดอร์ Delta Lake ที่อ้างอิงผ่านทางลัด

คลังข้อมูลที่ไม่ต้องเขียนโค้ดและการคิวรี T-SQL

โปรไฟล์นักพัฒนา

นักพัฒนา SQL หรือนักพัฒนาพลเมือง

วิศวกรข้อมูลหรือนักพัฒนา SQL

นักพัฒนาพลเมืองเท่านั้น

กรณีการใช้งานที่แนะนํา

  • คลังข้อมูลสําหรับการใช้งานขององค์กร
  • คลังข้อมูลสนับสนุนแผนก หน่วยธุรกิจ หรือการใช้บริการตนเอง
  • การวิเคราะห์ข้อมูลที่มีโครงสร้างใน T-SQL พร้อมตาราง มุมมอง กระบวนงาน และฟังก์ชัน และการสนับสนุน SQL ขั้นสูงสําหรับ BI
  • การสํารวจและคิวรีตารางเดลต้าจากเลคเฮาส์
  • การแสดงข้อมูลและโซนการเก็บถาวรสําหรับการวิเคราะห์
  • สถาปัตยกรรม ของเลคเฮ้าส์ Medallion ที่มีโซนสําหรับการวิเคราะห์สีบรอนซ์ เงิน และทอง
  • การจับคู่กับ Warehouse สําหรับกรณีการใช้งานการวิเคราะห์ขององค์กร
  • กรณีการใช้งานคลังสินค้าของหน่วยงานหรือหน่วยธุรกิจขนาดเล็ก
  • กรณีการใช้งานคลังข้อมูลด้วยตนเอง
  • โซนเริ่มต้นสําหรับกระแสข้อมูล Power BI และการสนับสนุน SQL อย่างง่ายสําหรับ BI

ประสบการณ์การพัฒนา

  • ตัวแก้ไขคลังสินค้าที่มีการสนับสนุนเต็มรูปแบบสําหรับการนําเข้าข้อมูล T-SQL การสร้างแบบจําลอง การพัฒนา และการคิวรีประสบการณ์ UI สําหรับการนําเข้าข้อมูล การสร้างแบบจําลอง และการคิวรี
  • อ่าน / เขียนการสนับสนุนสําหรับการใช้เครื่องมือจากบริษัทที่ 1 และ 3
  • จุดสิ้นสุดการวิเคราะห์ Lakehouse SQL ที่มีการสนับสนุน T-SQL แบบจํากัดสําหรับมุมมอง ฟังก์ชันที่มีค่าตาราง และคิวรี SQL
  • ประสบการณ์ UI สําหรับการสร้างแบบจําลองและการคิวรี
  • การสนับสนุน T-SQL แบบจํากัดสําหรับการใช้เครื่องมือจากบริษัทอื่นอันดับ 1 และ 3
  • ตัวแก้ไข Datamart ที่มีประสบการณ์การใช้งาน UI และการสนับสนุนคิวรี
  • ประสบการณ์ UI สําหรับการนําเข้าข้อมูล การสร้างแบบจําลอง และการคิวรี
  • การสนับสนุนแบบอ่านอย่างเดียวสําหรับการใช้เครื่องมือจากบริษัทอื่น

ความสามารถของ T-SQL

การสนับสนุน DQL, DML และ DDL T-SQL แบบเต็ม การสนับสนุนการทําธุรกรรมเต็มรูปแบบ

DQL แบบเต็ม ไม่มี DML การสนับสนุน DDL T-SQL แบบจํากัด เช่น มุมมอง SQL และ TVF

DQL แบบเต็มเท่านั้น

การโหลดข้อมูล

SQL, ไปป์ไลน์, กระแสข้อมูล

Spark, ไปป์ไลน์, กระแสข้อมูล, ทางลัด

กระแสข้อมูลเท่านั้น

การสนับสนุนตาราง Delta

อ่านและเขียนตาราง Delta

อ่านตารางส่วนที่แตกต่าง

NA

เลเยอร์ที่เก็บข้อมูล

เปิดรูปแบบข้อมูล - Delta

เปิดรูปแบบข้อมูล - Delta

NA

สคีมาที่สร้างขึ้นโดยอัตโนมัติในจุดสิ้นสุดการวิเคราะห์ SQL ของเลคเฮ้าส์

จุดสิ้นสุดการวิเคราะห์ SQL จะจัดการตารางที่สร้างขึ้นโดยอัตโนมัติเพื่อให้ผู้ใช้พื้นที่ทํางานไม่สามารถปรับเปลี่ยนได้ ผู้ใช้สามารถเสริมสร้างแบบจําลองฐานข้อมูลโดยการเพิ่ม SCHEMA SQL ของตัวเอง มุมมอง กระบวนงาน และวัตถุฐานข้อมูลอื่นๆ

สําหรับทุกตาราง Delta ในเลคเฮ้าส์ของคุณ จุดสิ้นสุดการวิเคราะห์ SQL จะสร้างตารางหนึ่งขึ้นโดยอัตโนมัติ

ตารางในจุดสิ้นสุดการวิเคราะห์ SQL จะถูกสร้างขึ้นด้วยความล่าช้า เมื่อคุณสร้างหรืออัปเดตโฟลเดอร์/ตาราง Delta Lake ในเลค ตารางคลังสินค้าที่อ้างอิงข้อมูล lake จะไม่ถูกสร้าง/รีเฟรชโดยทันที การเปลี่ยนแปลงจะถูกนําไปใช้ในคลังสินค้าหลังจาก 5-10 วินาที

สําหรับชนิดข้อมูล Schema ที่สร้างขึ้นโดยอัตโนมัติสําหรับจุดสิ้นสุดการวิเคราะห์ SQL ดูชนิดข้อมูลใน Microsoft Fabric

เนื้อหาที่เกี่ยวข้อง