กําหนดค่าโพรไฟล์ทรัพยากรใน Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรรมข้อมูล Fabric และวิทยาศาสตร์ข้อมูล

โปรไฟล์ทรัพยากรใน Fabric Data Engineering ช่วยให้คุณได้รับการกําหนดค่าการประมวลผล Spark ที่ปรับให้เหมาะสมโดยไม่ต้องปรับแต่งด้วยตนเอง คุณอธิบายปริมาณงานของคุณโดยเลือกกรณีการใช้งานหลัก ปริมาณข้อมูล และอินพุตระดับสูงอื่นๆ อีกสองสามรายการ จากนั้น Fabric จะสร้างการกําหนดค่าที่แนะนํา ซึ่งรวมถึงขนาดโหนด การตั้งค่าการปรับขนาดอัตโนมัติ และเวอร์ชันรันไทม์ โดยอิงจากแนวทางปฏิบัติที่ดีที่สุดที่ได้รับการพิสูจน์แล้วและข้อมูลประสิทธิภาพภายใน

เหตุใดจึงต้องใช้โปรไฟล์ทรัพยากร

โปรไฟล์ทรัพยากรให้:

ปรับให้เหมาะสมตั้งแต่เริ่มต้น: เซสชัน Spark แรกของคุณทํางานบนการประมวลผลที่ปรับแต่งให้เหมาะกับปริมาณงานของคุณ
ความสอดคล้อง: งาน Spark ทั้งหมดในพื้นที่ทํางานใช้การกําหนดค่าที่ปรับแต่งประสิทธิภาพเดียวกัน
ประสิทธิภาพด้านราคาที่ดีขึ้น: ทรัพยากรที่มีขนาดเหมาะสมช่วยลดของเสียและปรับปรุงปริมาณงาน
ค่าใช้จ่ายในการปฏิบัติงานที่ต่ําลง: รอบการปรับแต่งน้อยลงและการยกระดับการสนับสนุนน้อยลง

ข้อกำหนดเบื้องต้น

เมื่อต้องการกําหนดค่าโพรไฟล์ทรัพยากร คุณต้องมีบทบาท ผู้ดูแลระบบ สําหรับพื้นที่ทํางาน

กําหนดค่าโพรไฟล์ทรัพยากร

เมื่อต้องการกําหนดค่าโพรไฟล์ทรัพยากรสําหรับพื้นที่ทํางานของคุณ:

ไปที่พื้นที่ทํางานของคุณ แล้วเลือก การตั้งค่าพื้นที่ทํางาน
ขยาย วิศวกรรมข้อมูล/วิทยาศาสตร์ ในบานหน้าต่างด้านซ้าย แล้วเลือก การตั้งค่า Spark
หากต้องการรับการกําหนดค่าการประมวลผลที่แนะนําเพื่อเพิ่มประสิทธิภาพการใช้ทรัพยากรของคุณ ให้เลือก เริ่มต้นใช้งาน ภายใต้ ปรับให้เหมาะสมสําหรับกรณีการใช้งานของคุณ
ในหน้า ปรับให้เหมาะสมกับกรณีการใช้งาน ให้ป้อนข้อมูลต่อไปนี้:
- กรณีการใช้งานหลัก: เลือก เลเยอร์ Medallion หรือ ตามงาน จากนั้นเลือกตัวเลือกเฉพาะจากเมนูแบบเลื่อนลง ตัวเลือกเลเยอร์เหรียญคือบรอนซ์เงิน หรือทอง ตัวเลือกตามงานคือการปรับให้เหมาะสมกับการอ่านหรือการเขียนที่ปรับให้เหมาะสม สําหรับคําแนะนําในการเลือกกรณีการใช้งาน โปรดดู การอ้างอิงกรณีการใช้งานหลัก
- ปริมาณข้อมูลทั่วไป: เลือกไดรฟ์ข้อมูลจากเมนูแบบเลื่อนลง: สูงสุด 1 GB, 10 GB,100 GB,1 TB หรือมากกว่า 1 TB
- หน่วยความจุสูงสุด (CU): ใช้แถบเลื่อนเพื่อตั้งค่าขีดจํากัด CU สูงสุดสําหรับพูล Spark
เลือกรับคําแนะนํา

Fabric สร้างการกําหนดค่าที่ปรับให้เหมาะสมตามอินพุตของคุณ
ตรวจสอบคําแนะนํา คําแนะนําประกอบด้วยค่าสําหรับสองประเภท:
- Spark pool: ประเภทพูล ตระกูลโหนด ขนาดโหนด การปรับขนาดอัตโนมัติ และการปันส่วนตัวดําเนินการแบบไดนามิก
- สภาพแวดล้อม: เวอร์ชันรันไทม์, คอร์ไดรเวอร์และหน่วยความจํา Spark, คอร์ตัวดําเนินการ Spark, หน่วยความจํา และอินสแตนซ์
ถ้าคุณต้องการปรับการป้อนข้อมูล ให้เลือกลูกศรย้อนกลับเพื่อกลับไปยังหน้าก่อนหน้า ปรับปรุงการเลือกของคุณ แล้วเลือก รับคําแนะนํา อีกครั้ง
ป้อน ชื่อพูล Spark และ สภาพแวดล้อม สําหรับการตั้งค่าคอนฟิก จากนั้นเลือก นําไปใช้ เพื่อบันทึกลงในพื้นที่ทํางาน

หลังจากที่คุณใช้โพรไฟล์ทรัพยากร Fabric จะสร้างพูล Spark แบบกําหนดเองด้วยการตั้งค่าที่แนะนํา

Note

ถ้าพื้นที่ทํางานของคุณยังไม่มีพูลแบบกําหนดเอง พูลใหม่จะถูกตั้งค่าเป็น พูลเริ่มต้นสําหรับพื้นที่ทํางานโดยอัตโนมัติ หากพื้นที่ทํางานของคุณมีพูลเริ่มต้นอยู่แล้ว คุณจําเป็นต้องสลับไปยังพูลใหม่ด้วยตนเองใน การตั้งค่าพื้นที่ทํางาน Spark ของคุณ เซสชันที่ใช้งานอยู่จะไม่ได้รับผลกระทบจนกว่าจะรีสตาร์ท

การอ้างอิงกรณีการใช้งานหลัก

ใช้คําแนะนําต่อไปนี้เพื่อเลือกอินพุต กรณีการใช้งานหลัก ที่เหมาะสมเมื่อคุณ กําหนดค่าโพรไฟล์ทรัพยากร:

ชั้นเหรียญ

เลือก เลเยอร์ Medallion หากไปป์ไลน์ข้อมูลของคุณเป็นไปตามรูปแบบสถาปัตยกรรม Medallion ซึ่งข้อมูลจะย้ายผ่านขั้นตอน Bronze (ดิบ) Silver (ล้างแล้ว) และ Gold (ดูแลจัดการ) แต่ละตัวเลือกจะปรับการคํานวณสําหรับลักษณะการอ่าน/เขียนตามแบบฉบับของขั้นตอนนั้น

กรณีการใช้งาน	เมื่อใดควรใช้
สัมฤทธิ์	การนําเข้าข้อมูลดิบ, ปริมาณงานการเขียนสูง, รูปแบบที่หลากหลาย
เงิน	การทําความสะอาดและการเพิ่มคุณค่า การอ่าน/เขียนที่สมดุลด้วยการรวมระดับปานกลาง
ทอง	การรวมและการรายงาน การอ่านที่ปรับให้เหมาะสมสําหรับการวิเคราะห์และ Power BI

ตามงาน

เลือก ตามงาน หากปริมาณงานของคุณไม่เป็นไปตามรูปแบบเหรียญ หรือหากถูกครอบงําด้วยรูปแบบการเข้าถึงเดียว ตัวอย่างเช่น ใช้ตัวเลือกนี้สําหรับงาน ETL แบบสแตนด์อโลน สมุดบันทึกการวิเคราะห์แบบโต้ตอบ หรือไปป์ไลน์การสตรีม

กรณีการใช้งาน	เมื่อใดควรใช้
อ่านให้เหมาะสม	อ่านและสอบถามบ่อย สมุดบันทึกแบบโต้ตอบ
เขียนให้เหมาะสม	การนําเข้าปริมาณมาก, ไปป์ไลน์ ETL, การสตรีม

อัปเดตโปรไฟล์ทรัพยากรอัตโนมัติ

โปรไฟล์ทรัพยากรรองรับความสามารถในการอัปเดตอัตโนมัติที่ช่วยให้การกําหนดค่าการประมวลผล Spark ของคุณสอดคล้องกับการเพิ่มประสิทธิภาพล่าสุดจาก Fabric เมื่อเปิดใช้งานการอัปเดตอัตโนมัติ Fabric จะใช้คุณสมบัติ Spark เฉพาะปริมาณงานตามชนิดโปรไฟล์ทรัพยากรของคุณ

การกําหนดค่าการอัปเดตอัตโนมัติ

Fabric มีโปรไฟล์การอัปเดตอัตโนมัติสามโปรไฟล์ โดยแต่ละโปรไฟล์จะปรับให้เหมาะกับรูปแบบปริมาณงานที่เฉพาะเจาะจง:

อ่านหนักสําหรับปริมาณงาน Spark

ตั้งค่าผ่าน spark.fabric.resourceProfile.readHeavyForSparkAutoUpdate:

{
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "128"
}

ใช้โปรไฟล์นี้เมื่อปริมาณงานของคุณถูกครอบงําโดยการอ่าน Spark ที่มีความต้องการการเพิ่มประสิทธิภาพการเขียนในระดับปานกลาง

อ่านหนักสําหรับปริมาณงาน Power BI

ตั้งค่าผ่าน spark.fabric.resourceProfile.readHeavyForPBIAutoUpdate:

{
    "spark.sql.parquet.vorder.default": "true",
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "1g"
}

ใช้โปรไฟล์นี้เมื่อข้อมูลของคุณถูกใช้โดย Power BI เป็นหลัก มีการเปิดใช้งานลําดับ V เพื่อประสิทธิภาพ Direct Lake ที่ดีที่สุด และขนาดถังที่ใหญ่ขึ้นจะให้ไฟล์จํานวนน้อยลงและใหญ่ขึ้นซึ่งเหมาะสําหรับการอ่านเชิงวิเคราะห์

ปริมาณงานที่เขียนมาก

ตั้งค่าผ่าน spark.fabric.resourceProfile.writeHeavyAutoUpdate:

{
    "spark.sql.parquet.vorder.default": "false",
    "spark.databricks.delta.optimizeWrite.binSize": "128",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"
}

ใช้โปรไฟล์นี้เมื่อปริมาณงานของคุณเป็นภาระงานที่เน้นการเขียน (เช่น การนําเข้าปริมาณมากหรือ ETL) ปิดใช้งาน V-order เพื่อลดภาระการเขียน และเปิดใช้งานการเขียนที่ปรับแต่งพร้อมการแบ่งพาร์ติชันเพื่อการจัดวางไฟล์ที่มีประสิทธิภาพ

วิธีการทํางานของการอัปเดตอัตโนมัติ

เมื่อใช้โปรไฟล์ทรัพยากรที่มีการอัปเดตอัตโนมัติ ให้ทําดังนี้

Fabric เลือกการกําหนดค่าการอัปเดตอัตโนมัติที่เหมาะสมตามกรณีการใช้งานหลักและชนิดปริมาณงานของคุณ
คุณสมบัติ Spark จะถูกนําไปใช้โดยอัตโนมัติกับเซสชันใหม่ในพื้นที่ทํางาน
เซสชันที่ใช้งานอยู่จะไม่ได้รับผลกระทบจนกว่าจะรีสตาร์ท