วิศวกรข้อมูลการตั้งค่าการจัดการพื้นที่ทํางานใน Microsoft Fabric
นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric
เมื่อคุณสร้างพื้นที่ทํางานใน Microsoft Fabric กลุ่ม เริ่มต้นที่เชื่อมโยงกับพื้นที่ทํางานนั้นจะถูกสร้างขึ้นโดยอัตโนมัติ ด้วยการตั้งค่าแบบง่ายใน Microsoft Fabric คุณไม่จําเป็นต้องเลือกโหนดหรือขนาดเครื่อง เนื่องจากตัวเลือกเหล่านี้จัดการให้คุณในเบื้องหลัง การกําหนดค่านี้มีความเร็ว (5-10 วินาที) เซสชัน Apache Spark จะเริ่มประสบการณ์สําหรับผู้ใช้เพื่อเริ่มต้นใช้งานและเรียกใช้งาน Apache Spark ของคุณในสถานการณ์ทั่วไปมากมายโดยไม่ต้องกังวลเกี่ยวกับการตั้งค่าการคํานวณ สําหรับสถานการณ์ขั้นสูงที่มีข้อกําหนดการคํานวณเฉพาะ ผู้ใช้สามารถสร้างพูล Apache Spark แบบกําหนดเองและปรับขนาดโหนดตามความต้องการด้านประสิทธิภาพการทํางานของพวกเขา
หากต้องการเปลี่ยนแปลงการตั้งค่า Apache Spark ในพื้นที่ทํางาน คุณควรมีบทบาทผู้ดูแลระบบสําหรับพื้นที่ทํางานนั้น หากต้องการเรียนรู้เพิ่มเติม โปรดดู บทบาทในพื้นที่ทํางาน
วิธีจัดการการตั้งค่า Spark สําหรับพูลที่เกี่ยวข้องกับพื้นที่ทํางานของคุณ:
ไปที่การตั้งค่าพื้นที่ทํางานในพื้นที่ทํางานของคุณและเลือกตัวเลือกวิศวกรข้อมูล/วิทยาศาสตร์เพื่อขยายเมนู:
คุณจะเห็นตัวเลือก Spark Compute ในเมนูด้านซ้ายของคุณ:
หมายเหตุ
ถ้าคุณเปลี่ยนพูลเริ่มต้นจากกลุ่ม Starter เป็นพูล Custom Spark คุณอาจเห็นเวลาเริ่มต้นเซสชันที่นานขึ้น (~ 3 นาที)
พูล
กลุ่มเริ่มต้นสําหรับพื้นที่ทํางาน
คุณสามารถใช้กลุ่มเริ่มต้นที่สร้างขึ้นโดยอัตโนมัติหรือสร้างกลุ่มแบบกําหนดเองสําหรับพื้นที่ทํางาน
กลุ่ม Starter: สระว่ายน้ําสดแบบ Prehydrated สร้างขึ้นโดยอัตโนมัติเพื่อประสบการณ์การใช้งานที่รวดเร็วยิ่งขึ้นของคุณ คลัสเตอร์เหล่านี้มีขนาดกลาง กลุ่มเริ่มต้นถูกตั้งค่าการกําหนดค่าเริ่มต้นตามความจุ Fabric SKU ที่ซื้อ ผู้ดูแลระบบสามารถกําหนดโหนดสูงสุดและผู้ปฏิบัติการตามความต้องการของสเกลปริมาณงาน Spark เมื่อต้องการเรียนรู้เพิ่มเติม ดู กําหนดค่ากลุ่มเริ่มต้น
Custom Spark Pool: คุณสามารถปรับขนาดโหนด ปรับขนาดอัตโนมัติ และจัดสรรผู้ปฏิบัติการแบบไดนามิกตามความต้องการงาน Spark ของคุณได้ หากต้องการสร้างพูล Spark แบบกําหนดเอง ผู้ดูแลระบบความจุควรเปิดใช้งานตัวเลือก กลุ่มพื้นที่ทํางานแบบกําหนดเอง ในส่วน Spark Compute ของการตั้งค่าผู้ดูแลระบบความจุ
หมายเหตุ
การควบคุมระดับความจุสําหรับกลุ่มพื้นที่ทํางานแบบกําหนดเองจะเปิดใช้งานตามค่าเริ่มต้น เมื่อต้องการเรียนรู้เพิ่มเติม ดู กําหนดค่าและจัดการการตั้งค่าวิศวกรรมข้อมูลและวิทยาศาสตร์ข้อมูลสําหรับความจุ Fabric
ผู้ดูแลระบบสามารถสร้างพูล Spark แบบกําหนดเองโดยยึดตามข้อกําหนดในการคํานวณโดยการ เลือกตัวเลือกกลุ่ม ใหม่
Apache Spark สําหรับ Microsoft Fabric สนับสนุนคลัสเตอร์โหนดเดียว ซึ่งช่วยให้ผู้ใช้สามารถเลือกการกําหนดค่าโหนดต่ําสุด 1 ในกรณีที่โปรแกรมควบคุมและตัวดําเนินการทํางานในโหนดเดียว คลัสเตอร์โหนดเดียวเหล่านี้มีความพร้อมใช้งานสูงที่สามารถกู้คืนได้ระหว่างความล้มเหลวของโหนดและความน่าเชื่อถือของงานที่ดีขึ้นสําหรับปริมาณงานที่มีความต้องการคํานวณที่มีขนาดเล็กลง คุณยังสามารถเปิดใช้งานหรือปิดใช้งานตัวเลือกการปรับขนาดอัตโนมัติสําหรับพูล Spark แบบกําหนดเองของคุณได้ เมื่อเปิดใช้งานด้วย autoscale กลุ่มจะได้รับโหนดใหม่ภายในขีดจํากัดโหนดสูงสุดที่ระบุโดยผู้ใช้และถอนโหนดหลังจากการดําเนินงานเพื่อประสิทธิภาพการทํางานที่ดีขึ้น
นอกจากนี้ คุณยังสามารถเลือกตัวเลือกในการจัดสรรผู้ปฏิบัติการแบบไดนามิกไปยังพูลจํานวนผู้ปฏิบัติการที่เหมาะสมที่สุดโดยอัตโนมัติภายในสูงสุดที่ผูกไว้ตามปริมาณข้อมูลเพื่อประสิทธิภาพที่ดีขึ้น
เรียนรู้เพิ่มเติมเกี่ยวกับ Apache Spark Compute สําหรับ Fabric
- กําหนดค่าการคํานวณเองสําหรับรายการ: ในฐานะผู้ดูแลระบบพื้นที่ทํางาน คุณสามารถอนุญาตให้ผู้ใช้ปรับการกําหนดค่าการคํานวณ (คุณสมบัติระดับเซสชันซึ่งรวมถึง Driver/Executor Core, Driver/Executor Memory) สําหรับแต่ละรายการ เช่น สมุดบันทึก ข้อกําหนดงาน Spark โดยใช้สภาพแวดล้อม
หากการตั้งค่าถูกปิดใช้งานโดยผู้ดูแลระบบพื้นที่ทํางาน กลุ่มค่าเริ่มต้นและการกําหนดค่าการคํานวณจะถูกใช้สําหรับสภาพแวดล้อมทั้งหมดในพื้นที่ทํางาน
สภาพแวดล้อม
สภาพแวดล้อมมีการกําหนดค่าที่ยืดหยุ่นสําหรับการเรียกใช้งาน Spark (สมุดบันทึก ข้อกําหนดงาน Spark) ในสภาพแวดล้อม คุณสามารถกําหนดค่าคุณสมบัติการคํานวณ เลือกรันไทม์ที่แตกต่างกัน ตั้งค่าการขึ้นต่อกันของแพคเกจไลบรารีตามความต้องการปริมาณงานของคุณ
ในแท็บสภาพแวดล้อม คุณมีตัวเลือกในการตั้งค่าสภาพแวดล้อมเริ่มต้น คุณอาจเลือก Spark เวอร์ชันที่คุณต้องการใช้สําหรับพื้นที่ทํางาน
ในฐานะผู้ดูแลระบบพื้นที่ทํางาน Fabric คุณสามารถเลือกสภาพแวดล้อมเป็นสภาพแวดล้อมเริ่มต้นของพื้นที่ทํางานได้
คุณยังสามารถสร้างรายการใหม่ผ่านดรอปดาวน์สภาพแวดล้อม
ถ้าคุณปิดใช้งานตัวเลือกเพื่อให้มีสภาพแวดล้อมเริ่มต้น คุณมีตัวเลือกในการเลือกเวอร์ชันรันไทม์ Fabric จากเวอร์ชันรันไทม์ที่พร้อมใช้งานที่แสดงในรายการการเลือกแบบเลื่อนลง
เรียนรู้เพิ่มเติมเกี่ยวกับ รันไทม์ Apache Spark
งาน
การตั้งค่างานช่วยให้ผู้ดูแลระบบสามารถควบคุมตรรกะการยอมรับงานสําหรับงาน Spark ทั้งหมดในพื้นที่ทํางาน
ตามค่าเริ่มต้น พื้นที่ทํางานทั้งหมดจะเปิดใช้งานด้วยการเข้ารับสมัครงานแบบ Optimistic เรียนรู้เพิ่มเติมเกี่ยวกับการยอมรับงานสําหรับ Spark ใน Microsoft Fabric
คุณสามารถเปิดใช้งาน สํารองแกนหลักสูงสุดสําหรับงาน Spark ที่ใช้งานอยู่ เพื่อเปลี่ยนวิธีการเข้ารับงานแบบ Optimistic โดยยึดตามแนวทางและสงวนแกนประมวลผลสูงสุดสําหรับงาน Spark
คุณยังสามารถตั้งค่าการหมดเวลาเซสชัน Spark เพื่อกําหนดการหมดอายุของเซสชันสําหรับเซสชันแบบโต้ตอบของสมุดบันทึกทั้งหมดได้
หมายเหตุ
การหมดอายุของเซสชันเริ่มต้นจะถูกตั้งค่าเป็น 20 นาทีสําหรับเซสชัน Spark แบบโต้ตอบ
ภาวะพร้อมกันสูง
โหมดการทํางานพร้อมกันสูงช่วยให้ผู้ใช้สามารถแชร์เซสชัน Spark เดียวกันใน Apache Spark สําหรับปริมาณงานวิศวกรรมข้อมูลผ้าและวิทยาศาสตร์ข้อมูล รายการเช่น สมุดบันทึกใช้เซสชัน Spark สําหรับการดําเนินการ และเมื่อเปิดใช้งานให้ผู้ใช้สามารถแชร์เซสชัน Spark เดียวในสมุดบันทึกหลายเล่มได้
เรียนรู้เพิ่มเติมเกี่ยวกับภาวะพร้อมกันสูงใน Apache Spark สําหรับ Fabric
การบันทึกอัตโนมัติสําหรับแบบจําลอง Machine Learning และการทดลอง
ตอนนี้ผู้ดูแลระบบสามารถเปิดใช้งานการล็อกอัตโนมัติสําหรับแบบจําลองการเรียนรู้ของเครื่องและการทดลองได้แล้ว ตัวเลือกนี้จับค่าของพารามิเตอร์อินพุต เมตริกผลลัพธ์ และรายการผลลัพธ์ของแบบจําลองการเรียนรู้ของเครื่องโดยอัตโนมัติตามที่กําลังได้รับการฝึก เรียนรู้เพิ่มเติมเกี่ยวกับ การล็อกอัตโนมัติ
เนื้อหาที่เกี่ยวข้อง
- อ่านเกี่ยวกับ Apache Spark Runtimes ใน Fabric - ภาพรวม การกําหนดเวอร์ชัน การสนับสนุนรันไทม์หลายรายการ และอัปเกรดโพรโทคอล Delta Lake
- เรียนรู้เพิ่มเติมจากคู่มือสาธารณะของ Apache Spark
- ค้นหาคําตอบสําหรับคําถามที่พบบ่อย: คําถามที่พบบ่อยเกี่ยวกับการตั้งค่าการดูแลระบบพื้นที่ทํางาน Apache Spark