แชร์ผ่าน

ข้อกําหนดงาน Apache Spark คืออะไร

  • บทความ

ข้อกําหนดงาน Apache Spark เป็นรายการรหัส Microsoft Fabric ที่ช่วยให้คุณสามารถส่งชุดงาน/การสตรีมไปยังคลัสเตอร์ Spark ได้ โดยการอัปโหลดไฟล์ไบนารีจากผลลัพธ์การคอมไพล์ของภาษาต่าง ๆ (ตัวอย่างเช่น .jar จาก Java) คุณสามารถใช้ตรรกะการแปลงที่แตกต่างกันกับข้อมูลที่โฮสต์บน lakehouse นอกเหนือจากไฟล์ไบนารีคุณสามารถกําหนดลักษณะการทํางานของงานเพิ่มเติมได้โดยการอัปโหลดไลบรารีเพิ่มเติมและอาร์กิวเมนต์บรรทัดคําสั่ง

เมื่อต้องการเรียกใช้ข้อกําหนดงาน Spark คุณต้องมีเลคเฮ้าส์อย่างน้อยหนึ่งแห่งที่เชื่อมโยงอยู่ บริบทของเลคเฮ้าส์ค่าเริ่มต้นนี้ทําหน้าที่เป็นไฟล์ระบบเริ่มต้นสําหรับรันไทม์ Spark สําหรับรหัส Spark ใด ๆ ที่ใช้เส้นทางสัมพัทธ์ในการอ่าน/เขียนข้อมูล ข้อมูลจะถูกบริการจาก lakehouse ค่าเริ่มต้น

เคล็ดลับ

เมื่อต้องการเรียกใช้รายการข้อกําหนดงาน Spark คุณต้องมีไฟล์ข้อกําหนดหลักและบริบทของเลคเฮ้าส์ตามค่าเริ่มต้น ถ้าคุณไม่มีเลคเฮาส์ ให้สร้างโดยทําตามขั้นตอนใน สร้างเลคเฮ้าส์

เนื้อหาที่เกี่ยวข้อง