API การใช้ทรัพยากร

บทความนี้อธิบายวิธีการรับข้อมูลการใช้งานทรัพยากร Spark

สิทธิ์

ผู้เรียกต้องมีสิทธิ์ "อ่าน" บนรายการ

ขอบเขตที่ได้รับมอบสิทธิ์ที่จําเป็น

Item.Read.All หรือ Item.ReadWrite.All หรือหนึ่งใน 3 กลุ่มต่อไปนี้ (ตามรายการที่ทริกเกอร์แอปพลิเคชัน Spark)

• Notebook.Read.All หรือ Notebook.ReadWrite.All
• SparkJobDefinition.Read.All หรือ SparkJobDefinition.ReadWrite.All
• Lakehouse.Read.All หรือ Lakehouse.ReadWrite.All

ข้อมูลประจําตัวที่สนับสนุนของ Microsoft Entra

API นี้สนับสนุนข้อมูลประจําตัวของ Microsoft แสดงรายการในส่วนนี้

เอกลักษณ์	การสนับสนุน
ผู้ใช้	ใช่
บริการหลักและข้อมูลประจําตัว ที่มีการจัดการ	ใช่

รับไทม์ไลน์การใช้ทรัพยากร

รับข้อมูลการใช้ทรัพยากรทั้งหมดเป็นไทม์ไลน์

อินเตอร์เฟซ

ด้วย attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage 

ไม่มี attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage

ด้วยพารามิเตอร์ที่เลือกได้:

ด้วย attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}&executorJobLimit={executorJobLimit}&start={start}&end={end}

ไม่มี attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}&executorJobLimit={executorJobLimit}&start={start}&end={end}

พารามิเตอร์ URI

ชื่อ	ใน	ต้องมี	ประเภท	คำอธิบาย
workspaceId	ทาง	จริง	uuid สตริง	ID พื้นที่ทํางาน
itemId	ทาง	จริง	uuid สตริง	ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId	ทาง	จริง	uuid สตริง	รหัสเซสชัน Livy
appId	ทาง	จริง	สตริง	ID แอปพลิเคชัน Spark เช่น application_1111111111111_0001
attemptId	ทาง	ปลอม	int	ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
workGroup	การสอบถาม	ปลอม	สตริง	แสดงรายการไทม์ไลน์ของงานภายในกลุ่มงานที่กําหนดเท่านั้น สามารถระบุหลายกลุ่มงานเป็น: ?jobGroup=1&jobGroup=2
jobLimit	การสอบถาม	ปลอม	int	จํานวนสูงสุดของงานที่จะแสดงรายการต่อจุดเวลา
executorLimit	การสอบถาม	ปลอม	int	จํานวนสูงสุดของตัวดําเนินการที่จะแสดงรายการต่อจุดเวลา
executorJobLimit	การสอบถาม	ปลอม	int	จํานวนสูงสุดของข้อมูลงานปฏิบัติการที่จะแสดงรายการต่อจุดเวลา
เริ่มต้น / สิ้นสุด	การสอบถาม	ปลอม	ยาว	ขอบล่างและด้านบนของจุดเวลาเป็นรายการ

เนื้อความของคําขอ

ไม่มีใคร

การตอบสนอง

ชื่อ	ประเภท	คำอธิบาย
200 ตกลง	ResourceUsageInfo	คําขอเสร็จสมบูรณ์
400 คําขอไม่ถูกต้อง		พารามิเตอร์ไม่ถูกต้อง เริ่มต้นมากกว่าจุดสิ้นสุด
403 ห้ามใช้งาน		ผู้ใช้ไม่มีสิทธิ์ที่ถูกต้อง
ไม่พบข้อมูล 404		- ไม่ตรงกันระหว่าง ID รายการ รหัสแอปพลิเคชัน และ ID ของ Livy - เร็วเกินไปที่จะดึงข้อมูลการใช้ทรัพยากรใดๆ

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/11bb11bb-cc22-dd33-ee44-55ff55ff55ff/livySessions/0a0a0a0a-1111-bbbb-2222-3c3c3c3c3c3c/applications/application_11111111111110001/1/resourceUsage?start=1745906291774&end=1745906293676

การตอบกลับตัวอย่าง

รหัสสถานะ: 200

{ 
  { 
   "resourceUsageApiVersion" : 2, 
   "duration" : 131903, 
   "capacityExceeded" : false, 
   "idleTime" : 120869, 
   "coreEfficiency" : 0.08070419171664026, 
   "data" : { 
      "timestamps" : [ 1745906291774, 1745906292471, 1745906292731], 
      "isPartials" : [ false, false, false ], 
      "allocatedCores" : [ 8.0, 8.0, 8.0 ], 
      "idleCores" : [ 0.0, 0.0, 1.0 ], 
      "runningCores" : [ 8.0, 8.0, 7.0 ], 
      "executors" : [ [ [ "1", 8.0, 12 ] ], [ [ "1", 8.0, 9 ] ], [ [ "1", 7.0, 7 ] ] ], 
      "jobs" : [ [ [ 9, 12 ] ], [ [ 9, 9 ] ], [ [ 9, 7 ] ] ], 
      "executorJobs" : [ [ [ "1", [ [ 9, 12 ] ] ] ], [ [ "1", [ [ 9, 9 ] ] ] ], [ [ "1", [ [ 9, 7 ] ] ] ] ]
    }
  }
}  

คำจำกัดความ

ResourceUsageInfo

ออบเจ็กต์

ชื่อ	ประเภท	คำอธิบาย
resourceUsageApiVersion	int	เวอร์ชันของ API การใช้ทรัพยากร
ระยะเวลา	ยาว	ระยะเวลาของแอปพลิเคชัน Spark ที่กําหนด หน่วยเป็นมิลลิวินาที
capacityExceeded	บูล	จริง ถ้าเกินขีดจํากัดของงาน 10k เมื่อเป็นจริง คุณสมบัติทั้งหมดในข้อมูลจะว่างเปล่า
idleTime	ยาว	ระยะเวลาเมื่อแอปพลิเคชัน Spark ที่กําหนดไม่ได้ใช้งาน หน่วยเป็นมิลลิวินาที
coreEfficiency	สองเท่า	อัตราการใช้งานภาพรวมของแกนประมวลผล
ข้อมูล	ResourceUsageData

ResourceUsageData

ออบเจ็กต์

ชื่อ	ประเภท	คำอธิบาย
ประทับเวลา	อาร์เรย์ของ long
คือส่วน	อาร์เรย์ของบูลีน	ตัวกรองใด ๆ ที่ใช้เนื่องจากขีดจํากัดที่ประทับเวลาที่สอดคล้องกัน
รหัสที่จัดสรร/ไม่ได้ใช้งาน/กําลังเรียกใช้	อาร์เรย์ของ double	จํานวนแกนที่มีสถานะแตกต่างกันในการประทับเวลาที่สอดคล้องกัน
ตัวปฏิบัติการ	อาร์เรย์แบบสองมิติของ ResourceUsageExecutor	แกนประมวลผลและข้อมูลงานที่ประทับเวลาที่สอดคล้องกัน
งาน	อาร์เรย์สองมิติของ ResourceUsageJob	ข้อมูลงานต่องานที่ประทับเวลาที่สอดคล้องกัน
executorJobs	อาร์เรย์แบบสองมิติของ ResourceUsageExecutorJob	ข้อมูลงานต่อผู้ปฏิบัติการที่ประทับเวลาที่สอดคล้องกัน

ResourceUsageExecutor

ออบเจ็กต์

ข้อมูลหลักและข้อมูลงานต่อการดําเนินการ

ชื่อ	ประเภท	คำอธิบาย
executorId	สตริง	ID ผู้ปฏิบัติการ
coreCount	int	จํานวนแกนที่ทํางานบนเครื่องปฏิบัติการ
taskCount	int	จํานวนงานที่ทํางานบนตัวดําเนินการ

ResourceUsageJob

ออบเจ็กต์

ข้อมูลงานต่องาน

ชื่อ	ประเภท	คำอธิบาย
jobId	int	ID ของงาน
taskCount	int	จํานวนงานรันของงาน

ResourceUsageExecutorJob

ออบเจ็กต์

ข้อมูลงานต่อการดําเนินการ

ชื่อ	ประเภท	คำอธิบาย
executorId	สตริง	ID ผู้ปฏิบัติการ
resourceUsageJob	อาร์เรย์ของ ResourceUsageJob	การเรียกใช้งานที่มีงานที่รันบนตัวดําเนินการ

รับสแนปช็อตการใช้ทรัพยากร

รับข้อมูลการใช้งานทรัพยากร ณ จุดเวลาที่ใกล้เคียงกับประทับเวลาที่กําหนดมากที่สุด

อินเตอร์เฟซ

ด้วย attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage/{timestamp}

ไม่มี attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage/{timestamp}

ด้วยพารามิเตอร์ที่เลือกได้:

ด้วย attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage/{timestamp}?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}

ไม่มี attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage/{timestamp}?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}

พารามิเตอร์ URI

ชื่อ	ใน	ต้องมี	ประเภท	คำอธิบาย
workspaceId	ทาง	จริง	uuid สตริง	ID พื้นที่ทํางาน
itemId	ทาง	จริง	uuid สตริง	ID รายการของสมุดบันทึกหรือข้อกําหนดงาน Spark หรือ Lakehouse
livyId	ทาง	จริง	uuid สตริง	รหัสเซสชัน Livy
appId	ทาง	จริง	สตริง	ID แอปพลิเคชัน Spark เช่น application_1111111111111_0001
attemptId	ทาง	ปลอม	int	ID ความพยายามของ ID แอปพลิเคชันนั้น ถ้าไม่ได้ระบุ จะใช้รหัสของความพยายามล่าสุด
ประทับเวลา	ทาง	จริง	ยาว	ประทับเวลาเฉพาะในการคิวรี
workGroup	การสอบถาม	ปลอม	สตริง	แสดงรายการไทม์ไลน์ของงานภายในกลุ่มงานที่กําหนดเท่านั้น สามารถระบุหลายกลุ่มงานเป็น: ?jobGroup=1&jobGroup=2
jobLimit	การสอบถาม	ปลอม	int	จํานวนสูงสุดของงานที่จะแสดงรายการ
executorLimit	การสอบถาม	ปลอม	int	จํานวนสูงสุดของตัวดําเนินการที่จะแสดงรายการ

เนื้อความของคําขอ

ไม่มีใคร

การตอบสนอง

ชื่อ	ประเภท	คำอธิบาย
200 ตกลง	ResourceUsageSnapshot	คําขอเสร็จสมบูรณ์
403 ห้ามใช้งาน		ผู้ใช้ไม่มีสิทธิ์ที่ถูกต้อง
ไม่พบข้อมูล 404		- ไม่ตรงกันระหว่าง ID รายการ รหัสแอปพลิเคชัน และ ID ของ Livy - เร็วเกินไปที่จะดึงข้อมูลการใช้ทรัพยากรใดๆ

ตัวอย่าง

คำขอตัวอย่าง

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/11bb11bb-cc22-dd33-ee44-55ff55ff55ff/livySessions/0a0a0a0a-1111-bbbb-2222-3c3c3c3c3c3c/applications/application_1111111111111_0001/1/resourceUsage/1745906291774

การตอบกลับตัวอย่าง

รหัสสถานะ: 200

{ 
   "queryTime" : 1745906291774, 
   "data" : { 
   "timestamp" : 1745906291774, 
   "isPartial" : false, 
   "allocatedCores" : 8.0, 
   "idleCores" : 0.0, 
   "runningCores" : 8.0, 
   "executors" : [ [ "1", 8.0, 12 ] ], 
   "jobs" : [ [ 9, 12 ] ], 
   "executorJobs" : [ [ "1", [ [ 9, 12 ] ] ] ] 
   }
}  

คำจำกัดความ

ResourceUsageSnapshot

ออบเจ็กต์

ชื่อ	ประเภท	คำอธิบาย
queryTime	ยาว	ประทับเวลาที่ระบุในคําขอ
ข้อมูล	ResourceUsageSnapshotData

ResourceUsageSnapshotData

ออบเจ็กต์

ชื่อ	ประเภท	คำอธิบาย
ประทับเวลา	ยาว	ประทับเวลาของจุดเวลาซึ่งใกล้เคียงกับประทับเวลาที่กําหนดมากที่สุด
คือ Partial	บูล	ตัวกรองใด ๆ ที่ใช้เนื่องจากขีดจํากัดในการประทับเวลา
รหัสที่จัดสรร/ไม่ได้ใช้งาน/กําลังเรียกใช้	สองเท่า	จํานวนแกนที่มีสถานะแตกต่างกันในการประทับเวลา
ตัวปฏิบัติการ	อาร์เรย์ของ ResourceUsageExecutor	ข้อมูลหลักและงานต่อการดําเนินการที่ประทับเวลา
งาน	อาร์เรย์ของ ResourceUsageJob	ข้อมูลงานต่องานที่ประทับเวลา
executorJobs	อาร์เรย์ของ ResourceUsageExecutorJob	ข้อมูลงานต่อผู้ปฏิบัติการที่ประทับเวลา