API de uso de recursos

En este artículo se explica cómo obtener información de uso de recursos de Spark.

Permisos

El autor de la llamada debe tener permiso de "lectura" en el elemento.

Ámbitos delegados necesarios

Item.Read.All o Item.ReadWrite.All o uno de los tres grupos siguientes (según el elemento que desencadenó la aplicación Spark)

• Notebook.Read.All o Notebook.ReadWrite.All
• SparkJobDefinition.Read.All o SparkJobDefinition.ReadWrite.All
• Lakehouse.Read.All o Lakehouse.ReadWrite.All

Identidades admitidas de Microsoft Entra

Esta API admite las identidades de Microsoft enumeradas en esta sección.

identidad	Apoyo
Usuario	Sí
Entidad de servicio e Identidades administradas	Sí

Obtención del cronograma de uso de recursos

Obtenga toda la información de uso de recursos como escala de tiempo.

Interfaz

Con attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage 

Sin attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage

Con parámetros opcionales:

Con attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}&executorJobLimit={executorJobLimit}&start={start}&end={end}

Sin attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}&executorJobLimit={executorJobLimit}&start={start}&end={end}

Parámetros de URI

Nombre	En	Obligatorio	Tipo	Descripción
Id del espacio de trabajo	camino	Cierto	cadena UUID	El identificador del área de trabajo.
idDeArtículo	camino	Cierto	cadena UUID	Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse.
livyId	camino	Cierto	cadena UUID	El identificador de sesión de Livy.
ID de la aplicación	camino	Cierto	cuerda / cadena	El identificador de aplicación de Spark, como application_1111111111111_0001.
attemptId	camino	Falso	Int	Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento.
grupo de trabajo	consulta	Falso	cuerda / cadena	Enumere solo la escala de tiempo de los trabajos dentro de los grupos de trabajos especificados. Se pueden especificar varios jobGroups como: ?jobGroup=1&jobGroup=2
límiteDeTrabajos	consulta	Falso	Int	Número máximo de trabajos que se van a enumerar por punto de tiempo.
límite del ejecutor	consulta	Falso	Int	Número máximo de ejecutores que se van a enumerar por punto de tiempo.
límiteDeTrabajosDelEjecutor	consulta	Falso	Int	El número máximo de informaciones de trabajos del ejecutor que se enumerarán por cada instante de tiempo.
inicio/fin	consulta	Falso	largo	El límite inferior y superior de los puntos temporales a enumerar.

Cuerpo de la solicitud

Ninguno

Respuestas

Nombre	Tipo	Descripción
200 Ok	ResourceUsageInfo	Solicitud completada correctamente
400 Solicitud incorrecta		Parámetro no válido. el inicio es mayor que el final
403 Prohibido		El usuario no tiene el permiso correcto
404 No encontrado		- Discrepancia entre el ID de elemento, el ID de aplicación y el ID de Livy - Demasiado pronto para recuperar los datos de uso de recursos

Ejemplos

Solicitud de ejemplo

GET https://api.fabric.microsoft.com/v1/workspaces/00aa00aa-bb11-cc22-dd33-44ee44ee44ee/notebooks/11bb11bb-cc22-dd33-ee44-55ff55ff55ff/livySessions/0a0a0a0a-1111-bbbb-2222-3c3c3c3c3c3c/applications/application_11111111111110001/1/resourceUsage?start=1745906291774&end=1745906293676

Respuesta de ejemplo

Código de estado: 200

{ 
  { 
   "resourceUsageApiVersion" : 2, 
   "duration" : 131903, 
   "capacityExceeded" : false, 
   "idleTime" : 120869, 
   "coreEfficiency" : 0.08070419171664026, 
   "data" : { 
      "timestamps" : [ 1745906291774, 1745906292471, 1745906292731], 
      "isPartials" : [ false, false, false ], 
      "allocatedCores" : [ 8.0, 8.0, 8.0 ], 
      "idleCores" : [ 0.0, 0.0, 1.0 ], 
      "runningCores" : [ 8.0, 8.0, 7.0 ], 
      "executors" : [ [ [ "1", 8.0, 12 ] ], [ [ "1", 8.0, 9 ] ], [ [ "1", 7.0, 7 ] ] ], 
      "jobs" : [ [ [ 9, 12 ] ], [ [ 9, 9 ] ], [ [ 9, 7 ] ] ], 
      "executorJobs" : [ [ [ "1", [ [ 9, 12 ] ] ] ], [ [ "1", [ [ 9, 9 ] ] ] ], [ [ "1", [ [ 9, 7 ] ] ] ] ]
    }
  }
}  

Definiciones

ResourceUsageInfo

Objeto

Nombre	Tipo	Descripción
resourceUsageApiVersion	Int	Versión de la API de uso de recursos.
duración	largo	Duración de la aplicación Spark determinada, en milisegundos.
capacidadSuperada	booleano	Verdadero si se supera la limitación de 10.000 tareas. Cuando es true, todas las propiedades de los datos están vacías.
tiempo inactivo	largo	Duración cuando la aplicación spark especificada está inactiva, en milisegundos.
eficiencia central	doble	La tasa de uso general de núcleos del ejecutor.
datos	ResourceUsageData

ResourceUsageData

Objeto

Nombre	Tipo	Descripción
marcas de tiempo	Matriz de long
isPartials	matriz de bool	Cualquier filtro aplicado debido a un límite en la marca de tiempo correspondiente.
núcleos asignados/inactivos/en ejecución	matriz de double	Recuento de núcleos con un estado diferente en la marca de tiempo correspondiente.
ejecutores	matriz bidimensional de ResourceUsageExecutor	Información de núcleo y tarea por cada ejecutor en la marca de tiempo correspondiente.
Trabajos	una matriz bidimensional de ResourceUsageJob	Información de tareas por cada trabajo en el momento correspondiente.
trabajosDelEjecutor	una matriz bidimensional de ResourceUsageExecutorJob	Información del trabajo por ejecutor en la marca de tiempo correspondiente.

ResourceUsageExecutor

Objeto

Información básica y de tareas por ejecutor

Nombre	Tipo	Descripción
Id del ejecutor	cuerda / cadena	Id. del ejecutor
coreCount	Int	Recuento de núcleos en ejecución en el ejecutor
taskCount	Int	Recuento de tareas en ejecución en el ejecutor

ResourceUsageJob

Objeto

Información de tareas por trabajo

Nombre	Tipo	Descripción
jobId	Int	Id. del trabajo
conteo de tareas	Int	Recuento de las tareas que están en ejecución dentro del trabajo.

EjecutorDeUsoDeRecursos

Objeto

Información del trabajo por ejecutante

Nombre	Tipo	Descripción
executorId	cuerda / cadena	Id. del ejecutor
tarea de uso de recursos	Matriz de ResourceUsageJob	Ejecución de trabajos que tienen tareas que se ejecutan en el ejecutor.

Obtención de la instantánea de uso de recursos

Obtenga información de uso de recursos en el momento en el que está más cerca de la marca de tiempo especificada.

Interfaz

Con attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage/{timestamp}

Sin attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage/{timestamp}

Con parámetros opcionales:

Con attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/resourceUsage/{timestamp}?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}

Sin attemptId

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/resourceUsage/{timestamp}?jobGroup={jobGroup}&jobLimit={jobLimit}&executorLimit={executorLimit}

Parámetros de URI

Nombre	En	Obligatorio	Tipo	Descripción
Id del espacio de trabajo	camino	Cierto	cadena UUID	El identificador del área de trabajo.
idDeArtículo	camino	Cierto	cadena UUID	Identificador de elemento del cuaderno o la definición del trabajo de Spark o Lakehouse.
livyId	camino	Cierto	cadena UUID	El identificador de sesión de Livy.
ID de la aplicación	camino	Cierto	cuerda / cadena	El identificador de aplicación de Spark, como application_1111111111111_0001.
attemptId	camino	Falso	Int	Identificador de intento de ese identificador de aplicación. Si no se especifica, se usa el identificador del último intento.
marca de tiempo	camino	Cierto	largo	La marca de tiempo específica para consultar
grupo de trabajo	consulta	Falso	cuerda / cadena	Enumere solo la escala de tiempo de los trabajos dentro de los grupos de trabajos especificados. Se pueden especificar varios jobGroups como: ?jobGroup=1&jobGroup=2
límite de trabajo	consulta	Falso	Int	Número máximo de trabajos que se van a enumerar
executorLimit	consulta	Falso	Int	Número máximo de ejecutores que se van a enumerar

Cuerpo de la solicitud

Ninguno

Respuestas

Nombre	Tipo	Descripción
200 Ok	InstantáneaDeUsoDeRecursos	Solicitud completada correctamente
403 Prohibido		El usuario no tiene el permiso correcto
404 No encontrado		- Error de coincidencia entre el identificador de elemento, el identificador de la aplicación y el ID de Livy - Demasiado pronto para recuperar los datos de uso de recursos

Ejemplos

Solicitud de ejemplo

GET https://api.fabric.microsoft.com/v1/workspaces/00aa00aa-bb11-cc22-dd33-44ee44ee44ee/notebooks/11bb11bb-cc22-dd33-ee44-55ff55ff55ff/livySessions/0a0a0a0a-1111-bbbb-2222-3c3c3c3c3c3c/applications/application_1111111111111_0001/1/resourceUsage/1745906291774

Respuesta de ejemplo

Código de estado: 200

{ 
   "queryTime" : 1745906291774, 
   "data" : { 
   "timestamp" : 1745906291774, 
   "isPartial" : false, 
   "allocatedCores" : 8.0, 
   "idleCores" : 0.0, 
   "runningCores" : 8.0, 
   "executors" : [ [ "1", 8.0, 12 ] ], 
   "jobs" : [ [ 9, 12 ] ], 
   "executorJobs" : [ [ "1", [ [ 9, 12 ] ] ] ] 
   }
}  

Definiciones

Instantánea de Uso de Recursos

Objeto

Nombre	Tipo	Descripción
queryTime	largo	Marca de tiempo especificada en la solicitud
datos	DatosInstantáneosDeUsoDeRecursos

ResourceUsageSnapshotData

Objeto

Nombre	Tipo	Descripción
marca de tiempo	largo	Marca de tiempo del punto de tiempo más cercano a la marca de tiempo especificada.
isPartial	booleano	Cualquier filtro aplicado debido a un límite en la marca de tiempo.
núcleos asignados/inactivos/en ejecución	doble	Recuento de núcleos con diferentes estados en un momento determinado.
ejecutores	Matriz de ResourceUsageExecutor	Información de tareas y núcleos por ejecutor en la marca de tiempo.
Trabajos	una matriz de ResourceUsageJob	Información por tarea de cada trabajo en el momento de la marca de tiempo.
trabajos del ejecutor	una matriz de ResourceUsageExecutorJob	Información del trabajo por cada ejecutor en la marca de tiempo.