Escala de tiempo de trabajos

La escala de tiempo de los trabajos es un excelente punto de partida para comprender la canalización o consulta. Proporciona información general sobre lo que se estaba ejecutando, cuánto tiempo se llevó a cabo cada paso y si se produjeron errores a lo largo del camino.

Cómo abrir la escala de tiempo de trabajos

En la interfaz de usuario de Spark, haga clic en Trabajos y Escala de tiempo de eventos como se resalta en rojo en la siguiente captura de pantalla. Verá la escala de tiempo. En este ejemplo se muestra que se agrega el controlador y el ejecutor 0:

Qué se debe tener presente

En las secciones siguientes se explica cómo leer la escala de tiempo del evento para detectar la posible causa del problema de rendimiento o costo. Si observa alguna de estas tendencias en su escala de tiempo, al final de cada sección correspondiente encontrará un vínculo a un artículo que le servirá de guía.

Trabajos con errores o ejecutores con errores

Este es un ejemplo de un trabajo con errores y ejecutores quitados, indicados por un estado rojo, en la escala de tiempo del evento.

Si ve trabajos con errores o ejecutores con errores, consulte Trabajos con errores o ejecutores quitados.

Intervalos en la ejecución

Busque intervalos de un minuto o más, como en este ejemplo:

Este ejemplo tiene varios intervalos, algunos de los cuales están resaltados por las flechas rojas. Si ve intervalos en la escala de tiempo, ¿son un minuto o más? Se esperan intervalos cortos a medida que funcionan las coordenadas del controlador. Si tiene intervalos más largas, ¿están en medio de una canalización? O bien, ¿se está ejecutando constantemente este clúster y, por tanto, los intervalos se explican mediante pausas en la actividad? Es posible que pueda determinar esto en función del momento en que se inició y finalizó la carga de trabajo.

Si ve intervalos largos sin explicar en medio de una canalización, consulte Intervalos entre trabajos de Spark.

Trabajos largos

¿La escala de tiempo está dominado por uno o algunos trabajos largos? Estos trabajos largos serían algo que investigar. En el siguiente ejemplo, la carga de trabajo tiene un trabajo que es mucho más largo que los demás. Este es un buen objetivo para la investigación.

Haga clic en el trabajo más largo para profundizar más. Para obtener información sobre cómo investigar esta fase larga, consulte Diagnóstico de una fase larga en Spark.

Muchos trabajos pequeños

Lo que buscamos aquí es una línea de tiempo dominada por pequeños trabajos. Es posible que tenga un aspecto similar a este:

Observe todas las pequeñas líneas azules. Cada uno de ellos es un trabajo pequeño que tardó unos segundos o menos.

Si la escala de tiempo es principalmente trabajos pequeños, consulte Muchos trabajos pequeños de Spark.

Ninguna de los anteriores

Si la escala de tiempo no es similar a ninguna de las anteriores, el siguiente paso es identificar el trabajo más largo. Ordene los trabajos por duración y haga clic en el vínculo de la descripción del trabajo más largo:

Una vez que esté’en la página para el trabajo más largo, la información adicional sobre la investigación de esta larga fase se encuentra en Diagnóstico de una fase larga en Spark.