Diagnóstico de problemas de costo y rendimiento mediante la interfaz de usuario de Spark

Cuando una canalización o consulta dura más o cuesta más de lo esperado, la causa suele ser difícil de detectar solo con el código. La interfaz de Spark muestra qué hacía realmente el clúster: qué trabajos se ejecutaron, cuánto tiempo duró cada etapa, cuántos datos se movieron y dónde fallaron las tareas. Esta guía describe los patrones en la interfaz de Spark y explica qué página leer a continuación para cada patrón. Si no estás familiarizado con los conceptos de driver, workers, ejecutores, etapas y tareas, revisa la arquitectura de Spark antes de empezar.

Cuándo usar esta guía

Utiliza esta guía cuando una carga de trabajo que se ejecuta en un clúster tenga alguno de estos síntomas:

• Un trabajo, pipeline o consulta tarda más de lo esperado o más de lo que solía tardar.
• Una carga de trabajo cuesta más de lo esperado para la cantidad de datos que procesa.
• Los trabajos o ejecutores fallan y el mensaje de error no identifica la causa.

Uso de esta guía

Empieza con la cronología de trabajos. La línea de tiempo muestra la forma general de la carga de trabajo, y cada patrón enlaza a la página que diagnostica ese patrón. Sigue los enlaces al final de cada página para avanzar en la guía. Para diagnosticar una carga de trabajo lenta, sigue estos pasos en orden:

1. Usar la escala de tiempo de trabajos para identificar problemas importantes
2. Examinar las fases más largas
3. Buscar distorsiones o volcados
4. Determinar si la fase más larga está limitada por E/S
5. Buscar otras causas de la lentitud del tiempo de ejecución de la etapa

Si la línea temporal de trabajos muestra trabajos fallidos, largas pausas entre trabajos o muchos trabajos pequeños, salta los pasos restantes y sigue el enlace en la página de la línea de tiempo hasta la página de ese patrón.

Cómo abrir la interfaz de usuario de Spark

1. Vaya a la página del clúster:

   

2. Haga clic en la interfaz de usuario de Spark .

   

Paso siguiente

A continuación, revisa la cronología de eventos para saber más sobre tu pipeline o consulta. Consulta escala de tiempo de trabajos.