Supervisión de trabajos de Spark en un cuaderno

El cuaderno de Microsoft Fabric es una superficie interactiva basada en web para desarrollar trabajos de Apache Spark y realizar experimentos de aprendizaje automático. En este artículo se describe cómo supervisar el progreso de los trabajos de Spark, acceder a los registros de Spark, recibir asesoramiento en el cuaderno y navegar a la vista de detalles de la aplicación Spark o a la interfaz de usuario de Spark para obtener información de supervisión más completa para todo el cuaderno.

Supervisión del progreso del trabajo de Spark

Se proporciona un indicador de progreso del trabajo de Spark con una barra de progreso en tiempo real que le ayuda a supervisar el estado de ejecución del trabajo para cada celda del cuaderno. Puede ver el progreso del estado y las tareas en los trabajos y fases de Spark.

Supervisión del uso de recursos

El gráfico de uso del ejecutor muestra visualmente la asignación de ejecutores de trabajos de Spark y el uso de recursos. Actualmente, solo la información en tiempo de ejecución de Spark 3.4 y versiones posteriores mostrará esta característica. Haga clic en la pestaña Recursos: se mostrará el gráfico de líneas para el uso de recursos de la celda de código.

Visualización de recomendaciones de Spark Advisor

Un asesor de Spark integrado analiza el código de cuaderno y las ejecuciones de Spark en tiempo real para ayudar a optimizar el rendimiento en ejecución del cuaderno y ayudar a depurar errores. Hay tres tipos de consejos integrados: Información, Advertencia y Error. Los iconos con números indican el recuento respectivo de consejos en cada categoría (Información, Advertencia y Error) generado por el asesor de Spark para una celda de cuaderno determinada.

Para ver los consejos, haga clic en la flecha al principio para expandir y mostrar los detalles.

Tras ampliar la sección de asesores, se hacen visibles uno o varios consejos.

Detección de asimetría de Spark Advisor

La asimetría de datos es un problema común que los usuarios suelen encontrar. El asesor de Spark admite la detección de sesgos y, si se detecta asimetría, se muestra un análisis correspondiente a continuación.

Acceso a los registros en tiempo real de Spark

Los registros de Spark son esenciales para buscar excepciones y diagnosticar el rendimiento o los errores. La característica de supervisión contextual del cuaderno le lleva los registros directamente a la celda específica que está ejecutando. Puede buscar en los registros o filtrarlos por errores y advertencias.

Vaya a detalles de supervisión de Spark y a la interfaz de usuario de Spark

Si desea acceder a información adicional sobre la ejecución de Spark a nivel de cuaderno, puede navegar a la página de detalles de la aplicación Spark o a la interfaz de usuario de Spark a través de las opciones disponibles en el menú contextual.

Contenido relacionado

• Más información sobre el asesor de Spark
• Supervisión detallada de aplicaciones Apache Spark
• Uso del servidor de historial de Spark extendido para depurar aplicaciones