Supervisión detallada de aplicaciones de Apache Spark
Importante
Microsoft Fabric está actualmente en versión preliminar. Esta información está relacionada con un producto en versión preliminar que puede modificarse considerablemente antes de su lanzamiento. Microsoft no ofrece ninguna garantía, expresa o implícita, con respecto a la información que se ofrece aquí.
Con Microsoft Fabric, puede usar Apache Spark para ejecutar cuadernos, trabajos y otros tipos de aplicaciones en el área de trabajo. En este artículo se explica cómo supervisar la aplicación de Apache Spark, lo que le permite mantener un ojo sobre el estado de ejecución reciente, los problemas y el progreso de los trabajos.
Visualización de aplicaciones de Apache Spark
Puede ver todas las aplicaciones de Apache Spark desde la definición del trabajo de Spark o el menú contextual del elemento de cuaderno muestra la opción de ejecución reciente ->Ejecuciones recientes.
Puede seleccionar el nombre de la aplicación que desea ver en la lista de aplicaciones, en la página de detalles de la aplicación puede ver los detalles de la aplicación.
Supervisión del estado de la aplicación apache Spark
Abra la página Ejecuciones recientes del cuaderno o la definición de trabajo de Spark; puede ver el estado de la aplicación Apache.
- Correcto
- En cola
- Detenido
- Canceled
- Con error
Trabajos
Abra un trabajo de aplicación de Apache Spark desde el menú contextual definición de trabajo de Spark o elemento de cuaderno que muestra la opción Ejecución reciente ->Ejecuciones recientes -> seleccione un trabajo en la página ejecuciones recientes.
En la página de detalles de supervisión de aplicaciones de Apache Spark, la lista de ejecuciones de trabajos se muestra en la pestaña Trabajos , puede ver los detalles de cada trabajo aquí, incluido el identificador de trabajo, la descripción, el estado, las fases, las tareas, la duración, los datos procesados, los datos leídos, los datos escritos y el fragmento de código.
- Al hacer clic en Id. de trabajo, puede expandir o contraer el trabajo.
- Haga clic en la descripción del trabajo; puede ir a la página de trabajo o fase en la interfaz de usuario de Spark.
- Haga clic en el fragmento de código del trabajo, puede comprobar y copiar el código relacionado con este trabajo.
Panel resumen
En la página de supervisión de aplicaciones de Apache Spark, haga clic en el botón Propiedades para abrir o contraer el panel de resumen. Puede ver los detalles de esta aplicación en Detalles.
- Estado de esta aplicación spark.
- Identificador de esta aplicación spark.
- Duración total.
- Duración de ejecución para esta aplicación spark.
- Duración en cola para esta aplicación spark.
- Id. de Livy
- Submitter para esta aplicación spark.
- Tiempo de envío para esta aplicación spark.
- Número de ejecutores.
Registros
Para la pestaña Registros , puede ver el registro completo de Livy, Inicio previo, Registro de controladores con diferentes opciones seleccionadas en el panel izquierdo. Y puede recuperar directamente la información de registro necesaria buscando palabras clave y ver los registros filtrando el estado del registro. Haga clic en Descargar registro para descargar la información de registro en el entorno local.
A veces no hay registros disponibles, como el estado del trabajo se pone en cola y se produce un error en la creación del clúster.
Los registros en directo solo están disponibles cuando se produce un error en el envío de la aplicación y también se proporcionan registros de controladores.
data
En la pestaña Datos , puede copiar la lista de datos en el Portapapeles, descargar la lista de datos y los datos únicos y comprobar las propiedades de cada dato.
- El panel izquierdo se puede expandir o contraer.
- El nombre, el formato de lectura, el tamaño, el origen y la ruta de acceso de los archivos de entrada y salida se mostrarán en esta lista.
- Los archivos de entrada y salida se pueden descargar, copiar ruta de acceso y ver propiedades.
Elementos relacionados
La pestaña Elementos relacionados permite examinar y ver los elementos asociados a la aplicación Apache Spark, incluidos cuadernos, definición de trabajo de Spark o canalizaciones. En la página de elementos relacionados se muestra la instantánea de los valores de código y parámetro en el momento de la ejecución de notebooks. También muestra la instantánea de todas las configuraciones y parámetros en el momento del envío para las definiciones de trabajo de Spark. Si la aplicación apache Spark está asociada a una canalización, la página del elemento relacionado también presenta la canalización correspondiente y la actividad de Spark.
En la pantalla Elementos relacionados, puede hacer lo siguiente:
- Examine y navegue por los elementos relacionados en el árbol jerárquico.
- Haga clic en el icono de puntos suspensivos "Lista de más acciones" para cada elemento para realizar acciones diferentes.
- Haga clic en el elemento de instantánea para ver su contenido.
- Vea la ruta de navegación para ver la ruta de acceso del elemento seleccionado a la raíz.
Diagnóstico
El panel de diagnóstico proporciona a los usuarios recomendaciones en tiempo real y análisis de errores, que el Asesor de Spark genera a través de un análisis del código del usuario. Con los patrones integrados, el Asesor de Apache Spark ayuda a los usuarios a evitar errores comunes y analiza los errores para identificar su causa principal.
Pasos siguientes
El siguiente paso después de ver los detalles de una aplicación de Apache Spark es ver el progreso del trabajo de Spark debajo de la celda notebook. Puede hacer referencia a: