Compartir a través de


Uso de Synapse Studio para supervisar sus aplicaciones de Apache Spark

Con Azure Synapse Analytics, puede usar Apache Spark para ejecutar cuadernos, trabajos y otros tipos de aplicaciones en los grupos de Apache Spark en su área de trabajo.

En este artículo se explica cómo supervisar las aplicaciones de Apache Spark, lo que le permite vigilar el estado más reciente, los problemas y el progreso.

Visualización de aplicaciones de Apache Spark

Puede ver todas las aplicaciones de Apache Spark en Supervisión ->Apache Spark applications (Aplicaciones de Apache Spark).

Captura de pantalla de las aplicaciones de Apache Spark.

Visualización de aplicaciones Apache Spark completadas

Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark completadas, seleccione la aplicación Apache Spark.

Captura de pantalla de los detalles de los trabajos completados.

  1. Compruebe los valores de Tareas completadas, Estado y Duración total.

  2. Actualice el trabajo.

  3. Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.

  4. Haga clic en Servidor de historial de Spark para abrir la página Servidor de historial.

  5. Compruebe la información de Resumen.

  6. Compruebe los diagnósticos de la pestaña Diagnostic (Diagnóstico).

  7. Compruebe los Registros. Puede ver el registro completo de los registros de LivyPrelaunch y Driver mediante la selección de diferentes opciones en la lista desplegable. Y puede recuperar directamente la información de registro necesaria mediante la búsqueda de palabras clave. Haga clic en Descargar registro para descargar la información de registro en el entorno local y active la casilla Filter errors and warnings (Filtrar errores y advertencias) para filtrar los errores y advertencias que necesita.

  8. Puede ver la información general del trabajo en el gráfico generado. De forma predeterminada, el gráfico muestra todos los trabajos. Puede filtrar esta vista por Id. de trabajo.

  9. De forma predeterminada, está seleccionada la opción para mostrar Progreso. Puede comprobar el flujo de datos seleccionando Progress/Read/Written/Duration (Progreso > Leídos > Escritos > Duración) en la lista desplegable View (Ver).

  10. Para reproducir el trabajo, haga clic en el botón Playback (Reproducir). Puede hacer clic en el botón Stop (Detener) en cualquier momento para detener la operación.

  11. Use la barra de desplazamiento para acercar y alejar el grafo de trabajos; puede seleccionar Zoom to Fit (Zoom para ajustar) para ajustarlo a la pantalla.

Captura de pantalla de un trabajo completado.

  1. El nodo de gráfico de trabajo muestra la siguiente información de cada fase:

    • Id. del trabajo

    • Número de tarea

    • Tiempo de duración

    • Recuento de filas

    • Datos leídos: suma del tamaño de entrada y el tamaño de lectura aleatorio

    • Datos escritos: suma del tamaño de salida y el tamaño de escrituras aleatorio.

    • Número de fase

      Captura de pantalla del nodo del grafo de trabajo.

  2. Mantenga el mouse sobre un trabajo y los detalles del trabajo se mostrarán en la información sobre herramientas:

    • Icono del estado del trabajo: si el estado del trabajo es correcto, aparecerá "√" en verde. Si el trabajo detecta un problema, aparecerá un signo "!" en amarillo.

    • Id. del trabajo

    • Elemento general:

      • Progreso
      • Tiempo de duración
      • Número total de tareas
    • Elemento de datos:

      • Número total de filas
      • Tamaño de lectura
      • Tamaño de escritura
    • Elemento de distorsión

      • Asimetría de datos
      • Desfase horario
    • Número de fase

      Captura de pantalla de la información sobre herramientas que mantiene el puntero sobre un trabajo.

  3. Haga clic en Número de fase para expandir todas las fases contenidas en el trabajo. Haga clic en Contraer junto al identificador de trabajo para contraer todas las fases del trabajo.

  4. Haga clic en Ver detalles en un grafo de fase y se mostrarán los detalles de la fase.

    Captura de pantalla de las fases expandidas.

Supervisión del progreso de aplicaciones Apache Spark

Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles sobre las aplicaciones Apache Spark en ejecución, seleccione la aplicación Apache Spark enviada. Si la aplicación de Apache Spark todavía está en ejecución, puede supervisar el progreso.

Captura de pantalla del trabajo en ejecución seleccionado

  1. Compruebe los valores de Tareas completadas, Estado y Duración total.

  2. Haga clic en Cancel (Cancelar) para cancelar la aplicación de Apache Spark.

  3. Actualice el trabajo.

  4. Haga clic en el botón Spark UI (IU de Spark) para ir a la página del trabajo de Spark.

  5. Para Grafo de trabajo, Resumen, Diagnóstico, Registros. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.

Captura de pantalla del trabajo en ejecución.

Visualización de aplicaciones de Apache Spark canceladas

Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark canceladas, seleccione la aplicación Apache Spark.

Captura de pantalla de un trabajo cancelado.

  1. Compruebe los valores de Tareas completadas, Estado y Duración total.

  2. Actualice el trabajo.

  3. Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.

  4. Haga clic en Haga clic en Servidor de historial de Spark para abrir el vínculo del servidor de historial de Apache.

  5. Vea el gráfico. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.

Captura de pantalla de los detalles de un trabajo cancelado.

Depuración de la aplicación de Apache Spark con errores

Abra Supervisar y, a continuación, seleccione la opción Apache Spark applications (Aplicaciones de Apache Spark). Para ver los detalles de las aplicaciones Apache Spark con errores, seleccione la aplicación Apache Spark.

Captura de pantalla de un trabajo con error.

  1. Compruebe los valores de Tareas completadas, Estado y Duración total.

  2. Actualice el trabajo.

  3. Haga clic en Compare applications (Comparar aplicaciones) para usar la característica de comparación. Para más información sobre esta característica, consulte Comparación de aplicaciones de Apache Spark.

  4. Haga clic en Haga clic en Servidor de historial de Spark para abrir el vínculo del servidor de historial de Apache.

  5. Vea el gráfico. Puede ver la información general del trabajo en el gráfico generado. Consulte los pasos del 5 al 15 de Visualización de aplicaciones Apache Spark completadas.

Captura de pantalla de los detalles de un trabajo con errores.

Visualización de los datos de entrada o de salida

Seleccione una aplicación Apache Spark y haga clic en la pestaña Datos de entrada/Datos de salida para ver las fechas de entrada y salida de la aplicación Apache Spark. Esta función puede ayudarle a depurar el trabajo de Spark. Y el origen de datos admite tres métodos de almacenamiento: gen1, gen2 y blob.

Pestaña Datos de entrada

  1. Haga clic en el botón Copiar entrada para pegar el archivo de entrada en el entorno local.

  2. Haga clic en el botón Exportar a CSV para exportar el archivo de entrada en formato CSV.

  3. Puede buscar archivos por palabras clave de entrada en el cuadro de búsqueda (las palabras clave incluyen el nombre de archivo, el formato de lectura y la ruta de acceso).

  4. Puede ordenar los archivos de entrada haciendo clic en Nombre, Formato de lectura y ruta de acceso.

  5. Mantenga el puntero sobre un archivo de entrada y aparecerá el icono del botón Descargar/Copiar ruta de acceso/Más.

Captura de pantalla de la pestaña Entrada.

  1. Haga clic en el botón Más. Aparecerá Copiar ruta de acceso/Mostrar en explorador/Propiedades en el menú contextual.

    Captura de pantalla del menú Más entradas.

    • Copiar ruta de acceso: puede copiar Ruta de acceso completa y Ruta de acceso relativa.

    • Mostrar en el explorador: puede saltar a la cuenta de almacenamiento vinculada (Datos->Vinculada).

    • Propiedades: muestra las propiedades básicas del archivo (nombre de archivo, ruta de acceso de archivo, formato de lectura, tamaño y fecha de modificación).

      Captura de pantalla de las propiedades.

Pestaña Datos de salida

Se muestran las mismas características que para la pestaña de entrada.

Captura de pantalla de los datos de salida.

Comparación de aplicaciones de Apache Spark

Hay dos maneras de comparar las aplicaciones. Puede compararlas eligiendo Comparar aplicación o haciendo clic en el botón Comparar en cuaderno para verla en el cuaderno.

Comparación por aplicación

Haga clic en el botón Comparar aplicaciones y elija una aplicación para comparar el rendimiento. Puede ver la diferencia entre las dos aplicaciones.

Captura de pantalla de Aplicaciones de comparación.

Captura de pantalla de detalles de Aplicaciones de comparación.

  1. Mantenga el puntero del mouse sobre una aplicación y se mostrará el icono Comparar aplicaciones.

  2. Haga clic en el icono Compare applications (Comparar aplicaciones); aparecerá la página con el mismo nombre.

  3. Haga clic en el botón Choose application (Elegir aplicación) para abrir la página Choose comparison application (Elegir aplicación de comparación).

  4. Al elegir la aplicación de comparación, debe escribir la dirección URL de la aplicación o elegir una en la lista periódica. Luego, haga clic en el botón OK (Aceptar).

    Captura de pantalla de elección de la aplicación de comparación.

  5. El resultado de la comparación se mostrará en la página de comparación de aplicaciones.

    Captura de pantalla de resultado de la comparación.

Comparación en cuaderno

Haga clic en el botón Compare in Notebook (Comparar en el cuaderno) de la página Compare applications (Comparar aplicaciones) para abrir el cuaderno. El nombre predeterminado del archivo .ipynb es Recurrent Application Analytics (Análisis de la aplicación recurrente).

Captura de pantalla de la comparación en Notebook.

En el archivo Notebook: Recurrent Application Analytics (Cuaderno: Análisis de la aplicación recurrente), puede ejecutarlo directamente después de establecer el grupo de Spark y el idioma.

Captura de pantalla del análisis recurrente de aplicaciones.

Pasos siguientes

Para más información sobre la supervisión de ejecuciones de canalización, consulte el artículo Supervisión de ejecuciones de canalización en Synapse Studio.