Asesor de Apache Spark para obtener consejos en tiempo real sobre cuadernos

Advisor de Apache Spark analiza los comandos y el código que ejecuta Spark, y muestra avisos en tiempo real para las ejecuciones de Notebook. El asesor de Apache Spark tiene patrones integrados para ayudar a los usuarios a evitar errores comunes. Ofrece recomendaciones para optimizar el código, realiza análisis de errores y localiza la causa raíz de los fallos.

Avisos integrados

Spark advisor, una herramienta integrada en Impulse, proporciona patrones incorporados para detectar y resolver problemas en aplicaciones Apache Spark. En este artículo se explican algunos de los patrones incluidos en la herramienta.

Puedes abrir el panel de ejecuciones recientes en función del tipo de asesoramiento que necesites.

Puede devolver resultados incoherentes al usar "randomSplit"

Al trabajar con el método randomSplit pueden obtenerse resultados inconsistentes o imprecisos. Use el almacenamiento en caché de Apache Spark (RDD) antes de usar el método "randomSplit".

El método randomSplit() es equivalente a realizar sample() en su marco de datos varias veces. Donde cada captura de ejemplo, las particiones y ordena la trama de datos dentro de las particiones. La distribución de datos entre particiones y criterio de ordenación es importante para randomSplit() y sample(). Si alguno de los dos cambia al volver a obtener los datos, puede haber duplicados o valores que falten en las divisiones. Y el mismo ejemplo con la misma inicialización puede producir resultados diferentes.

Es posible que estas incoherencias no se produzcan en todas las ejecuciones, pero para eliminarlas por completo, almacene en caché su marco de datos, reparticion en una o varias columnas o aplique funciones agregadas como groupBy.

El nombre de la tabla/vista ya está en uso

Ya existe una vista con el mismo nombre que la tabla creada o ya existe una tabla con el mismo nombre que la vista creada. Cuando este nombre se usa en consultas o aplicaciones, solo se devolverá la vista, independientemente de cuál haya creado primero. Para evitar conflictos, cambie el nombre de la tabla o de la vista.

No se puede reconocer una sugerencia

spark.sql("SELECT /*+ unknownHint */ * FROM t1")

No se pueden encontrar nombres de relación especificados

No se pueden encontrar las relaciones especificadas en la sugerencia. Compruebe que las relaciones están escritas correctamente y sean accesibles dentro del ámbito de la sugerencia.

spark.sql("SELECT /*+ BROADCAST(unknownTable) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")

Una sugerencia de la consulta impide que se aplique otra sugerencia

La consulta seleccionada contiene una sugerencia que impide que se aplique otra sugerencia.

spark.sql("SELECT /*+ BROADCAST(t1), MERGE(t1, t2) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")

Habilite "spark.advise.divisionExprConvertRule.enable" para reducir la propagación de errores de redondeo

Esta consulta contiene la expresión con tipo Double. Se recomienda habilitar la configuración "spark.advise.divisionExprConvertRule.enable", lo que puede ayudar a reducir las expresiones de división y reducir la propagación de errores de redondeo.

"t.a/t.b/t.c" convert into "t.a/(t.b * t.c)"

Habilite "spark.advise.nonEqJoinConvertRule.enable" para mejorar el rendimiento de las consultas

Esta consulta contiene una combinación que consume mucho tiempo debido a la condición "Or" en la consulta. Se recomienda habilitar la configuración "spark.advise.nonEqJoinConvertRule.enable", lo cual puede ayudar a convertir la combinación desencadenada por la condición "Or" en SMJ o BHJ para acelerar esta consulta.

Experiencia del usuario

El asesor de Apache Spark muestra los consejos, incluyendo información, advertencias y errores, en la salida de la celda de Notebook en tiempo real.

• Información

• Peligro

• Error

Configuración de Spark Advisor

La configuración de Spark Advisor te permite elegir si mostrar u ocultar tipos específicos de consejos de Spark según tus necesidades. Además, tienes la flexibilidad de habilitar o deshabilitar Spark Advisor para los cuadernos dentro de un área de trabajo, en función de tus preferencias.

Puedes acceder a la configuración de Spark Advisor en el nivel de Fabric Notebook para disfrutar de sus ventajas y garantizar una experiencia productiva de creación de cuadernos.

Contenido relacionado

• Supervisión de trabajos de Apache Spark en cuadernos
• Supervisar la definición de trabajos de Apache Spark
• Supervisar los detalles de aplicación de Apache Spark