Asesor de Apache Spark para obtener consejos en tiempo real sobre cuadernos
Importante
Microsoft Fabric está en versión preliminar.
El asesor de Apache Spark analiza los comandos y el código ejecutados por Apache Spark y muestra consejos en tiempo real para las ejecuciones de Notebook. El asesor de Apache Spark tiene patrones integrados para ayudar a los usuarios a evitar errores comunes. Ofrece recomendaciones para la optimización del código, realiza el análisis de errores y localiza la causa principal de los errores.
Avisos integrados
Spark Advisor, una herramienta integrada con Impulse, proporciona patrones integrados para detectar y resolver problemas en aplicaciones apache Spark. En este artículo se explican algunos de los patrones incluidos en la herramienta.
Puede abrir el panel Ejecuciones recientes en función del tipo de consejo que necesite.
Puede devolver resultados incoherentes al usar "randomSplit"
Se pueden devolver resultados incoherentes o inexactos al trabajar con el método randomSplit . Use el almacenamiento en caché de Apache Spark (RDD) antes de usar el método randomSplit().
El método randomSplit() equivale a realizar sample() en el marco de datos varias veces. Donde cada captura de ejemplo, las particiones y ordena la trama de datos dentro de las particiones. La distribución de datos entre particiones y criterio de ordenación es importante para randomSplit() y sample(). Si cambia la captura de datos, puede haber duplicados o valores que faltan entre las divisiones. Y el mismo ejemplo con la misma inicialización puede producir resultados diferentes.
Es posible que estas incoherencias no se produzcan en cada ejecución, pero para eliminarlas por completo, almacenar en caché el marco de datos, volver a particionar en una columna o aplicar funciones de agregado como groupBy.
El nombre de la tabla/vista ya está en uso
Ya existe una vista con el mismo nombre que la tabla creada o ya existe una tabla con el mismo nombre que la vista creada. Cuando este nombre se usa en consultas o aplicaciones, solo se devolverá la vista, independientemente de cuál haya creado primero. Para evitar conflictos, cambie el nombre de la tabla o de la vista.
No se puede reconocer una sugerencia
spark.sql("SELECT /*+ unknownHint */ * FROM t1")
No se pueden encontrar nombres de relación especificados
No se pueden encontrar las relaciones especificadas en la sugerencia. Compruebe que las relaciones están escritas correctamente y sean accesibles dentro del ámbito de la sugerencia.
spark.sql("SELECT /*+ BROADCAST(unknownTable) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")
Una sugerencia de la consulta impide que se aplique otra sugerencia
La consulta seleccionada contiene una sugerencia que impide que se aplique otra sugerencia.
spark.sql("SELECT /*+ BROADCAST(t1), MERGE(t1, t2) */ * FROM t1 INNER JOIN t2 ON t1.str = t2.str")
Habilite "spark.advise.divisionExprConvertRule.enable" para reducir la propagación de errores de redondeo
Esta consulta contiene la expresión con tipo Double. Se recomienda habilitar la configuración "spark.advise.divisionExprConvertRule.enable", lo que puede ayudar a reducir las expresiones de división y reducir la propagación de errores de redondeo.
"t.a/t.b/t.c" convert into "t.a/(t.b * t.c)"
Habilite "spark.advise.nonEqJoinConvertRule.enable" para mejorar el rendimiento de las consultas
Esta consulta contiene una combinación que consume mucho tiempo debido a la condición "Or" en la consulta. Se recomienda habilitar la configuración "spark.advise.nonEqJoinConvertRule.enable", lo cual puede ayudar a convertir la combinación desencadenada por la condición "Or" en SMJ o BHJ para acelerar esta consulta.
Experiencia del usuario
El asesor de Apache Spark muestra los consejos, incluida la información, las advertencias y los errores, en la salida de celda de Notebook en tiempo real.
