Información de rendimiento de consultas

Cuando se ejecutan tus consultas, Azure Databricks devuelve información sobre el rendimiento de las consultas que señalan oportunidades para mejorar el rendimiento e informan de optimizaciones ya aplicadas. Cada análisis incluye una recomendación que puedes seguir, como compactar archivos pequeños, recopilar estadísticas o redimensionar un almacén.

Encuentra información y recomendaciones para tu consulta

La información aparece en el historial de consultas y en el perfil de consulta. El panel de detalles de la consulta muestra un resumen de la información, clasificado por su efecto estimado en la duración total de la tarea. En la pestaña Información de rendimiento del perfil de consulta se muestran los detalles completos de cada información.

Optimiza con Genie Code

Cuando una consulta tenga información procesable, seleccione Optimizar para abrir Genie Code. Para obtener información que requiera un cambio de consulta, Genie Code vuelve a escribir la consulta y presenta los cambios para su aprobación. Para obtener información que implique cambios de tabla o proceso, Genie Code resume las acciones recomendadas como texto de lenguaje sin formato.

Para obtener más información sobre cómo trabajar con Genie Code, consulte Genie Code.

Información sobre optimización de consultas

COVERAGE_FILTER_KEYS_CLUSTERING

La tabla se agrupa mediante una o varias claves que no se usan en filtros durante el examen de la tabla.

Recomendación: Añade filtros en las claves de agrupamiento para reducir los bytes legidos.

COVERAGE_FILTER_KEYS_PARTITIONING

La tabla se particiona mediante una o varias claves que no se usan en filtros durante el examen de la tabla.

Recomendación: Añade filtros en las claves de partición para reducir los bytes legidos.

COVERAGE_PHOTON

Photon no puede acelerar esta operación, por lo que la consulta utiliza el motor de ejecución estándar.

Recomendación: Revise las limitaciones de Photon y ajuste la consulta para utilizar una ruta de ejecución soportada.

EXPLODING_JOIN

La combinación produce significativamente más filas de las que lee.

Recomendación: Determine qué subconjunto de resultados necesita y, a continuación, actualice la condición de unión o reduzca el número de filas de entrada de ambas relaciones.

FLOW_FULL_RECOMPUTE

El flujo se ejecuta como una recompute completa.

Recomendación: Reescribe la consulta para obtener soporte incremental y reducir los bytes legidos.

REDUNDANT_AGGREGATION

Una operación de agregado no cambió el resultado de la consulta.

Recomendación: Elimine las restricciones de agregado o aplique las restricciones de clave primaria y externa.

REDUNDANT_JOIN

Una unión exterior no cambiaba el conteo de filas del lado exterior, y no se usaban columnas de la tabla unida.

Recomendación: Elimina la unión o aplica restricciones clave primaria o únicas.

SELECTIVE_JOIN

La combinación produce significativamente menos filas de las que lee.

Recomendación: Determine qué subconjunto de resultados necesita y luego agregue filtros antes de la unión para reducir las filas de entrada.

WIDE_PROJECTION

La consulta proyecta todas las columnas de la tabla.

Recomendación: Project solo las columnas que necesites para reducir los bytes legidos.

Información sobre el diseño de datos

CONCURRENT_WRITE

Las escrituras simultáneas en la tabla provocan conflictos que se resuelven o producen errores automáticamente.

Recomendación:Revisa el historial de Delta para identificar escrituras concurrentes y ajustar la programación para evitar conflictos.

COVERAGE_STATS_DELTA

Faltan estadísticas de omisión de datos Delta o están incompletas para los filtros de archivo de escaneo de tablas, por lo que la consulta utiliza filtrado dentro del archivo.

El estado de las estadísticas de cada filtro puede ser uno de los siguientes:

  • Completo: Las estadísticas están disponibles para todos los filtros.
  • Parcial: Las estadísticas están disponibles para un subconjunto de filtros.
  • No disponible: Las estadísticas no están disponibles para ningún filtro.
  • No utilizado: Las estadísticas no pueden usarse porque el filtro convierte el tipo de dato.

Recomendación:Recopile estadísticas Delta para reducir los bytes legidos.

COVERAGE_STATS_OPTIMIZER

Las estadísticas del optimizador basado en costes faltan o están incompletas, por lo que el plan de consulta utiliza heurísticas estándar.

Recomendación:recopilar estadísticas para permitir que el optimizador elabore un mejor plan.

DATA_FILE_SIZE

El escaneo de tabla lee muchos archivos pequeños, lo que aumenta el tiempo de escaneo.

Recommendations:

DATA_SKEW

Los datos se distribuyen de forma desigual entre los recursos informáticos.

Recomendación: Revisa la distribución de los datos y luego utiliza la salación de claves o la preagregación para equilibrar la carga de trabajo.

MANUAL_DATA_LAYOUT

La tabla está optimizada manualmente y puede beneficiarse de la agrupación automática de líquidos.

Recommendations:

  • Convierte la tabla de externa a gestionada para un mejor rendimiento y mantenimiento automático.
  • Habilite la optimización predictiva en la tabla para las operaciones de mantenimiento automático.
  • Habilite la agrupación automática en clústeres en la tabla para reducir los bytes leídos.

Información sobre computación y recursos

COMPUTE_SIZE

Un trabajo o pipeline en computación sin servidor alcanzaba el límite de velocidad de su objeto de cálculo, por lo que el autoescalador no añadía ejecutores Spark más allá del tamaño del objeto de cálculo.

Recomendación: Ejecute el trabajo o la canalización en un objeto de computación serverless de mayor tamaño. Si no tienes acceso a uno, pide acceso a un administrador del espacio de trabajo o pídele que aumente el tamaño del objeto de computación actual.

DATA_SPILL

Los datos se volcaron al disco durante la ejecución de la consulta porque los datos no encajaban en la memoria.

Recomendación: Aumenta el tamaño del almacén para añadir memoria. Reduzca el número de filas, columnas o el tamaño de columnas grandes (cadenas, matrices, mapas, estructuras) para reducir el uso de memoria.

EXCESSIVE_QUEUE_TIME

La consulta esperó en la cola de almacenamiento .

Recomendación: Aumentar el número máximo de clústeres en el almacén para reducir el tiempo de espera.

IO_THROTTLING

El proveedor de nube limitó una solicitud de almacenamiento en la nube.

Recomendación: Contacte con su administrador para solicitar un aumento de los límites de solicitudes de almacenamiento a su proveedor de nube.

Aceleraciones aplicadas

Estos conocimientos describen optimizaciones que Azure Databricks ya aplicó durante la ejecución de la consulta. Aparecen en la pestaña de Insights de rendimiento con una etiqueta Acelerada y no requieren acción.

AUTO_LIQUID_CLUSTERING

Esta consulta lee menos datos porque sus tablas utilizan el Agrupamiento Automático de Líquidos. Azure Databricks agrupa continuamente cada tabla según las claves que aprende de tu carga de trabajo, así que los escaneos saltan archivos que no pueden coincidir con tus filtros. No se requiere ajuste ni partición manual.

HISTORY_BASED_JOIN_STRATEGY

Azure Databricks optimizó la unión de esta consulta utilizando mediciones de ejecuciones anteriores de consultas similares. Eligió una unión por difusión en lugar de barajar datos por el clúster, según el historial de tu carga de trabajo. No se requiere ningún cambio en la consulta.

METRIC_VIEW_MATERIALIZATION_MATCH

Esta consulta se devolvió más rápido porque Azure Databricks servía los resultados de una materialización precomputada en lugar de recalcularlos desde las tablas fuente en vivo de la vista métrica. Cuando se define una materialización para una vista métrica, el optimizador empareja automáticamente las consultas entrantes con ella y ofrece resultados preagregados cuando es posible.

SHORT_QUERY_PRIORITIZATION

Aunque el clúster estaba al límite, Azure Databricks predijo que esta consulta sería de corta duración y la ejecutó inmediatamente por una ruta rápida en lugar de mantenerla en la cola detrás de consultas más pesadas. Esto mantiene las cargas de trabajo interactivas sensibles bajo carga.

Recursos adicionales

Para obtener información general más amplia sobre los procedimientos recomendados de rendimiento, consulte la Guía completa para optimizar las cargas de trabajo de Databricks, Spark y Delta Lake.