Execução de consulta adaptável

Artigo
03/01/2024

A AQE (execução de consulta adaptável) é a reotimização da consulta que ocorre durante a execução da consulta.

A motivação para a reotimização do tempo de execução é que o Azure Databricks tem as estatísticas precisas mais atualizadas no final de um intercâmbio de ordem aleatória e de difusão (chamado de estágio de consulta na AQE). Como resultado, o Azure Databricks pode optar por uma estratégia física melhor, escolher o tamanho e o número da partição de ordem aleatória ideal, ou as otimizações usadas para exigir dicas, por exemplo, manipulação de junção de inclinação.

Isso poderá ser muito útil quando a coleta de estatísticas não estiver ativada ou quando as estatísticas estiverem obsoletas. Também será útil em locais onde estatísticas derivadas estaticamente são imprecisas, como no meio de uma consulta complicada ou após a ocorrência de distorção de dados.

Funcionalidades

O AQE está habilitado por padrão. Ela tem quatro recursos principais:

Altera dinamicamente a junção de mesclagem de classificação na junção hash de difusão.
Une partições dinamicamente (combine partições pequenas em partições de tamanho razoável) após a troca em ordem aleatória. As tarefas muito pequenas têm pior taxa de transferência de E/S e tendem a sofrer mais do que o agendamento da sobrecarga e da sobrecarga da configuração da tarefa. A combinação de tarefas pequenas salva recursos e melhora a taxa de transferência do cluster.
Manipula dinamicamente a distorção em classificar junção de mesclagem e junção hash aleatória dividindo (e replicando se necessário) tarefas distorcidas em tarefas de tamanho quase uniforme.
Detecta e propaga dinamicamente as relações vazias.

Aplicativo

A AQE aplica-se a todas as consultas:

Não streaming
Que contêm pelo menos uma troca (geralmente, quando há uma junção, agregação ou janela), uma subconsulta ou ambas.

Nem todas as consultas aplicadas à AQE são necessariamente reotimizadas. A nova otimização pode ou não surgir com um plano de consulta diferente daquele compilado estaticamente. Para determinar se o plano de uma consulta foi alterado por AQE, confira a seção a seguir, Planos de consulta.

Planos de consultas

Esta seção discute como você pode examinar os planos de consulta de maneiras diferentes.

Interface do usuário do Spark

Nó `AdaptiveSparkPlan`

As consultas aplicadas à AQE contêm um ou mais nós AdaptiveSparkPlan, geralmente como o nó raiz de cada consulta principal ou subconsulta. Antes que a consulta seja executada ou quando estiver em execução, o sinalizador isFinalPlan do nó AdaptiveSparkPlan correspondente será mostrado como false; depois que a execução da consulta for concluída, o sinalizador isFinalPlan será alterado para true.

Plano em evolução

O diagrama do plano de consulta evolui à medida que a execução progride e reflete o plano mais atual que está sendo executado. Os nós que já foram executados (nos quais há métricas disponíveis) não serão alterados, mas aqueles que não podem mudar ao longo do tempo como resultado de reotimizações.

Este é um exemplo de diagrama de plano de consulta:

Query plan diagram

`DataFrame.explain()`

Nó `AdaptiveSparkPlan`

Plano atual e inicial

Em cada nó AdaptiveSparkPlan, haverá o plano inicial (o plano antes de aplicar qualquer otimização da AQE) e o plano atual ou final, dependendo se a execução foi concluída. O plano atual evoluirá à medida que a execução for progredida.

Estatísticas de tempo de execução

Cada estágio de difusão e ordem aleatória contém estatísticas de dados.

Antes que o estágio seja executado ou quando o estágio estiver em execução, as estatísticas serão estimativas de tempo de compilação e o sinalizador isRuntime será false, por exemplo: Statistics(sizeInBytes=1024.0 KiB, rowCount=4, isRuntime=false);

Depois que a execução do estágio for concluída, as estatísticas serão aquelas coletadas em tempo de execução e o sinalizador isRuntime se tornará true, por exemplo: Statistics(sizeInBytes=658.1 KiB, rowCount=2.81E+4, isRuntime=true)

A seguir, é mostrado um exemplo de DataFrame.explain:

Antes da execução
Durante a execução
Após a execução

`SQL EXPLAIN`

Nó `AdaptiveSparkPlan`

As consultas aplicadas à AQE contêm um ou mais nós AdaptiveSparkPlan, geralmente como o nó raiz de cada consulta principal ou subconsulta.

Sem plano atual

Como SQL EXPLAIN não executa a consulta, o plano atual é sempre o mesmo que o plano inicial e não reflete o que eventualmente seria executado pela AQE.

A seguir, um exemplo explicado por SQL:

SQL explain

Eficácia

O plano de consulta será alterado se uma ou mais otimizações da AQE entrarem em vigor. O efeito dessas otimizações da AQE é demonstrado pela diferença entre os planos atual e final e os nós de plano inicial e plano específico nos planos atual e final.

Alterar dinamicamente a junção de mesclagem de classificação em junção hash de difusão: nós de junção físicas diferentes entre o plano atual/final e o plano inicial
Unindo partições dinamicamente: nó CustomShuffleReader com a propriedade Coalesced
Manipule dinamicamente a junção de inclinação: nó SortMergeJoin com campo isSkew como verdadeiro.
Detectar e propagar dinamicamente relações vazias: parte de (ou todo) o plano é substituído pelo nó LocalTableScan com o campo de relação como vazio.