Partilhar via


Recomendações de otimização no Azure Databricks

O Azure Databricks fornece muitas otimizações que suportam uma variedade de cargas de trabalho na lakehouse, desde o processamento ETL em grande escala até consultas ad-hoc e interativas. Muitas dessas otimizações ocorrem automaticamente. Você obtém seus benefícios simplesmente usando o Azure Databricks. Além disso, a maioria dos recursos do Databricks Runtime requer o Delta Lake, o formato padrão usado para criar tabelas no Azure Databricks.

O Azure Databricks configura valores padrão que otimizam a maioria das cargas de trabalho. Mas, em alguns casos, alterar as definições de configuração melhora o desempenho.

Aprimoramentos de desempenho do Databricks Runtime

Nota

Use o Databricks Runtime mais recente para aproveitar os aprimoramentos de desempenho mais recentes. Todos os comportamentos documentados aqui são habilitados por padrão no Databricks Runtime 10.4 LTS e superior.

  • O cache de disco acelera leituras repetidas em arquivos de dados do Parquet, carregando dados em volumes de disco conectados a clusters de computação.
  • A remoção dinâmica de arquivos melhora o desempenho da consulta ignorando diretórios que não contêm arquivos de dados que correspondem aos predicados de consulta.
  • A mesclagem de baixa embaralhamento reduz o número de arquivos de dados reescritos por MERGE operações e reduz a necessidade de recaculate ZORDER clusters.
  • O Apache Spark 3.0 introduziu a execução adaptativa de consultas, que fornece desempenho aprimorado para muitas operações.

Recomendações do Databricks para melhorar o desempenho

  • Você pode clonar tabelas no Azure Databricks para fazer cópias profundas ou superficiais de conjuntos de dados de origem.
  • O otimizador baseado em custos acelera o desempenho da consulta aproveitando as estatísticas da tabela.
  • Você pode usar o Spark SQL para interagir com cadeias de caracteres JSON sem analisar cadeias de caracteres.
  • As funções de ordem superior fornecem desempenho integrado e otimizado para muitas operações que não têm operadores comuns do Spark. Funções de ordem superior fornecem um benefício de desempenho sobre as funções definidas pelo usuário.
  • O Azure Databricks fornece vários operadores internos e sintaxe especial para trabalhar com tipos de dados complexos, incluindo matrizes, estruturas e cadeias de caracteres JSON.
  • Você pode ajustar manualmente as configurações para junções de intervalo. Consulte Otimização de junção de intervalo.

Comportamentos de aceitação