Partilhar via

Tipos de armazém SQL

  • Artigo

O Databricks SQL suporta os seguintes tipos de armazém SQL:

  • Sem servidor
  • Pro
  • Clássico

Cada tipo de SQL warehouse tem diferentes recursos de desempenho. A tabela a seguir mostra os recursos de desempenho suportados por cada tipo de SQL warehouse.

Motor de fótons E/S preditiva Gerenciamento inteligente de carga de trabalho
Sem servidor X X X
Pro X X
Clássico X

A lista a seguir descreve cada recurso de desempenho:

  • Photon: O mecanismo de consulta vetorizado nativo no Databricks. Ele torna suas chamadas de API SQL e DataFrame existentes mais rápidas e reduz o custo total por carga de trabalho.

  • E/S preditiva: um conjunto de recursos para acelerar operações de verificação seletiva em consultas SQL. A E/S preditiva pode fornecer uma ampla gama de acelerações.

  • Gerenciamento inteligente de carga de trabalho (IWM): um conjunto de recursos que aprimora a capacidade do Databricks SQL Serverless de processar um grande número de consultas de forma rápida e econômica. Usando técnicas de previsão e gerenciamento dinâmico baseadas em IA, o IWM trabalha para garantir que as cargas de trabalho tenham a quantidade certa de recursos rapidamente. A principal diferença reside nos recursos de IA no Databricks SQL para responder dinamicamente às demandas de carga de trabalho, em vez de usar limites estáticos.

    Nota

    Para obter preços para cada tipo de depósito e uma comparação detalhada de recursos, consulte Databricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, consulte Notas de versão do Databricks SQL.

Diferenças de desempenho entre tipos de SQL warehouse

Cada tipo de SQL warehouse tem características de desempenho diferentes.

Armazéns SQL sem servidor

Usando a arquitetura sem servidor do Azure Databricks, um SQL warehouse sem servidor dá suporte a todos os recursos de desempenho do Databricks SQL. Com um SQL warehouse sem servidor e seus recursos de desempenho, você obtém:

  • Tempo de arranque rápido (normalmente entre 2 e 6 segundos).
  • Escalonamento rápido para adquirir mais computação quando necessário para manter baixa latência.
  • Consulta de admissão mais próxima da limitação do hardware do que da máquina virtual.
  • Downscaling rápido para minimizar os custos quando a demanda é baixa, fornecendo desempenho consistente com custos e recursos otimizados.

Para obter o melhor desempenho de inicialização, E/S mais eficiente, tratamento mais inteligente da demanda de consulta que varia muito ao longo do tempo e escalonamento automático rápido quando ocorre o enfileiramento de consultas, escolha um SQL warehouse sem servidor. Consulte Dimensionamento automático sem servidor e enfileiramento de consultas.

Um SQL warehouse sem servidor funciona bem com estes tipos de cargas de trabalho:

  • Extração, Transformação e Carregamento
  • Business intelligence
  • Análise exploratória

Importante

Os armazéns SQL não oferecem suporte à passagem de credenciais. A Databricks recomenda o uso do Unity Catalog para governança de dados. Veja O que é o Unity Catalog?.

Armazéns SQL Pro

Um armazém SQL profissional suporta Photon e Predictive IO, mas não suporta Intelligent Workload Management. Com um armazém SQL profissional (ao contrário de um armazém SQL sem servidor), a camada de computação existe na sua conta de subscrição do Azure em vez de na sua conta do Azure Databricks. Como resultado, um armazém SQL profissional não suporta o Gerenciamento Inteligente de Carga de Trabalho, tornando-o menos responsivo à demanda de consulta que varia muito ao longo do tempo e incapaz de dimensionar automaticamente tão rapidamente quanto um SQL warehouse sem servidor. Um armazém SQL profissional demora vários minutos a iniciar (normalmente cerca de 4 minutos) e aumenta e diminui a escala com menos capacidade de resposta do que um armazém SQL sem servidor. Consulte Enfileiramento e dimensionamento automático para armazéns SQL profissionais e clássicos.

Use um armazém SQL pro quando:

  • Os armazéns SQL sem servidor não estão disponíveis em uma região.
  • Você tem uma rede personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou no local para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um armazém SQL pro se quiser colocar outros serviços em sua rede, como um barramento de eventos ou bancos de dados, ou se quiser conectar sua rede à sua rede local.

Armazéns SQL clássicos

Um SQL warehouse clássico oferece suporte ao Photon, mas não oferece suporte a E/S Preditiva ou Gerenciamento Inteligente de Carga de Trabalho. Com um armazém SQL clássico (ao contrário de um armazém SQL sem servidor), a camada de computação existe na sua conta de subscrição do Azure em vez de na sua conta do Azure Databricks. Sem suporte para E/S Preditiva ou Gerenciamento Inteligente de Carga de Trabalho, um SQL warehouse clássico fornece apenas desempenho de nível básico e menos desempenho do que um armazém SQL sem servidor ou profissional. Um SQL warehouse clássico também leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e é dimensionado para cima e para baixo com menos capacidade de resposta do que um SQL warehouse sem servidor. Consulte Enfileiramento e dimensionamento automático para armazéns SQL profissionais e clássicos.

Use um SQL warehouse clássico para executar consultas interativas para exploração de dados com desempenho de nível básico e recursos SQL do Databricks.

Nota

Para obter informações sobre como dimensionar seu SQL warehouse e como ele é dimensionado em resposta ao enfileiramento de consultas, consulte Enfileiramento e dimensionamento automático para SQL warehouses profissionais e clássicos.

Quais são os padrões do tipo de depósito?

Para espaços de trabalho em regiões que oferecem suporte a armazéns SQL sem servidor e satisfazem os requisitos:

  • Usando a interface do usuário, o tipo de SQL warehouse padrão é sem servidor.
  • Usando a API de armazéns SQL com parâmetros padrão, o tipo de armazém SQL padrão é clássico. Para usar serverless, defina o enable_serverless_compute parâmetro como true e também como warehouse_typepro. Se esse espaço de trabalho usou a API de armazéns SQL para criar um depósito entre 1º de novembro de 2022 e 19 de maio de 2023 e se encaixa nos requisitos para armazéns SQL sem servidor, o padrão permanece definido como true. Para evitar ambiguidade, especialmente para organizações com muitos espaços de trabalho, o Databricks recomenda que você sempre defina esse campo.
  • Se o espaço de trabalho usar um metastore Hive externo herdado, não há suporte para SQL warehouses sem servidor. O tipo de armazém SQL padrão é o mesmo como se a computação sem servidor estivesse desabilitada, que é pro na interface do usuário e clássica usando a API. Além disso, entre em contato com sua equipe de conta do Azure Databricks para saber mais sobre o Catálogo Unity ou outras opções.

Para espaços de trabalho que não suportam armazéns SQL sem servidor:

  • Usando a interface do usuário, o tipo de SQL warehouse padrão é pro.
  • Usando a API de armazéns SQL com parâmetros padrão, o tipo de armazém SQL padrão é clássico.