Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Jobs e pipelines serverless são executados em um dos seguintes modos de desempenho:
- Modo otimizado para desempenho (padrão): Azure Databricks mantém um pool de computação quente pronto, então as cargas de trabalho normalmente começam em menos de um minuto e recebem mais processamento rapidamente quando necessário. Use este modo para feedback rápido durante o desenvolvimento e testes, ou quando o modo padrão não puder atender aos requisitos de conclusão ou atualização dos dados.
- Modo padrão: As cargas de trabalho normalmente começam em 4 a 6 minutos e consomem menos unidades Databricks (DBUs). Avalie esse modo para trabalhos programados e em lote quando as execuções representativas atendem aos requisitos de conclusão e atualização dos dados.
Você escolhe o modo para cada trabalho e cada agendamento do pipeline. Para encontrar as cargas de trabalho em que o modo padrão proporcionaria mais economia, veja Encontrar tarefas e pipelines para alternar para o modo padrão.
Esta página compara os modos, explica como escolher e definir um modo, e mostra como verificar qual modo uma execução usou e quanto custou.
Note
O modo padrão é uma configuração de desempenho para computação serverless. Não tem relação com o modo de acesso padrão para computação clássica.
Compare os modos de desempenho
A tabela a seguir compara os dois modos de desempenho:
| Modo otimizado para desempenho (padrão) | Modo padrão | |
|---|---|---|
| Tempo de inicialização | Normalmente menos de um minuto. Azure Databricks mantém recursos computacionais pré-aquecidos prontos para a carga de trabalho. | Normalmente de 4 a 6 minutos, dependendo da disponibilidade de computação. |
| Tempo de execução | Mais curto para cargas de trabalho que escalam, porque a computação é adicionada a partir da capacidade em espera. | Pode ser mais longo para cargas de trabalho que escalam, porque a computação é adicionada mais lentamente. |
| Custo | Consome mais DBUs para a mesma carga de trabalho, em troca de iniciações rápidas e previsíveis. | Consome menos DBUs para a mesma carga de trabalho, ao mesmo preço por DBU e no mesmo SKU. |
| Mais adequado para | Trabalho e desenvolvimento interativos que precisam de feedback rápido, e cargas de trabalho de produção cujos requisitos de finalização ou atualização de dados o modo padrão não conseguem atender. | Trabalho programado e em lote que atende aos requisitos de conclusão e atualização de dados, com inicialização e expansão mais lentas, como trabalhos noturnos em lote, backfills e cargas pontuais. |
O modo otimizado para desempenho é o padrão para tarefas e pipelines serverless, seja você criando-os na interface, com a API, com Declarative Automation Bundles, com Terraform ou com os SDKs. As atualizações de visualizações materializadas e tabelas de streaming que rodam em um cronograma a partir da definição da tabela têm sua própria configuração, que é padrão para o modo padrão. Consulte Selecionar um modo de desempenho para atualizações agendadas.
Ambos os modos executam sua carga de trabalho no mesmo runtime serverless e produzem os mesmos resultados. Para preços, consulte a página de preços do Lakeflow Jobs.
Escolha um modo para sua carga de trabalho
O modo otimizado para desempenho é o padrão. Para trabalhos em lote programados, o Databricks recomenda avaliar o modo padrão para menor custo. Escolha o modo padrão quando as execuções representativas, incluindo o tempo de inicialização e de escala, atenderem aos requisitos de conclusão da carga de trabalho e de atualização dos dados. Por exemplo, um trabalho noturno pode usar o modo padrão se for concluído antes que os dashboards posteriores precisem de seus resultados.
Use o modo otimizado para desempenho para as seguintes cargas de trabalho:
- Trabalho interativo, onde alguém espera pelo resultado, como execuções ad hoc com Run Now e execuções que um usuário inicia a partir de um aplicativo ou via uma chamada de API.
- Desenvolvimento, teste e validação de jobs e pipelines, onde o feedback rápido faz diferença.
- Cargas de trabalho cujo acordo de nível de serviço, alvo de atualização de dados ou consumidores posteriores exigem resultados mais cedo do que o modo padrão entrega.
- Tarefas que um disparador de chegada de arquivo ou de atualização de tabela inicia, cujo objetivo é processar novos dados rapidamente.
- Tarefas que rodam a cada poucos minutos, em que começos mais lentos podem atrasar ou colocar na fila a próxima execução.
- Trabalhos curtos em que o tempo de inicialização é uma grande parte do tempo total de execução e a conclusão rápida importa.
- Cargas de trabalho que precisam de escalonamento mais rápido para atender aos requisitos de conclusão.
O modo padrão é adequado para as seguintes cargas de trabalho:
- Trabalhos noturnos, de hora em hora e outros lotes programados que atendam aos requisitos de conclusão e atualização dos dados no modo padrão.
- Pipelines que atualizam tabelas em um cronograma, quando as atualizações terminam antes que os consumidores precisem dos resultados.
- Preenchimentos retroativos e cargas de dados pontuais.
- Tarefas que um orquestrador externo aciona em um cronograma, quando o modo padrão atende aos requisitos de conclusão de etapas downstream.
A configuração do modo de desempenho não se aplica a notebooks interativos sem servidor.
O modo de desempenho é uma configuração no nível do job. Se um trabalho mistura tarefas sensíveis ao tempo com tarefas que podem esperar, divida as tarefas em trabalhos separados. Para orquestrar os jobs juntos, use uma tarefa Executar job. O job que uma tarefa Executar Job executa usa seu próprio modo de desempenho.
Tente o modo padrão em um job existente
Para medir o efeito do modo padrão em um job antes de se comprometer com ele, faça o seguinte:
- Altere o job para o modo padrão. Veja Alternar uma tarefa para o modo padrão.
- Deixe o trabalho rodar em seu cronograma normal por várias execuções representativas.
- Compare as DBUs por execução e o tempo de conclusão, incluindo inicialização, com as execuções anteriores à mudança. Verifique se o trabalho ainda atende aos requisitos de conclusão e atualização dos dados. Veja Medir o custo de cada modo.
- Se o trabalho não atender mais aos requisitos de latência, volte para o modo otimizado de desempenho. A alteração se aplica à próxima execução.
Use as execuções agendadas do job para a comparação. Execuções manuais extras de um trabalho de produção podem gravar dados duplicados.
Suporte para modo de desempenho por tipo de carga de trabalho
Você pode configurar diretamente o modo de desempenho para os seguintes tipos de cargas de computação sem servidor:
- Notebook sem servidor, script Python, wheel Python, JAR e tarefas dbt, incluindo notebooks que uma tarefa executa com
dbutils.notebook.run(). - Pipelines sem servidor são executadas a partir de uma tarefa de pipeline.
- Atualizações de visualizações materializadas e tabelas de streaming que uma tarefa SQL inicia, ou que uma tarefa de notebook ou dbt em um depósito SQL inicia. O modo não altera o SQL warehouse.
As seguintes cargas de trabalho rodam em modo otimizado para desempenho:
- Atualizações de pipeline acionadas que você inicia manualmente. A exceção é uma atualização completa seletiva, que pode rodar no modo padrão. Veja Mudar um pipeline para o modo padrão.
- Pipelines contínuas que utilizam o modo contínuo embutido do pipeline. Para escolher o modo, execute o pipeline com um trabalho contínuo. Consulte Mudar um pipeline para o modo padrão.
Para as seguintes cargas de trabalho, você define o modo de desempenho em outro lugar que não as configurações do trabalho:
- Execuções pontuais, que você cria com a operação Jobs API
runs/submit. Para definir o modo de desempenho, definaperformance_targetno corpo da requisição. Se você omitir o parâmetro, a execução usa o modo otimizado para desempenho. - Visualizações materializadas e tabelas de streaming são atualizadas conforme um cronograma a partir da definição da tabela. Para definir o modo de desempenho, atualize o cronograma de atualização no Explorador de Catálogo. Essas atualizações usam o modo padrão por padrão. Definir o modo para essas atualizações está em Beta. Para usá-lo, um administrador do espaço de trabalho deve ativar a pré-visualização System-Managed Job for Materialized Views & Streaming Tables na página Pré-visualizações. Consulte Gerenciar pré-visualizações do Azure Databricks e Selecione um modo de desempenho para atualizações agendadas.
O modo de desempenho não se aplica a notebooks interativos serverless, tarefas que rodam em computação clássica, warehouses SQL ou tarefas que rodam em AI Runtime.
Alternar um trabalho para o modo padrão
Note
- Para alterar o modo de desempenho de um job, você precisa da permissão CAN MANAGE no job.
- Para definir o modo em Declarative Automation Bundles, você precisa da versão 0.241.0 ou superior do Databricks CLI.
Você define o modo de desempenho para cada trabalho. O modo se aplica a todas as tarefas serverless na tarefa, e uma alteração se aplica a execuções que começam após você salvá-la.
interface do usuário
Para mudar um job para o modo padrão na interface de Trabalhos, faça o seguinte:
- No seu espaço de trabalho, clique no
Tarefas e Pipelines na barra lateral.
- Clique no nome do job.
- No painel de detalhes da tarefa , desative a opção Otimização de desempenho.
Otimização de desempenho aparece como desligada no painel de detalhes do trabalho , e as execuções que começam após a alteração usam o modo padrão.
Para voltar ao modo otimizado para desempenho, ative Desempenho otimizado. Você só pode alterar a configuração quando a tarefa tiver pelo menos uma tarefa à qual o modo se aplica. Consulte Suporte para modo de desempenho por tipo de carga de trabalho.
Você também pode escolher o modo para uma única execução:
- Execute agora com configurações diferentes: Executa o job uma vez no modo que você escolher, sem alterar o job. Consulte Executar um trabalho com configurações diferentes.
- Execução de reparo: Por padrão, um reparo usa o mesmo modo da execução que ele repara. Você pode escolher um modo diferente para o reparo. Consulte Reexecutar tarefas falhas e puladas.
Ao agendar um notebook a partir do notebook, escolha o modo na caixa de diálogo de agendamento. Consulte Criar e gerenciar trabalhos agendados do notebook.
Pacotes de Automação Declarativa
Para usar o modo padrão para uma tarefa em um pacote, defina performance_target no recurso da tarefa. O exemplo a seguir usa o modo padrão e utiliza o modo otimizado para desempenho no dev alvo para um feedback mais rápido durante o desenvolvimento:
resources:
jobs:
nightly_etl:
name: nightly_etl
performance_target: STANDARD
tasks:
- task_key: transform
notebook_task:
notebook_path: ../src/transform.ipynb
targets:
dev:
resources:
jobs:
nightly_etl:
performance_target: PERFORMANCE_OPTIMIZED
Se você omitir performance_target, o job usa o modo otimizado para desempenho. Para saber mais sobre recursos de job e substituições de destino, veja job e Substituir com configurações de destino.
API REST
Para mudar um job existente para o modo padrão, chame Atualizar configurações de job com performance_target em new_settings. O exemplo a seguir assume que as DATABRICKS_HOST variáveis de ambiente e DATABRICKS_TOKEN estão definidas, conforme descrito em Executar autenticação de token de acesso pessoal:
curl -X POST "$DATABRICKS_HOST/api/2.2/jobs/update" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"job_id": 123456789,
"new_settings": {
"performance_target": "STANDARD"
}
}'
A lista a seguir descreve como performance_target funciona em outras solicitações:
-
Criar uma tarefa: Define o modo para a nova tarefa. Se você omitir o campo, o job usa
PERFORMANCE_OPTIMIZED. -
Redefinir uma tarefa: Substitui todas as configurações da tarefa. Para manter o modo padrão, inclua
performance_targetnas novas configurações. - Execute agora e repare uma execução: Define o modo apenas para essa execução.
-
Enviar uma execução única: Define o modo para a execução. Se você omitir o campo, a execução usa
PERFORMANCE_OPTIMIZED.
Interface de Linha de Comando do Databricks
Para mudar um trabalho existente para o modo padrão, execute databricks jobs update com o ID do trabalho no corpo da requisição JSON:
databricks jobs update --json '{"job_id": 123456789, "new_settings": {"performance_target": "STANDARD"}}'
Para executar um trabalho uma vez no modo padrão sem alterar o trabalho, execute o seguinte:
databricks jobs run-now 123456789 --performance-target STANDARD --no-wait
Python SDK
Para alternar um ou mais trabalhos existentes para o modo padrão com o SDK Databricks para Python, execute o seguinte:
from databricks.sdk import WorkspaceClient
from databricks.sdk.service import jobs
w = WorkspaceClient()
# Replace with the IDs of the jobs to switch to standard mode.
job_ids = [123456789, 234567890]
for job_id in job_ids:
w.jobs.update(
job_id=job_id,
new_settings=jobs.JobSettings(performance_target=jobs.PerformanceTarget.STANDARD),
)
Terraform
Para usar o modo padrão para um trabalho que você gerencia com o provedor Databricks Terraform, defina performance_target o databricks_job recurso:
resource "databricks_job" "nightly_etl" {
name = "nightly_etl"
performance_target = "STANDARD"
task {
task_key = "transform"
notebook_task {
notebook_path = "/Workspace/Users/someone@example.com/transform"
}
}
}
Se um bundle ou Terraform implantar um job, altere o modo na configuração. A próxima implantação sobrescreve as alterações que você fizer na interface ou com a API. Os trabalhos que um bundle implanta são somente leitura na IU de Jobs.
Alterne um pipeline para o modo padrão
Um pipeline serverless usa o modo de desempenho do job que o executa. Quando você agenda um pipeline a partir da página do pipeline, o agendamento cria um trabalho, então você escolhe o modo no agendamento.
Para criar um agendamento de pipeline que use o modo padrão, faça o seguinte:
- No seu espaço de trabalho, clique no
Tarefas e Pipelines na barra lateral.
- Clique no nome do pipeline.
- Clique em Agendar. Se o pipeline já tiver um agendamento, clique em Adicionar agendamento.
- Configure o gatilho e o nome da tarefa. Consulte Agende um pipeline com a interface do pipeline.
- Desmarque a caixa de seleção "Performance optimized".
- Clique em Criar.
O cronograma cria um trabalho que executa o pipeline no modo padrão. Para confirmar, abra essa tarefa e verifique se Desempenho otimizado está desligado no painel Detalhes da tarefa.
Para alterar o modo de um agendamento existente, ou de qualquer outro trabalho que execute o pipeline, mude esse trabalho para o modo padrão. Consulte Alternar um trabalho para o modo padrão.
Atualizações de pipeline acionadas que você inicia manualmente, por exemplo, com Iniciar na página do pipeline, são executadas em modo otimizado para desempenho. Uma atualização completa seletiva pode ser executada no modo padrão. Depois de selecionar as tabelas a serem atualizadas, clique em Executar agora com configurações diferentes, ative Executar pipeline com atualização completa da tabela e desative o desempenho otimizado.
Um pipeline contínuo que usa o modo contínuo embutido do pipeline roda em modo otimizado para desempenho, e você não pode alterar seu modo. Para executar um pipeline contínuo no modo padrão, execute-o com um trabalho contínuo e desative o desempenho otimizado para esse trabalho. Um job contínuo capta um novo modo quando sua execução reinicia. Para aplicar uma alteração imediatamente, clique em Reiniciar a execução. Veja Executar um pipeline contínuo com um trabalho contínuo e Executar tarefas continuamente.
Para visualizações materializadas e tabelas de streaming que atualizam em um agendamento a partir da definição da tabela, defina o modo na agenda de atualização no Explorador de Catálogo. Consulte Selecionar um modo de desempenho para atualizações agendadas.
Verifique qual modo uma execução usou
O modo que uma execução usa pode diferir da configuração do trabalho. Por exemplo, você pode escolher um modo diferente para uma única execução, e o modo não se aplica a alguns tipos de tarefas. Para verificar qual modo uma execução utilizou, use um dos seguintes métodos:
- Interface do Jobs: Abra a execução. Na página de detalhes da execução do trabalho , o painel de detalhes mostra Desempenho otimizado como Habilitado para o modo otimizado de desempenho ou Desativado para o modo padrão. A página de detalhes da execução da Tarefa mostra o mesmo campo para cada tarefa.
-
API de Jobs: O campo
effective_performance_targetna resposta Obter uma única execução de job mostra o modo que a execução utilizou. -
Tabelas de sistema: A
product_features.performance_targetcoluna na tabela do sistema de uso faturável registra o modo para tarefas e pipelines serverless. Para atualizações de pipeline que um trabalho desencadeia, atrigger_details.job_task.performance_targetcoluna na tabela da linha do tempo de atualização do pipeline também registra o modo.
Meça o custo de cada modo
Use a tabela do sistema de uso faturável para encontrar cargas de trabalho a serem alteradas e para medir o que o modo standard economiza. Os registros de uso podem levar várias horas para aparecer na tabela. As consultas nesta seção usam preços de lista, então os custos não refletem descontos.
Encontre trabalhos e pipelines para mudar para o modo padrão
A consulta a seguir lista os trabalhos e pipelines serverless que usaram o modo otimizado de desempenho nos últimos 30 dias, ordenados por custo de lista. Cargas de trabalho próximas ao topo dos resultados são boas candidatas para o modo padrão quando as execuções representativas, incluindo o tempo de inicialização e de escala, atendem aos requisitos de conclusão e atualização dos dados.
SELECT
u.workspace_id,
u.billing_origin_product AS product,
u.usage_metadata.job_id AS job_id,
u.usage_metadata.dlt_pipeline_id AS pipeline_id,
MAX(u.usage_metadata.job_name) AS job_name,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS job_runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity * lp.pricing.default) AS list_cost
FROM system.billing.usage AS u
INNER JOIN system.billing.list_prices AS lp
ON u.cloud = lp.cloud
AND u.sku_name = lp.sku_name
AND u.usage_start_time >= lp.price_start_time
AND (u.usage_end_time <= lp.price_end_time OR lp.price_end_time IS NULL)
WHERE
u.billing_origin_product IN ('JOBS', 'DLT')
AND u.product_features.is_serverless
AND u.product_features.performance_target = 'PERFORMANCE_OPTIMIZED'
AND u.usage_unit = 'DBU'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY
u.workspace_id,
u.billing_origin_product,
u.usage_metadata.job_id,
u.usage_metadata.dlt_pipeline_id
ORDER BY list_cost DESC
LIMIT 50
Para trocar o pipeline em que um trabalho é executado, troque o trabalho. Veja Alternar um job para o modo padrão.
Compare o uso de um job antes e depois de mudar o job de modo
Depois que um trabalho foi executado em ambos os modos, a consulta a seguir compara as DBUs que suas tarefas consomem por execução em cada modo. Substitua <job-id> pelo ID do job:
SELECT
u.product_features.performance_target AS performance_mode,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity) / COUNT(DISTINCT u.usage_metadata.job_run_id) AS dbus_per_run
FROM system.billing.usage AS u
WHERE
u.billing_origin_product = 'JOBS'
AND u.product_features.is_serverless
AND u.usage_unit = 'DBU'
AND u.usage_metadata.job_id = '<job-id>'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY ALL
A consulta conta apenas o uso que é faturado para o job (JOBS). As tarefas do pipeline são faturadas como uso do pipeline (DLT), portanto os resultados não as incluem. Para comparar o pipeline executado por uma tarefa de pipeline, filtre por u.billing_origin_product = 'DLT' e u.usage_metadata.dlt_pipeline_id = '<pipeline-id>' em vez disso, e conte u.usage_metadata.dlt_update_id em vez de u.usage_metadata.job_run_id.
O consumo de DBU por execução também depende da quantidade de dados que cada execução processa, então compare execuções que processam quantidades semelhantes de dados. Para comparar as durações das execuções, abra o job e visualize suas execuções. Consulte Monitor Lakeflow Jobs.
Para reportar o consumo de DBUs por modo em todos os jobs e pipelines, consulte Relatório sobre DBUs consumidas pelo modo de desempenho.
Perguntas frequentes (FAQ) sobre modos de desempenho serverless
O modo padrão tem um preço diferente?
No. Ambos os modos são cobrados sob o mesmo SKU e pelo mesmo preço por DBU. O modo padrão custa menos porque consome menos DBUs.
Posso definir um modo padrão para todas as tarefas em um espaço de trabalho?
No. Você define o modo para cada job e cada cronograma de pipeline. Para alternar vários trabalhos, use a API Jobs, o SDK Databricks para Python, Declarative Automation Bundles ou Terraform. Consulte o artigo Alternar um job para o modo padrão.
Tarefas no mesmo trabalho podem usar modos diferentes?
No. O modo se aplica a todo o job. Para executar algumas tarefas em cada modo, coloque-as em jobs separados e use uma tarefa Executar Job para orquestrá-las.
Quando uma mudança de modo entra em vigor?
Uma alteração se aplica a execuções que começam depois que você a salva. Uma execução que está em andamento mantém o modo com que começou. Para um job contínuo, clique em Reiniciar a execução para aplicar a alteração imediatamente.
Por que uma execução usou um modo diferente do seu job?
A execução pode ter começado com um modo apenas para essa execução, por exemplo, na opção Executar agora com configurações diferentes, de uma operação de reparo ou com uma solicitação performance_target de executar agora. Para verificar o modo que uma execução utilizou, consulte Verificar qual modo uma execução utilizou.
Por que um trabalho usa o modo padrão se eu não o escolhi?
Até setembro de 2025, o modo padrão era o padrão para novos trabalhos serverless e agendamentos de pipeline que você criava na interface. Tarefas que a interface criou no modo standard antes da alteração mantêm esse modo até você alterá-lo. Consulte as notas de lançamento de setembro de 2025. Para mudar um job para o modo otimizado para desempenho, consulte Alternar um job para o modo padrão.
Por que meu job demora mais de 6 minutos para começar no modo padrão?
O tempo de inicialização no modo padrão depende da disponibilidade de computação e varia de execução para execução. Quatro a seis minutos é o típico, não o máximo. Se um trabalho precisar de um horário de início previsível, use o modo otimizado por desempenho.
Posso usar o modo padrão para tarefas que uma ferramenta externa desencadeia?
Sim. Defina o modo da tarefa e faça com que a ferramenta acione a tarefa com a opção Executar agora. Se a ferramenta enviar execuções únicas com runs/submit, as execuções usam o modo otimizado de desempenho, a menos que a solicitação defina performance_target.