Scegli una modalità di prestazioni per job e pipeline serverless

I processi e le pipeline serverless vengono eseguiti in una delle seguenti modalità di prestazioni:

  • Modalità ottimizzata per le prestazioni (predefinito): Azure Databricks mantiene un pool di calcolo caldo pronto a posto, quindi i carichi di lavoro iniziano tipicamente in meno di un minuto e ricevono più calcolo rapidamente quando ne hanno bisogno. Utilizza questa modalità per un feedback rapido durante lo sviluppo e i test, oppure quando la modalità standard non soddisfa i requisiti di completamento o di freschezza dei dati.
  • Modalità standard: i carichi di lavoro iniziano tipicamente entro 4-6 minuti e consumano meno unità Databricks (DBU). Valuta questa modalità per lavori programmati e batch quando le esecuzioni rappresentative soddisfano i requisiti di completamento e aggiornamento dei dati.

Scegli la modalità per ogni job e per ogni pianificazione della pipeline. Per trovare i carichi di lavoro in cui la modalità standard salverebbe di più, vedi Trova job e pipeline per passare alla modalità standard.

Questa pagina confronta le modalità, spiega come scegliere e impostare una modalità e mostra come verificare quale modalità ha usato una run e quanto è costato.

Note

La modalità standard è un'impostazione di prestazioni per il calcolo serverless. Non è correlato alla modalità di accesso standard per il calcolo classico.

Confronta le modalità di prestazione

La tabella seguente confronta le due modalità di prestazione:

Modalità ottimizzata per le prestazioni (predefinita) Modalità Standard
Tempo di avvio Di solito meno di un minuto. Azure Databricks mantiene il caldo caldo pronto per il carico di lavoro. Tipicamente da 4 a 6 minuti, a seconda della disponibilità di calcolo.
Durata di esecuzione Più breve per i workload con scalabilità verso l'alto, perché le risorse di calcolo vengono aggiunte da capacità già disponibile. Può essere più lungo per carichi di lavoro che scalano, perché il calcolo viene aggiunto più lentamente.
Costo Consuma più DBU per lo stesso carico di lavoro, in cambio di avvii rapidi e prevedibili. Consuma meno DBU per lo stesso carico di lavoro, allo stesso prezzo per DBU e sullo stesso SKU.
Ideale per Lavoro e sviluppo interattivi che richiedono feedback rapido, e carichi di produzione i cui requisiti di completamento o di aggiornamento dei dati la modalità standard non può soddisfare. Lavori programmati e batch che soddisfano i requisiti di completamento e di aggiornamento dei dati con avvio e scala più lenti, come lavori batch notturni, backfill e carichi una tantum.

La modalità ottimizzata per le prestazioni è la predefinita per i job e pipeline serverless, sia che li crei nell'interfaccia utente, con l'API, con i Declarative Automation Bundles, con Terraform o con gli SDK. Gli aggiornamenti delle viste materializzate e delle tabelle in streaming che vengono eseguiti su una pianificazione dalla definizione della tabella hanno una propria impostazione, che di default viene impostata in modalità standard. Vedere Selezionare una modalità di prestazioni per gli aggiornamenti pianificati.

Entrambe le modalità gestiscono il tuo carico di lavoro sullo stesso runtime serverless e producono gli stessi risultati. Per i prezzi, consulta la pagina dei prezzi di Lakeflow Jobs.

Scegli una modalità per il tuo carico di lavoro

La modalità ottimizzata per le prestazioni è la predefinita. Per lavori batch programmati, Databricks raccomanda di valutare la modalità standard per un costo inferiore. Scegli la modalità standard quando le esecuzioni rappresentative, inclusi i tempi di avvio e scala, soddisfano i requisiti di completamento del carico di lavoro e di aggiornamento dei dati. Ad esempio, un processo notturno può utilizzare la modalità standard se si conclude prima che le dashboard che dipendono dai suoi risultati ne abbiano bisogno.

Usa la modalità ottimizzata per le prestazioni per i seguenti carichi di lavoro:

  • Lavoro interattivo, in cui qualcuno attende il risultato, come ad hoc esecuzioni con Run now e esecuzioni che un utente avvia da un'app o tramite una chiamata API.
  • Sviluppo, test e convalida di lavori e pipeline, dove un feedback rapido è importante.
  • I carichi di lavoro il cui accordo sul livello di servizio, obiettivo di freschezza dei dati o clienti downstream richiedono risultati prima di quanto offre la modalità standard.
  • Lavori che avviano un avvio di arrivo di file o di aggiornamento di tabella , con l'obiettivo di elaborare nuovi dati tempestivamente.
  • Compiti che vengono eseguiti ogni pochi minuti, con avvii più lenti che potrebbero ritardare o mettere in coda la prossima esecuzione.
  • I lavori brevi in cui il tempo di avvio rappresenta una grande parte del tempo totale di esecuzione e il completamento rapido conta.
  • Carichi di lavoro che necessitano di un aumento di scala più rapido per soddisfare i requisiti di completamento.

La modalità standard è adatta ai seguenti carichi di lavoro:

  • Lavori notturni, orari e altri batch programmati che soddisfano i requisiti di completamento e aggiornamento dei dati in modalità standard.
  • Pipeline che aggiornano le tabelle secondo una pianificazione, quando gli aggiornamenti terminano prima che i consumatori abbiano bisogno dei risultati.
  • Ricaricamenti storici e caricamenti di dati una tantum.
  • Lavori che un orchestratore esterno attiva secondo una pianificazione, quando la modalità standard soddisfa i requisiti di completamento a valle.

L'impostazione della modalità prestazioni non si applica ai notebook serverless interattivi.

La modalità prestazioni è un'impostazione a livello di job. Se un lavoro mescola attività sensibili al tempo con attività che possono aspettare, suddividi le attività in lavori separati. Per orchestrare insieme i processi, utilizza un task Esegui processo. Il job eseguito da un'attività Run Job utilizza una propria modalità di prestazioni.

Prova la modalità standard su un job esistente

Per misurare l'effetto della modalità standard su un processo prima di impegnarti, procedi come segue:

  1. Imposta il processo sulla modalità standard. Vedi anche Passare un lavoro alla modalità standard.
  2. Lascia che il job venga eseguito secondo il suo normale programma per diverse esecuzioni rappresentative.
  3. Confronta le DBU per esecuzione e il tempo di completamento, incluso l'avvio, con le esecuzioni precedenti al passaggio. Verifica se il lavoro soddisfa ancora i requisiti di completamento e di aggiornamento dei dati. Vedi Misurare il costo di ciascuna modalità.
  4. Se il lavoro non soddisfa più i requisiti di latenza, riportalo alla modalità ottimizzata per le prestazioni. La modifica si applica alla successiva esecuzione.

Utilizza le esecuzioni programmate del lavoro per il confronto. Esecuzioni manuali extra di un lavoro di produzione possono scrivere dati duplicati.

Supporto per la modalità prestazioni in base al tipo di carico di lavoro

Puoi configurare direttamente la modalità prestazioni per i seguenti tipi di carichi di lavoro di calcolo serverless:

  • Notebook serverless, script Python, Python wheel, JAR e attività dbt, inclusi i notebook che un'attività esegue con dbutils.notebook.run().
  • Le pipeline serverless vengono eseguite da un'attività della pipeline.
  • Aggiornamenti delle viste materializzate e delle tabelle in streaming avviati da un'attività SQL, o da un'attività notebook o dbt su un SQL warehouse. La modalità non modifica il SQL warehouse.

I seguenti carichi di lavoro vengono eseguiti in modalità ottimizzata per le prestazioni:

Per i carichi di lavoro seguenti, imposta la modalità prestazioni in un luogo diverso dalle impostazioni del lavoro:

  • Esecuzioni una tantum che crei con l'operazione Jobs API runs/submit . Per impostare la modalità prestazione, imposta performance_target nel corpo della richiesta. Se ometti il parametro, l'esecuzione utilizza la modalità ottimizzata per le prestazioni.
  • Visualizzazioni materializzate e tabelle streaming che si aggiornano in base a una pianificazione definita nella definizione della tabella. Per impostare la modalità prestazioni, aggiorna la pianificazione di aggiornamento in Catalog Explorer. Questi aggiornamenti utilizzano di default la modalità standard. L'impostazione della modalità per questi aggiornamenti è in fase Beta. Per utilizzarlo, un amministratore dello spazio di lavoro deve attivare l'anteprima System-Managed Job for Materialized Views & Streaming Tables nella pagina Anteprime. Vedi Gestire le anteprime di Azure Databricks e Selezionare una modalità di prestazioni per gli aggiornamenti programmati.

La modalità performance non si applica a notebook serverless interattivi, ai compiti che girano su calcolo classico, a SQL warehouse o ai compiti che girano su AI Runtime.

Passa un lavoro alla modalità standard

Note

  • Per modificare la modalità di performance di un job, è necessario il permesso CAN MANAGE sul job.
  • Per impostare la modalità nei Declarative Automation Bundles, è necessaria la versione 0.241.0 o superiore della CLI Databricks.

Imposti la modalità di performance per ogni job. La modalità si applica a tutte le attività serverless presenti nel lavoro, e una modifica si applica alle esecuzioni che iniziano dopo averla salvata.

Interfaccia utente

Per passare un lavoro alla modalità standard nella Jobs UI, procedi come segue:

  1. Nell'area di lavoro fare clic sull'icona Flussi di lavoro.Processi e pipeline nella barra laterale.
  2. Clicca sul nome del job.
  3. Nel riquadro Dettagli del lavoro , disattiva Ottimizzazione delle prestazioni.

L'ottimizzazione delle prestazioni viene visualizzata come disattivata nel riquadro Dettagli del lavoro , e le esecuzioni che iniziano dopo la modifica utilizzano la modalità standard.

Per tornare alla modalità ottimizzata per le prestazioni, attiva Performance optimized. Puoi modificare l'impostazione solo quando il processo ha almeno un'attività a cui si applica la modalità. Vedi Supporto della modalità prestazioni per tipo di carico di lavoro.

Puoi anche scegliere la modalità per una singola esecuzione:

Quando programmi un notebook dal notebook, scegli la modalità nella finestra di dialogo di pianificazione. Vedere Creare e gestire processi di notebook pianificati.

Pacchetti di automazione dichiarativa

Per usare la modalità standard per un job in un bundle, imposta performance_target nella risorsa del job. Il seguente esempio utilizza la modalità standard e utilizza la modalità ottimizzata per le prestazioni nel dev target per un feedback più rapido durante lo sviluppo:

resources:
  jobs:
    nightly_etl:
      name: nightly_etl
      performance_target: STANDARD
      tasks:
        - task_key: transform
          notebook_task:
            notebook_path: ../src/transform.ipynb

targets:
  dev:
    resources:
      jobs:
        nightly_etl:
          performance_target: PERFORMANCE_OPTIMIZED

Se ometti performance_target, il lavoro utilizza la modalità ottimizzata per le prestazioni. Per maggiori informazioni sulle risorse del lavoro e sulle sovrascrizioni dei target, vedi job e Override con impostazioni target.

REST API

Per passare un lavoro esistente alla modalità standard, chiama Aggiorna impostazioni del lavoro con performance_target in new_settings. L'esempio seguente presuppone che le variabili di ambiente DATABRICKS_HOST e DATABRICKS_TOKEN siano impostate, come descritto in Eseguire l'autenticazione tramite token di accesso personale:

curl -X POST "$DATABRICKS_HOST/api/2.2/jobs/update" \
  -H "Authorization: Bearer $DATABRICKS_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "job_id": 123456789,
    "new_settings": {
      "performance_target": "STANDARD"
    }
  }'

Il seguente elenco descrive come performance_target funziona in altre richieste:

  • Crea un processo: Imposta la modalità per il nuovo processo. Se ometti il campo, il job utilizza PERFORMANCE_OPTIMIZED.
  • Reimposta un lavoro: Sostituisce tutte le impostazioni del lavoro. Per mantenere la modalità standard, includi performance_target nelle nuove impostazioni.
  • Esegui ora e Ripara un'esecuzione: Imposta la modalità solo per questa esecuzione.
  • Invia un'esecuzione una tantum: Imposta la modalità dell'esecuzione. Se ometti il campo, l'esecuzione utilizza PERFORMANCE_OPTIMIZED.

Interfaccia a riga di comando di Databricks

Per passare un lavoro esistente in modalità standard, esegui databricks jobs update con l'ID del lavoro nel corpo della richiesta JSON:

databricks jobs update --json '{"job_id": 123456789, "new_settings": {"performance_target": "STANDARD"}}'

Per eseguire un lavoro una volta in modalità standard senza cambiare il lavoro, esegui quanto segue:

databricks jobs run-now 123456789 --performance-target STANDARD --no-wait

PYTHON SDK

Per passare uno o più job esistenti alla modalità standard con l'SDK Databricks per Python, esegui quanto segue:

from databricks.sdk import WorkspaceClient
from databricks.sdk.service import jobs

w = WorkspaceClient()

# Replace with the IDs of the jobs to switch to standard mode.
job_ids = [123456789, 234567890]

for job_id in job_ids:
    w.jobs.update(
        job_id=job_id,
        new_settings=jobs.JobSettings(performance_target=jobs.PerformanceTarget.STANDARD),
    )

Terraform

Per utilizzare la modalità standard per un lavoro che gestisci con il provider Databricks Terraform, imposta performance_target la databricks_job risorsa:

resource "databricks_job" "nightly_etl" {
  name               = "nightly_etl"
  performance_target = "STANDARD"

  task {
    task_key = "transform"
    notebook_task {
      notebook_path = "/Workspace/Users/someone@example.com/transform"
    }
  }
}

Se un bundle o Terraform esegue il deployment di un processo, modifica la modalità nella configurazione. La successiva distribuzione sovrascrive le modifiche che apporti nell'interfaccia utente o con l'API. I job distribuiti da un bundle sono di sola lettura nell'interfaccia utente Jobs.

Passa una pipeline alla modalità standard

Una pipeline serverless utilizza la modalità performance del job che la esegue. Quando pianifichi una pipeline dalla pagina della pipeline, la pianificazione crea un lavoro, quindi scegli la modalità nella pianificazione.

Per creare una pianificazione della pipeline che utilizza la modalità standard, procedi come segue:

  1. Nell'area di lavoro fare clic sull'icona Flussi di lavoro.Processi e pipeline nella barra laterale.
  2. Fare clic sul nome della pipeline.
  3. Fare clic su Schedule. Se la pipeline ha già una programmazione, fai clic su Aggiungi programmazione.
  4. Configura il trigger e il nome del lavoro. Vedi Pianificare una pipeline con l'interfaccia della pipeline.
  5. Deseleziona la casella Performance optimized.
  6. Clicca su Crea.

La pianificazione crea un lavoro che esegue la pipeline in modalità standard. Per confermare, apri quel lavoro e verifica che Ottimizzazione delle prestazioni sia disattivata nel riquadro Dettagli del lavoro .

Per modificare la modalità di una pianificazione esistente, o di qualsiasi altro lavoro che esegue la pipeline, passa a quella attività alla modalità standard. Vedi "Passare un lavoro alla modalità standard".

Gli aggiornamenti della pipeline che si avviano manualmente, ad esempio con Start dalla pagina della pipeline, vengono eseguiti in modalità ottimizzata per le prestazioni. Un aggiornamento completo selettivo può essere eseguito in modalità standard. Dopo aver selezionato le tabelle da aggiornare, clicca su Esegui ora con impostazioni diverse, attiva Esegui pipeline con aggiornamento completo della tabella e disattiva l'ottimizzazione delle prestazioni.

Una pipeline continua che utilizza la modalità continua integrata della pipeline funziona in modalità ottimizzata per le prestazioni, e non puoi modificarne la modalità. Per eseguire una pipeline continua in modalità standard, eseguila con un lavoro continuo e disattiva Prestazioni ottimizzate per quel lavoro. Un lavoro continuo rileva una nuova modalità quando la sua esecuzione si riavvia. Per applicare subito una modifica, fai clic su Riavvia run. Vedi Eseguire una pipeline continua con un lavoro continuo e Eseguire i lavori continuamente.

Per le viste materializzate e le tabelle in streaming che si aggiornano su una pianificazione dalla definizione della tabella, imposta la modalità sulla pianificazione di aggiornamento in Catalog Explorer. Vedere Selezionare una modalità di prestazioni per gli aggiornamenti pianificati.

Verifica quale modalità ha utilizzato un'esecuzione

La modalità utilizzata da un'esecuzione può differire dall'impostazione del processo. Ad esempio, puoi scegliere una modalità diversa per una singola esecuzione, e la modalità non si applica ad alcuni tipi di attività. Per verificare quale modalità ha utilizzato un'esecuzione, utilizza uno dei seguenti metodi:

  • UI dei lavori: apri l'esecuzione. Nella pagina Dettagli dell'esecuzione del lavoro , il riquadro dettagli mostra Prestazioni ottimizzate come Abilitato per la modalità ottimizzata per le prestazioni o Disabilitato per la modalità standard. La pagina Dettagli dell'esecuzione dell'attività mostra lo stesso campo per ogni attività.
  • API dei lavori: Il effective_performance_target campo nella risposta Ottieni una singola esecuzione del lavoro mostra la modalità utilizzata dall'esecuzione.
  • Tabelle di sistema: La product_features.performance_target colonna nella tabella di sistema di utilizzo fatturabile registra la modalità per i lavori e le pipeline serverless. Per gli aggiornamenti della pipeline che un lavoro attiva, la trigger_details.job_task.performance_target colonna nella tabella della timeline degli aggiornamenti della pipeline registra anche la modalità.

Misura il costo di ciascuna modalità

Usa la tabella di sistema dell'utilizzo fatturabile per trovare i carichi di lavoro da cambiare e per misurare quanto fa risparmiare la modalità standard. I registri di utilizzo possono impiegare diverse ore per apparire nella tabella. Le richieste in questa sezione utilizzano prezzi di lista, quindi i costi non riflettono gli sconti.

Trova job e pipeline per passare alla modalità standard

La seguente query elenca i job e le pipeline serverless che hanno utilizzato la modalità ottimizzata per le prestazioni negli ultimi 30 giorni, ordinati per costo di lista. I carichi di lavoro nella parte superiore dei risultati sono buoni candidati per la modalità standard quando le esecuzioni rappresentative, inclusi i tempi di avvio e di scalabilità, soddisfano i requisiti di completamento e di aggiornamento dei dati.

SELECT
  u.workspace_id,
  u.billing_origin_product AS product,
  u.usage_metadata.job_id AS job_id,
  u.usage_metadata.dlt_pipeline_id AS pipeline_id,
  MAX(u.usage_metadata.job_name) AS job_name,
  COUNT(DISTINCT u.usage_metadata.job_run_id) AS job_runs,
  SUM(u.usage_quantity) AS dbus,
  SUM(u.usage_quantity * lp.pricing.default) AS list_cost
FROM system.billing.usage AS u
INNER JOIN system.billing.list_prices AS lp
  ON u.cloud = lp.cloud
  AND u.sku_name = lp.sku_name
  AND u.usage_start_time >= lp.price_start_time
  AND (u.usage_end_time <= lp.price_end_time OR lp.price_end_time IS NULL)
WHERE
  u.billing_origin_product IN ('JOBS', 'DLT')
  AND u.product_features.is_serverless
  AND u.product_features.performance_target = 'PERFORMANCE_OPTIMIZED'
  AND u.usage_unit = 'DBU'
  AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY
  u.workspace_id,
  u.billing_origin_product,
  u.usage_metadata.job_id,
  u.usage_metadata.dlt_pipeline_id
ORDER BY list_cost DESC
LIMIT 50

Per cambiare una pipeline eseguita da un job, cambia il job. Vedi: Passa un lavoro alla modalità standard.

Confronta l'utilizzo di un job prima e dopo il cambio

Dopo che un lavoro è stato eseguito in entrambe le modalità, la seguente query confronta le DBU che le sue attività consumano per ogni esecuzione in ciascuna modalità. Sostituisci <job-id> con l'ID del job:

SELECT
  u.product_features.performance_target AS performance_mode,
  COUNT(DISTINCT u.usage_metadata.job_run_id) AS runs,
  SUM(u.usage_quantity) AS dbus,
  SUM(u.usage_quantity) / COUNT(DISTINCT u.usage_metadata.job_run_id) AS dbus_per_run
FROM system.billing.usage AS u
WHERE
  u.billing_origin_product = 'JOBS'
  AND u.product_features.is_serverless
  AND u.usage_unit = 'DBU'
  AND u.usage_metadata.job_id = '<job-id>'
  AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY ALL

La query conta solo l'utilizzo fatturato al lavoro (JOBS). Le attività della pipeline sono fatturate come utilizzo della pipeline (DLT), quindi i risultati non le includono. Per confrontare una pipeline che viene eseguita da un'attività di pipeline, filtra su u.billing_origin_product = 'DLT' e u.usage_metadata.dlt_pipeline_id = '<pipeline-id>' invece, e conta u.usage_metadata.dlt_update_id invece di u.usage_metadata.job_run_id.

Il consumo di DBU per esecuzione dipende anche da quanti dati processa ciascuna esecuzione, quindi confronta le esecuzioni che elaborano quantità simili di dati. Per confrontare le durate delle esecuzioni, apri il job e visualizza le sue esecuzioni. Vedere Monitorare i processi Lakeflow.

Per riportare il consumo di DBU per modalità su tutti i job e le pipeline, consulta Report sulle DBU consumate in base alla modalità prestazioni.

Domande frequenti (FAQ) sulle modalità di prestazioni serverless

La modalità standard ha un prezzo diverso?

No. Entrambe le modalità fatturano sotto lo stesso SKU allo stesso prezzo per DBU. La modalità standard costa meno perché consuma meno DBU.

Posso impostare una modalità predefinita per tutti i lavori in uno spazio di lavoro?

No. Si imposta la modalità per ogni lavoro e per ogni pianificazione della pipeline. Per cambiare molte attività, usa l'API Jobs, l'SDK Databricks per Python, Declarative Automation Bundles o Terraform. Vedi Come passare un processo alla modalità standard.

I compiti nello stesso lavoro possono usare modalità diverse?

No. La modalità si applica all'intero job. Per eseguire alcune attività in ciascuna modalità, mettile in processi separati e usa un'attività Esegui processo per orchestrarle.

Quando entra in vigore un cambio di modalità?

Una modifica si applica alle run che iniziano dopo che le hai salvate. Una run in corso mantiene la modalità con cui è iniziata. Per un lavoro continuo, clicca su Riavvia esecuzione per applicare subito la modifica.

Perché una run ha usato una modalità diversa dal suo job?

L'esecuzione potrebbe essere iniziata con una modalità valida solo per quell'esecuzione, ad esempio da Esegui ora con impostazioni diverse, da un ripristino o con una richiesta di esecuzione ora con performance_target. Per verificare la modalità utilizzata da un'esecuzione, vedi Verifica quale modalità ha utilizzato un'esecuzione.

Perché un job usa la modalità standard se non l'ho scelta io?

Fino a settembre 2025, la modalità standard era la predefinita per i nuovi job serverless e le pianificazioni delle pipeline che hai creato nell'interfaccia utente. I lavori creati dall'interfaccia utente in modalità standard prima della modifica mantengono quella modalità finché non la modifichi. Consulta le note di rilascio di settembre 2025. Per passare un job alla modalità ottimizzata per le prestazioni, consulta Passa un job alla modalità standard.

Perché il mio processo impiega più di 6 minuti per iniziare in modalità standard?

Il tempo di avvio in modalità standard dipende dalla disponibilità di calcolo e varia da un'esecuzione all'altra. Quattro o sei minuti sono la norma, non il massimo. Se un lavoro necessita di un orario di inizio prevedibile, usa la modalità ottimizzata per le prestazioni.

Posso usare la modalità standard per i lavori che uno strumento esterno attiva?

Yes. Imposta la modalità nel job e fai in modo che lo strumento attivi il job tramite "Esegui ora". Se lo strumento invia esecuzioni una tantum con runs/submit, le esecuzioni utilizzano la modalità ottimizzata per le prestazioni a meno che la richiesta non imposti performance_target.

Risorse aggiuntive