Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Note
Queste informazioni si applicano all'interfaccia della riga di comando di Databricks versione 0.205 e successive. L'interfaccia della riga di comando di Databricks è disponibile in anteprima pubblica.
L'uso della CLI di Databricks è soggetto alla Licenza di Databricks e all'Informativa sulla privacy di Databricks, incluse eventuali disposizioni sui dati di utilizzo.
Il pipelines gruppo di comandi all'interno dell'interfaccia della riga di comando di Databricks contiene due set di funzionalità. Il primo set consente di gestire un progetto pipeline e il relativo flusso di lavoro. Il secondo set consente di creare, modificare, eliminare, avviare e visualizzare i dettagli sugli oggetti pipeline in Databricks.
Per informazioni sulle pipeline, vedere Pipeline dichiarative di Lakeflow Spark.
Gestire i progetti della pipeline
I comandi seguenti consentono di gestire le pipeline nei progetti.
Distribuzione delle pipeline di databricks
Distribuire le pipeline caricando tutti i file definiti nel progetto nell'area di lavoro di destinazione e creando o aggiornando le pipeline definite nell'area di lavoro.
databricks pipelines deploy [flags]
Arguments
None
Options
--auto-approve
Ignorare le approvazioni interattive che potrebbero essere necessarie per la distribuzione
--fail-on-active-runs
Fallisce se sono presenti pipeline in esecuzione nell'implementazione
--force-lock
Forzare l'acquisizione del blocco di distribuzione
Le pipeline di Databricks distruggono
Eliminare definitivamente un progetto di pipeline.
databricks pipelines destroy [flags]
Arguments
None
Options
--auto-approve
Saltare le approvazioni interattive per l'eliminazione delle pipeline
--force-lock
Forzare l'acquisizione del blocco di distribuzione
Pipeline di Databricks in modalità prova
Convalida la correttezza del grafico della pipeline, identificato da KEY. Non materializza né pubblica alcun set di dati.
databricks pipelines dry-run [flags] [KEY]
Arguments
KEY
Nome univoco della pipeline da eseguire a secco, come definito nel file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
Options
--no-wait
Non aspettare che l'esecuzione sia completata
--restart
Riavvia l'esecuzione se è già attiva
Generare pipeline di Databricks
Generare la configurazione per una pipeline Spark esistente.
Questo comando cerca un spark-pipeline.yml file o *.spark-pipeline.yml nella directory specificata e genera un nuovo *.pipeline.yml file di configurazione nella resources cartella del progetto che definisce la pipeline. Se esistono più spark-pipeline.yml file, specificare il percorso completo di un file specifico *.spark-pipeline.yml .
databricks pipelines generate [flags]
Note
Per generare la configurazione per una pipeline esistente nell'area di lavoro Databricks, vedere databricks bundle generate pipeline e Generazione della configurazione per un processo o una pipeline esistente usando il Databricks CLI.
Options
--existing-pipeline-dir
Percorso della directory esistente della pipeline in src (ad esempio, src/my_pipeline).
--force
Sovrascrivere il file di configurazione della pipeline esistente.
Esempi
L'esempio seguente cerca nella directory corrente e legge src/my_pipeline/spark-pipeline.yml, quindi crea un file resources/my_pipeline.pipeline.yml di configurazione che definisce la pipeline:
databricks pipelines generate --existing-pipeline-dir src/my_pipeline
Cronologia delle pipeline di Databricks
Recuperare le esecuzioni precedenti per una pipeline identificata da KEY.
databricks pipelines history [flags] [KEY]
Arguments
KEY
Nome univoco della pipeline, come definito nel file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
Options
--end-time string
Filtrare gli aggiornamenti prima di questa ora (formato: 2025-01-15T10:30:00Z)
--start-time string
Filtra gli aggiornamenti dopo questa ora (formato: 2025-01-15T10:30:00Z)
init delle Pipeline di Databricks
Inizializzare un nuovo progetto di pipeline.
Per un'esercitazione che illustra come creare, distribuire ed eseguire un progetto di pipeline utilizzando il Databricks CLI, vedere Sviluppare pipeline dichiarative di Lakeflow Spark con i bundle di asset di Databricks.
databricks pipelines init [flags]
Arguments
None
Options
--config-file string
File JSON contenente coppie chiave-valore dei parametri di input necessari per l'inizializzazione del modello
--output-dir string
Directory in cui scrivere il modello inizializzato
Registri delle pipeline di Databricks
Recuperare gli eventi per la pipeline identificata da KEY. Per impostazione predefinita, questo comando mostra gli eventi dell'aggiornamento più recente della pipeline.
databricks pipelines logs [flags] [KEY]
Arguments
KEY
Nome univoco della pipeline, come definito nel file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
Options
--end-time string
Filtrare gli eventi precedenti a questa ora di fine (formato: 2025-01-15T10:30:00Z)
--event-type strings
Filtrare gli eventi in base all'elenco dei tipi di evento
--level strings
Filtrare gli eventi in base all'elenco dei livelli di log (INFO, WARN, ERROR, METRICS)
-n, --number int
Numero di eventi da restituire
--start-time string
Filtrare gli eventi successivi a questa ora di inizio (formato: 2025-01-15T10:30:00Z)
--update-id string
Filtrare gli eventi in base all'ID di aggiornamento. Se non specificato, usa l'ID aggiornamento più recente
Esempi
databricks pipelines logs pipeline-name --update-id update-1 -n 10
databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z
Pipeline di Databricks aperte
Aprire una pipeline nel browser, identificata da KEY.
databricks pipelines open [flags] [KEY]
Arguments
KEY
Nome univoco della pipeline da aprire, come definito nel file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
Options
--force-pull
Ignorare la cache locale e caricare lo stato dall'area di lavoro remota
Esecuzione delle pipeline di Databricks
Esegui la pipeline identificata da KEY. Aggiorna tutte le tabelle nella pipeline, se non diversamente specificato.
databricks pipelines run [flags] [KEY]
Arguments
KEY
Nome univoco della pipeline da eseguire, come definito nel relativo file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
Options
--full-refresh strings
Elenco di tabelle da reimpostare e ricompilare
--full-refresh-all
Eseguire una reimpostazione completa del grafico e ricompilare
--no-wait
Non aspettare che l'esecuzione sia completata
--refresh strings
Elenco di tabelle da eseguire
--restart
Riavvia l'esecuzione se è già attiva
Le pipeline di Databricks si fermano
Interrompere la pipeline se è in esecuzione, identificata da KEY o PIPELINE_ID. Se non è presente alcun aggiornamento attivo per la pipeline, questa richiesta è un no-op.
databricks pipelines stop [KEY|PIPELINE_ID] [flags]
Arguments
KEY
Nome univoco della pipeline da arrestare, come definito nel relativo file YAML. Se è presente una sola pipeline nel progetto, KEY è facoltativa e la pipeline è selezionata automaticamente.
PIPELINE_ID
UUID della pipeline da arrestare.
Options
--no-wait
non attendere il raggiungimento dello stato IDLE
--timeout duration
quantità massima di tempo per raggiungere lo stato IDLE (impostazione predefinita 20m0s)
Gestire gli oggetti della pipeline
I comandi seguenti consentono di gestire gli oggetti pipeline in Databricks.
Creazione di pipeline di databricks
Creare una nuova pipeline di elaborazione dati in base alla configurazione richiesta. In caso di esito positivo, questo comando restituisce l'ID della nuova pipeline.
databricks pipelines create [flags]
Arguments
None
Options
--json JSON
Stringa JSON inline o file JSON @path con il corpo della richiesta.
eliminazione delle pipeline di databricks
Eliminare una pipeline.
databricks pipelines delete PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline da eliminare.
Options
Accedere alle pipeline di Databricks
Ottenere una pipeline.
databricks pipelines get PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline da ottenere.
Options
aggiornamento delle pipeline di Databricks
Ottieni un aggiornamento da una pipeline attiva.
databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]
Arguments
PIPELINE_ID
L'identificativo della pipeline.
UPDATE_ID
ID dell'aggiornamento.
Options
pipeline databricks list-pipeline-events
Recupera eventi per una pipeline.
databricks pipelines list-pipeline-events PIPELINE_ID [flags]
Arguments
PIPELINE_ID
La pipeline per la quale recuperare gli eventi.
Options
--filter string
Criteri per selezionare un subset di risultati, espresso usando una sintassi simile a SQL.
--max-results int
Numero massimo di elementi da visualizzare in una singola pagina.
--page-token string
Token di pagina restituito dalla chiamata precedente.
elenco-pipelines di pipelines di databricks
Elencare le pipeline definite nel sistema Delta Live Tables.
databricks pipelines list-pipelines [flags]
Arguments
None
Options
--filter string
Selezionare un subset di risultati in base ai criteri specificati.
--max-results int
Numero massimo di voci da restituire in una singola pagina.
--page-token string
Token di pagina restituito dalla chiamata precedente.
elenco-aggiornamenti delle pipeline di Databricks
Elencare gli aggiornamenti per una pipeline attiva.
databricks pipelines list-updates PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline per restituire gli aggiornamenti.
Options
--max-results int
Numero massimo di elementi da visualizzare in una singola pagina.
--page-token string
Token di pagina restituito dalla chiamata precedente.
--until-update-id string
Se presente, restituisce gli aggiornamenti fino a includere questo update_id.
Avvio dell'aggiornamento delle pipeline di databricks
Avviare un nuovo aggiornamento per la pipeline. Se è già presente un aggiornamento attivo per la pipeline, la richiesta avrà esito negativo e l'aggiornamento attivo rimarrà in esecuzione.
databricks pipelines start-update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Avviare un aggiornamento per la pipeline.
Options
--cause StartUpdateCause
Valori supportati: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]
--full-refresh
Se true, questo aggiornamento reimposta tutte le tabelle prima dell'esecuzione.
--json JSON
Stringa JSON inline o file JSON @path con il corpo della richiesta.
--validate-only
Se true, questo aggiornamento convalida solo la correttezza del codice sorgente della pipeline, ma non materializza o pubblica alcun set di dati.
Aggiornamento delle pipeline di Databricks
Aggiorna una pipeline con la configurazione fornita.
databricks pipelines update PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Identificatore univoco per questa pipeline.
Options
--allow-duplicate-names
Se false, la distribuzione avrà esito negativo se il nome è stato modificato e è in conflitto con il nome di un'altra pipeline.
--budget-policy-id string
Politica di budget di questa pipeline.
--catalog string
Catalogo in Unity Catalog in cui pubblicare i dati da questa pipeline.
--channel string
Canale di rilascio di Lakeflow Spark Declarative Pipelines che specifica la versione da usare.
--continuous
Indica se la pipeline è continua o attivata su comando.
--development
Indica se la pipeline è in modalità di sviluppo.
--edition string
Edizione del prodotto Pipeline.
--expected-last-modified int
Se presente, l'ora dell'ultima modifica delle impostazioni della pipeline prima della modifica.
--id string
Identificatore univoco per questa pipeline.
--json JSON
Stringa JSON inline o file JSON @path con il corpo della richiesta.
--name string
Identificatore amichevole per questa pipeline.
--photon
Indica se Photon è abilitato per questa pipeline.
--pipeline-id string
Identificatore univoco per questa pipeline.
--schema string
Schema predefinito (database) in cui le tabelle vengono lette o pubblicate.
--serverless
Indica se l'ambiente di calcolo serverless è abilitato per questa pipeline.
--storage string
Directory principale DBFS per la memorizzazione di checkpoint e tabelle.
--target string
Schema di destinazione (database) a cui aggiungere tabelle in questa pipeline.
Livelli di autorizzazione del pipeline di Databricks
Ottieni i livelli di autorizzazione della pipeline.
databricks pipelines get-permission-levels PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline per cui ottenere o gestire le autorizzazioni.
Options
Le pipeline di Databricks acquisiscono i permessi
Ottenere le autorizzazioni di una pipeline. Le pipeline possono ereditare autorizzazioni dal loro oggetto radice.
databricks pipelines get-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline per cui ottenere o gestire le autorizzazioni.
Options
Impostare le autorizzazioni delle pipeline di Databricks
Impostare le autorizzazioni della pipeline.
Imposta le autorizzazioni per un oggetto, sostituendo le autorizzazioni esistenti, se esistenti. Elimina tutte le autorizzazioni dirette se non è specificato alcuno. Gli oggetti possono ereditare le autorizzazioni dal relativo oggetto radice.
databricks pipelines set-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline per cui ottenere o gestire le autorizzazioni.
Options
--json JSON
Stringa JSON inline o file JSON @path con il corpo della richiesta.
Permessi di aggiornamento delle pipeline di Databricks
Aggiornare le autorizzazioni per una pipeline. Le pipeline possono ereditare autorizzazioni dal loro oggetto radice.
databricks pipelines update-permissions PIPELINE_ID [flags]
Arguments
PIPELINE_ID
Pipeline per cui ottenere o gestire le autorizzazioni.
Options
--json JSON
Stringa JSON inline o file JSON @path con il corpo della richiesta.
Bandiere globali
--debug
Indica se abilitare la registrazione di debug.
-h oppure --help
Mostra la guida per il Databricks CLI, il gruppo di comandi correlato o il comando correlato.
--log-file stringa
Stringa che rappresenta il file in cui scrivere i log di output. Se questo flag non viene specificato, l'impostazione predefinita prevede la scrittura dei log di output su stderr.
--log-format formato
Tipo di formato del log, text o json. Il valore predefinito è text.
--log-level stringa
Stringa che rappresenta il livello di formato del log. Se non specificato, il livello di formato del log è disabilitato.
tipo
Tipo di output del comando, text o json. Il valore predefinito è text.
-p, --profile stringa
Nome del profilo nel ~/.databrickscfg file da usare per eseguire il comando . Se questo flag non viene specificato, se esiste, viene usato il profilo denominato DEFAULT .
--progress-format formato
Formato per visualizzare i log di stato: default, append, inplaceo json
-t, --target stringa
Se applicabile, la destinazione del bundle da utilizzare