Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Note
Queste informazioni si applicano all'interfaccia della riga di comando di Databricks versione 0.205 e successive. L'interfaccia della riga di comando di Databricks è disponibile in anteprima pubblica.
L'uso del CLI di Databricks è soggetto alla Licenza Databricks e all'Informativa sulla Privacy di Databricks, incluse eventuali disposizioni sui Dati di Utilizzo.
Il clusters gruppo di comandi all'interno dell'interfaccia della riga di comando di Databricks consente di creare, avviare, modificare, elencare, terminare ed eliminare cluster.
Un cluster Databricks è un set di risorse di calcolo e configurazioni in cui si eseguono carichi di lavoro di ingegneria dei dati, data science e analisi dei dati, ad esempio pipeline ETL di produzione, analisi di streaming, analisi ad hoc e Machine Learning. Vedere Panoramica del calcolo classico.
Important
Databricks conserva le informazioni di configurazione del cluster per i cluster terminati per 30 giorni. Per mantenere una configurazione generica di cluster anche dopo che è stata terminata per più di 30 giorni, un amministratore può fissare un cluster nell'elenco dei cluster.
cluster Databricks cambia-proprietario
Modificare il proprietario del cluster. Per eseguire questa operazione, è necessario essere un amministratore e il cluster deve essere terminato. L'ID applicazione principale del servizio può essere usato come argomento per owner_username.
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
ID del cluster.
OWNER_USERNAME
Nuovo proprietario del cluster_id dopo questo RPC.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Creazione di cluster Databricks
Creare un nuovo cluster. Questo comando acquisisce nuove istanze dal provider di servizi cloud, se necessario. Questo comando è asincrono; il cluster_id restituito può essere usato per eseguire il polling dello stato del cluster. Quando questo comando termina, il cluster è in stato IN SOSPESO. Il cluster è utilizzabile quando entra in uno stato RUNNING. Databricks potrebbe non essere in grado di acquisire alcuni dei nodi richiesti, a causa di limitazioni del provider di servizi cloud (limiti dell'account, prezzo spot e così via) o problemi di rete temporanei.
Se Databricks acquisisce almeno 85% dei nodi su richiesta, la creazione del cluster avrà esito positivo. In caso contrario, il cluster termina con un messaggio di errore informativo.
Invece di creare la definizione JSON del cluster da zero, Databricks consiglia di compilare l'interfaccia utente di calcolo di creazione e quindi copiare la definizione JSON generata dall'interfaccia utente.
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
Versione Spark del cluster, ad esempio 13.3.x-scala2.12. È possibile recuperare un elenco delle versioni di Spark disponibili usando l'API Elenca le versioni di Spark disponibili .
Options
--apply-policy-default-values
Se impostato su true, i valori predefiniti e fissi dei criteri vengono usati per i campi omessi.
--autotermination-minutes int
Termina automaticamente il cluster dopo il tempo di inattività specificato in minuti.
--cluster-name string
Nome del cluster richiesto dall'utente.
--data-security-mode DataSecurityMode
La modalità di sicurezza dei dati decide quale modello di governance dei dati usare per l'accesso ai dati da un cluster. Valori supportati: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
L'ID facoltativo del pool di istanze a cui appartiene il driver del cluster.
--driver-node-type-id string
Tipo di nodo del driver Spark.
--enable-elastic-disk
Scalabilità automatica dell'archiviazione locale: se abilitato, questo cluster acquisirà dinamicamente spazio su disco aggiuntivo quando i worker di Spark stanno esaurendo lo spazio su disco.
--enable-local-disk-encryption
Indica se abilitare LUKS nei dischi locali delle macchine virtuali del cluster.
--instance-pool-id string
ID facoltativo del pool di istanze a cui appartiene il cluster.
--is-single-node
Questo campo può essere usato solo quando kind = CLASSIC_PREVIEW.
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--kind Kind
Tipo di calcolo descritto da questa specifica di calcolo. Valori supportati: CLASSIC_PREVIEW
--no-wait
Non attendere il raggiungimento dello stato RUNNING
--node-type-id string
Questo campo codifica, con un solo valore, le risorse disponibili in ognuno dei nodi Spark del cluster.
--num-workers int
Numero di nodi di lavoro che il cluster deve avere.
--policy-id string
ID dei criteri del cluster usati per creare il cluster, se applicabile.
--runtime-engine RuntimeEngine
Determina il motore di runtime del cluster, sia esso standard oppure Photon. Valori supportati: NULL, PHOTON, STANDARD
--single-user-name string
Nome utente singolo se data_security_mode è SINGLE_USER.
--timeout duration
quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
--use-ml-runtime
Questo campo può essere usato solo quando kind = CLASSIC_PREVIEW.
eliminazione dei cluster databricks
Terminare il cluster con l'ID specificato. Il cluster viene rimosso in modo asincrono. Alla conclusione del processo di terminazione, il cluster si trova in uno stato TERMINATED. Se il cluster è già in uno stato TERMINATING o TERMINATED, non accade nulla.
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Il cluster da terminare.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--no-wait
Non aspettare di raggiungere lo stato di TERMINATED
--timeout duration
Quantità massima di tempo per raggiungere TERMINATED lo stato (valore predefinito 20m0s)
Modifica dei cluster databricks
Aggiornare la configurazione di un cluster in modo che corrisponda agli attributi e alle dimensioni specificati. Un cluster può essere aggiornato se si trova in uno stato RUNNING o TERMINATO.
Se un cluster viene aggiornato durante lo stato RUNNING, viene riavviato in modo che i nuovi attributi possano avere effetto.
Se un cluster viene aggiornato mentre è in stato TERMINATO, rimane TERMINATO. La prossima volta che viene avviato utilizzando l'API clusters/start, i nuovi attributi diventano effettivi. Qualsiasi tentativo di aggiornare un cluster in qualsiasi altro stato viene rifiutato con un codice di errore INVALID_STATE.
Non è possibile modificare i cluster creati dal servizio Jobs di Databricks.
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
ID del cluster
SPARK_VERSION
Versione Spark del cluster, ad esempio 13.3.x-scala2.12. È possibile recuperare un elenco delle versioni di Spark disponibili usando l'API Elenca le versioni di Spark disponibili .
Options
--apply-policy-default-values
Usare i valori fissi e predefiniti dei criteri per i campi omessi.
--autotermination-minutes int
Terminare automaticamente il cluster dopo che è inattivo per un periodo di tempo stabilito in minuti.
--cluster-name string
Nome del cluster richiesto dall'utente.
--data-security-mode DataSecurityMode
La modalità di sicurezza dei dati decide quale modello di governance dei dati usare per l'accesso ai dati da un cluster. Valori supportati: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARDLEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION
--driver-instance-pool-id string
L'ID facoltativo del pool di istanze a cui appartiene il driver del cluster.
--driver-node-type-id string
Tipo di nodo del driver Spark.
--enable-elastic-disk
Scalabilità automatica dell'archiviazione locale: se abilitato, questo cluster acquisirà dinamicamente spazio su disco aggiuntivo quando i worker di Spark stanno esaurendo lo spazio su disco.
--enable-local-disk-encryption
Indica se abilitare LUKS nei dischi locali delle macchine virtuali del cluster.
--instance-pool-id string
ID facoltativo del pool di istanze a cui appartiene il cluster.
--is-single-node
Questo campo può essere usato solo quando kind = CLASSIC_PREVIEW.
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--kind Kind
Tipo di calcolo descritto da questa specifica di calcolo. Valori supportati: CLASSIC_PREVIEW
--no-wait
non attendere il raggiungimento dello stato RUNNING
--node-type-id string
Questo campo codifica, con un solo valore, le risorse disponibili in ognuno dei nodi Spark del cluster.
--num-workers int
Numero di nodi di lavoro che il cluster deve avere.
--policy-id string
ID dei criteri del cluster usati per creare il cluster, se applicabile.
--runtime-engine RuntimeEngine
Determina il motore di runtime del cluster, sia esso standard oppure Photon. Valori supportati: NULL, PHOTON, STANDARD
--single-user-name string
Nome utente singolo se data_security_mode è SINGLE_USER.
--timeout duration
quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
--use-ml-runtime
Questo campo può essere usato solo quando kind = CLASSIC_PREVIEW.
Eventi dei cluster databricks
Elencare gli eventi relativi all'attività di un cluster. Questa API è paginata. Se sono presenti più eventi da leggere, la risposta include tutti i parametri necessari per richiedere la pagina successiva di eventi.
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID del cluster su cui recuperare gli eventi.
Options
--end-time int
Ora di fine in millisecondi di periodo.
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--limit int
Deprecato: utilizzate page_token in combinazione con page_size invece.
--offset int
Deprecato: utilizzate page_token in combinazione con page_size invece.
--order GetEventsOrder
Ordine in cui elencare gli eventi. Valori supportati: ASC, DESC
--page-size int
Numero massimo di eventi da includere in una pagina di eventi.
--page-token string
Usare next_page_token o prev_page_token restituiti dalla richiesta precedente per elencare rispettivamente la pagina successiva o precedente di eventi.
--start-time int
Ora di inizio in millisecondi di epoca.
ottenere i cluster databricks
Ottiene le informazioni per un cluster in base al relativo identificatore. I cluster possono essere descritti mentre sono in esecuzione o fino a 60 giorni dopo la loro terminazione.
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster su cui recuperare le informazioni.
Options
Elenco dei cluster Databricks
Elencare le informazioni su tutti i cluster aggiunti e attivi e tutti i cluster terminati negli ultimi 30 giorni. I cluster terminati prima di questo periodo non sono inclusi.
databricks clusters list [flags]
Arguments
None
Options
--cluster-sources []string
Filtrare i cluster per origine
--cluster-states []string
Filtrare i cluster in base agli stati
--is-pinned
Filtrare i cluster in base allo stato fissato
--page-size int
Utilizzare questo campo per specificare il numero massimo di risultati da restituire dal server.
--page-token string
Usare next_page_token o prev_page_token restituiti dalla richiesta precedente per elencare rispettivamente la pagina successiva o precedente dei cluster.
--policy-id string
Filtrare i cluster in base all'ID della policy
cluster di databricks list-node-types
Elencare i tipi di nodo Spark supportati. Questi tipi di nodo possono essere usati per avviare un cluster.
databricks clusters list-node-types [flags]
Arguments
None
Options
list-zones dei databricks cluster
Elencare le zone di disponibilità in cui è possibile creare cluster (ad esempio, us-west-2a). Queste zone possono essere usate per avviare un cluster.
databricks clusters list-zones [flags]
Arguments
None
Options
eliminazione permanente dei databricks cluster
Eliminare definitivamente il cluster. Questo cluster viene terminato e le risorse vengono rimosse in modo asincrono.
Inoltre, gli utenti non vedranno più cluster eliminati definitivamente nell'elenco dei cluster e gli utenti api non possono più eseguire alcuna azione sui cluster eliminati definitivamente.
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster da eliminare.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Pin dei cluster databricks
Fissare un cluster per assicurarsi che il cluster venga sempre restituito dall'API ListClusters. Fissare un cluster che è già fissato non avrà alcun effetto. Questa API può essere chiamata solo dagli amministratori dell'area di lavoro.
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID del cluster.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Ridimensionamento dei cluster databricks
Ridimensionare il cluster in modo da avere un numero desiderato di ruoli di lavoro. Questo fallirà a meno che il cluster non sia in uno stato RUNNING.
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Il cluster da ridimensionare.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--no-wait
Non attendere il raggiungimento dello stato RUNNING
--num-workers int
Numero di nodi di lavoro che il cluster deve avere.
--timeout duration
Quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
Riavvio dei cluster Databricks
Riavviare un cluster con l'ID specificato. Se il cluster non è attualmente in stato RUNNING, non accade nulla.
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Il cluster da avviare.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--no-wait
Non attendere il raggiungimento dello stato RUNNING
--restart-user string
Utente che ha riavviato il cluster.
--timeout duration
Quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
versioni di Spark dei cluster Databricks
Elencare le versioni di Spark disponibili. Queste versioni possono essere usate per avviare un cluster.
databricks clusters spark-versions [flags]
Arguments
None
Options
Avvio dei cluster databricks
Avvia un cluster interrotto con l'ID specificato. Questo comportamento è simile a createCluster, ad eccezione di: - Vengono mantenuti gli attributi e l'ID cluster precedenti. - Il cluster inizia con l'ultima dimensione del cluster specificata. - Se il cluster precedente era un cluster di scalabilità automatica, il cluster corrente inizia con il numero minimo di nodi. - Se il cluster non è attualmente in uno stato TERMINATO, non accade nulla. - I cluster avviati per eseguire un processo non possono essere avviati.
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Il cluster da avviare.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--no-wait
Non attendere il raggiungimento dello stato RUNNING
--timeout duration
Quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
Rimuovere i cluster databricks
Sbloccare un cluster per consentire che il cluster sia eventualmente rimosso dall'API ListClusters. La rimozione di un cluster non fissato non avrà alcun effetto. Questa API può essere chiamata solo dagli amministratori dell'area di lavoro.
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
ID del cluster.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Aggiornamento dei cluster Databricks
Aggiornare la configurazione di un cluster in modo che corrisponda al set parziale di attributi e dimensioni. Indica i campi da aggiornare usando il campo update_mask nel corpo della richiesta. Un cluster può essere aggiornato se si trova in uno stato RUNNING o TERMINATO. Se un cluster viene aggiornato in uno stato RUNNING, verrà riavviato in modo che i nuovi attributi possano essere applicati. Se un cluster viene aggiornato mentre è in stato TERMINATO, rimarrà TERMINATO. Gli attributi aggiornati avranno effetto al successivo avvio del cluster usando l'API di avvio dei cluster. I tentativi di aggiornare un cluster in qualsiasi altro stato verranno rifiutati con un codice di errore INVALID_STATE. Non è possibile aggiornare i cluster creati dal servizio Job di Databricks.
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
ID del cluster.
UPDATE_MASK
Consente di specificare gli attributi e i campi delle dimensioni del cluster da aggiornare. Per altri dettagli, vedere https://google.aip.dev/161. La maschera di campo deve essere una singola stringa, con più campi separati da virgole (senza spazi). Il percorso del campo è relativo all'oggetto risorsa, usando un punto (.) per esplorare i sottocampi ,ad esempio author.given_name. La specifica degli elementi nei campi sequenza o mappa non è consentita, perché è possibile specificare solo l'intero campo della raccolta. I nomi dei campi devono corrispondere esattamente ai nomi dei campi delle risorse. Una maschera di campo di _ indica la sostituzione completa. È consigliabile elencare sempre in modo esplicito i campi da aggiornare ed evitare di usare _ caratteri jolly, poiché può causare risultati imprevisti se l'API cambia in futuro.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
--no-wait
Non attendere il raggiungimento dello stato RUNNING
--timeout duration
Quantità massima di tempo per raggiungere lo stato RUNNING (impostazione predefinita 20m0s)
i cluster di databricks livelli di autorizzazione ottenere
Ottenere i livelli di autorizzazione del cluster.
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster per cui ottenere o gestire le autorizzazioni.
Options
Ottenere le autorizzazioni per i cluster databricks
Ottieni le autorizzazioni del cluster. I cluster possono ereditare le autorizzazioni dal relativo oggetto radice.
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster per cui ottenere o gestire le autorizzazioni.
Options
Imposta permessi dei cluster Databricks
Impostare le autorizzazioni del cluster, sostituendo le autorizzazioni esistenti, se presenti. Elimina tutte le autorizzazioni dirette se non è specificato alcuno. Gli oggetti possono ereditare le autorizzazioni dal relativo oggetto radice.
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster per cui ottenere o gestire le autorizzazioni.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Autorizzazioni di aggiornamento dei cluster databricks
Aggiornare le autorizzazioni in un cluster. I cluster possono ereditare le autorizzazioni dal relativo oggetto radice.
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
Cluster per cui ottenere o gestire le autorizzazioni.
Options
--json JSON
Stringa JSON inline oppure @path nel file JSON contenente il corpo della richiesta
Flag globali
--debug
Indica se abilitare la registrazione di debug.
-h oppure --help
Mostra la guida per il Databricks CLI, il gruppo di comandi correlato o il comando correlato.
--log-file stringa
Stringa che rappresenta il file in cui scrivere i log di output. Se questo flag non viene specificato, l'impostazione predefinita prevede la scrittura dei log di output su stderr.
--log-format formato
Tipo di formato del log, text o json. Il valore predefinito è text.
--log-level stringa
Stringa che rappresenta il livello di formato del log. Se non specificato, il livello di formato del log è disabilitato.
tipo
Tipo di output del comando, text o json. Il valore predefinito è text.
-p, --profile stringa
Nome del profilo nel ~/.databrickscfg file da usare per eseguire il comando . Se questo flag non viene specificato, se esiste, viene usato il profilo denominato DEFAULT .
--progress-format formato
Formato per visualizzare i log di stato: default, append, inplaceo json
-t, --target stringa
Se applicabile, la destinazione del bundle da utilizzare