Condividi tramite

Eseguire i comandi della shell nel terminale Web di Azure Databricks

Il terminale Web di Azure Databricks offre un modo pratico e altamente interattivo per eseguire comandi della shell in un'interfaccia della riga di comando (CLI), inclusi i comandi dell'interfaccia della riga di comando di Databricks, per eseguire azioni sugli oggetti Databricks a livello di codice. È particolarmente utile per i casi d'uso avanzati, ad esempio le operazioni batch su più file, che le interfacce utente esistenti potrebbero non supportare completamente.

Più utenti possono usare il terminale Web in un unico ambiente di calcolo.

È possibile usare il terminale Web per eseguire le operazioni seguenti:

  • Apportare modifiche rapide ai file usando Vim o Emacs.
  • Monitorare l'utilizzo delle risorse con comandi come htop (utilizzo del cluster) o nvidia-smi (utilizzo GPU).
  • Eseguire script Python che non usano Spark.
  • Eseguire operazioni di file con comandi della shell, mv ad esempio e mkdir.
  • Installare e gestire le librerie sul sistema di calcolo.
  • Usare l'interfaccia della riga di comando di Databricks per automatizzare vari aspetti di Azure Databricks.

Requisiti

Avviso

Azure Databricks gestisce il proxy per il servizio terminale web dalla porta 7681 sul driver Spark di calcolo. Questo proxy Web è destinato all'uso solo con il terminale Web. Se la porta viene occupata all'avvio del calcolo o si verifica un conflitto, il terminale Web potrebbe non funzionare come previsto. Se vengono avviati altri servizi Web sulla porta 7681, gli utenti di calcolo potrebbero essere esposti a potenziali exploit di sicurezza. Né Databricks né Microsoft sono responsabili di eventuali problemi derivanti dall'installazione di software non supportato in un ambiente di calcolo.

  • Il terminale Web è disabilitato per impostazione predefinita per tutti gli utenti dell'area di lavoro. Per abilitarla, vedere Abilitare il terminale Web.
  • AUTORIZZAZIONE CAN ATTACH TO per un ambiente di calcolo.
  • Il terminale Web è supportato solo con la modalità di accesso standard (in precedenza modalità di accesso condiviso) in Databricks Runtime 15.1 e versioni successive.

Avviare il terminale Web

È possibile avviare il terminale Web dalla pagina dei dettagli di calcolo o da un notebook.

Da un computer portatile

Per avviare il terminale Web da un notebook:

  1. Connettere il notebook al calcolo.
  2. Nella parte inferiore della barra laterale destra del notebook fare clic sull'icona del terminale Icona terminale per avviare il terminale Web.
  3. In alternativa, fare clic sull'elenco a discesa del calcolo collegato, passare il puntatore del mouse sul calcolo collegato, quindi fare clic su Web Terminale.

Il terminale Web viene aperto in un pannello nella parte inferiore della schermata. I pulsanti in alto a destra del pannello consentono di:

  • Icona Nuova finestra. Aprire una nuova sessione del terminale in una nuova scheda.
  • Icona di sincronizzazione. Ricaricare una sessione del terminale.
  • Icona Chiudi. Chiudere il pannello inferiore. Per riaprire il pannello, fare clic sull'icona Terminale nella parte inferiore della barra laterale destra.

Dalla pagina dei dettagli di calcolo

Per avviare il terminale Web dalla pagina dei dettagli di calcolo:

  1. Nella barra laterale dell'area di lavoro fare clic su Calcolo.
  2. Nella scheda Calcolo generico, fare clic sul nome del calcolo.
  3. Fare clic su Start per avviare il calcolo.
  4. Nella scheda App fare clic su Terminale Web.

Viene visualizzata una nuova scheda con l'interfaccia utente del terminale Web e il prompt di Bash.

Usare il terminale Web

Nel terminale Web è possibile eseguire comandi dalla radice all'interno del contenitore del nodo del driver di calcolo.

Ogni utente può avere fino a 100 sessioni del terminale Web attive (schede) aperte. Le sessioni inattive del terminale web potrebbero scadere e l'applicazione web del terminale si riconnetterà, avviando un nuovo processo della shell. Se si vuole mantenere la sessione Bash, Databricks consiglia di usare tmux.

Eseguire i comandi della CLI di Databricks

È anche possibile usare il terminale Web per eseguire i comandi dell'interfaccia della riga di comando di Databricks. L'interfaccia della riga di comando disponibile è sempre la versione più recente e l'autenticazione si basa sull'utente corrente.

Annotazioni

I comandi del profilo di configurazione non sono supportati quando si eseguono comandi dell'interfaccia della riga di comando nel terminale Web. Questo perché il terminale Web usa le variabili di ambiente per l'autenticazione nell'interfaccia della riga di comando, che precede i profili di configurazione nell'ordine di autenticazione di valutazione.

Il calcolo deve soddisfare i requisiti seguenti:

  • Nel cluster deve essere installato Databricks Runtime 15.0 o versione successiva.
  • L'area di lavoro non deve essere abilitata per collegamento privato.

Avviare il terminale Web ed eseguire il comando seguente per restituire informazioni sull'utente corrente:

   databricks current-user me

Sono disponibili anche i comandi bundle, che consentono di creare e gestire i bundle di asset di Databricks direttamente dal terminale Web all'interno dell'area di lavoro databricks. Ad esempio, per creare, distribuire ed eseguire un bundle semplice usando il modello predefinito:

  1. Dalla radice del terminale Web passare alla home page dell'area di lavoro ed eseguire bundle init:

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Accettare le richieste del modello predefinito, quindi passare alla directory del bundle e distribuirla:

    cd my_project
databricks bundle deploy

    È possibile visualizzare il bundle distribuito my_project nell'interfaccia utente dell'area di lavoro di Databricks.

  3. Eseguire infine il processo predefinito nel bundle:

    databricks bundle run my_project_job

    Passare a Esecuzione dei processi per visualizzare il processo in esecuzione.

Configurare il terminale Web

È possibile impostare configurazioni persistenti per il terminale Web usando i file di configurazione bashrc.

Databricks carica automaticamente i file denominati .bashrc dalla cartella home del file system dell'area di lavoro. Le impostazioni di questi file vengono attivate automaticamente ogni volta che si avvia una nuova sessione del terminale.

Se desideri importare altri file (come .zshrc) per l'utilizzo del terminale web, importali dal tuo file .bashrc per mantenere la configurazione.

Salvare tutti i file di configurazione nella cartella dell'area di lavoro in cui è possibile configurarli usando un editor di testo.

Limiti

  • Azure Databricks non supporta l'esecuzione di processi Spark dal terminale Web.

  • Il terminale Web di Azure Databricks non è disponibile nei tipi di calcolo seguenti:

    • Calcolo dei lavori
    • Calcolo avviato con il set di variabili di ambiente DISABLE_WEB_TERMINAL=true.
    • Calcolo avviato con la modalità di accesso impostata su Standard su Databricks Runtime precedente alla versione 15.1. Il terminale Web è disponibile nel calcolo con modalità di accesso standard (in precedenza modalità di accesso condiviso) per Databricks Runtime 15.1 e versioni successive.
    • Calcolo avviato con la modalità di accesso impostata su Standard utilizzando le risorse di calcolo ARM su Databricks Runtime versione inferiore alla 16.4.
    • Ambiente di calcolo serverless versione 1.
    • Calcolo avviato con la configurazione di Spark spark.databricks.pyspark.enableProcessIsolation impostata su true.

  • È previsto un limite rigido di 12 ore dal caricamento della pagina iniziale, dopo il quale qualsiasi connessione, anche se attiva, verrà terminata. È possibile aggiornare il terminale Web per riconnettersi. Databricks consiglia di usare tmux per mantenere la sessione della shell.

  • Le risorse di calcolo arm in Databricks Runtime inferiore alla 16.4 non possono usare terminali Web per accedere ai file dell'area di lavoro, inclusi i file nelle cartelle Git.