Condividi tramite

Librerie in cluster

  • Articolo

Le librerie cluster possono essere usate da tutti i notebook e i processi in esecuzione in un cluster. Questo articolo illustra in dettaglio l'uso dell'interfaccia utente della libreria di installazione nell'area di lavoro di Azure Databricks.

Nota

Se si crea il calcolo usando un criterio che applica le installazioni di librerie, non è possibile installare o disinstallare librerie nel calcolo. Gli amministratori dell'area di lavoro controllano tutta la gestione delle librerie a livello di criteri.

È possibile installare librerie in un cluster usando gli approcci seguenti:

Installare una libreria in un cluster

Per installare una libreria in un cluster:

  1. Fare clic su icona di calcolo Calcolo nella barra laterale.
  2. Fare clic sul nome di un cluster.
  3. Fare clic sulla scheda Librerie .
  4. Fare clic su Installa nuovo.
  5. Verrà visualizzata la finestra di dialogo Installa libreria .
  6. Selezionare una delle opzioni Origine libreria, completare le istruzioni visualizzate e quindi fare clic su Installa.

Importante

Le librerie possono essere installate da DBFS quando si usa Databricks Runtime 14.3 LTS e versioni successive. Tuttavia, qualsiasi utente dell'area di lavoro può modificare i file di libreria archiviati in DBFS. Per migliorare la sicurezza delle librerie in un'area di lavoro di Azure Databricks, l'archiviazione dei file di libreria nella radice DBFS è deprecata e disabilitata per impostazione predefinita in Databricks Runtime 15.1 e versioni successive. Per impostazione predefinita, vedere Archiviazione di librerie nella radice DBFS deprecata e disabilitata.

Databricks consiglia invece di caricare tutte le librerie, incluse le librerie Python, i file JAR e i connettori Spark, nei file dell'area di lavoro o nei volumi del catalogo Unity o usando i repository dei pacchetti di libreria. Se il carico di lavoro non supporta questi modelli, è anche possibile usare le librerie archiviate nell'archiviazione di oggetti cloud.

Non tutte le modalità di accesso al cluster supportano tutte le configurazioni della libreria. Vedere Librerie con ambito cluster.

Origine libreria Istruzioni
Area di lavoro Selezionare un file dell'area di lavoro o caricare un file Whl, ruota compressa, JAR, ZIP, tar o requirements.txt. Vedere Installare librerie dai file dell'area di lavoro
Volumi Selezionare un file Whl, JAR o requirements.txt da un volume. Vedere Installare librerie da un volume.
Percorso file/ADLS Selezionare il tipo di libreria e specificare l'URI completo per l'oggetto libreria , ad esempio /Workspace/path/to/library.whl, /Volumes/path/to/library.whlo abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl. Vedere Installare librerie dall'archiviazione di oggetti.
PyPI Immettere un nome di pacchetto PyPI. Vedere Pacchetto PyPI.
Maven Specificare una coordinata Maven. Vedere Pacchetto Maven o Spark.
CRAN Immettere il nome di un pacchetto. Vedere PACCHETTO CRAN.
DBFS (scelta non consigliata) Caricare un file JAR o Whl nella radice DBFS. Non è consigliabile, poiché i file archiviati in DBFS possono essere modificati da qualsiasi utente dell'area di lavoro.

Quando si installa una libreria in un cluster, un notebook già collegato a tale cluster non visualizzerà immediatamente la nuova libreria. È prima necessario scollegare e quindi ricollegare il notebook al cluster.

Installare una libreria usando un criterio

Se si crea un cluster usando un criterio che applica l'installazione della libreria, le librerie specificate vengono installate automaticamente nel cluster. Non è possibile installare librerie aggiuntive o disinstallare librerie.

Gli amministratori dell'area di lavoro possono aggiungere librerie ai criteri, consentendo loro di gestire e applicare installazioni di librerie in tutte le risorse di calcolo che usano i criteri. Per istruzioni sull'amministratore, vedere Aggiungere librerie a un criterio.

Disinstallare una libreria da un cluster

Nota

Quando si disinstalla una libreria da un cluster, la libreria viene rimossa solo quando si riavvia il cluster. Fino a quando non si riavvia il cluster, lo stato della libreria disinstallata viene visualizzato come Riavvio in sospeso.

Per disinstallare una libreria, è possibile usare l'interfaccia utente del cluster:

  1. Fare clic su icona di calcolo Calcolo nella barra laterale.
  2. Fare clic sul nome di un cluster.
  3. Fare clic sulla scheda Librerie .
  4. Selezionare la casella di controllo accanto al cluster da cui si vuole disinstallare la libreria, fare clic su Disinstalla e quindi su Conferma. Lo stato cambia in Disinstalla in attesa di riavvio.

Fare clic su Riavvia e conferma per disinstallare la libreria. La libreria viene rimossa dalla scheda Librerie del cluster.

Visualizzare le librerie installate in un cluster

  1. Fare clic su icona di calcolo Calcolo nella barra laterale.
  2. Fare clic sul nome del cluster.
  3. Fare clic sulla scheda Librerie . Per ogni libreria, nella scheda vengono visualizzati il nome e la versione, il tipo, lo stato dell'installazione e, se caricati, il file di origine.

Aggiornare una libreria installata dal cluster

Per aggiornare una libreria installata dal cluster, disinstallare la versione precedente della libreria e installare una nuova versione.

Nota

Requirements.txt file non richiedono la disinstallazione e il riavvio. Se il contenuto di un file di requirements.txt è stato modificato, è sufficiente reinstallarlo per aggiornare il contenuto del file installato.