Configurare l'ambiente serverless

Questo articolo illustra come usare il pannello laterale Environment di un notebook serverless per configurare dipendenze, criteri di budget serverless, memoria e versione dell'ambiente. Questo pannello offre un'unica posizione per gestire le impostazioni serverless del notebook. Le impostazioni configurate in questo pannello si applicano solo quando il notebook è connesso al calcolo serverless.

Per espandere il pannello laterale ambiente, fare clic sul pulsante a destra del notebook.

Usare l'ambiente di calcolo GPU serverless

Important

Il calcolo GPU serverless è in versione beta.

Usare la procedura seguente per usare il calcolo GPU serverless nel notebook di Databricks:

1. In un notebook fare clic sul menu a discesa Connetti nella parte superiore e selezionare GPU serverless.
2. Fare clic aprire il pannello laterale Ambiente .
3. Selezionare A10 nel campo Acceleratore .
4. Selezionare Nessuno per l'ambiente predefinito o intelligenza artificiale v4 per l'ambiente di intelligenza artificiale nel campo Ambiente di base.
5. Se si sceglie Nessuno nel campo Ambiente di base , selezionare la versione ambiente.
6. Fare clic su Applica e quindi confermare di voler applicare il calcolo GPU serverless all'ambiente notebook.

Per altre informazioni, vedere Calcolo GPU serverless.

Utilizzare una computazione serverless ad elevato uso di memoria

Important

Questa funzionalità è in Anteprima Pubblica.

Se si verificano errori di memoria insufficiente nel notebook, è possibile configurare il notebook in modo da usare una dimensione di memoria superiore. Questa impostazione aumenta le dimensioni della memoria REPL usata durante l'esecuzione del codice nel notebook. Non influisce sulle dimensioni della memoria della sessione Spark. L'utilizzo serverless con memoria elevata ha una velocità di emissione DBU superiore rispetto alla memoria standard.

1. Nell'interfaccia utente del notebook, fare clic sul pannello laterale Environment.
2. Nella sezione Memoria, selezionare Memoria alta.
3. Fare clic su Applica.

Questa impostazione si applica anche alle attività del processo notebook, eseguite usando le preferenze di memoria del notebook. L'aggiornamento delle preferenze di memoria nel notebook influisce sull'esecuzione successiva del processo.

Selezionare una politica di budget serverless

Important

Questa funzionalità è in Anteprima Pubblica.

Le politiche di budget serverless consentono alla vostra organizzazione di applicare tag personalizzati all'utilizzo serverless per un'attribuzione dettagliata della fatturazione.

Se lo spazio di lavoro utilizza criteri di budget serverless per attribuire l'utilizzo serverless, è possibile selezionare il criterio di budget serverless da applicare al notebook. Se un utente viene assegnato a un solo criterio di budget serverless, tale criterio viene selezionato per impostazione predefinita.

È possibile selezionare i criteri di budget serverless dopo che il notebook è connesso al calcolo serverless tramite il pannello laterale 'Ambiente ':

1. Nell'interfaccia utente del notebook, fare clic sul pannello laterale Environment.
2. Nella Politica di budget selezionare la politica di budget serverless da applicare al notebook.
3. Fare clic su Applica.

Al termine dell'installazione, tutti gli utilizzi dei notebook ereditano i tag personalizzati dei criteri di budget serverless.

Note

Se il notebook ha origine da un repository Git o non dispone di un criterio di budget serverless assegnato , per impostazione predefinita viene utilizzato l'ultimo criterio di budget serverless scelto quando viene successivamente collegato al calcolo serverless.

Selezionare una versione dell'ambiente

Le versioni dell'ambiente consentono ai carichi di lavoro serverless di ricevere aggiornamenti indipendenti del motore senza influire sulla compatibilità delle applicazioni. Per informazioni dettagliate su ogni versione dell'ambiente, vedere le versioni dell'ambiente serverless . Databricks consiglia di scegliere la versione più recente per ottenere le funzionalità del notebook più up-to-date.

Per selezionare una versione dell'ambiente:

1. Nell'interfaccia utente del notebook, fare clic sul pannello laterale Environment.
2. In "Versione dell'ambiente", selezionare una versione.
3. Fare clic su Applica.

Aggiungere dipendenze al notebook

Poiché serverless non supporta criteri di calcolo o script init, è necessario aggiungere dipendenze personalizzate usando il pannello laterale Ambiente . È possibile aggiungere dipendenze singolarmente o usare un ambiente di base condivisibile per installare più dipendenze.

Per aggiungere singolarmente una dipendenza:

1. Nell'interfaccia utente del notebook, fare clic sul pannello laterale Environment.

2. Nella sezione Dipendenze fare clic su Aggiungi dipendenza e immettere il percorso della dipendenza nel campo . È possibile specificare una dipendenza in qualsiasi formato valido in un file di requirements.txt . I file wheel di Python o i progetti Python (ad esempio, la directory contenente pyproject.toml o setup.py) si trovano nei file dell'area di lavoro o nei volumi del catalogo Unity.

   • Se si usa un file dell'area di lavoro, il percorso deve essere assoluto e iniziare con /Workspace/.
   • Se si usa un file in un volume di Catalogo Unity, il percorso deve essere nel formato seguente: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

3. Fare clic su Applica. In questo modo vengono installate le dipendenze nell'ambiente virtuale del notebook e viene riavviato il processo Python.

Important

Non installare PySpark o qualsiasi libreria che installa PySpark come dipendenza dai notebook serverless. In questo modo la sessione verrà interrotta e verrà generato un errore. In questo caso, rimuovi la libreria e reimposta l'ambiente.

Per visualizzare le dipendenze installate, fare clic sulla scheda Installate nel pannello laterale Ambienti. I log di installazione di pip per l'ambiente notebook sono disponibili anche cliccando su pip logs in fondo al pannello.

Aggiungere dipendenze a un ambiente di base

Un ambiente di base è un file YAML archiviato come file dell'area di lavoro o in un volume di Catalogo Unity che specifica dipendenze di ambiente aggiuntive. È possibile selezionare uno degli ambienti di base dell'area di lavoro dal menu a discesa Ambiente di base oppure selezionare Personalizzato per usare una specifica di ambiente personalizzata.

È possibile installare dipendenze aggiuntive singolarmente in un ambiente di base. Le dipendenze installate singolarmente eseguono l'override o estendono l'ambiente di base per tale notebook.

Per istruzioni sull'amministratore dell'area di lavoro, vedere Gestire gli ambienti di base serverless.

Creare una specifica di ambiente personalizzata

È possibile creare e riutilizzare specifiche di ambiente personalizzate.

1. In un notebook serverless selezionare una versione dell'ambiente e aggiungere eventuali dipendenze da installare.
2. Fare clic Nella parte inferiore del pannello dell'ambiente fare clic su Esporta ambiente.
3. Salvare la specifica come file dell'area di lavoro o in un volume del catalogo Unity.

Per usare la specifica dell'ambiente personalizzato in un notebook, selezionare Personalizzato dal menu a discesa Ambiente di base , quindi usare l'icona della cartella re:[Icona cartella] per selezionare il file YAML.

Creare utilità comuni da condividere nell'area di lavoro

L'esempio seguente illustra come archiviare un'utilità comune in un file dell'area di lavoro e aggiungerla come dipendenza nel notebook serverless:

1. Creare una cartella con la struttura seguente. Verificare che gli utenti del progetto abbiano accesso adeguato al percorso del file.

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Popolare pyproject.toml come segue:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Aggiungere una funzione al init.py file. Per esempio:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Nell'interfaccia utente del notebook fare clic del pannello laterale Environment icon.Ambiente.

5. Nella sezione Dipendenze fare clic su Aggiungi dipendenza e quindi immettere il percorso del file util. Ad esempio: /Workspace/helper_utils.

6. Fare clic su Applica.

È ora possibile usare la funzione nel notebook:

from helpers import greet
print(greet('world'))

L'output è il seguente:

Hello, world!

Reimpostare le dipendenze dell'ambiente

Se il notebook è connesso al calcolo serverless, Databricks memorizza automaticamente nella cache il contenuto dell'ambiente virtuale del notebook. Ciò significa che in genere non è necessario reinstallare le dipendenze Python specificate nel pannello laterale environment quando si apre un notebook esistente, anche se è stato disconnesso a causa dell'inattività.

La memorizzazione nella cache dell'ambiente virtuale Python si applica anche ai processi. Quando viene eseguito un processo, qualsiasi attività del processo che condivide lo stesso set di dipendenze di un'attività completata in tale esecuzione è più veloce, in quanto le dipendenze necessarie sono già disponibili.

Note

Se si modifica l'implementazione di un pacchetto Python personalizzato usato in un processo in serverless, è necessario aggiornarne anche il numero di versione in modo che i processi possano selezionare l'implementazione più recente.

Per cancellare la cache dell'ambiente ed eseguire una nuova installazione delle dipendenze specificate nel pannello laterale Ambiente di un notebook collegato al calcolo serverless, fare clic sulla freccia accanto a Applica e quindi fare clic su Ripristina impostazioni predefinite.

Se si installano pacchetti che interrompono o modificano il notebook principale o l'ambiente Apache Spark, rimuovere i pacchetti che causano errori e quindi reimpostare l'ambiente. L'avvio di una nuova sessione non cancella l'intera cache dell'ambiente.

Configurare i repository di pacchetti Python predefiniti

Gli amministratori dell'area di lavoro possono configurare repository di pacchetti privati o autenticati all'interno delle aree di lavoro come configurazione pip predefinita sia per notebook serverless che per job serverless. In questo modo gli utenti possono installare pacchetti da repository Python interni senza definire in modo esplicito index-url o extra-index-url.

Per istruzioni, gli amministratori dell'area di lavoro possono fare riferimento a Configurare i repository di pacchetti Python predefiniti.

Configurare l'ambiente per le attività lavorative

Per i tipi di attività come notebook, script Python, ruota Python, JAR o attività dbt, le dipendenze della libreria vengono ereditate dalla versione dell'ambiente serverless. Per visualizzare l'elenco delle librerie installate, vedere la sezione Librerie Python installate o Librerie Java installate e Scala della versione dell'ambiente in uso. Se un'attività richiede una libreria non installata, è possibile installare la libreria da file dell'area di lavoro, volumi del catalogo Unity o repository di pacchetti pubblici.

Per i notebook con un ambiente notebook esistente, è possibile eseguire l'attività usando l'ambiente del notebook o eseguirne l'override selezionando un ambiente a livello di processo.

Important

L'uso dell'ambiente di calcolo serverless per le attività JAR è in versione beta.

Per aggiungere una libreria quando si crea o si modifica un'attività di processo:

1. Nel menu a discesa Ambiente e librerie fare clicaccanto all'ambiente predefinito oppure fare clic su + Aggiungi nuovo ambiente.

   

2. Seleziona la versione dell'ambiente dal menu a tendina Versione ambiente. Consultare le versioni dell'ambiente serverless . Databricks consiglia di scegliere la versione più recente per ottenere le funzionalità più up-to-date.

3. Nella finestra di dialogo Configura ambiente fare clic su + Aggiungi libreria.

4. Seleziona il tipo di dipendenza dal menu a tendina sotto Librerie.

5. Nella casella di testo Percorso file, immettere il percorso della libreria.

• Per una rotellina Python in un file dell'area di lavoro, il percorso deve essere assoluto e iniziare con /Workspace/.

• Per una rotellina Python in un volume del catalogo Unity, il percorso deve essere /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

• Per un file requirements.txt, selezionare PyPi e immettere -r /path/to/requirements.txt.

  

1. Fare clic su Conferma o + Aggiungi libreria per aggiungere un'altra raccolta.
2. Se si aggiunge un'attività, fare clic su Crea attività. Se si sta modificando un'attività, fare clic su Salva attività.