Gestire le dipendenze utilizzando ambienti

Important

Questa funzionalità è in versione beta. Gli amministratori dell'account possono controllare l'accesso a questa funzionalità dalla pagina Previews nella console dell'account utilizzando l'interruttore Environments for Standard Compute. Vedere Gestire le anteprime di Azure Databricks.

Su una risorsa di calcolo classica che utilizza la modalità dipendenza Ambienti , si gestiscono le dipendenze a livello di carico di lavoro usando ambienti base invece di installare librerie con scalo computazionale.

Le impostazioni dell'ambiente rimangono isolate dai cambiamenti a livello di calcolo, quindi i carichi di lavoro non si rompono quando il calcolo cambia sotto di esse. E poiché Azure Databricks memorizza in cache gli ambienti base, le dipendenze non si risolvono e non si installano all'avvio, quindi il calcolo inizia più velocemente ed evita fallimenti dovuti alla risoluzione dei pacchetti, alla disponibilità del repository o all'affidabilità della rete.

In un notebook collegato a una risorsa di calcolo classica che utilizza la modalità dipendenza Ambienti , seleziona un ambiente base e aggiungi le dipendenze dal pannello laterale Ambiente del notebook. Per i compiti di lavoro, configura le dipendenze con una specifica di ambiente di lavoro.

Requirements

L'impostazione della modalità dipendenza è disponibile solo su calcolo che soddisfa i seguenti requisiti:

• Databricks Runtime 19 (Beta) o superiore
• Modalità di accesso standard
• Calcolo multiuso o calcolo per processi classici

Per i dettagli del supporto, vedi Limitazioni.

Imposta la modalità di dipendenza

Per creare una risorsa di calcolo classica che utilizza la modalità di dipendenza Environments:

1. Nella barra laterale dello spazio di lavoro, Computa e poi apri la scheda Calcolo Universale .

2. Fare clic su Crea calcolo.

3. Sotto Prestazioni, seleziona 19 Beta o superiore dal menu a tendina della versione Databricks Runtime.

4. Espandi la sezione Avanzata , poi clicca su Dipendenze.

5. Per la modalità Dipendenza, tieni selezionato Auto per permettere ad Azure Databricks di risolvere la modalità, oppure clicca su Manuale e seleziona Ambienti per impostarla tu stesso. Vedi opzioni per la modalità dipendenza.

   

6. Configura il resto del calcolo, poi clicca su Crea.

Dopo che il calcolo è in esecuzione, si collega un notebook e configura il suo ambiente come descritto in Use environments in a notebook.

Opzioni della modalità di dipendenza

Il controllo della modalità Dipendenza ha due impostazioni che determinano come scegliere la modalità:

• Auto: Azure Databricks risolve la modalità in base alla configurazione di calcolo. Auto viene risolto come Environments, a meno che la risorsa di calcolo non specifichi Docker, variabili di ambiente Spark o script di inizializzazione, nel qual caso viene risolto come Librerie del cluster.
• Manuale: selezioni tu Ambienti o librerie del cluster.

Quando selezioni Manuale, scegli la modalità che si adatta alle tue esigenze:

• Ambienti: Gestire le dipendenze a livello di carico di lavoro utilizzando ambienti base. Le librerie di cluster, Docker, le variabili di ambiente Spark e gli script di init sono disabilitati. Usa questa modalità per isolare le dipendenze per ogni carico di lavoro.
• Librerie di cluster: Il comportamento classico. Installa le dipendenze sul calcolo usando librerie di cluster, script init o Docker. Usa questa modalità se il tuo carico di lavoro richiede una di queste impostazioni.

Aggiorna un calcolo esistente

Se stai modificando le impostazioni per il calcolo esistente, il passaggio alla modalità Environments è bloccato se il calcolo ha impostazioni incompatibili, come script init, librerie di cluster o Docker. Se rimuovi prima le impostazioni incompatibili, puoi poi modificare la modalità di dipendenza.

Se passi dalla modalità librerie del cluster dalla modalità Ambienti, i notebook collegati mantengono le loro selezioni dell'ambiente, ma queste diventano inattive. Se torni a impostare il calcolo in modalità Ambienti , quelle selezioni tornano attive.

Usa gli ambienti in un quaderno

Per utilizzare gli ambienti in un notebook, collega il notebook a una risorsa di calcolo classica che usa la modalità di dipendenza Environments. Dopo aver connesso il notebook, configura le dipendenze del notebook nel riquadro laterale Environment.

Seleziona un ambiente base

Un ambiente base determina le librerie preinstallate e la versione dell'ambiente disponibile per il tuo notebook. Il selettore dell'ambiente di base nel riquadro laterale Ambiente è la posizione in cui si sceglie l'ambiente. Databricks consiglia di usare la versione più recente per ottenere le funzionalità più up-to-date del notebook. Per vedere i dettagli su ogni versione dell'ambiente, vedi Versioni dell'ambiente.

Il selettore dell'ambiente di base include le opzioni seguenti:

• Standard: ambiente di base predefinito con le librerie fornite da Databricks.
• ML: un ambiente di base con i pacchetti di sistema e Python di Databricks Runtime per Machine Learning preinstallati.
• Altre informazioni: Espande per visualizzare opzioni aggiuntive:
  • Versioni precedenti degli ambienti Standard e ML.
  • Personalizzato: specificare un ambiente personalizzato usando un file YAML.
• Ambienti di workspace: Elenca tutti gli ambienti base compatibili configurati per il tuo workspace dagli amministratori dello spazio.

Aggiungere dipendenze al notebook

Azure Databricks memorizza nella cache l'ambiente virtuale del notebook, quindi le dipendenze non vengono reinstallate ogni volta che si riapre un notebook o si riprende dopo l'inattività.

Per installare singolarmente una dipendenza:

1. Nella sezione Dipendenze , inserisci il percorso della dipendenza nel campo e poi clicca su +Aggiungi dipendenza. È possibile specificare una dipendenza in qualsiasi formato valido in un file di requirements.txt . I file wheel di Python o i progetti Python (ad esempio, la directory contenente pyproject.toml o setup.py) si trovano nei file dell'area di lavoro o nei volumi del catalogo Unity.

   • Se si usa un file dell'area di lavoro, il percorso deve essere assoluto e iniziare con /Workspace/.
   • Se si usa un file in un volume di Catalogo Unity, il percorso deve essere nel formato seguente: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Fare clic su Apply per installare le dipendenze e riavviare il processo di Python.

Important

Non installare PySpark o qualsiasi libreria che installi PySpark come dipendenza dai tuoi notebook. In questo modo la sessione verrà interrotta e verrà generato un errore. Se succede, rimuovi la libreria e resetta l'ambiente.

Per visualizzare le dipendenze installate, fai clic sulla scheda Installate nel pannello laterale Ambiente. Apri i log di installazione di pip per l'ambiente del notebook facendo clic su pip logs nella parte inferiore del riquadro.

Usa gli ambienti in un lavoro

Per le attività del processo in esecuzione su una risorsa di calcolo classica che utilizza la modalità di dipendenza Environments, configura le dipendenze con una specifica dell'ambiente del processo. Un ambiente di lavoro specifica un ambiente base e qualsiasi dipendenza aggiuntiva a cui uno o più compiti possono fare riferimento.

Per configurare un ambiente per un compito di lavoro, esegui i seguenti passaggi:

1. Crea o modifica un compito in un lavoro.
2. In Compute, seleziona una risorsa di calcolo classica esistente che usa la modalità di dipendenza Environments, oppure aggiungi il calcolo classico per processi.
3. Se aggiungi i calcoli classici dei lavori, espandi Advanced.
4. Clicca su Dipendenze.
5. Per la modalità Dipendenza, seleziona Manuale e Ambienti, oppure tieni Auto se si risolve in Ambienti.
6. Sotto Ambiente e Librerie nella configurazione del task, configura un ambiente per il task. Vedi Configura l'ambiente per le attività di lavoro per le opzioni disponibili per ciascun tipo di attività.

Le attività che vengono eseguite su una risorsa di calcolo classica che utilizza la modalità di dipendenza Environments non supportano l'impostazione dell'attività Librerie dipendenti. Aggiungi invece dipendenze all'ambiente.

Limitations

La modalità di dipendenza Environments supporta carichi di lavoro Python e dipendenze nei notebook interattivi e nelle attività dei processi. Si applicano le limitazioni seguenti:

• I compiti JAR di Spark non sono supportati su una risorsa di calcolo classica che utilizza la modalità dipendenza Ambienti .
• L'esecuzione %scala del codice fallisce.
• Si applicano tutte le limitazioni standard della modalità di accesso, incluso il non supporto per R. Vedi Requisiti e limitazioni standard di calcolo.

Impostazioni incompatibili

Quando la modalità dipendenza Ambienti è abilitata, le seguenti impostazioni di calcolo vengono disabilitate:

• Docker (Azure Databricks Container Services)
• Variabili ambientali Spark
• Gli script di inizializzazione
• Librerie di cluster