Configurazione dell'ambiente

Importante

Questa funzionalità è in Anteprima Pubblica.

AI Runtime offre due ambienti Python gestiti per il calcolo serverless con GPU. L'ambiente Standard include cuda. A partire dall'ambiente versione 5 torch e torchvision non sono più preinstallati. L'ambiente di IA Databricks è pre-caricato con PyTorch, Transformers e altri framework di ML e deep learning. Scegli l'ambiente Standard per avere il pieno controllo dello stack di dipendenze, oppure l'ambiente IA per una configurazione di addestramento pronta all'uso. Puoi partire da entrambi gli ambienti e installare altri pacchetti da solo.

Tip

• Scegli l'ambiente Standard per il pieno controllo delle dipendenze, oppure l'ambiente AI Databricks per uno stack ML pronto all'uso.
• Standard include cuda. A partire dalla versione 5 dell'ambiente, torch e torchvision non sono preinstallati. L'ambiente dell'IA aggiunge PyTorch, Transformers e altro ancora.
• Installa altri pacchetti con %uv pip install (ambiente versione 5 e superiore) o %pip install in un notebook, o con environment.dependencies nella CLI.

Quale ambiente usare

Il runtime di intelligenza artificiale offre due ambienti di Python gestiti, l'ambiente Standard e l'ambiente di intelligenza artificiale di Databricks.

Ambiente	Caratteristiche chiave	Quando utilizzare
Ambiente standard	Minimo; include cuda. A partire dalla versione 5 dell'ambiente, torch e torchvision non sono più pre-installati.	Si vuole il controllo completo sullo stack di dipendenze e si preferisce installare solo ciò che è necessario
Ambiente di intelligenza artificiale di Databricks	Precaricata con framework di Machine Learning più diffusi (PyTorch, Transformers e altro ancora)	Si vuole un ambiente completo per il training, l'ottimizzazione e la sperimentazione senza gestione manuale delle dipendenze

Puoi anche utilizzare un ambiente base di workspace creato da un amministratore di workspace per AI Runtime. Vedere Creare per il calcolo serverless su GPU (AI Runtime).

Per scegliere un ambiente in un quaderno, apri il pannello laterale Ambiente e seleziona un ambiente base:

Ambiente standard (ambiente minimo)

Un ambiente minimo e stabile contenente solo i pacchetti necessari per l'operazione di runtime di intelligenza artificiale. L'ambiente include cuda per il supporto GPU. A partire dall'ambiente versione 5 torch e torchvision non sono più preinstallati. Installa le versioni di cui il carico di lavoro ha bisogno con %uv pip install o %pip install. Per i pacchetti installati in ciascuna versione dell'ambiente, consultare le note di rilascio riportate di seguito.

Ideale per: gli utenti che vogliono il controllo completo sullo stack di dipendenze e preferiscono installare solo ciò di cui hanno bisogno.

Per selezionare: nel pannello laterale Ambiente , scegli Standard v6 come ambiente base.

Per ulteriori dettagli sulle versioni dei pacchetti installate nelle diverse versioni, consultare le note sulla versione:

• Ambiente GPU 6
• Ambiente GPU 5
• Ambiente GPU 4

Ambiente di intelligenza artificiale di Databricks

Disponibile nell'ambiente 4 e versioni successive. L'ambiente di intelligenza artificiale si basa sull'ambiente Standard con pacchetti e pacchetti di Common Runtime specifici per l'apprendimento automatico nelle GPU. I pacchetti preinstallati includono:

• PyTorch (con supporto CUDA)
• Transformers (Hugging Face)
• E dipendenze aggiuntive di ML/DL

Ideale per: professionisti di Machine Learning che vogliono un ambiente completo per i carichi di lavoro di training, l'ottimizzazione e la sperimentazione senza la gestione manuale delle dipendenze.

Per selezionare: nel pannello laterale Ambiente , scegli AI v6 come ambiente base.

Per ulteriori dettagli sulle versioni dei pacchetti installate nelle diverse versioni, consultare le note sulla versione:

• Ambiente AI 6
• Ambiente di intelligenza artificiale 5
• Ambiente di intelligenza artificiale 4

Installa pacchetti aggiuntivi

Puoi partire da un ambiente gestito o da un ambiente di base workspace e installare i tuoi pacchetti Python sopra. Come li installi dipende da come ti connetti a AI Runtime.

In un quaderno

Installa i pacchetti in cima al notebook o allo script di addestramento con %uv pip, che si installa con UV ed è più veloce di %pip. Blocca le versioni affinché le esecuzioni restino riproducibili:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Per il riferimento completo di %pip e %uv pip, incluse le versioni dell'ambiente che supportano ciascuna di esse, consulta Gestire le librerie con i comandi %uv.

Quando usi il @distributed decorator per carichi di lavoro multi-GPU, i pacchetti che installi prima di chiamare .distributed() vengono automaticamente snapshotati e propagati a tutti i processi distribuiti. Le dimensioni totali dei pacchetti installati non devono superare i 15 GB. Per altri dettagli, vedere Aggiungere dipendenze al notebook.

Con il CLI

La air CLI utilizza gli stessi ambienti gestiti. Selezionane uno con environment.version, quindi elenca i pacchetti da installare in aggiunta sotto environment.dependencies nel tuo file YAML del carico di lavoro. La CLI li installa nell'ambiente selezionato con UV, così non gestisci tu stesso un ambiente virtuale separato:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Per partire dall'ambiente AI Databricks, imposta version invece un identificatore di ambiente AI come databricks_ai_v5. Per il formato completo delle dipendenze, i flag di installazione supportati e il supporto per immagini Docker personalizzate, vedi dipendenze Python.

Ambienti di base dell'area di lavoro

Un amministratore dell'area di lavoro può creare un ambiente di base dell'area di lavoro per il calcolo GPU serverless, che lo rende disponibile a tutti gli utenti nell'area di lavoro tramite il menu a discesa Ambiente di base . Per ulteriori dettagli, vedere Build per il calcolo serverless con GPU (AI Runtime).

Per utilizzare un ambiente di base in un carico di lavoro pianificato, fai riferimento al relativo identificatore nel blocco environments di un job o bundle. Ad esempio, questo compito Declarative Automation Bundles seleziona l'ambiente di IA Databricks:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Per un esempio completo di lavoro, vedi Schedule with the Jobs API e Declarative Automation Bundles.

Memorizzazione nella cache dell'ambiente e moduli personalizzati

Quando vengono memorizzati nella cache gli ambienti?

AI Runtime memorizza in cache l'ambiente del tuo notebook, quindi quando lo riapri non devi reinstallare i pacchetti. Per ulteriori dettagli, consulta Reimposta le dipendenze dell'ambiente.

La cache si applica ai quaderni interattivi. I carichi di lavoro eseguiti tramite laair CLI o pianificati come job non usano questa cache; ogni esecuzione reinstalla le proprie dipendenze da zero.

Come buona pratica, fissa i pacchetti a una versione specifica così che il tuo ambiente cache rimanga valido e le tue run riproducibili.

Come si importano moduli personalizzati?

I passaggi seguenti mostrano come utilizzare i propri moduli Python.

1. Sincronizza il tuo codice con lo spazio di lavoro. Clona un repository Git nello spazio di lavoro con una cartella Git, oppure carica i file direttamente come file dello spazio di lavoro. Conserva il codice condiviso sotto /Workspace/Shared per i progetti di squadra, oppure in una cartella utente per lo sviluppo personale. Mantenere il codice in una cartella Git lo tiene sotto controllo di versione.
2. Aggiungi la cartella a sys.path e importala all'inizio del tuo notebook o dello script di addestramento:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Limitazioni

Le funzionalità seguenti non sono disponibili nel runtime di intelligenza artificiale:

• Funzioni Spark: non è possibile importare o usare direttamente le funzioni PySpark. Il runtime di intelligenza artificiale è un ambiente solo Python; Spark non è disponibile come runtime locale. Spark Connect è tuttavia disponibile per il caricamento dei dati. Consulta Caricamento dei dati su AI Runtime.
• Librerie di Machine Learning di Databricks Runtime: i pacchetti preinstallati non sostituiscono Databricks Runtime ML. Alcune librerie di Machine Learning disponibili in Databricks Runtime ML potrebbero non essere preinstallate nel runtime di intelligenza artificiale.
• Artefatti privati: il runtime di intelligenza artificiale supporta gli artefatti privati in determinati casi. Per ulteriori dettagli, contatta il team del tuo account.