Ottimizzazione del modello di base

2025-05-01

Importante

Questa funzionalità è disponibile in anteprima pubblica nelle aree seguenti: centralus, eastus, eastus2, northcentralus, e westus.

Con l'ottimizzazione del modello foundation (ora parte di Mosaic AI Model Training), è possibile usare i propri dati per personalizzare un modello di base per ottimizzare le prestazioni per l'applicazione specifica. Eseguendo l'ottimizzazione o il training continuo di un modello di base, è possibile eseguire il training del proprio modello usando risorse di calcolo, tempo e dati notevolmente inferiori rispetto al training di un modello da zero.

Con Databricks sono disponibili tutti gli elementi in una singola piattaforma: i propri dati da usare per il training, il modello di base per eseguire il training, i checkpoint salvati in MLflow e il modello registrato in Unity Catalog e pronto per la distribuzione.

Vedere Esercitazione: Creare e distribuire un'esecuzione di ottimizzazione del modello foundation per informazioni su come creare un'esecuzione usando l'API di ottimizzazione del modello foundation e quindi esaminare i risultati e distribuire il modello usando l'interfaccia utente di Databricks e Mosaic AI Model Serving.

Che cos'è l'ottimizzazione del modello di base?

L'ottimizzazione del modello foundation consente di usare l'API o l'interfaccia utente di Databricks per ottimizzare o eseguire il training di un modello di base.

Usando l'ottimizzazione del modello di base, è possibile:

Addestra un modello utilizzando i tuoi dati personalizzati, salvando i checkpoint su MLflow. Si ha il controllo completo del modello addestrato.
Registrare automaticamente il modello in Unity Catalog, consentendo una distribuzione semplice con la gestione dei modelli.
Allenare ulteriormente un modello completato e proprietario caricando i pesi di un modello precedentemente addestrato.

Databricks consiglia di provare l'ottimizzazione del modello di base se:

Hai provato il few-shot learning e vuoi risultati migliori.
Hai provato l'ingegneria dei prompt su un modello esistente e vuoi risultati migliori.
Si vuole avere la titolarità completa su un modello personalizzato per la privacy dei dati.
Si è sensibili alla latenza o ai costi e si vuole usare un modello più piccolo e meno costoso con i dati specifici dell'attività.

Attività supportate

L'ottimizzazione del modello Foundation supporta i casi d'uso seguenti:

Completamento della chat: attività consigliata. Addestrare il modello sui log delle chat tra un utente e un assistente AI. Questo formato può essere usato sia per i log delle chat effettivi che come formato standard per la risposta alla domanda e il testo della conversazione. Il testo viene formattato automaticamente nel formato appropriato per il modello specifico. Per altre informazioni sulla creazione di modelli, vedere Modelli di chat di esempio nella documentazione di HuggingFace.
Ottimizzazione dell'istruzione: addestra il tuo modello su dati strutturati di richiesta-risposta. Usare questa opzione per adattare il modello a una nuova attività, modificarne lo stile di risposta o aggiungere funzionalità di rispetto delle istruzioni. Questa attività non applica automaticamente alcuna formattazione ai dati ed è consigliata solo quando è necessaria la formattazione dei dati personalizzata.
Pre-addestramento continuato: Esegui il training del tuo modello con dati di testo aggiuntivi. Usare questa opzione per aggiungere nuove conoscenze a un modello o concentrarsi su un modello in un dominio specifico.

Requisiti

Un'area di lavoro di Databricks in una delle aree di Azure seguenti: centralus, eastus, eastus2, northcentralus o westus.
API di ottimizzazione del modello Foundation installate con pip install databricks_genai.
Databricks Runtime 12.2 LTS ML o versione successiva se i dati si trovano in una tabella Delta.

Per informazioni sui formati di dati di input necessari, vedere Preparare i dati per l'ottimizzazione del modello foundation.

Dimensioni consigliate dei dati per il training del modello

Databricks consiglia di eseguire inizialmente il training usando da uno a quattro periodi. Dopo aver valutato il modello ottimizzato, se gli output del modello devono essere più simili ai dati di training, è possibile iniziare a eseguire il training usando uno o due periodi in più.

Se le prestazioni del modello calano significativamente su attività non rappresentate nei dati di ottimizzazione o se il modello sembra restituire copie esatte dei dati di ottimizzazione, Databricks consiglia di ridurre il numero di periodi di training.

Per l'ottimizzazione delle istruzioni e il completamento della chat, è necessario fornire token sufficienti per almeno una lunghezza completa del contesto del modello. Ad esempio, 131072 token per meta-llama/Llama-3.2-3B-Instruct.

Per il pre-training continuo, Databricks consiglia un minimo di 1,5 milioni di token per ottenere un modello di qualità superiore che apprende i dati personalizzati.

Modelli supportati

Nella tabella seguente sono elencati i modelli supportati. Vedere le licenze del modello per informazioni sulla licenza del modello applicabile e sui criteri di utilizzo accettabili.

Per continuare a supportare i modelli più all'avanguardia, Databricks potrebbe aggiornare i modelli supportati o ritirare i modelli meno recenti.

Modello	Lunghezza di contesto massima	Note
`meta-llama/Llama-3.3-70B-Instruct`	131072
`meta-llama/Llama-3.2-1B`	131072
`meta-llama/Llama-3.2-1B-Instruct`	131072
`meta-llama/Llama-3.2-3B`	131072
`meta-llama/Llama-3.2-3B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-70B`	131072
`meta-llama/Meta-Llama-3.1-70B-Instruct`	131072
`meta-llama/Meta-Llama-3.1-8B`	131072
`meta-llama/Meta-Llama-3.1-8B-Instruct`	131072

Licenze modello

La tabella seguente fornisce la licenza del modello applicabile e le informazioni sui criteri di utilizzo accettabili per le famiglie di modelli supportate.

Famiglia di modelli	Criteri di licenza e utilizzo accettabili
Meta Llama 3.2	Meta Llama 3.2 viene concesso in licenza con la licenza community LLAMA 3.2, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono responsabili dell'osservanza dei termini di questa licenza e dei criteri d'uso accettabili di Llama 3.2.
Meta Llama 3.1	Meta Llama 3.1 viene concesso in licenza con la licenza community LLAMA 3.1, Copyright © Meta Platforms, Inc. Tutti i diritti riservati. I clienti sono tenuti a garantire la conformità con i modelli di licenza applicabili.

Usare la messa a punto del modello Foundation

L'ottimizzazione del modello di base è accessibile tramite l'SDK databricks_genai. L'esempio seguente crea e avvia un'esecuzione di addestramento che utilizza i dati dai Volumi del Catalogo Unity. Per informazioni dettagliate sulla configurazione, vedere Creare un'esecuzione di training utilizzando l'API di Messa a punto del Modello Foundation.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Consulta il notebook demo Ottimizzazione delle istruzioni: Riconoscimento delle entità denominate per un esempio di ottimizzazione delle istruzioni che illustra la preparazione dei dati, la configurazione dell'esecuzione del training per l'ottimizzazione e la distribuzione del modello.

Limiti

I set di dati grandi (oltre 10 miliardi di token) non sono supportati per via della disponibilità di calcolo.
Per il pre-training continuo, i carichi di lavoro sono limitati a file da 60 a 256 MB. I file di dimensioni superiori a 1 GB possono causare tempi di elaborazione più lunghi.
Databricks si impegna a rendere disponibili i modelli all'avanguardia più recenti per la personalizzazione tramite l'affinamento del modello di base. Man mano che i nuovi modelli diventano disponibili, l'accesso ai modelli meno recenti dall'API o dall'interfaccia utente potrebbe venire rimosso, i modelli meno recenti potrebbero essere deprecati o i modelli supportati potrebbero essere aggiornati. Vedere Criteri di manutenzione dei modelli di IA generativa.

Per usare l'ottimizzazione del modello di base con un'area di lavoro databricks abilitata per il collegamento privato di Azure, l'area di lavoro deve trovarsi nell'area eastus2 .
Se è stato configurato un collegamento privato nell'archiviazione, Databricks consiglia di usare le tabelle di Unity Catalog.
Se hai abilitato i firewall nell'account di Azure Data Lake Storage che archivia i tuoi dati in Unity Catalog, è necessario includere nella lista delle autorizzazioni il traffico proveniente dai cluster del piano dati serverless di Databricks per utilizzare il fine-tuning del modello di base. Contatta il tuo team dell'account Databricks per ulteriori informazioni e possibili soluzioni su misura.