Ottimizzazione in Microsoft Foundry

Il fine-tuning adatta un modello con training preliminare all'attività tramite un training aggiuntivo sui dati specifici dell'attività. Modifica i pesi del modello anziché aggiungere esempi a ogni richiesta. Ti basi sulle funzionalità esistenti del modello senza eseguire il training di un modello da zero.

Il fine-tuning può essere utile quando si hanno dati di training specifici dell'attività di alta qualità e si vuole:

  • Migliorare l'accuratezza e la pertinenza. L'addestramento su più esempi di quanti ne possano stare in un prompt può insegnare modelli specifici dell'attività.
  • Ridurre il sovraccarico dei prompt. Meno esempi di prompt possono ridurre i costi dei token e la latenza.
  • Allineare lo stile e la struttura. Le risposte possono seguire un tono, un formato o uno schema coerenti.
  • Migliorare l'uso degli strumenti. Gli esempi di training possono migliorare la selezione degli strumenti e l'accuratezza dei parametri.
  • Usare il contesto recuperato in modo efficace. I modelli possono imparare a classificare in ordine di priorità il contesto pertinente e ignorare le informazioni irrilevanti.
  • Specializza un modello più piccolo. Gli esempi generati dal modello teacher possono aiutare un modello più piccolo a soddisfare i requisiti delle attività a costi e latenza inferiori.

I vantaggi non sono garantiti; la valutazione su set held-out consente di confrontare il modello ottimizzato con la baseline. L'ottimizzazione aggiunge costi di training e hosting e non sostituisce il recupero per le informazioni correnti o i controlli di sicurezza a livello di applicazione.

Scegli il tuo approccio di formazione

Microsoft Foundry offre due approcci di training. Il fine-tuning gestito esegue un processo di training dai dati e dalle impostazioni. Il training interattivo (anteprima) consente di controllare i passaggi di training in Python.

Entrambi usano l'infrastruttura di training gestita da Foundry; non si effettua il provisioning di GPU di training.

Note

Il training interattivo è in anteprima e richiede l'approvazione esplicita dell'accesso. Richiedere l'accesso tramite il modulo di iscrizione dell'anteprima e attendere l'approvazione prima di creare sessioni di training.

Fine-tuning gestito Training interattivo (anteprima)
Funzionamento Inviare dati e impostazioni; Foundry esegue il processo di training. Scrivere un ciclo Python; Foundry esegue operazioni di training e campionamento.
Migliore per Principianti e ingegneri di intelligenza artificiale che preferiscono flussi di lavoro predefiniti rispetto alle operazioni di training di livello inferiore. Esperti esperti di ML che creano flussi di lavoro di training personalizzati.
Il tuo controllo Dati, iperparametri supportati e valutatori RFT. Perdite, ricompense, rollout, accumulo del gradiente, aggiornamenti e checkpoint.
Metodi di formazione SFT, DPO e RFT specifici del modello; distillazione tramite dati SFT generati dall'insegnante. Ricette per SFT, apprendimento per rinforzo, apprendimento delle preferenze, distillazione e funzioni di perdita personalizzate.
Casi d'uso di esempio Distillare un modello più grande, imparare dalle conversazioni di supporto o migliorare le risposte con un valutatore. Raccogliere i rollout dell’uso degli strumenti, applicare ricompense personalizzate o modificare il comportamento di aggiornamento e valutazione del ciclo di training.

Tip

Iniziare con il fine-tuning gestito se non si ha familiarità con la personalizzazione del modello. Fornisce flussi di lavoro predefiniti senza richiedere l'implementazione di singole operazioni di training.

I requisiti del modello possono vincolare questa scelta. Un modello supportato per un approccio, un metodo o una modalità non è supportato automaticamente per un altro. Il supporto per le ricette di Cookbook non garantisce nemmeno la disponibilità del servizio. Controllare la tabella dei modelli supportati di seguito per le combinazioni disponibili.

Metodi di personalizzazione

I metodi di personalizzazione determinano il modo in cui un modello apprende dai dati di training o dal feedback, ad esempio risposte, preferenze o ricompense desiderate.

Method Segnale di addestramento Se è compatibile
fine-tuning supervisionato (SFT) Richieste e risposte desiderate. È possibile dimostrare il comportamento che il modello deve apprendere.
Fine-tuning delle preferenze, mediante l'ottimizzazione diretta delle preferenze (DPO) Risposte preferite e rifiutate allo stesso input. La qualità dipende dalle preferenze, ad esempio tono o completezza, anziché da una risposta corretta.
fine-tuning con rinforzo (RFT) Prompt e un classificatore che assegna punteggi alle risposte generate. Sono possibili più soluzioni e puoi valutarne la qualità in modo affidabile.

I metodi predefiniti in questa tabella si applicano solo all'ottimizzazione gestita. L'addestramento interattivo espone primitive di addestramento per la creazione di flussi di lavoro di addestramento personalizzati.

Tipi di formazione

I tipi di training definiscono dove viene eseguito il training e come si applicano le garanzie di capacità, prezzi e servizi. Sono separati dai tipi di distribuzione, che determinano come si distribuisce un modello addestrato.

Tipo di training Description
Standard L'addestramento avviene nell'area della risorsa Foundry corrente e fornisce garanzie per la residenza dei dati. Ideale per i carichi di lavoro in cui i dati devono rimanere in un'area specifica.
Zona dati Il training viene eseguito all'interno di una zona dati supportata anziché in una singola area. Ideale per i carichi di lavoro in cui i dati devono rimanere all'interno di tale zona. Attualmente è supportata solo la zona dati degli Stati Uniti.
Global Offre prezzi più convenienti rispetto a Standard usando capacità oltre la regione corrente. I dati e i pesi vengono copiati nella regione in cui avviene l'addestramento. Ideale se la residenza dei dati non è una restrizione e si vogliono tempi di coda più rapidi.
Developer Offre risparmi significativi sui costi usando la capacità inattiva per il training. Non esistono garanzie sulla latenza o SLA, quindi i processi di questo livello potrebbero essere interrotti e ripresi automaticamente in un secondo momento. Non esistono garanzie per la residenza dei dati. Ideale per la sperimentazione e i carichi di lavoro sensibili ai prezzi.

Opzioni di distribuzione

Foundry offre tre opzioni di distribuzione con modelli di infrastruttura e fatturazione diversi.

  • Serverless: Foundry ospita il modello ottimizzato e gestisce l'infrastruttura di erogazione.
  • Calcolo gestito (anteprima): la capacità GPU dedicata esegue un modello di base corrispondente con uno o più adattatori LoRA compatibili.
  • Fireworks on Foundry (anteprima): il runtime di Fireworks utilizza un adattatore unito in una copia a peso intero del modello di base.

Serverless e Fireworks offrono tipi di distribuzione diversi, che determinano la geografia di elaborazione, la capacità e il modello di fatturazione. La disponibilità dipende dal modello, dall'opzione di distribuzione e dall'artefatto.

Tipo di distribuzione Description
Standard Esegue l'inferenza nella regione del deployment con fatturazione per token e addebiti applicabili per l'hosting di modelli ottimizzati.
Zona Dati Standard Esegue l'inferenza all'interno di un'area dati supportata con fatturazione per token. È supportata solo la zona dati degli Stati Uniti.
Standard globale Usa la capacità globale con fatturazione per token. I pesi del modello personalizzati potrebbero essere archiviati temporaneamente all'esterno dell'area geografica della risorsa.
Developer Esegue l'inferenza a livello globale con fatturazione per token e senza alcuna tariffa di hosting oraria o garanzia di residenza dei dati. Solo per la valutazione; dura 24 ore e non ha uno SLA di disponibilità.
Velocità effettiva sottoposta a provisioning Fornisce la capacità a livello regionale fatturata nelle unità di throughput con provisioning (PTU) per un throughput prevedibile.
Fornito globalmente Usa la capacità globale con la fatturazione basata su PTU per i modelli personalizzati importati.

Modelli supportati

I requisiti possono richiedere un approccio di training o modello specifico. Usare la tabella per verificare quali combinazioni supportano il metodo di personalizzazione, il tipo di training e l'opzione di distribuzione.

Per le distribuzioni serverless supportate, sono disponibili Global Standard, Data Zone Standard e Developer, a meno che la legenda non indichi diversamente. Controllare le regioni di distribuzione standard e le regioni di distribuzione Throughput con provisioning per tali tipi di distribuzione.

ID modello Avvicinarsi Tipi di formazione Opzioni di distribuzione
Muse-Glimmer-30B
(anteprima)
Gestito: ✅ (SFT, RFT)
Interattivo: ✅
Standard: ❌
Area dati: ❌
Global: ✅
Sviluppatore: ✅
Serverless: ❌
Calcolo gestito: ✅
Fuochi d'artificio: ✅1
Llama-3.3-70B-Instruct Gestito: ✅ (SFT)
Interattivo: ❌
Standard: ❌
Area dati: ✅
Global: ✅
Sviluppatore: ❌
Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌
Qwen3-32B Gestito: ✅ (SFT)
Interattivo: ❌
Standard: ❌
Area dati: ✅
Global: ✅
Sviluppatore: ❌
Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌
Qwen3.6-35B-A3B
(anteprima)
Gestito: ✅ (SFT, RFT)
Interattivo: ✅
Standard: ❌
Area dati: ❌
Global: ✅
Sviluppatore: ✅
Serverless: ❌
Calcolo gestito: ✅
Fuochi d'artificio: ✅1
Qwen3.8-27B
(anteprima)
Gestito: ✅ (SFT, RFT)
Interattivo: ✅
Standard: ❌
Area dati: ❌
Global: ✅
Sviluppatore: ✅
Serverless: ❌
Calcolo gestito: ✅
Fuochi d'artificio: ✅1
gpt-oss-20b Gestito: ✅ (SFT)
Interattivo: ✅
Standard: ❌
Area dati: ✅
Global: ✅
Sviluppatore: ❌
Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-oss-120b
(anteprima)
Gestito: ✅ (SFT, RFT)
Interattivo: ✅
Standard: ❌
Area dati: ❌
Global: ✅
Sviluppatore: ✅
Serverless: ❌
Calcolo gestito: ✅
Fuochi d'artificio: ✅1
Ministral-3B
(2411)
Gestito: ✅ (SFT)
Interattivo: ❌
Standard: ❌
Area dati: ✅
Global: ✅
Sviluppatore: ❌
Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-4o-mini
(2024-07-18)
Gestito: ✅ (SFT)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅5
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-4o
(2024-08-06)
Gestito: ✅ (SFT, DPO)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅5
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-4.1
(2025-04-14)
Gestito: ✅ (SFT, DPO)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-4.1-mini
(2025-04-14)
Gestito: ✅ (SFT, DPO)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-4.1-nano
(2025-04-14)
Gestito: ✅ (SFT, DPO)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅
Calcolo gestito: ❌
Fuochi d'artificio: ❌
o4-mini
(2025-04-16)
Gestito: ✅ (RFT)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ✅
Serverless: ✅
Calcolo gestito: ❌
Fuochi d'artificio: ❌
gpt-5
(2025-08-07)3
Gestito: ✅ (RFT)
Interattivo: ❌
Standard: ✅
Area dati: ✅
Global: ✅
Sviluppatore: ❌
Serverless: ✅4
Calcolo gestito: ❌
Fuochi d'artificio: ❌
MedImageInsight-Premium
(anteprima)
Gestito: ✅ (SFT)
Interattivo: ❌
Global Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌
CXRReportgen-Premium
(anteprima)
Gestito: ✅ (SFT)
Interattivo: ❌
Global Serverless: ✅2
Calcolo gestito: ❌
Fuochi d'artificio: ❌

Legenda

  • 1 È supportato solo il tipo di distribuzione Provisioned Throughput.
  • 2 È supportato solo il tipo di distribuzione Standard globale.
  • 3 Il fine-tuning con reinforcement learning di GPT-5 richiede un invito. Contatti il team dell'account Microsoft per la registrazione.
  • 4 È supportato solo il tipo di distribuzione Standard. Vedi aree di distribuzione standard.
  • 5 Il tipo di distribuzione per sviluppatori non è supportato.

Aree di formazione globali supportate

Note

La formazione globale offre un training più conveniente per ogni token, ma non offre residenza dei dati.

Nella tabella sono elencate le aree del progetto Foundry necessarie per usare il fine-tuning gestito globale e il training interattivo (anteprima). Scegliere un'area supportata per il modello e l'approccio di training, incluse le restrizioni seguenti. La formazione per Standard e Data zone dispone di un supporto regionale separato.

Area del progetto Foundry Fine-tuning gestito Training interattivo (anteprima)
Australia East ✅ ✅
Brazil South ✅ 1 ❌
Canada Central ✅ 1 ❌
Canada East ✅ 1 ✅
East US ✅ ✅
Stati Uniti orientali 2 ✅ ✅
France Central ✅ 1 ❌
Germania centro-occidentale ✅ 1 ❌
Italy North ✅ 1 ❌
Japan East ✅ 1,2 ❌
Korea Central ✅ ✅
Stati Uniti centro-settentrionali ✅ ✅
Norway East ✅ 1 ❌
Poland Central ✅ 1,3 ❌
Sudafrica settentrionale ✅ 1 ❌
Stati Uniti centro-meridionali ✅ 1 ❌
South India ✅ 1 ❌
Southeast Asia ✅ 1 ❌
Spain Central ✅ 1 ❌
Sweden Central ✅ ✅
Switzerland North ✅ ✅
Svizzera occidentale ✅ 1 ❌
UAE North ✅ 4 ✅
UK South ✅ ✅
West Europe ✅ 1 ❌
West US ✅ 1 ❌
Stati Uniti occidentali 3 ✅ ✅
  • 1 L'ottimizzazione gestita per Qwen3.6-35B-A3B, Qwen3.8-27B, Muse-Glimmer-30B e gpt-oss-120b non è supportata in questa area.
  • 2 L'ottimizzazione della visione non è supportata in Japan East.
  • 3 Il fine-tuning gestito per gpt-4.1-nano non è supportato in Polonia centrale.
  • 4 UAE North supporta l'ottimizzazione gestita globale solo per Qwen3.6-35B-A3B, Qwen3.8-27B, Muse-Glimmer-30B, e gpt-oss-120b.

Aree di distribuzione Standard supportate

Solo i modelli seguenti supportano distribuzioni Standard serverless. Controllare la disponibilità regionale nella tabella.

ID modello Stati Uniti orientali 2 Stati Uniti centro-settentrionali Sweden Central
gpt-4o-mini ❌ ✅ ✅
gpt-4o ✅ ❌ ✅
gpt-4.1 ❌ ✅ ✅
gpt-4.1-mini ❌ ✅ ✅
gpt-4.1-nano ❌ ✅ ✅
o4-mini ✅ ❌ ✅
gpt-5 ❌ ✅ ✅

Aree di distribuzione supportate per Provisioned Throughput

Solo i modelli seguenti supportano distribuzioni serverless di Provisioned Throughput, nelle aree elencate.

ID modello Stati Uniti centro-settentrionali Sweden Central
gpt-4o-mini ✅ ✅
gpt-4o ✅ ✅
gpt-4.1 ❌ ✅

Sfide e limitazioni

La messa a punto è un processo ingegneristico iterativo, non un miglioramento garantito.

Sfida Come risolvere il problema
Qualità e copertura dei dati Usare esempi accurati, coerenti e rappresentativi. Esaminare scenari mancanti, duplicati, distorsioni e informazioni riservate prima di caricare i dati.
Overfitting e leakage nella valutazione Separare i dati di training, convalida e test finale. Confrontare i checkpoint per le attività di validazione non usate per l'addestramento, non solo per la perdita di training.
Segnali di ricompensa fuorvianti Mettere alla prova i valutatori RFT con risposte corrette, errate e avversarie. L'aumento della ricompensa non garantisce prestazioni migliori delle attività se il modello sfrutta il grader.
Sperimentazione e costi Budget per esecuzioni ripetute, assegnazione del punteggio, valutazione, hosting e inferenza. Interrompi gli esperimenti che non migliorano la metrica obiettivo.
Compatibilità del modello e del serving Confermare metodo, livello, versione e idoneità alla distribuzione prima del training. Un adattatore non è intercambiabile tra modelli di base denominati in modo analogo.
Maintenance Rivaluta la qualità quando i dati delle attività cambiano o un modello base si avvicina al ritiro. La riqualificazione e la ricollocazione possono essere necessarie.
Sicurezza e governance Esaminare la gestione dei dati e la valutazione gestita della sicurezza. Mantenere i controlli di sicurezza a livello di applicazione e valutare il runtime finale di serving.
Responsabilità del runtime interattivo Mantieni i tuoi driver, gli ambienti, la tokenizzazione, i checkpoint e la logica di ripristino. Il campionamento in sessione non è una prova del comportamento dell’erogazione in produzione.

Passaggi successivi

Iniziare con la guida per l'approccio di training, quindi distribuire e valutare il modello ottimizzato con fine-tuning.