Jemné ladění v Microsoft Foundry

Vyladění přizpůsobí předem natrénovaný model vašemu úkolu prostřednictvím dalšího trénování na datech specifických pro daný úkol. Upraví váhy modelu místo přidání příkladů do jednotlivých promptů. Stavíte na stávajících schopnostech modelu bez trénování modelu od nuly.

Vyladění vám může pomoct, když máte vysoce kvalitní trénovací data specifická pro konkrétní úkoly a chcete:

  • Zlepšete přesnost a relevanci Trénování na více příkladech, než se vejde do promptu, může naučit model vzorcům specifickým pro úlohu.
  • Snižte režii promptů. Méně příkladů promptů může snížit náklady na tokeny a latenci.
  • Zarovnejte styl a strukturu. Odpovědi mohou mít konzistentní tón, formát nebo schéma.
  • Zlepšete používání nástrojů. Trénovací příklady můžou zlepšit výběr nástrojů a přesnost parametrů.
  • Efektivně používejte načtený kontext. Modely se můžou naučit určit prioritu relevantního kontextu a ignorovat irelevantní informace.
  • Specializujte menší model. Příklady vytvořené učícím modelem můžou pomoct menšímu modelu splňovat požadavky úlohy s nižšími náklady a latencí.

Výhody nejsou zaručeny; vyhodnocení na vyčleněné sadě vám pomůže porovnat jemně vyladěný model s výchozím modelem. Vyladění přidává náklady na trénování a hostování a nenahrazuje získávání aktuálních informací ani bezpečnostních prvků na úrovni aplikace.

Zvolte přístup ke školení

Microsoft Foundry nabízí dva přístupy k trénování. Spravované vyladění spouští trénovací úlohu z vašich dat a nastavení. Interaktivní školení (verze Preview) umožňuje řídit kroky školení v Pythonu.

Oba používají infrastrukturu trénování spravovanou službou Foundry; nemusíte zřizovat trénovací GPU.

Note

Interaktivní trénování je ve verzi Preview a vyžaduje explicitní schválení přístupu. Před vytvořením trénovacích relací požádejte o přístup prostřednictvím registračního formuláře ve verzi Preview a počkejte na schválení.

Spravovaný fine-tuning Interaktivní školení (náhled)
Jak to funguje Odesílání dat a nastavení; Foundry spustí trénovací úlohu. Napište smyčku v Pythonu; Foundry spouští operace trénování a vzorkování.
Nejvhodnější pro Začátečníci a technici umělé inteligence, kteří dávají přednost předdefinovaným pracovním postupům před operacemi trénování nižší úrovně Zkušení odborníci na strojové učení pro tvorbu vlastních trénovacích workflow.
Vaše ovládání Data, podporované hyperparametry a gradery RFT Ztráty, odměny, zavedení, akumulace přechodu, aktualizace a kontrolní body.
Metody trénování Modelově specifické SFT, DPO a RFT; destilování prostřednictvím dat SFT generovaných učitelem. Recepty na SFT, posilované učení, učení z preferencí, destilování a vlastní ztráty.
Příklady případů použití Destilujte větší model, poučte se z konverzací podpory nebo vylepšete odpovědi pomocí hodnoticího modelu. Shromážděte zavedení nástrojů, použijte vlastní odměny nebo změňte chování při aktualizaci a vyhodnocení smyčky trénování a vyhodnocení.

Tip

Pokud s přizpůsobením modelu začínáte, začněte se spravovaným vyladěním. Poskytuje předdefinované pracovní postupy, aniž byste museli implementovat jednotlivé trénovací operace.

Požadavky na model mohou tuto volbu omezit. Model podporovaný pro jeden přístup, metodu nebo modalitu není automaticky podporován pro jiný. Podpora receptů v Cookbooku také nezajišťuje dostupnost služby. Dostupné kombinace najdete v tabulce podporovaných modelů níže.

Metody přizpůsobení

Metody přizpůsobení určují, jak se model učí z trénovacích dat nebo zpětné vazby, jako jsou požadované odpovědi, předvolby nebo odměny.

Method Trénovací signál Když se hodí
Vyladění pod dohledem (SFT) Zobrazí výzvy a požadované odpovědi. Modelu můžete ukázat chování, které by se měl naučit.
Vyladění preferencí s využitím přímé optimalizace preferencí (DPO) Preferované a odmítnuté odpovědi na stejný vstup. Kvalita závisí na preferencích, jako je tón nebo úplnost, spíše než na jediné správné odpovědi.
Jemné dolaďování pomocí posilovaného učení (RFT) Prompty a hodnotitel, který hodnotí vygenerované odpovědi. Existuje více možných řešení a jejich kvalitu můžete spolehlivě posoudit.

Předdefinované metody v této tabulce se vztahují pouze na spravované jemné ladění. Interaktivní trénování zpřístupňuje trénovací primitiva pro vytváření vlastních trénovacích pracovních postupů.

Typy školení

Typy trénování modelu definují, kde se trénování spouští a jak se uplatňují kapacita, ceny a záruky služeb. Jsou oddělené od typů nasazení, které určují, jak nasazujete natrénovaný model.

Typ trénování Description
Standard Trénování probíhá v regionu aktuálního prostředku Foundry a poskytuje záruky pro rezidenci dat. Ideální pro úlohy, ve kterých musí data zůstat v konkrétní oblasti.
Datová zóna Trénování probíhá v podporované zóně dat, nikoli v jednom regionu. Ideální pro úlohy, ve kterých musí data zůstat v dané zóně. V současné době se podporuje pouze datová zóna USA.
Globální Ve srovnání se službou Standard nabízí nižší ceny díky využití kapacity mimo vaši aktuální oblast. Data a váhy se zkopírují do oblasti, kde probíhá trénování. Ideální, pokud na umístění dat nejsou kladeny žádné omezení a chcete kratší čekací doby.
Developer Přináší výrazné úspory nákladů díky využití nevyužité kapacity k trénování. Nejsou garantována žádná latence ani garance SLA, takže úlohy v této vrstvě mohou být automaticky přerušeny a obnoveny později. Pro rezidenci dat nejsou žádné záruky. Ideální pro experimentování a úlohy citlivé na cenu.

Možnosti nasazení

Foundry nabízí tři možnosti nasazení s různou infrastrukturou pro poskytování a modely fakturace.

  • Serverless: Foundry hostuje jemně vyladěný model a spravuje obslužnou infrastrukturu.
  • Spravované výpočetní prostředí (verze Preview): Vyhrazená kapacita GPU spouští odpovídající základní model s jedním nebo více kompatibilními adaptéry LoRA.
  • Fireworks na Foundry (Preview): Modul runtime Fireworks poskytuje jeden adaptér sloučený do plně vážené kopie základního modelu.

Serverless a Fireworks nabízejí různé typy nasazení, které určují geografickou oblast zpracování, kapacitu a fakturační model. Dostupnost závisí na modelu, možnosti nasazení a artefaktu.

Typ nasazení Description
Standard Provádí inferenci v regionu nasazení s účtováním za token a příslušnými poplatky za hostování doladěných modelů.
Standard datové zóny Spouští inferenci v rámci podporované zóny dat s fakturací jednotlivých tokenů. Podporuje se pouze zóna dat USA.
Global Standard Používá globální kapacitu s fakturací podle tokenů. Váhy vlastního modelu mohou být dočasně uloženy mimo geografickou oblast daného prostředku.
Developer Globálně provozuje inferenci s účtováním za token a bez hodinového poplatku za hostování a bez záruky rezidence dat. Pouze pro účely vyhodnocení; platí 24 hodin a nevztahuje se na ni SLA dostupnosti.
Zřízená propustnost Poskytuje regionální kapacitu účtovanou ve zřízených jednotkách propustnosti (PTU) pro předvídatelnou propustnost.
Globální alokace Používá globální kapacitu s fakturací založenou na PTU pro importované vlastní modely.

Podporované modely

Vaše požadavky mohou vyžadovat konkrétní model nebo trénovací přístup. Pomocí tabulky zkontrolujte, které kombinace podporují vaši metodu přizpůsobení, typ trénování a možnost nasazení.

Pro podporovaná bezserverová nasazení jsou k dispozici Globální standard, Data Zone Standard a Developer, pokud legenda neuvádí jinak. Zkontrolujte oblasti nasazení úrovně Standard a oblasti nasazení zřízené propustnosti pro tyto typy nasazení.

ID modelu Approach Typy školení Možnosti nasazení
MAI-Code-1.1-Flash
(náhled)		 Spravované: ✅ (RFT)
Interaktivní: ❌		 Standardní: ❌
Datová zóna: ❌
Globální: ✅
Vývojář: ✅		 Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
Muse-Glimmer-30B
(náhled)		 Spravované: ✅ (SFT, RFT)
Interaktivní: ✅		 Standardní: ❌
Datová zóna: ❌
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ❌
Spravované výpočetní prostředky: ✅
Ohňostroje: ✅1
Llama-3.3-70B-Instruct Spravované: ✅ (SFT)
Interaktivní: ❌		 Standardní: ❌
Datová zóna: ✅
Globální: ✅
Vývojář: ❌		 Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
Qwen3-32B Spravované: ✅ (SFT)
Interaktivní: ❌		 Standardní: ❌
Datová zóna: ✅
Globální: ✅
Vývojář: ❌		 Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
Qwen3.6-35B-A3B
(náhled)		 Spravované: ✅ (SFT, RFT)
Interaktivní: ✅		 Standardní: ❌
Datová zóna: ❌
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ❌
Spravované výpočetní prostředky: ✅
Ohňostroje: ✅1
Qwen3.8-27B
(náhled)		 Spravované: ✅ (SFT, RFT)
Interaktivní: ✅		 Standardní: ❌
Datová zóna: ❌
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ❌
Spravované výpočetní prostředky: ✅
Ohňostroje: ✅1
gpt-oss-20b Spravované: ✅ (SFT)
Interaktivní: ✅		 Standardní: ❌
Datová zóna: ✅
Globální: ✅
Vývojář: ❌		 Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-oss-120b
(náhled)		 Spravované: ✅ (SFT, RFT)
Interaktivní: ✅		 Standardní: ❌
Datová zóna: ❌
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ❌
Spravované výpočetní prostředky: ✅
Ohňostroje: ✅1
Ministral-3B
(2411)		 Spravované: ✅ (SFT)
Interaktivní: ❌		 Standardní: ❌
Datová zóna: ✅
Globální: ✅
Vývojář: ❌		 Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-4o-mini
(2024-07-18)		 Spravované: ✅ (SFT)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Serverless: ✅5
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-4o
(2024-08-06)		 Spravované: ✅ (SFT, DPO)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Serverless: ✅5
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-4.1
(2025-04-14)		 Spravované: ✅ (SFT, DPO)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ✅
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-4.1-mini
(2025-04-14)		 Spravované: ✅ (SFT, DPO)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ✅
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-4.1-nano
(2025-04-14)		 Spravované: ✅ (SFT, DPO)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ✅
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
o4-mini
(2025-04-16)		 Spravované: ✅ (RFT)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ✅		 Bezserverová služba: ✅
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
gpt-5
(7. 8. 2025)3		 Spravované: ✅ (RFT)
Interaktivní: ❌		 Standardní: ✅
Datová zóna: ✅
Globální: ✅
Vývojář: ❌		 Bezserverové: ✅4
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
MedImageInsight-Premium
(náhled)		 Spravované: ✅ (SFT)
Interaktivní: ❌		 Globální Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌
CXRReportgen-Premium
(náhled)		 Spravované: ✅ (SFT)
Interaktivní: ❌		 Globální Serverless: ✅2
Spravované výpočetní prostředky: ❌
Ohňostroj: ❌

Legenda

  • 1 Je podporován pouze typ nasazení Provisioned Throughput.
  • 2 Podporován je pouze typ nasazení Global Standard.
  • 3 Jemné doladění GPT-5 pomocí posilovaného učení vyžaduje pozvánku. Ohledně registrace se obraťte na tým spravující váš účet Microsoft.
  • Podporuje se pouze typ standardního nasazení. Viz standardní oblasti nasazení.
  • 5 Typ nasazení vývojáře není podporován.

Podporované globální oblasti pro trénování

Note

Globální školení poskytuje cenově dostupné školení na token, ale nenabízí uchovávání dat.

V tabulce jsou uvedeny regiony projektu Foundry vyžadované pro použití globálně spravovaného jemného ladění a interaktivního tréninku (Preview). Zvolte oblast podporovanou pro váš model a přístup k trénování, včetně následujících omezení. Zóny Standard a Data pro trénování mají oddělenou regionální podporu.

Oblast projektu Foundry Spravovaný fine-tuning Interaktivní školení (náhled)
Austrálie – východ ✅ ✅
Brazílie – jih ✅ 1 ❌
Kanada – střed ✅ 1 ❌
Kanada – východ ✅ 1 ✅
USA – východ​ ✅ ✅
USA – východ 2 ✅ ✅
Francie – střed ✅ 1 ❌
Německo – středozápad ✅ 1 ❌
Itálie – sever ✅ 1 ❌
Japonsko – východ ✅ 1,2 ❌
Korea – střed ✅ ✅
Střed USA – sever ✅ ✅
Norsko – východ ✅ 1 ❌
Polsko – střed ✅ 1,3 ❌
Jižní Afrika – sever ✅ 1 ❌
Střed USA – jih ✅ 1 ❌
Indie – jih ✅ 1 ❌
Jihovýchodní Asie ✅ 1 ❌
Španělsko – střed ✅ 1 ❌
Švédsko – střed ✅ ✅
Švýcarsko – sever ✅ ✅
Švýcarsko – západ ✅ 1 ❌
Spojené arabské emiráty – sever ✅ 4 ✅
Velká Británie – jih ✅ ✅
Západní Evropa ✅ 1 ❌
USA – západ ✅ 1 ❌
USA – západ 3 ✅ ✅
  • 1 Spravované jemné dolaďování pro Qwen3.6-35B-A3B, Qwen3.8-27B, Muse-Glimmer-30B a gpt-oss-120b není v tomto regionu podporováno.
  • 2 Jemné ladění modelů se zpracováním obrazu není v oblasti Japonsko – východ podporováno.
  • 3 Spravované vyladění gpt-4.1-nano není podporováno v Poland Central.
  • 4 UAE North podporuje globální spravované jemné ladění pouze pro Qwen3.6-35B-A3B, Qwen3.8-27B, Muse-Glimmer-30B a gpt-oss-120b.

Podporované regiony pro nasazení Standard

Pouze následující modely podporují bezserverová nasazení Standard. V tabulce zkontrolujte dostupnost v jednotlivých oblastech.

ID modelu USA – východ 2 Střed USA – sever Švédsko – střed
gpt-4o-mini ❌ ✅ ✅
gpt-4o ✅ ❌ ✅
gpt-4.1 ❌ ✅ ✅
gpt-4.1-mini ❌ ✅ ✅
gpt-4.1-nano ❌ ✅ ✅
o4-mini ✅ ❌ ✅
gpt-5 ❌ ✅ ✅

Podporované regiony nasazení pro zřízenou propustnost

Pouze následující modely podporují bezserverová nasazení se zřízenou propustností v uvedených regionech.

ID modelu Střed USA – sever Švédsko – střed
gpt-4o-mini ✅ ✅
gpt-4o ✅ ✅
gpt-4.1 ❌ ✅

Výzvy a omezení

Vyladění je iterativní technický proces, nikoli zaručené zlepšení.

Výzva Jak to vyřešit
Kvalita a pokrytí dat Používejte přesné, konzistentní a reprezentativní příklady. Před nahráním dat zkontrolujte chybějící scénáře, duplikáty, předsudky a citlivé informace.
Přeučení a únik informací při vyhodnocení Oddělte trénovací, validační a finální testovací data. Porovnejte checkpointy na vyčleněných úlohách, nejen trénovací ztrátu.
Zavádějící signály odměňování Otestujte hodnotitele RFT na správných, nesprávných a adverzariálních odpovědích. Rostoucí odměna neznamená lepší plnění úloh, pokud model zneužívá hodnotitele.
Experimenty a náklady Rozpočet na opakované spuštění, známkování, hodnocení, hostování a inference. Zastavte experimenty, které nezlepšují cílovou metriku.
Kompatibilita modelu a nasazení Před trénováním potvrďte metodu, úroveň, verzi a způsobilost k nasazení. Adaptér nelze použít zaměnitelně u podobně pojmenovaných základních modelů.
Maintenance Znovu posuďte kvalitu, když se data úkolů mění nebo se blíží vyřazení základního modelu. Přeškolení a přeřazení mohou být nezbytné.
Bezpečnost a správa a řízení Kontrola zpracování dat a řízené hodnocení bezpečnosti Udržujte bezpečnostní prvky na úrovni aplikace a vyhodnoťte finální runtime pro obsluhu.
Odpovědnosti interaktivního runtime Udržujte driver, prostředí, tokenizaci, kontrolní body a logiku obnovení. Vzorkování v relaci není důkazem chování obsluhování požadavků v produkčním prostředí.

Další kroky

Začněte s průvodcem pro váš trénovací přístup a pak nasaďte a vyhodnoťte váš jemně vyladěný model.

  • Poslední aktualizace v