Klíčové pojmy pro interaktivní školení (preview) v Microsoft Foundry

Important

Položky označené jako náhled v tomto článku jsou aktuálně ve verzi Preview. Tato verze Preview se poskytuje bez smlouvy o úrovni služeb a Microsoft ji nedoporučuje pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Important

Interaktivní školení vyžaduje výslovné schválení přístupu. Před vytvořením trénovací relace požádejte o přístup prostřednictvím registračního formuláře ve verzi Preview a počkejte na schválení.

Interaktivní trénování umožňuje vašemu programu řídit, jak se model učí, zatímco Microsoft Foundry model spouští. Váš program, označovaný také jako trénovací řídicí program, vybírá příklady, vyhodnocuje odpovědi a rozhoduje, kdy se má model aktualizovat.

Následující koncepty vysvětlují, jak se části trénovací smyčky vejdou dohromady. Podrobnosti o kódu a implementaci najdete v taháku sady SDK.

Školení

Trénovací relace uchovává model a jeho aktuální průběh trénování během běhu experimentu. Ovladač požaduje jednotlivé operace, například generování odpovědí nebo použití aktualizace.

Relace slouží jinému účelu než spravovaná úloha nebo nasazení:

Resource Purpose
Interaktivní školení Program řídí trénovací smyčku postupně po jedné operaci.
Spravovaná úloha jemného ladění Služba spustí předdefinovaný trénovací pracovní postup z dat a nastavení, která zadáte.
Nasazení pro serving Vytrénovaný model odpovídá na požadavky z aplikace.

Řadič udržuje relaci aktivní během běhu experimentu. Průběh uchovávaný pouze v relaci není trvalým záznamem; dokončený kontrolní bod školení ho zachová.

Adaptéry LoRA

Základní model je model, se kterým začínáte. Jeho váhy jsou naučené hodnoty, které tvarují jeho chování.

adaptér low-rank adaptation (LoRA) je malá sada vytrénovatelných vah přidaných do základního modelu. Trénování změní adaptér místo opětovného trénování všech původních vah modelu.

Adaptér obsahuje to, co se váš experiment naučí. Zůstává svázaný s kompatibilním základním modelem; nejedná se o samostatnou náhradu za tento model.

Podrobnosti o implementaci najdete v tématu Vytvoření relace.

Úrovně školení

Úroveň školení popisuje možnost služby, která se používá ke spuštění školení. Úrovně se můžou lišit v tom, kde běží trénování, jak se poskytuje kapacita a jaké záruky služby se uplatňují.

Dostupné možnosti závisí na modelu, oblasti a projektu. Úrovně trénování jsou oddělené od možností nasazení, které slouží k poskytování natrénovaného modelu. Viz typy školení.

Formátování zpráv

Zprávy jsou potřeba převést do podoby, které vybraný model rozumí. Tento formát také rozlišuje výzvy uživatelů, odpovědi asistenta a informace vrácené nástroji.

  • Tokeny jsou malé jednotky textu, jako jsou slova nebo části slov, které model čte a generuje.
  • Tokenizátor převede text na tokeny a tokeny zpět na text.
  • Šablona chatu uspořádá zprávy, aby model mohl rozlišit mluvčí a rozpoznat, kde začíná odpověď.
  • Renderer připraví zprávy ve formátu modelu a převede vygenerované odpovědi zpět na čitelný obsah.

Různé modely můžou používat různé formáty zpráv. Konzistentní formátování pomáhá školicímu programu určit, které části interakce by měly přispět k učení.

Trénování založené na obrázku také vyžaduje kompatibilní vizuálně-jazykový model a podporu trénování obrázků pro váš projekt. Formátovací modul zpráv, který rozumí obrázkům, nestanoví, že jsou pro ně k dispozici data pro trénování.

Trénovací smyčka

Interaktivní trénování odděluje generování odpovědí, výpočet výukových signálů a použití aktualizací. Váš driver tyto operace kombinuje do pracovního postupu.

Operation Co to znamená
Vzorkování Model generuje odpovědi z vybraného snapshotu adaptéru.
Průchod vpřed Model zpracovává příklady, abyste mohli měřit ztrátu nebo kontrolovat signály učení bez akumulace změn pro aktualizaci.
Výpočet gradientu Při trénování se vypočítává, jak se váhy adaptéru můžou změnit, aby se zlepšil cíl učení.
Aktualizace optimalizátoru Optimalizátor použije kumulované gradienty ke změně adaptéru.
Vyhodnocení Váš model měří výkon na příkladech oddělených od trénovacích dat.

Gradienty popisují možné změny adaptéru. optimalizátor změní tyto gradienty na aktualizaci. Při výpočtu gradientů se adaptér sám nezmění.

Několik sad příkladů může přispět gradienty k jedné aktualizaci. Po aktualizaci potřebuje vzorkování aktualizovaný snímek, aby používalo nejnovější naučený stav adaptéru.

Vyhodnocení používá vyčleněné příklady, které se nepoužívají k tréninku, ke kontrole výkonu při úkolu, který vás zajímá. Nižší ztráta tréninku nebo vyšší odměna za trénování sama o sobě neprokazuje lepší výkon.

Odpovídající operace v kódu najdete v taháku sady SDK.

Funkce ztráty a váhy tokenů

Funkce ztráty vyjadřuje cíl, který se trénování snaží zlepšit. Převádí příklady a výukové signály na míru, která řídí úpravy adaptéru.

Přístup k učení Co řídí aktualizaci
Učení pod dohledem Požadované odpovědi ukazují modelu, co má vytvořit.
Posilované učení Skóre a porovnání mezi vygenerovanými odpověďmi pomáhají určit, které chování posílit.

Funkce ztráty je jednou z částí pracovního postupu. Nevybírá příklady, nehodnotí odpovědi ani nerozhoduje, kdy se trénování zastaví.

Váhy tokenů řídí, jak silně části příkladu přispívají k učení. Masky vylučují části, které by neměly přispívat.

Například pracovní postup učení pod dohledem se může učit z odpovědi asistenta, aniž by se naučil reprodukovat výzvu uživatele.

Pro posilované učení také signál učení rozlišuje modelem generované odpovědi od informací poskytovaných uživatelem nebo prostředím. Používá informace z modelu, který vygeneroval každou odpověď, i když se model později změní.

Vlastní cíle můžou kombinovat výstupy modelu s výpočty v modulu Driveru. Řadič stále koordinuje signály učení a aktualizace modelu.

Informace o datových strukturách a příkladech najdete v tématu Příprava dat pod dohledem a Příprava RL dat.

Jak se kombinují výukové signály

Různé cíle můžou kombinovat výukové signály různě, například jejich sečtením nebo zprůměrováním. Kombinace nekompatibilních přístupů v jedné aktualizaci může změnit její rozsah nebo způsobit, že ji služba odmítne.

Příspěvky ke stejné aktualizaci potřebují konzistentní způsob kombinování signálů učení. Aktualizace se dokončí před přepnutím pracovního postupu na nekompatibilní postup.

Odměny, nasazení a výhody

Při posilovaném učení řídicí proces vyhodnocuje, co model dělá, a převede toto hodnocení na signál pro učení.

Concept Meaning
Uvedení na trh Vygenerovaná odpověď nebo delší interakce, která může zahrnovat volání nástrojů a pozorování.
Odměna Skóre, které popisuje, jak dobře zavedení splňuje cíl úkolu. Program přiřadí toto skóre.
Výhoda Porovnání, které označuje, zda odpověď funguje lépe nebo hůře než reference, například jiné odpovědi na stejnou výzvu.

Jeden přístup generuje několik odpovědí na stejnou výzvu a porovnává každou odměnu s průměrnou odměnou skupiny:

  • Nad průměrem: Odpověď má určitou výhodu.
  • Pod průměrem: Odpověď má nevýhodu.
  • Rovné odměny: Všechny odpovědi mají nulovou výhodu, takže toto porovnání neposkytuje žádný signál učení.

U matematického úkolu může odměna odrážet, jestli je konečná odpověď správná. Samotné vysoké skóre formátování neprokazuje, že je odpověď správná.

Váš ovladač definuje pravidla hodnocení a metodu porovnání. Kompletní příklady najdete v úložišti ukázek pro vyladění.

Dokončení operace

Spuštění každé operace nějakou dobu trvá. Přijetí požadavku se liší od dokončení požadované práce.

Status Co vám to říká
Přijato Služba obdrží požadavek. Úloha může stále čekat nebo běžet.
Dokončeno Operace se dokončí a její výsledek lze použít v závislé operaci.
Vypršel čas Váš řidič už nečeká. To neprokazuje, že operace selže nebo se zastaví v rámci služby.

Na pořadí záleží: aktualizace závisí na dokončeném výpočtu gradientu a vzorkování z nových vah závisí na dokončeném obnovení. Chybějící výsledek není úspěšný výsledek ani měření s nulovou hodnotou.

Podrobnosti o implementaci najdete v tématu Použití asynchronních operací.

Checkpoints

Checkpoint zaznamenává stav modelu v určitém okamžiku. Trénovací checkpointy a checkpointy sampleru uchovávají různé informace.

Typ Co zachovává K čemu to používáte
Kontrolní bod tréninku naučené váhy adaptéru a záznam optimalizátoru o dřívějších aktualizacích. Obnovení průběhu nebo pokračování v trénování v kompatibilní relaci
Kontrolní bod Sampler Snímek vah adaptéru pro generování odpovědí Vzorkování z vybrané verze adaptéru bez informací potřebných k obnovení trénování

Aktualizace sampleru připraví nejnovější stav adaptéru pro generování. Nejedná se o náhradu uloženého kontrolního bodu trénování a nemusí nutně vytvořit trvalý artefakt.

Váš ovladač má svůj vlastní stav, který je třeba zachovat, například které příklady už použil a kdy se vyhodnocení provádí. Kontrolní bod modelu tento průběh automaticky neobnoví.

Žádný typ kontrolního bodu není koncovým bodem aplikace. Použití vytrénovaného modelu v aplikaci je samostatná úloha nasazení.

Příklady kódu najdete v tématu Uložení a obnovení trénování.

Životní cyklus relace

Odpojení uvolní aktivní trénovací prostředky relace. Slouží k jinému účelu než odstranění relace a uložených artefaktů.

Action Meaning
Prozkoumat Zkontrolujte stav relace a identifikujte její uložené kontrolní body.
Uvolnit Uvolněte výpočetní prostředky aktivní relace. Toto není odstranění kontrolního bodu.
Odstranit Odeberte relaci. To může také odebrat kontrolní body a prostředky pro vzorkování.

Odeslání požadavku na uvolnění z paměti nepotvrzuje, že se vyčištění dokončí. Zavření síťového připojení používaného ovladačem také není stejné jako uvolnění relace.

Dokončený kontrolní bod trénování zachovává postup před ukončením relace. Odstranění relace může odebrat uložený stav, takže odstranění není zaměnitelné s uvolněním výpočetních prostředků.

Podrobnosti o implementaci viz Zavření prostředků.

Související obsah

Prozkoumejte tyto zdroje informací, až budete připraveni používat tyto koncepty:

  • Poslední aktualizace v