Trénování modelu porozumění konverzačnímu jazyku

  • Článek

Po dokončení označování promluv můžete začít s trénováním modelu. Trénování je proces, při kterém se model učí z označených promluv.

Pokud chcete vytrénovat model, spusťte trénovací úlohu. Model vytvoří pouze úspěšně dokončené úlohy. Platnost trénovacích úloh vyprší po sedmi dnech, po této době už nebudete moct načíst podrobnosti o úloze. Pokud se vaše trénovací úloha úspěšně dokončila a vytvořil se model, vypršení platnosti úlohy na ni nebude mít vliv. Najednou můžete mít spuštěnou jenom jednu úlohu trénování a nemůžete spustit jiné úlohy ve stejném projektu.

Doba trénování může být od několika sekund při práci s jednoduchými projekty až po několik hodin, kdy dosáhnete maximálního limitu promluv.

Vyhodnocení modelu se aktivuje automaticky po úspěšném dokončení trénování. Proces vyhodnocení začíná použitím natrénovaného modelu ke spouštění predikcí promluv v testovací sadě a porovnává předpovězené výsledky se zadanými popisky (které stanoví základní hodnoty pravdivosti).

Požadavky

Vyvážení trénovacích dat

Pokud jde o trénovací data, měli byste se snažit, aby vaše schéma bylo dobře vyvážené. Zahrnutí velkého množství jednoho záměru a velmi málo dalších záměrů způsobí, že model bude silně zkreslený vůči konkrétním záměrům.

Pokud to chcete vyřešit, možná budete muset trénovací sadu převzorkovat nebo do ní přidat. Převzorkování dolů je možné provést pomocí:

  • Náhodné odstranění určitého procenta trénovacích dat
  • Systematičtějším způsobem díky analýze datové sady a odebrání nadměrně zastoupených duplicitních položek.

Do trénovací sady můžete také přidat výběrem možnosti Navrhnout promluvy na kartě Popisky dat v nástroji Language Studio. Konverzační Language Understanding odešle volání do Azure OpenAI za účelem vygenerování podobných promluv.

Snímek obrazovky s návrhem promluvy v sadě Language Studio

Měli byste také hledat nezamýšlené "vzory" v trénovací sadě. Například pokud je trénovací sada pro konkrétní záměr malými písmeny nebo začíná konkrétní frází. V takových případech se model, který vytrénujete, může naučit tyto nezamýšlené předsudky v trénovací sadě, místo aby mohl generalizovat.

Doporučujeme, abyste do trénovací sady zavedli různá velikost a interpunkci. Pokud se očekává, že váš model zvládne varianty, nezapomeňte mít trénovací sadu, která tuto rozmanitost také odráží. Můžete například zahrnout některé promluvy se správnými písmeny a některé malými písmeny.

Rozdělování dat

Než začnete s procesem trénování, jsou označené promluvy ve vašem projektu rozdělené na trénovací sadu a testovací sadu. Každá z nich má jinou funkci. Trénovací sada se používá při trénování modelu. Jedná se o sadu, ze které se model učí označené promluvy. Testovací sada je sada nevidomých, která se do modelu nezavádí během trénování, ale pouze během vyhodnocení.

Po úspěšném natrénování modelu je možné ho použít k předpovědím z promluv v testovací sadě. Tyto předpovědi se používají k výpočtu metrik vyhodnocení. Doporučujeme zajistit, aby všechny vaše záměry a entity byly dostatečně zastoupeny v trénovací i testovací sadě.

Porozumění konverzačnímu jazyku podporuje dvě metody rozdělení dat:

  • Automatické rozdělení testovací sady od trénovacích dat: Systém rozdělí označená data mezi trénovací a testovací sadu podle zvolených procent. Doporučené procento rozdělení je 80 % pro trénování a 20 % pro testování.

Poznámka

Pokud zvolíte možnost Automaticky rozdělit testovací sadu od trénovacích dat , rozdělí se podle zadaných procent pouze data přiřazená k trénovací sadě.

  • Použití ručního rozdělení trénovacích a testovacích dat: Tato metoda umožňuje uživatelům definovat, které promluvy mají patřit do které sady. Tento krok je povolený jenom v případě, že jste během označování přidali do testovací sady promluvy.

Režimy trénování

CLU podporuje dva režimy trénování modelů.

  • Standardní trénování používá k relativně rychlému trénování modelů algoritmy rychlého strojového učení. Tato možnost je momentálně dostupná jenom pro angličtinu a je zakázaná pro všechny projekty, které jako primární jazyk nepoužívají angličtinu (USA) nebo angličtinu (SPOJENÉ KRÁLOVSTVÍ). Tato možnost školení je bezplatná. Standardní trénování umožňuje přidávat promluvy a rychle je testovat bez nákladů. Zobrazená skóre hodnocení by vás měla navést na to, kde v projektu provést změny a přidat další promluvy. Jakmile několikrát iteujete a provedete přírůstková vylepšení, můžete zvážit použití pokročilého trénování k trénování jiné verze modelu.

  • Pokročilé trénování využívá nejnovější technologie strojového učení k přizpůsobení modelů s vašimi daty. Očekává se, že se u vašich modelů zobrazí lepší skóre výkonu a umožní vám také využívat vícejazyčné funkce CLU. Za pokročilé školení se platí různě. Podrobnosti najdete v informacích o cenách .

Při rozhodování využijte skóre hodnocení. Může se stát, že se v rozšířeném trénování predikuje konkrétní příklad nesprávně než při použití standardního režimu trénování. Pokud jsou ale celkové výsledky vyhodnocení lepší s využitím pokročilých funkcí, doporučujeme použít konečný model. Pokud tomu tak není a nechcete používat žádné vícejazyčné funkce, můžete dál používat model natrénovaný ve standardním režimu.

Poznámka

Měli byste očekávat rozdíl v chování ve skóre spolehlivosti záměru mezi trénovacími režimy, protože každý algoritmus kalibruje skóre odlišně.

Trénování modelu

Pokud chcete začít s trénováním modelu v sadě Language Studio:

  1. V nabídce na levé straně vyberte Trénovat model .

  2. V horní nabídce vyberte Spustit trénovací úlohu .

  3. Vyberte Trénování nového modelu a zadejte nový název modelu do textového pole. Pokud chcete nahradit existující model modelem natrénovaným na nových datech, vyberte Přepsat existující model a pak vyberte existující model. Přepsání natrénovaného modelu je nevratné, ale nasazené modely neovlivní, dokud nový model nenasadíte.

  4. Vyberte režim trénování. Pro rychlejší trénování můžete zvolit standardní trénování , ale je k dispozici jenom pro angličtinu. Nebo můžete zvolit pokročilé školení , které je podporované pro jiné jazyky a vícejazyčné projekty, ale zahrnuje delší dobu trénování. Přečtěte si další informace o režimech trénování.

  5. Vyberte metodu dělení dat . Můžete zvolit automatické rozdělení testovací sady od trénovacích dat , kdy systém rozdělí promluvy mezi trénovací a testovací sadu podle zadaných procent. Nebo můžete použít ruční rozdělení trénovacích a testovacích dat. Tato možnost je povolená jenom v případě, že jste při označování promluv přidali do testovací sady promluvy.

  6. Vyberte tlačítko Train (Trénovat).

    Snímek obrazovky zobrazující stránku školení v sadě Language Studio

  7. V seznamu vyberte ID trénovací úlohy. Zobrazí se panel, kde můžete zkontrolovat průběh trénování, stav úlohy a další podrobnosti pro tuto úlohu.

    Poznámka

    • Modely budou generovat pouze úspěšně dokončené trénovací úlohy.
    • Trénování může na základě počtu promluv trvat nějakou dobu mezi několika minutami a několika hodinami.
    • Najednou můžete mít spuštěnou pouze jednu úlohu trénování. V rámci stejného projektu nemůžete spustit další úlohy trénování, dokud se spuštěná úloha nedokončí.
    • Strojové učení používané k trénování modelů se pravidelně aktualizuje. Pokud chcete trénovat na předchozí verzi konfigurace, vyberte Vybrat sem, pokud chcete změnit na stránce Spustit trénovací úlohu a zvolte předchozí verzi.

Zrušit trénovací úlohu

Zrušení úlohy trénování ze sady Language Studio

  1. Na stránce Trénování modelu vyberte trénovací úlohu, kterou chcete zrušit, a v horní nabídce vyberte Zrušit .

Další kroky