Testování modelů v dětském prostředí Azure AI Studia

  • 4 min

Dětské hřiště jsou užitečná rozhraní v Azure AI Studiu, pomocí kterého můžete experimentovat s nasazenými modely, aniž byste museli vyvíjet vlastní klientskou aplikaci. Azure AI Studio nabízí několik hřiště s různými možnostmi ladění parametrů.

Dokončení hřiště

Dětské hřiště Dokončení umožňuje volat nasazené modely prostřednictvím textového rozhraní, textového out rozhraní a upravit parametry. V části Nasazení musíte vybrat název nasazení modelu. Volitelně můžete použít uvedené příklady, abyste mohli začít, a pak můžete zadat vlastní výzvy.

Parametry dětského hřiště dokončení

Existuje mnoho parametrů, které můžete upravit a změnit výkon modelu:

  • Teplota: Řídí náhodnost. Snížení teploty znamená, že model vytváří více opakujících se a deterministických odpovědí. Zvýšení teploty vede k neočekávaným nebo kreativním reakcím. Zkuste nastavit teplotu nebo top P, ale ne obojí.
  • Maximální délka (tokeny):: Nastavte limit počtu tokenů na odpověď modelu. Rozhraní API podporuje maximálně 4 000 tokenů sdílených mezi výzvou (včetně systémových zpráv, příkladů, historie zpráv a uživatelského dotazu) a odpovědi modelu. Jeden token je zhruba čtyři znaky pro typický anglický text.
  • Sekvence zastavení: Zastavte odpovědi v požadovaném bodě, například na konci věty nebo seznamu. Zadejte až čtyři sekvence, ve kterých model přestane generovat další tokeny v odpovědi. Vrácený text nebude obsahovat sekvenci zastavení.
  • Nejvyšší pravděpodobnosti (Top P): Podobně jako teplota řídí náhodnost, ale používá jinou metodu. Snížení horního P zužuje výběr tokenu modelu na stejné tokeny. Zvýšení horní P umožňuje modelu vybírat z tokenů s vysokou i nízkou pravděpodobností. Zkuste nastavit teplotu nebo top P, ale ne obojí.
  • Trest frekvence: Snižte pravděpodobnost opakování tokenu úměrně na základě toho, jak často se v textu zatím objevil. Tím se sníží pravděpodobnost opakování stejného textu v odpovědi.
  • Trest přítomnosti: Snižte pravděpodobnost opakování jakéhokoli tokenu, který se zatím v textu objevil. Tím se zvyšuje pravděpodobnost zavedení nových témat v odpovědi.
  • Text předběžné odpovědi: Vložte text za vstup uživatele a před odpověď modelu. To může pomoct s přípravou modelu na odpověď.
  • Text po odpovědi: Vložte text za vygenerovanou odpověď modelu, abyste podpořili další uživatelský vstup, například při modelování konverzace.

Chatovací hřiště

Chatové hřiště je založené na rozhraní pro konverzaci a zasílání zpráv. Relaci můžete inicializovat systémovou zprávou a nastavit tak kontext chatu.

V chatovacím hřišti můžete přidat několik snímků příkladů. Termín několika snímků odkazuje na několik příkladů, které modelu pomůžou zjistit, co je potřeba udělat. Můžete si to představit na rozdíl od nulového snímku, který odkazuje na poskytnutí žádných příkladů.

V nastavení Pomocníka můžete poskytnout několik snímků příkladů toho, co může být uživatelský vstup a jaká by měla být odpověď asistenta. Asistent se pokusí napodobit odpovědi, které tady zahrnete do tónu, pravidel a formátu, které jste definovali v systémové zprávě.

Snímek obrazovky s chatovacím hřištěm na portálu Azure AI Studio

Parametry chatovacího hřiště

Chatové hřiště, jako je hřiště Dokončení, obsahuje také parametry pro přizpůsobení chování modelu. Chatové hřiště také podporuje další parametry , které nejsou k dispozici v dětském hřišti Dokončení. Tady jsou některé z nich:

  • Maximální odpověď: Nastavte limit počtu tokenů na odpověď modelu. Rozhraní API podporuje maximálně 4 000 tokenů sdílených mezi výzvou (včetně systémových zpráv, příkladů, historie zpráv a uživatelského dotazu) a odpovědi modelu. Jeden token je zhruba čtyři znaky pro typický anglický text.
  • Zahrnuté minulé zprávy: Vyberte počet minulých zpráv, které se mají zahrnout do každého nového požadavku rozhraní API. Zahrnutí minulých zpráv pomáhá poskytnout kontext modelu pro nové dotazy uživatelů. Nastavení tohoto čísla na 10 bude obsahovat pět uživatelských dotazů a pět systémových odpovědí.

Aktuální počet tokenů je možné zobrazit z chatovacího hřiště. Vzhledem k tomu, že volání rozhraní API jsou cenná podle tokenu a je možné nastavit maximální limit tokenu odpovědi, budete chtít sledovat aktuální počet tokenů, abyste měli jistotu, že počet konverzací nepřekročí maximální počet tokenů odpovědi.