Dávkové testování se sadou ukázkových promluv
Důležité
Služba LUIS bude vyřazena 1. října 2025 a od 1. dubna 2023 nebudete moct vytvářet nové prostředky luis. Doporučujeme migrovat aplikace LUIS na konverzační jazyk, abyste mohli využívat výhod trvalé podpory produktů a možností více jazyků.
Dávkové testování ověří aktivní natrénovanou verzi a změří její přesnost předpovědi. Dávkový test vám pomůže zobrazit přesnost jednotlivých záměrů a entit v aktivní verzi. Zkontrolujte výsledky dávkového testu a proveďte odpovídající akce ke zlepšení přesnosti, například přidání dalších ukázkových promluv do záměru, pokud vaše aplikace často nedokáže identifikovat správný záměr nebo popisky entit v promluvě.
Seskupení dat pro dávkový test
Je důležité, aby promluvy používané k dávkovému testování byly ve službě LUIS nové. Pokud máte datovou sadu promluv, rozdělte promluvy do tří sad: ukázkové promluvy přidané do záměru, promluvy přijaté z publikovaného koncového bodu a promluvy použité k dávkovému testování služby LUIS po natrénování.
Dávkový soubor JSON, který použijete, by měl obsahovat promluvy s entitami strojového učení nejvyšší úrovně označenými včetně počáteční a koncové pozice. Promluvy by neměly být součástí příkladů, které už jsou v aplikaci. Měly by to být výroky, které chcete pozitivně předpovědět pro záměr a entity.
Testy můžete oddělit podle záměru nebo entity nebo mít všechny testy (až 1 000 promluv) ve stejném souboru.
Běžné chyby při importu dávky
Pokud při nahrávání dávkového souboru do služby LUIS narazíte na chyby, zkontrolujte následující běžné problémy:
- Více než 1 000 promluv v dávkovém souboru
- Objekt JSON promluvy, který nemá vlastnost entit. Vlastnost může být prázdné pole.
- Word označené ve více entitách
- Popisky entit začínající nebo končící mezerou.
Oprava dávkových chyb
Pokud v dávkovém testování dojde k chybám, můžete buď přidat do záměru další promluvy, nebo označit další promluvy entitou, abyste službě LUIS pomohli rozlišovat mezi záměry. Pokud jste přidali promluvy a označili je a přesto se při dávkovém testování zobrazují chyby predikce, zvažte přidání funkce seznamu frází se slovní zásobou specifickou pro doménu, která službě LUIS pomůže rychleji se učit.
Dávkové testování pomocí portálu LUIS
Import a trénování ukázkové aplikace
Naimportujte aplikaci, která přijímá objednávku pizzy, například 1 pepperoni pizza on thin crust
.
Stáhněte si soubor JSON aplikace a uložte si ho.
Přihlaste se k portálu LUIS a vyberte prostředek předplatného a vytváření, abyste viděli aplikace přiřazené k danému prostředku pro vytváření obsahu.
Vyberte šipku vedle položky Nová aplikace a kliknutím na Importovat jako JSON naimportujte JSON do nové aplikace. Pojmenujte aplikaci
Pizza app
.V pravém horním rohu navigace vyberte Trénovat a aplikaci natrénujte.
Role v dávkovém testování
Upozornění
Role entit nejsou podporovány v dávkovém testování.
Dávkový testovací soubor
Příklad JSON obsahuje jednu promluvu s entitou s popiskem, která ilustruje, jak testovací soubor vypadá. Ve vlastních testech byste měli mít mnoho promluv se správným záměrem a entitou strojového učení označených jako .
Vytvořte
pizza-with-machine-learned-entity-test.json
v textovém editoru nebo si ho stáhněte .Do dávkového souboru ve formátu JSON přidejte promluvu se záměrem , který chcete předpovědět v testu.
[ { "text": "I want to pick up 1 cheese pizza", "intent": "ModifyOrder", "entities": [ { "entity": "Order", "startPos": 18, "endPos": 31 }, { "entity": "ToppingList", "startPos": 20, "endPos": 25 } ] } ]
Spuštění dávky
V horním navigačním panelu vyberte Test .
Na pravém panelu vyberte Panel dávkového testování .
Vyberte Importovat. V zobrazeném dialogovém okně vyberte Zvolit soubor a vyhledejte soubor JSON se správným formátem JSON, který neobsahuje více než 1 000 promluv k testování.
Chyby importu jsou hlášeny v červeném oznamovacím pruhu v horní části prohlížeče. Pokud import obsahuje chyby, nevytvořila se žádná datová sada. Další informace najdete v tématu Běžné chyby.
Zvolte umístění
pizza-with-machine-learned-entity-test.json
souboru.Pojmenujte datovou sadu
pizza test
a vyberte Hotovo.Vyberte tlačítko Run (Spustit).
Po dokončení dávkového testu uvidíte následující sloupce:
Sloupec Popis Stav Stav testu. Zobrazit výsledky se zobrazí až po dokončení testu. Name Název, který jste dali testu. Velikost Počet testů v tomto dávkovém testovacím souboru Poslední spuštění Datum posledního spuštění tohoto dávkového testovacího souboru Poslední výsledek Počet úspěšných předpovědí v testu Pokud chcete zobrazit podrobné výsledky testu, vyberte Zobrazit výsledky.
Tip
- Výběrem možnosti Stáhnout stáhnete stejný soubor, který jste nahráli.
- Pokud se zobrazí, že dávkový test selhal, alespoň jeden záměr promluvy neodpovídá předpovědi.
Kontrola dávkových výsledků pro záměry
Pokud chcete zkontrolovat výsledky dávkového testu, vyberte Zobrazit výsledky. Výsledky testu graficky ukazují, jak byly testovací promluvy předpovězeny vůči aktivní verzi.
Dávkový graf zobrazuje čtyři kvadranty výsledků. Napravo od grafu je filtr. Filtr obsahuje záměry a entity. Když vyberete část grafu nebo bod v grafu, zobrazí se pod grafem přidružené promluvy.
Při najetí myší na graf může kolečko myši zvětšit nebo zmenšit zobrazení v grafu. To je užitečné, pokud je v grafu mnoho bodů, které jsou úzce seskupené.
Graf je ve čtyřech kvadrantech se dvěma oddíly zobrazenými červeně.
V seznamu filtrů vyberte záměr UpravitObjednání . Promluva je predikována jako pravdivě pozitivní , což znamená, že promluva úspěšně odpovídala své pozitivní předpovědi uvedené v dávkovém souboru.
Zelené značky zaškrtnutí v seznamu filtrů také označují úspěch testu pro každý záměr. Všechny ostatní záměry jsou uvedené s pozitivním skóre 1/1, protože promluva byla testována proti každému záměru jako negativní test pro všechny záměry, které nejsou uvedené v dávkovém testu.
Vyberte záměr Potvrzení . Tento záměr není uvedený v dávkovém testu, takže se jedná o negativní test promluvy, která je uvedená v dávkovém testu.
Negativní test byl úspěšný, jak je uvedeno se zeleným textem ve filtru a mřížkou.
Kontrola výsledků dávkových testů pro entity
Entita ModifyOrder, jako entita počítače s dílčími hodnotami, zobrazí, jestli entita nejvyšší úrovně odpovídá a jak jsou předpovězeny subentity.
V seznamu filtrů vyberte entitu ModifyOrder a pak vyberte kruh v mřížce.
Pod grafem se zobrazí predikce entity. Zobrazení obsahuje plné čáry pro předpovědi, které odpovídají očekávání, a tečkované čáry pro předpovědi, které neodpovídají očekávání.
Filtrování výsledků grafu
Pokud chcete graf filtrovat podle konkrétního záměru nebo entity, vyberte záměr nebo entitu na panelu filtrování na pravé straně. Datové body a jejich rozdělení se v grafu aktualizují podle vašeho výběru.
Příklady výsledků grafu
V grafu na portálu LUIS můžete provést následující akce:
Zobrazení jednobodových dat promluv
V grafu najeďte myší na datový bod, abyste viděli skóre jistoty jeho předpovědi. Výběrem datového bodu načtěte odpovídající promluvu v seznamu promluv v dolní části stránky.
Zobrazení dat oddílu
V grafu se čtyřmi oddíly vyberte název oddílu, například Falešně pozitivní v pravém horním rohu grafu. Pod grafem se všechny promluvy v tomto oddílu zobrazují pod grafem v seznamu.
Na tomto předchozím obrázku je promluva switch on
označena záměrem TurnAllOn, ale obdržela predikci záměru None. To značí, že záměr TurnAllOn potřebuje více ukázkových promluv, aby mohl vytvořit očekávanou předpověď.
Dvě části grafu červeně označují promluvy, které neodpovídají očekávané predikci. Ty označují promluvy, které služba LUIS potřebuje více trénování.
Dvě části grafu zeleně odpovídaly očekávané predikci.
Další kroky
Pokud testování naznačuje, že vaše aplikace LUIS nerozpozná správné záměry a entity, můžete pracovat na zlepšení výkonu aplikace LUIS označováním dalších promluv nebo přidáním funkcí.