Sdílet prostřednictvím

Dávkové testování se sadou ukázkových promluv

  • Článek

Důležité

Služba LUIS bude vyřazena 1. října 2025 a od 1. dubna 2023 nebudete moct vytvářet nové prostředky LUIS. Doporučujeme migrovat aplikace LUIS do porozumění konverzačnímu jazyku, abyste mohli využívat další podporu produktů a vícejazyčné funkce.

Dávkové testování ověřuje aktivní natrénovanou verzi, aby změřila přesnost predikce. Dávkové testování vám pomůže zobrazit přesnost každého záměru a entity ve vaší aktivní verzi. Prohlédněte si výsledky dávkového testu a proveďte odpovídající akci, abyste zlepšili přesnost, například přidání dalších ukázkových promluv do záměru, pokud vaše aplikace často nedokáže identifikovat správný záměr nebo označovat entity v promluvě.

Seskupování dat pro dávkové testování

Je důležité, aby promluvy používané pro dávkové testování byly pro službu LUIS novinkou. Pokud máte datovou sadu promluv, rozdělte promluvy do tří sad: ukázkové promluvy přidané do záměru, promluvy přijaté z publikovaného koncového bodu a promluvy používané k dávkovému testování služby LUIS po natrénování.

Soubor JSON dávky, který použijete, by měl obsahovat promluvy s entitami strojového učení nejvyšší úrovně označenými jako počáteční a koncové pozice. Promluvy by neměly být součástí příkladů, které už jsou v aplikaci. Měly by to být promluvy, které chcete pozitivně předpovídat pro záměr a entity.

Testy můžete oddělit podle záměru nebo entity nebo všechny testy (až 1 000 promluv) ve stejném souboru.

Běžné chyby při importu dávky

Pokud při nahrávání dávkového souboru do služby LUIS narazíte na chyby, zkontrolujte následující běžné problémy:

  • Více než 1 000 promluv v dávkovém souboru
  • Objekt JSON promluvy, který nemá vlastnost entity. Vlastnost může být prázdné pole.
  • Wordy označené ve více entitách
  • Popisky entit začínají nebo končí na prostoru.

Oprava dávkových chyb

Pokud v dávkovém testování dojde k chybám, můžete do záměru přidat další promluvy nebo označovat další promluvy s entitou, které službě LUIS pomůžou provést diskriminaci mezi záměry. Pokud jste přidali promluvy a označili je a stále dochází k chybám předpovědi v dávkovém testování, zvažte přidání funkce seznamu frází se slovníkem specifickým pro doménu, která pomáhá službě LUIS rychleji se učit.

Dávkové testování pomocí portálu LUIS

Import a trénování ukázkové aplikace

Naimportujte aplikaci, která přijímá objednávku pizzy, například 1 pepperoni pizza on thin crust.

  1. Stáhněte si soubor JSON aplikace a uložte si ho.

  2. Přihlaste se k portálu LUIS a vyberte svůj prostředek předplatného a vytváření, abyste zobrazili aplikace přiřazené k danému prostředku pro vytváření.

  3. Vyberte šipku vedle nové aplikace a kliknutím na Importovat jako JSON naimportujte JSON do nové aplikace. Pojmenujte aplikaci Pizza app.

  4. Výběrem možnosti Trénovat v pravém horním rohu navigace aplikaci vytrénujte.

Role v dávkovém testování

Upozornění

Role entit nejsou podporovány v dávkovém testování.

Dávkový testovací soubor

Příklad JSON obsahuje jednu promluvu s označenou entitou, která ilustruje, jak vypadá testovací soubor. Ve vlastních testech byste měli mít mnoho promluv se správným záměrem a entitou strojového učení označenou.

  1. Vytvořte pizza-with-machine-learned-entity-test.json ho v textovém editoru nebo si ho stáhněte .

  2. Do dávkového souboru ve formátu JSON přidejte promluvu se záměrem , který chcete předpovědět v testu.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Spuštění dávky

  1. V horním navigačním panelu vyberte Test .

  2. Na pravém panelu vyberte Panel dávkového testování.

    Odkaz pro dávkové testování

  3. Vyberte Importovat. V zobrazeném dialogovém okně vyberte Zvolit soubor a vyhledejte soubor JSON se správným formátem JSON, který neobsahuje více než 1 000 promluv k otestování.

    Chyby importu se zobrazují na červeném oznamovacím panelu v horní části prohlížeče. Pokud import obsahuje chyby, nevytvořila se žádná datová sada. Další informace najdete v tématu Běžné chyby.

  4. Zvolte umístění pizza-with-machine-learned-entity-test.json souboru.

  5. Pojmenujte datovou sadu pizza test a vyberte Hotovo.

  6. Vyberte tlačítko Run (Spustit).

  7. Po dokončení dávkového testu se zobrazí následující sloupce:

    Sloupec Popis
    Stav Stav testu Zobrazit výsledky se zobrazí až po dokončení testu.
    Název Název, který jste dali testu.
    Velikost Počet testů v tomto dávkovém testovacím souboru
    Poslední spuštění Datum posledního spuštění tohoto dávkového testovacího souboru
    Poslední výsledek Počet úspěšných předpovědí v testu

  8. Pokud chcete zobrazit podrobné výsledky testu, vyberte Zobrazit výsledky.

    Tip

    • Výběrem možnosti Stáhnout stáhnete stejný soubor, který jste nahráli.
    • Pokud se zobrazí selhání dávkového testu, alespoň jeden záměr promluvy se neshodoval s predikcí.

Kontrola dávkových výsledků záměrů

Pokud chcete zkontrolovat výsledky dávkového testu, vyberte Zobrazit výsledky. Výsledky testů ukazují graficky, jak byly testovací promluvy předpovězeny vůči aktivní verzi.

Dávkový graf zobrazuje čtyři kvadranty výsledků. Napravo od grafu je filtr. Filtr obsahuje záměry a entity. Když vyberete oddíl grafu nebo bod v grafu, přidružené promluvy se zobrazí pod grafem.

Při najetí myší na graf může kolečko myši zvětšit nebo zmenšit zobrazení v grafu. To je užitečné, když je v grafu úzce seskupené mnoho bodů.

Graf je ve čtyřech kvadrantech se dvěma oddíly zobrazenými červeně.

  1. Vyberte záměr ModifyOrder v seznamu filtrů. Promluva se predikuje jako pravdivě pozitivní význam, což znamená, že promluva úspěšně odpovídala její pozitivní předpovědi uvedené v dávkovém souboru.

    Promluva úspěšně odpovídala své pozitivní predikci

    Zelené značky zaškrtnutí v seznamu filtrů také označují úspěch testu pro každý záměr. Všechny ostatní záměry jsou uvedeny s pozitivním skóre 1/1, protože promluva byla testována proti každému záměru, jako negativní test pro všechny záměry, které nejsou uvedeny v dávkovém testu.

  2. Vyberte záměr Potvrzení. Tento záměr není uvedený v dávkovém testu, takže se jedná o negativní test promluvy, která je uvedená v dávkovém testu.

    Promluva úspěšně předpověděla negativní pro nezařazený záměr v dávkovém souboru.

    Negativní test byl úspěšný, jak je uvedeno se zeleným textem ve filtru a mřížkou.

Kontrola výsledků dávkového testu pro entity

Entita ModifyOrder, jako entita počítače s dílčími entitami, zobrazí, jestli se entita nejvyšší úrovně shoduje a jak jsou předpovězeny dílčí hodnoty.

  1. Vyberte entitu ModifyOrder v seznamu filtrů a pak vyberte kruh v mřížce.

  2. Předpověď entity se zobrazí pod grafem. Zobrazení obsahuje plné čáry pro předpovědi, které odpovídají očekávání a tečkovaným čarám pro předpovědi, které neodpovídají očekávání.

    Nadřazená entita byla úspěšně předpovězena v dávkovém souboru

Filtrování výsledků grafu

Pokud chcete graf filtrovat podle konkrétního záměru nebo entity, vyberte záměr nebo entitu na panelu filtrování na pravé straně. Datové body a jejich distribuce se v grafu aktualizují podle vašeho výběru.

Vizualizovaný výsledek dávkového testu

Příklady výsledků grafu

Graf na portálu LUIS můžete provést následující akce:

Zobrazení dat promluv s jedním bodem

V grafu najeďte myší na datový bod, abyste viděli skóre jistoty jeho předpovědi. Výběrem datového bodu načtěte odpovídající promluvu v seznamu promluv v dolní části stránky.

Vybraná promluva

Zobrazení dat oddílu

V grafu se čtyřmi oddíly vyberte název oddílu, například Falešně pozitivní v pravém horním rohu grafu. Pod grafem se všechny promluvy v této části zobrazí pod grafem v seznamu.

Vybrané promluvy podle oddílu

Na tomto předchozím obrázku je promluva switch on označena záměrem TurnAllOn, ale obdržela předpověď záměru None( Žádný). To znamená, že záměr TurnAllOn potřebuje k provedení očekávané předpovědi více ukázkových promluv.

Dvě části grafu červeně označují promluvy, které neodpovídají očekávané predikci. Ty označují promluvy, které služba LUIS potřebuje více trénování.

Dvě části grafu zeleně odpovídaly očekávané předpovědi.

Další kroky

Pokud testování značí, že vaše aplikace LUIS nerozpozná správné záměry a entity, můžete pracovat na zlepšení výkonu aplikace LUIS tím, že označíte další promluvy nebo přidáte funkce.