Dávkové testování se sadou ukázkových promluv

  • Článek

Důležité

Služba LUIS bude vyřazena 1. října 2025 a od 1. dubna 2023 nebudete moct vytvářet nové prostředky luis. Doporučujeme migrovat aplikace LUIS na konverzační jazyk, abyste mohli využívat výhod trvalé podpory produktů a možností více jazyků.

Dávkové testování ověří aktivní natrénovanou verzi a změří její přesnost předpovědi. Dávkový test vám pomůže zobrazit přesnost jednotlivých záměrů a entit v aktivní verzi. Zkontrolujte výsledky dávkového testu a proveďte odpovídající akce ke zlepšení přesnosti, například přidání dalších ukázkových promluv do záměru, pokud vaše aplikace často nedokáže identifikovat správný záměr nebo popisky entit v promluvě.

Seskupení dat pro dávkový test

Je důležité, aby promluvy používané k dávkovému testování byly ve službě LUIS nové. Pokud máte datovou sadu promluv, rozdělte promluvy do tří sad: ukázkové promluvy přidané do záměru, promluvy přijaté z publikovaného koncového bodu a promluvy použité k dávkovému testování služby LUIS po natrénování.

Dávkový soubor JSON, který použijete, by měl obsahovat promluvy s entitami strojového učení nejvyšší úrovně označenými včetně počáteční a koncové pozice. Promluvy by neměly být součástí příkladů, které už jsou v aplikaci. Měly by to být výroky, které chcete pozitivně předpovědět pro záměr a entity.

Testy můžete oddělit podle záměru nebo entity nebo mít všechny testy (až 1 000 promluv) ve stejném souboru.

Běžné chyby při importu dávky

Pokud při nahrávání dávkového souboru do služby LUIS narazíte na chyby, zkontrolujte následující běžné problémy:

  • Více než 1 000 promluv v dávkovém souboru
  • Objekt JSON promluvy, který nemá vlastnost entit. Vlastnost může být prázdné pole.
  • Word označené ve více entitách
  • Popisky entit začínající nebo končící mezerou.

Oprava dávkových chyb

Pokud v dávkovém testování dojde k chybám, můžete buď přidat do záměru další promluvy, nebo označit další promluvy entitou, abyste službě LUIS pomohli rozlišovat mezi záměry. Pokud jste přidali promluvy a označili je a přesto se při dávkovém testování zobrazují chyby predikce, zvažte přidání funkce seznamu frází se slovní zásobou specifickou pro doménu, která službě LUIS pomůže rychleji se učit.

Dávkové testování pomocí portálu LUIS

Import a trénování ukázkové aplikace

Naimportujte aplikaci, která přijímá objednávku pizzy, například 1 pepperoni pizza on thin crust.

  1. Stáhněte si soubor JSON aplikace a uložte si ho.

  2. Přihlaste se k portálu LUIS a vyberte prostředek předplatného a vytváření, abyste viděli aplikace přiřazené k danému prostředku pro vytváření obsahu.

  3. Vyberte šipku vedle položky Nová aplikace a kliknutím na Importovat jako JSON naimportujte JSON do nové aplikace. Pojmenujte aplikaci Pizza app.

  4. V pravém horním rohu navigace vyberte Trénovat a aplikaci natrénujte.

Role v dávkovém testování

Upozornění

Role entit nejsou podporovány v dávkovém testování.

Dávkový testovací soubor

Příklad JSON obsahuje jednu promluvu s entitou s popiskem, která ilustruje, jak testovací soubor vypadá. Ve vlastních testech byste měli mít mnoho promluv se správným záměrem a entitou strojového učení označených jako .

  1. Vytvořte pizza-with-machine-learned-entity-test.json v textovém editoru nebo si ho stáhněte .

  2. Do dávkového souboru ve formátu JSON přidejte promluvu se záměrem , který chcete předpovědět v testu.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Spuštění dávky

  1. V horním navigačním panelu vyberte Test .

  2. Na pravém panelu vyberte Panel dávkového testování .

    Odkaz na dávkové testování

  3. Vyberte Importovat. V zobrazeném dialogovém okně vyberte Zvolit soubor a vyhledejte soubor JSON se správným formátem JSON, který neobsahuje více než 1 000 promluv k testování.

    Chyby importu jsou hlášeny v červeném oznamovacím pruhu v horní části prohlížeče. Pokud import obsahuje chyby, nevytvořila se žádná datová sada. Další informace najdete v tématu Běžné chyby.

  4. Zvolte umístění pizza-with-machine-learned-entity-test.json souboru.

  5. Pojmenujte datovou sadu pizza test a vyberte Hotovo.

  6. Vyberte tlačítko Run (Spustit).

  7. Po dokončení dávkového testu uvidíte následující sloupce:

    Sloupec Popis
    Stav Stav testu. Zobrazit výsledky se zobrazí až po dokončení testu.
    Name Název, který jste dali testu.
    Velikost Počet testů v tomto dávkovém testovacím souboru
    Poslední spuštění Datum posledního spuštění tohoto dávkového testovacího souboru
    Poslední výsledek Počet úspěšných předpovědí v testu

  8. Pokud chcete zobrazit podrobné výsledky testu, vyberte Zobrazit výsledky.

    Tip

    • Výběrem možnosti Stáhnout stáhnete stejný soubor, který jste nahráli.
    • Pokud se zobrazí, že dávkový test selhal, alespoň jeden záměr promluvy neodpovídá předpovědi.

Kontrola dávkových výsledků pro záměry

Pokud chcete zkontrolovat výsledky dávkového testu, vyberte Zobrazit výsledky. Výsledky testu graficky ukazují, jak byly testovací promluvy předpovězeny vůči aktivní verzi.

Dávkový graf zobrazuje čtyři kvadranty výsledků. Napravo od grafu je filtr. Filtr obsahuje záměry a entity. Když vyberete část grafu nebo bod v grafu, zobrazí se pod grafem přidružené promluvy.

Při najetí myší na graf může kolečko myši zvětšit nebo zmenšit zobrazení v grafu. To je užitečné, pokud je v grafu mnoho bodů, které jsou úzce seskupené.

Graf je ve čtyřech kvadrantech se dvěma oddíly zobrazenými červeně.

  1. V seznamu filtrů vyberte záměr UpravitObjednání . Promluva je predikována jako pravdivě pozitivní , což znamená, že promluva úspěšně odpovídala své pozitivní předpovědi uvedené v dávkovém souboru.

    Výrok se úspěšně shodoval se svou pozitivní predikcí.

    Zelené značky zaškrtnutí v seznamu filtrů také označují úspěch testu pro každý záměr. Všechny ostatní záměry jsou uvedené s pozitivním skóre 1/1, protože promluva byla testována proti každému záměru jako negativní test pro všechny záměry, které nejsou uvedené v dávkovém testu.

  2. Vyberte záměr Potvrzení . Tento záměr není uvedený v dávkovém testu, takže se jedná o negativní test promluvy, která je uvedená v dávkovém testu.

    Promluva úspěšně předpověděla zápor pro neuvedený záměr v dávkovém souboru

    Negativní test byl úspěšný, jak je uvedeno se zeleným textem ve filtru a mřížkou.

Kontrola výsledků dávkových testů pro entity

Entita ModifyOrder, jako entita počítače s dílčími hodnotami, zobrazí, jestli entita nejvyšší úrovně odpovídá a jak jsou předpovězeny subentity.

  1. V seznamu filtrů vyberte entitu ModifyOrder a pak vyberte kruh v mřížce.

  2. Pod grafem se zobrazí predikce entity. Zobrazení obsahuje plné čáry pro předpovědi, které odpovídají očekávání, a tečkované čáry pro předpovědi, které neodpovídají očekávání.

    Nadřazená entita úspěšně předpovězená v dávkovém souboru

Filtrování výsledků grafu

Pokud chcete graf filtrovat podle konkrétního záměru nebo entity, vyberte záměr nebo entitu na panelu filtrování na pravé straně. Datové body a jejich rozdělení se v grafu aktualizují podle vašeho výběru.

Vizualizovaný výsledek dávkového testu

Příklady výsledků grafu

V grafu na portálu LUIS můžete provést následující akce:

Zobrazení jednobodových dat promluv

V grafu najeďte myší na datový bod, abyste viděli skóre jistoty jeho předpovědi. Výběrem datového bodu načtěte odpovídající promluvu v seznamu promluv v dolní části stránky.

Vybraná promluva

Zobrazení dat oddílu

V grafu se čtyřmi oddíly vyberte název oddílu, například Falešně pozitivní v pravém horním rohu grafu. Pod grafem se všechny promluvy v tomto oddílu zobrazují pod grafem v seznamu.

Vybrané promluvy podle oddílů

Na tomto předchozím obrázku je promluva switch on označena záměrem TurnAllOn, ale obdržela predikci záměru None. To značí, že záměr TurnAllOn potřebuje více ukázkových promluv, aby mohl vytvořit očekávanou předpověď.

Dvě části grafu červeně označují promluvy, které neodpovídají očekávané predikci. Ty označují promluvy, které služba LUIS potřebuje více trénování.

Dvě části grafu zeleně odpovídaly očekávané predikci.

Další kroky

Pokud testování naznačuje, že vaše aplikace LUIS nerozpozná správné záměry a entity, můžete pracovat na zlepšení výkonu aplikace LUIS označováním dalších promluv nebo přidáním funkcí.