Kötegelt tesztelés kimondott példaszövegekkel

  • Cikk

Fontos

A LUIS 2025. október 1-jén megszűnik, és 2023. április 1-től nem lehet új LUIS-erőforrásokat létrehozni. Javasoljuk , hogy migrálja a LUIS-alkalmazásokata beszélgetési nyelvfelismerésre , hogy kihasználhassa a terméktámogatás és a többnyelvű képességek előnyeit.

A kötegelt tesztelés ellenőrzi az aktív betanított verziót az előrejelzés pontosságának méréséhez. A kötegelt teszt segítségével megtekintheti az aktív verzióban lévő szándékok és entitások pontosságát. Tekintse át a kötegelt teszt eredményeit, hogy a pontosság javítása érdekében megfelelő műveletet hajtson végre, például további kimondott szövegeket adjon hozzá egy szándékhoz, ha az alkalmazás gyakran nem tudja azonosítani a helyes szándékot vagy címkézni az entitásokat a kimondott szövegben.

Csoportosítási adatok kötegelt teszteléshez

Fontos, hogy a kötegelt teszteléshez használt kimondott szövegek újak legyenek a LUIS-ban. Ha kimondott szövegek adatkészletével rendelkezik, ossza fel a kimondott szövegeket három halmazra: például a szándékhoz hozzáadott kimondott szövegekre, a közzétett végponttól kapott kimondott szövegekre, valamint a LUIS betanítása utáni kötegelt teszteléséhez használt kimondott szövegekre.

A használt kötegelt JSON-fájlnak tartalmaznia kell a legfelső szintű gépi tanulási entitásokat tartalmazó kimondott szövegeket, beleértve a kezdő és a záró pozíciót is. A kimondott szövegek nem lehetnek részei az alkalmazásban már meglévő példáknak. Olyan kimondott szövegeknek kell lenniük, amelyeket pozitívan szeretne előrejelezni a szándék és az entitások szempontjából.

A teszteket szándék és/vagy entitás szerint különítheti el, vagy az összes teszt (legfeljebb 1000 kimondott szöveg) ugyanabban a fájlban található.

A kötegek importálásával kapcsolatos gyakori hibák

Ha hibát tapasztal a batch-fájl LUIS-ba való feltöltése során, ellenőrizze a következő gyakori problémákat:

  • Több mint 1000 kimondott szöveg egy kötegfájlban
  • Egy kimondott szöveg JSON-objektuma, amely nem rendelkezik entitástulajdonságokkal. A tulajdonság lehet üres tömb.
  • több entitásban címkézett Word(ok)
  • Egy szóközzel kezdődő vagy végződő entitáscímkék.

Köteghibák javítása

Ha hibák történnek a kötegelt tesztelés során, hozzáadhat további kimondott szövegeket egy szándékhoz, és/vagy címkézhet további kimondott szövegeket az entitással, hogy segítsen a LUIS-nak a szándékok közötti megkülönböztetésben. Ha kimondott szövegeket adott hozzá és címkézett, és továbbra is előrejelzési hibákat kap a kötegelt tesztelés során, fontolja meg egy tartományspecifikus szókincset tartalmazó kifejezéslista-funkció hozzáadását, hogy a LUIS gyorsabban tanuljon.

Kötegelt tesztelés a LUIS-portál használatával

Példaalkalmazás importálása és betanítása

Importáljon egy olyan alkalmazást, amely pizzarendelést (például 1 pepperoni pizza on thin crust) vesz igénybe.

  1. Töltse le és mentse az alkalmazás JSON-fájlját.

  2. Jelentkezzen be a LUIS-portálra, és válassza ki az Előfizetés és a Szerzői erőforrás lehetőséget az adott szerzői erőforráshoz rendelt alkalmazások megtekintéséhez.

  3. Válassza az Új alkalmazás melletti nyilat, és kattintson az Importálás JSON-ként elemre a JSON új alkalmazásba való importálásához. Nevezze el az alkalmazást Pizza app.

  4. Az alkalmazás betanítása érdekében válassza a navigáció jobb felső sarkában található Betanítása lehetőséget.

Szerepkörök a kötegelt tesztelésben

Figyelemfelhívás

Az entitásszerepkörök nem támogatottak a kötegelt tesztelésben.

Batch-tesztfájl

A JSON-példa tartalmaz egy kimondott szöveget egy címkézett entitással, hogy bemutassa, hogyan néz ki egy tesztfájl. A saját tesztjeiben számos helyes szándékú kimondott szöveggel és gépi tanulási entitással kell rendelkeznie.

  1. Hozzon létre pizza-with-machine-learned-entity-test.json egy szövegszerkesztőben, vagy töltse le .

  2. A JSON-formátumú kötegfájlban adjon hozzá egy kimondott szöveget a tesztben előrejelezni kívánt szándékkal .

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

A köteg futtatása

  1. A felső navigációs sávon válassza a Tesztelés lehetőséget.

  2. A jobb oldali panelen válassza a Batch tesztelési panel lehetőséget.

    Kötegelt tesztelési hivatkozás

  3. Válassza az Importálás lehetőséget. A megjelenő párbeszédpanelen válassza a Fájl kiválasztása lehetőséget, és keresse meg a megfelelő JSON-formátumot tartalmazó JSON-fájlt, amely legfeljebb 1000 tesztelendő kimondott szöveget tartalmaz.

    Az importálási hibákat egy piros értesítési sáv jelzi a böngésző tetején. Ha egy importálás hibát jelez, a rendszer nem hoz létre adatkészletet. További információ: Gyakori hibák.

  4. Válassza ki a fájl helyét pizza-with-machine-learned-entity-test.json .

  5. Nevezze el az adathalmazt pizza test , és válassza a Kész lehetőséget.

  6. Kattintson a Futtatás gombra.

  7. A kötegelt teszt befejezése után a következő oszlopok láthatók:

    Oszlop Leírás
    Állapot A teszt állapota. Az eredmények csak a teszt befejezése után láthatók.
    Name A tesztnek adott név.
    Méret A kötegelt tesztfájlban található tesztek száma.
    Utolsó futtatás A kötegelt tesztfájl utolsó futtatásának dátuma.
    Utolsó eredmény Sikeres előrejelzések száma a tesztben.

  8. A teszt részletes eredményeinek megtekintéséhez válassza az Eredmények megtekintése lehetőséget.

    Tipp

    • A Letöltés lehetőség kiválasztásával ugyanazt a fájlt tölti le, amelyet feltöltött.
    • Ha azt látja, hogy a kötegteszt sikertelen volt, legalább egy kimondott szöveg szándéka nem felelt meg az előrejelzésnek.

Szándékok kötegelt eredményeinek áttekintése

A kötegelt teszt eredményeinek áttekintéséhez válassza az Eredmények megtekintése lehetőséget. A teszteredmények grafikusan bemutatják, hogyan lettek előrejelezve a teszt kimondott szövegei az aktív verzióhoz.

A kötegdiagram az eredmények négy negyedét jeleníti meg. A diagramtól jobbra egy szűrő látható. A szűrő szándékokat és entitásokat tartalmaz. Amikor kijelöli a diagram egy szakaszát vagy egy pontját a diagramon belül, a kapcsolódó kimondott szöveg(ek) a diagram alatt jelennek meg.

A diagram fölé mutatva az egérkerekek nagyíthatják vagy csökkenthetik a diagramon megjelenő megjelenítést. Ez akkor hasznos, ha a diagramon sok pont van szorosan csoportosítva.

A diagram négy negyedből áll, és két szakasz pirossal jelenik meg.

  1. Válassza ki a ModifyOrder szándékot a szűrőlistában. A kimondott szöveg valódi pozitívként van előre jelezve, ami azt jelenti, hogy a kimondott szöveg sikeresen megfelelt a batch fájlban felsorolt pozitív előrejelzésének.

    A kimondott szöveg sikeresen megfelelt a pozitív előrejelzésnek

    A szűrők listájában lévő zöld pipák az egyes szándékok tesztjének sikerességét is jelzik. Az összes többi szándék 1/1 pozitív pontszámmal van felsorolva, mivel a kimondott szöveget minden szándékon tesztelték, negatív tesztként a kötegelt tesztben nem szereplő szándékok esetében.

  2. Válassza ki a Megerősítés szándékot. Ez a szándék nem szerepel a kötegtesztben, így ez a kimondott szöveg negatív tesztje, amely a kötegelt tesztben szerepel.

    A kimondott szöveg sikeresen előrejelezte a negatív értéket a kötegfájlban lévő nem listás szándék esetén

    A negatív teszt sikeres volt, ahogy azt a szűrőben és a rácsban lévő zöld szöveg is jelzi.

Entitások kötegelt teszteredményeinek áttekintése

A ModifyOrder entitás, mint alentitásokkal rendelkező gépentitás megjeleníti, hogy a legfelső szintű entitás megfelelt-e, és hogy a rendszer hogyan jelezze előre az alentitásokat.

  1. Válassza ki a ModifyOrder entitást a szűrőlistában, majd válassza ki a kört a rácsban.

  2. Az entitás-előrejelzés a diagram alatt jelenik meg. A kijelző egybeeső vonalakat tartalmaz az előrejelzésekhez, amelyek megfelelnek az elvárásnak, és pontozott vonalakat az olyan előrejelzésekhez, amelyek nem felelnek meg az elvárásnak.

    Az entitás szülője sikeresen előrejelzett a batch fájlban

Diagram eredményeinek szűrése

Ha egy adott szándék vagy entitás alapján szeretné szűrni a diagramot, válassza ki a szándékot vagy entitást a jobb oldali szűrési panelen. Az adatpontok és azok eloszlásfrissítése a gráfban a kijelölésnek megfelelően.

Vizualizált Batch-teszteredmény

Diagram eredményének példái

A LUIS-portál diagramján a következő műveleteket hajthatja végre:

Egypontos kimondott szöveg adatainak megtekintése

A diagramon vigye az egérmutatót egy adatpont fölé, hogy megtekintse az előrejelzése bizonyos pontszámát. Jelöljön ki egy adatpontot a megfelelő kimondott szöveg lekéréséhez a lap alján található kimondott szövegek listájában.

Kijelölt kimondott szöveg

Szakaszadatok megtekintése

A négyszakaszos diagramon válassza ki a szakasz nevét, például Hamis pozitív a diagram jobb felső sarkában. A diagram alatt az adott szakasz összes beszédeleme megjelenik egy lista diagramja alatt.

Kijelölt kimondott szövegek szakaszonként

Ebben az előző képen a kimondott szöveg switch on a TurnAllOn szándékkal van címkézve, de a Nincs szándék előrejelzést kapta. Ez azt jelzi, hogy a TurnAllOn szándéknak több példa kimondott szövegre van szüksége a várt előrejelzés elvégzéséhez.

A diagram két piros szakasza olyan kimondott szövegeket jelöl, amelyek nem felelnek meg a várt előrejelzésnek. Ezek kimondott szövegeket jeleznek, amelyeknek a LUIS-nak több betanításra van szüksége.

A zöld színnel ábrázolt diagram két szakasza megfelelt a várt előrejelzésnek.

Következő lépések

Ha a tesztelés azt jelzi, hogy a LUIS-alkalmazás nem ismeri fel a megfelelő szándékokat és entitásokat, további beszédelemek címkézésével vagy funkciók hozzáadásával javíthatja a LUIS-alkalmazás teljesítményét.