Udostępnij za pośrednictwem

Testowanie wsadowe z zestawem przykładowych wypowiedzi

  • Artykuł

Ważne

Usługa LUIS zostanie wycofana 1 października 2025 r. i od 1 kwietnia 2023 r. nie będzie można utworzyć nowych zasobów usługi LUIS. Zalecamy migrację aplikacji LUIS do interpretacji języka konwersacyjnego, aby korzystać z ciągłej pomocy technicznej i wielojęzycznych możliwości produktów.

Testowanie wsadowe weryfikuje aktywną wytrenowana wersję w celu mierzenia dokładności przewidywania. Test wsadowy ułatwia wyświetlenie dokładności każdej intencji i jednostki w aktywnej wersji. Przejrzyj wyniki testu wsadowego, aby podjąć odpowiednie działania w celu zwiększenia dokładności, takie jak dodanie kolejnych przykładowych wypowiedzi do intencji, jeśli aplikacja często nie może zidentyfikować poprawnej intencji lub etykiet jednostek w wypowiedzi.

Grupowanie danych na potrzeby testu wsadowego

Ważne jest, aby wypowiedzi używane do testowania wsadowego były nowe w usłudze LUIS. Jeśli masz zestaw danych wypowiedzi, podziel wypowiedzi na trzy zestawy: przykładowe wypowiedzi dodane do intencji, wypowiedzi odebrane z opublikowanego punktu końcowego i wypowiedzi używane do testowania wsadowego usługi LUIS po wytrenowanym.

Używany plik JSON wsadowy powinien zawierać wypowiedzi z jednostkami uczenia maszynowego najwyższego poziomu oznaczonymi etykietami, w tym pozycją początkową i końcową. Wypowiedzi nie powinny być częścią przykładów już w aplikacji. Powinny to być wypowiedzi, które chcesz pozytywnie przewidzieć dla intencji i jednostek.

Testy można oddzielić od intencji i/lub jednostki lub wszystkie testy (do 1000 wypowiedzi) w tym samym pliku.

Typowe błędy podczas importowania partii

Jeśli wystąpią błędy podczas przekazywania pliku wsadowego do usługi LUIS, sprawdź następujące typowe problemy:

  • Więcej niż 1000 wypowiedzi w pliku wsadowym
  • Obiekt JSON wypowiedzi, który nie ma właściwości jednostek. Właściwość może być pustą tablicą.
  • Wyrazy oznaczone etykietą w wielu jednostkach
  • Etykiety jednostek zaczynają się lub kończą na spacji.

Naprawianie błędów wsadowych

Jeśli występują błędy podczas testowania wsadowego, możesz dodać więcej wypowiedzi do intencji i/lub oznaczyć więcej wypowiedzi za pomocą jednostki, aby ułatwić usłudze LUIS dyskryminację intencji. Jeśli dodano wypowiedzi i oznaczono je etykietami i nadal występują błędy przewidywania podczas testowania wsadowego, rozważ dodanie funkcji listy fraz ze słownictwem specyficznym dla domeny, aby ułatwić usłudze LUIS szybsze uczenie się.

Testowanie wsadowe przy użyciu portalu usługi LUIS

Importowanie i trenowanie przykładowej aplikacji

Zaimportuj aplikację, która przyjmuje zamówienie pizzy, takie jak 1 pepperoni pizza on thin crust.

  1. Pobierz i zapisz plik JSON aplikacji.

  2. Zaloguj się do portalu usługi LUIS i wybierz zasób Subskrypcja i Tworzenie, aby wyświetlić aplikacje przypisane do tego zasobu tworzenia.

  3. Wybierz strzałkę obok pozycji Nowa aplikacja i kliknij pozycję Importuj jako kod JSON , aby zaimportować kod JSON do nowej aplikacji. Nadaj aplikacji Pizza appnazwę .

  4. Wybierz pozycję Trenuj w prawym górnym rogu nawigacji, aby wytrenować aplikację.

Role w testowaniu wsadowym

Uwaga

Role jednostek nie są obsługiwane w testach wsadowych.

Plik testowy usługi Batch

Przykładowy kod JSON zawiera jedną wypowiedź z jednostką oznaczoną etykietą, aby zilustrować wygląd pliku testowego. We własnych testach należy mieć wiele wypowiedzi z prawidłową intencją i jednostką uczenia maszynowego oznaczoną etykietą.

  1. Utwórz pizza-with-machine-learned-entity-test.json w edytorze tekstów lub pobierz go.

  2. W pliku wsadowym sformatowanym w formacie JSON dodaj wypowiedź z intencją , którą chcesz przewidzieć w teście.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Uruchamianie partii

  1. Wybierz pozycję Testuj na górnym pasku nawigacyjnym.

  2. Wybierz panel testowania usługi Batch w panelu po prawej stronie.

    Link do testowania wsadowego

  3. Wybierz Importuj. W wyświetlonym oknie dialogowym wybierz pozycję Wybierz plik i znajdź plik JSON z poprawnym formatem JSON, który nie zawiera więcej niż 1000 wypowiedzi do przetestowania.

    Błędy importu są zgłaszane na czerwonym pasku powiadomień w górnej części przeglądarki. Jeśli import zawiera błędy, nie jest tworzony żaden zestaw danych. Aby uzyskać więcej informacji, zobacz Typowe błędy.

  4. Wybierz lokalizację pizza-with-machine-learned-entity-test.json pliku.

  5. Nadaj zestawowi danych pizza test nazwę i wybierz pozycję Gotowe.

  6. Wybierz przycisk Run (Uruchom).

  7. Po zakończeniu testu wsadowego można zobaczyć następujące kolumny:

    Kolumna opis
    Stan Stan testu. Zobacz wyniki są widoczne tylko po zakończeniu testu.
    Nazwisko Nazwa nadana testowi.
    Rozmiar Liczba testów w tym pliku testu wsadowego.
    Ostatnie uruchomienie Data ostatniego uruchomienia tego pliku testowego wsadowego.
    Ostatni wynik Liczba pomyślnych przewidywań w teście.

  8. Aby wyświetlić szczegółowe wyniki testu, wybierz pozycję Zobacz wyniki.

    Napiwek

    • Wybranie pozycji Pobierz spowoduje pobranie tego samego pliku, który został przekazany.
    • Jeśli test wsadowy nie powiedzie się, co najmniej jedna intencja wypowiedzi nie pasuje do przewidywania.

Przeglądanie wyników wsadowych dla intencji

Aby przejrzeć wyniki testu wsadowego, wybierz pozycję Zobacz wyniki. Wyniki testu pokazują graficznie, jak przewidywano wypowiedzi testowe względem aktywnej wersji.

Wykres wsadowy przedstawia cztery ćwiartki wyników. Po prawej stronie wykresu jest filtr. Filtr zawiera intencje i jednostki. Po wybraniu sekcji wykresu lub punktu na wykresie skojarzone wypowiedzi są wyświetlane poniżej wykresu.

Po umieszczeniu kursora na wykresie koło myszy może powiększyć lub zmniejszyć wyświetlanie na wykresie. Jest to przydatne, gdy na wykresie jest ściśle zgrupowanych wiele punktów.

Wykres znajduje się w czterech ćwiartkach, z dwoma sekcjami wyświetlanymi na czerwono.

  1. Wybierz intencję ModifyOrder na liście filtrów. Wypowiedź jest przewidywana jako wynik prawdziwie dodatnia , co oznacza, że wypowiedź została pomyślnie dopasowana do jego pozytywnego przewidywania wymienionego w pliku wsadowym.

    Wypowiedź pomyślnie dopasowała swoją pozytywną prognozę

    Zielone znaczniki wyboru na liście filtrów wskazują również powodzenie testu dla każdej intencji. Wszystkie inne intencje są wyświetlane z wynikiem dodatnim 1/1, ponieważ wypowiedź została przetestowana względem każdej intencji, jako negatywny test dla żadnych intencji, które nie zostały wymienione w teście wsadowym.

  2. Wybierz intencję Potwierdzenie . Ta intencja nie jest wymieniona w teście wsadowym, dlatego jest to negatywny test wypowiedzi wymienionej w teście wsadowym.

    Wypowiedź pomyślnie przewidziała ujemną wartość dla intencji nieznajdowanej na liście w pliku wsadowym

    Test ujemny zakończył się pomyślnie, jak zanotowano z zielonym tekstem w filtrze i siatką.

Przeglądanie wyników testu wsadowego dla jednostek

Jednostka ModifyOrder, jako jednostka maszyny z podentyczami, wyświetla, czy jednostka najwyższego poziomu jest zgodna i jak są przewidywane podentacje.

  1. Wybierz jednostkę ModifyOrder na liście filtrów, a następnie wybierz okrąg w siatce.

  2. Przewidywanie jednostek jest wyświetlane poniżej wykresu. Na wyświetlaczu znajdują się linie stałe dla przewidywań, które pasują do oczekiwań i kropkowanych wierszy dla przewidywań, które nie pasują do oczekiwań.

    Element nadrzędny jednostki został pomyślnie przewidział w pliku wsadowym

Filtrowanie wyników wykresu

Aby filtrować wykres według określonej intencji lub jednostki, wybierz intencję lub jednostkę w panelu filtrowania po prawej stronie. Punkty danych i ich dystrybucja są aktualizowane na wykresie zgodnie z wyborem.

Wizualizowanie wyniku testu wsadowego

Przykłady wyników wykresu

Wykres w portalu usługi LUIS można wykonać następujące czynności:

Wyświetlanie danych wypowiedzi pojedynczego punktu

Na wykresie umieść wskaźnik myszy na punkcie danych, aby zobaczyć wynik pewności przewidywania. Wybierz punkt danych, aby pobrać odpowiednią wypowiedź na liście wypowiedzi w dolnej części strony.

Wybrana wypowiedź

Wyświetlanie danych sekcji

Na wykresie z czterema sekcjami wybierz nazwę sekcji, taką jak Wynik fałszywie dodatni w prawym górnym rogu wykresu. Poniżej wykresu wszystkie wypowiedzi w tej sekcji są wyświetlane poniżej wykresu na liście.

Wybrane wypowiedzi według sekcji

Na powyższym obrazie wypowiedź switch on jest oznaczona intencją TurnAllOn, ale otrzymała przewidywanie intencji None. Jest to wskazanie, że intencja TurnAllOn potrzebuje więcej przykładowych wypowiedzi w celu przewidywania oczekiwanego.

Dwie sekcje wykresu na czerwono wskazują wypowiedzi, które nie pasują do oczekiwanego przewidywania. Wskazują one na wypowiedzi, których usługa LUIS potrzebuje więcej szkoleń.

Dwie sekcje wykresu na zielono pasują do oczekiwanego przewidywania.

Następne kroki

Jeśli testowanie wskazuje, że aplikacja usługi LUIS nie rozpoznaje prawidłowych intencji i jednostek, możesz pracować nad zwiększeniem wydajności aplikacji LUIS przez etykietowanie większej liczby wypowiedzi lub dodawanie funkcji.