Batchtests mit einem Satz von Beispieläußerungen

  • Artikel

Wichtig

LUIS wird am 1. Oktober 2025 eingestellt, und ab dem 1. April 2023 können Sie keine neuen LUIS-Ressourcen erstellen. Es wird die Migration Ihrer LUIS-Anwendungen zu Conversational Language Understanding empfohlen, um fortgesetzte Produktunterstützung und mehrsprachige Funktionen zu erhalten.

Mit Batchtests wird Ihre aktive trainierte Version überprüft, um ihre Vorhersagegenauigkeit zu messen. Ein Batchtest hilft Ihnen, die Genauigkeit der einzelnen Absichten und Entitäten in Ihrer aktuellen Version zu visualisieren. Überprüfen Sie die Ergebnisse des Batchtests, um geeignete Maßnahmen zum Verbessern der Genauigkeit einzuleiten, etwa indem Sie einer Absicht weitere Beispieläußerungen hinzufügen, wenn Ihre App häufig Fehler beim Erkennen der korrekten Absicht oder beim Bezeichnen von Entitäten innerhalb der Äußerung macht.

Gruppieren von Daten für Batchtests

Es ist wichtig, dass die für Batchtests verwendeten Äußerungen für LUIS neu sind. Wenn Sie über ein Dataset mit Äußerungen verfügen, teilen Sie die Äußerungen in die folgenden drei Gruppen auf: Beispieläußerungen, die einer Absicht hinzugefügt wurden, Äußerungen, die vom veröffentlichten Endpunkt empfangen wurden und Äußerungen, die für Batchtests von LUIS nach dem Training verwendet werden.

Die von Ihnen verwendete JSON-Batchdatei sollte Äußerungen mit bezeichneten Machine Learning-Entitäten der obersten Ebene enthalten, einschließlich Start- und Endposition. Die Äußerungen sollten nicht Teil der Beispiele sein, die bereits in der App enthalten sind. Es sollte sich um Äußerungen handeln, für die Sie in Bezug auf Absichten und Entitäten positive Vorhersagen treffen möchten.

Sie können Tests nach Absicht bzw. Entität unterteilen oder alle Tests (maximal 1.000 Äußerungen) in derselben Datei vorhalten.

Häufige Fehler beim Importieren eines Batches

Wenn beim Hochladen der Batchdatei in LUIS Fehler auftreten, überprüfen Sie, ob die folgenden häufig auftretenden Probleme vorliegen:

  • Mehr als 1.000 Äußerungen in einer Batchdatei
  • Ein JSON-Äußerungsobjekt ohne Entitätseigenschaft. Die Eigenschaft kann ein leeres Array sein.
  • Wörter, die in mehreren Entitäten bezeichnet werden
  • Entitätsbezeichnungen, die mit einem Leerzeichen beginnen oder enden

Beheben von Batchfehlern

Wenn im Batchtest Fehler auftreten, können Sie entweder weitere Äußerungen zu einer Absicht hinzufügen und/oder weitere Äußerungen mit der Entität bezeichnen, um LUIS bei der Unterscheidung zwischen Absichten zu unterstützen. Wenn Sie Äußerungen hinzugefügt und sie bezeichnet haben und trotzdem noch Vorhersagefehler beim Batchtest erhalten, erwägen Sie, ein Begriffslisten-Feature mit domänenspezifischem Fachwortschatz hinzuzufügen, um LUIS beim schnelleren Lernen zu unterstützen.

Batchtests im LUIS-Portal

Importieren und Trainieren einer Beispiel-App

Importieren Sie eine App, mit der eine Pizzabestellung angenommen wird, z. B. 1 pepperoni pizza on thin crust.

  1. Laden Sie die App-JSON-Datei herunter, und speichern Sie sie.

  2. Melden Sie sich beim LUIS-Portal an, und wählen Sie Ihr Abonnement und Ihre Erstellungsressource aus, um die Apps anzuzeigen, die dieser Erstellungsressource zugewiesen sind.

  3. Wählen Sie den Pfeil neben Neue App aus, und klicken Sie auf Als JSON importieren, um die JSON-Datei in eine neue App zu importieren. Benennen Sie die App Pizza app.

  4. Wählen Sie oben rechts im Navigationsbereich die Option Trainieren aus, um die App zu trainieren.

Rollen in Batchtests

Achtung

Entitätsrollen werden bei Batchtests nicht unterstützt.

Batchtestdatei

Der JSON-Beispielcode enthält eine Äußerung mit einer bezeichneten Entität, um darzustellen, wie eine Testdatei aussieht. Für Ihre eigenen Tests sollten Sie viele Äußerungen mit der richtigen Absicht und einer bezeichneten Machine Learning-Entität verwenden.

  1. Erstellen Sie pizza-with-machine-learned-entity-test.json in einem Text-Editor, oder laden Sie es herunter.

  2. Fügen Sie in der Batchdatei im JSON-Format eine Äußerung mit der Absicht hinzu, für die Sie im Test eine Vorhersage erhalten möchten.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Ausführen des Batchs

  1. Wählen Sie auf der oberen Navigationsleiste Test aus.

  2. Wählen Sie im rechten Bereich Batch testing panel (Batchtestbereich) aus.

    Link zum Testen in Batches

  3. Wählen Sie Importieren aus. Wählen Sie im daraufhin angezeigten Dialogfeld Datei auswählen aus, und suchen Sie eine JSON-Datei mit dem richtigen JSON-Format, die höchstens 1.000 zu testende Äußerungen enthält.

    Fehler beim Importieren werden auf einer roten Benachrichtigungsleiste am oberen Rand des Browsers gemeldet. Wenn ein Import Fehler aufweist, wird kein Dataset erstellt. Weitere Informationen finden Sie unter Häufige Fehler.

  4. Wählen Sie den Speicherort für die Datei pizza-with-machine-learned-entity-test.json aus.

  5. Versehen Sie das Dataset mit dem Namen pizza test, und klicken Sie auf Fertig.

  6. Wählen Sie die Schaltfläche Ausführen.

  7. Nach Abschluss des Batchtests werden die folgenden Spalten angezeigt:

    Spalte BESCHREIBUNG
    State Der Status des Tests. Ergebnisse anzeigen wird erst angezeigt, nachdem der Test abgeschlossen wurde.
    Name Der Name, den Sie dem Test gegeben haben.
    Size Die Anzahl der Tests in dieser Batchtestdatei.
    Zuletzt ausgeführt Das Datum der letzten Ausführung dieser Batchtestdatei.
    Letztes Ergebnis Die Anzahl erfolgreicher Vorhersagen im Test.

  8. Um detaillierte Ergebnisse des Tests anzuzeigen, wählen Sie Ergebnisse anzeigen aus.

    Tipp

    • Wenn Sie Download auswählen, wird dieselbe Datei heruntergeladen, die Sie hochgeladen haben.
    • Wenn Sie sehen, dass beim Batchtest ein Fehler aufgetreten ist, entsprach mindestens eine Absicht einer Äußerung nicht der Vorhersage.

Überprüfen der Batchergebnisse für Absichten

Wählen Sie zum Überprüfen der Batchtestergebnisse See results (Ergebnisse anzeigen) aus. Die Testergebnisse zeigen grafisch, wie die Testäußerungen für die aktive Version vorhergesagt wurden.

Das Batchdiagramm zeigt die Ergebnisse in vier Quadranten an. Rechts neben dem Diagramm befindet sich ein Filter. Der Filter enthält Absichten und Entitäten. Wenn Sie einen Diagrammabschnitt oder einen Punkt innerhalb des Diagramms auswählen, werden die zugehörigen Äußerungen unterhalb des Diagramms angezeigt.

Wenn Sie auf das Diagramm zeigen, können Sie mit dem Mausrad die Ansicht im Diagramm vergrößern oder verkleinern. Dies ist hilfreich, wenn es viele Punkte im Diagramm gibt, die nah beieinander gruppiert sind.

Das Diagramm ist in vier Quadranten unterteilt, von denen zwei in Rot angezeigt werden.

  1. Wählen Sie in der Filterliste die Absicht ModifyOrder aus. Die Äußerung wird als Richtig positiv vorhergesagt. Dies bedeutet, dass die Äußerung erfolgreich mit der zugehörigen positiven Vorhersage in der Batchdatei abgeglichen werden konnte.

    Erfolgreicher Abgleich der Äußerung mit der positiven Vorhersage

    Die grünen Häkchen in der Filterliste zeigen auch den Erfolg des Tests für jede Absicht an. Alle anderen Absichten sind mit einer positiven Bewertung von „1/1“ angegeben, da die Äußerung für jede Absicht getestet wurde – als negativer Test für alle Absichten, die im Batchtest nicht aufgeführt sind.

  2. Wählen Sie die Absicht Bestätigung aus. Diese Absicht ist im Batchtest nicht aufgelistet. Es handelt sich hierbei also um einen negativen Test der Äußerung aus dem Batchtest.

    Erfolgreiche negative Vorhersage für die Äußerung für eine nicht in der Batchdatei enthaltene Absicht

    Der negative Test war erfolgreich. Dies ist am grünen Text im Filter und am Raster zu erkennen.

Überprüfen der Ergebnisse von Batchtests für Entitäten

Die Entität „ModifyOrder“ als Computerentität mit Unterentitäten zeigt an, ob sich für die Entität der obersten Ebene eine Übereinstimmung ergibt und wie die Vorhersage für die Unterentitäten lautet.

  1. Wählen Sie in der Filterliste die Entität ModifyOrder und anschließend im Raster den Kreis aus.

  2. Die Entitätsvorhersage wird unterhalb des Diagramms angezeigt. Die Anzeige enthält durchgehende Linien für Vorhersagen, die der Erwartung entsprechen, und gepunktete Linien für Vorhersagen, die die Erwartung nicht erfüllen.

    Erfolgreiche Vorhersage des übergeordneten Entitätselements in der Bachdatei

Filtern von Diagrammergebnissen

Um das Diagramm nach einer bestimmten Absicht oder Entität zu filtern, wählen Sie die Absicht bzw. die Entität im Filterbereich rechts aus. Die Datenpunkte und ihre Verteilung im Diagramm werden entsprechend Ihrer Auswahl aktualisiert.

Visualisierte Batchtestergebnisse

Beispiele für Ergebnisse im Diagramm darstellen

Mit dem Diagramm im LUIS-Portal können Sie folgende Aktionen ausführen:

Anzeigen von Einzelpunkt-Äußerungsdaten

Zeigen Sie im Diagramm auf einen Datenpunkt, um die Bewertung seiner Vorhersage anzuzeigen. Wählen Sie einen Datenpunkt aus, um die zugehörige Äußerung in der Liste der Äußerungen am unteren Rand der Seite abzurufen.

Ausgewählte Äußerung

Anzeigen von Abschnittsdaten

Wählen Sie im Diagramm mit vier Abschnitten den Namen des Abschnitts aus, z.B. Falsch positive Ergebnisse rechts oben im Diagramm. Unter dem Diagramm werden alle Äußerungen in diesem Abschnitt in einer Liste angezeigt.

Ausgewählte Äußerungen nach Abschnitt

Im vorhergehenden Bild ist die Äußerung switch on mit der Absicht „TurnAllOn“ bezeichnet, erhielt jedoch als Vorhersage die Absicht „None“. Dies ist ein Hinweis darauf, dass für die Absicht „TurnAllOn“ weitere Beispieläußerungen erforderlich sind, um die erwartete Vorhersage zu treffen.

Die beiden Abschnitte des Diagramms in Rot weisen auf Äußerungen hin, bei denen die Vorhersage nicht mit der erwarteten übereinstimmte. Diese zeigen Äußerungen an, für die LUIS mehr Training benötigt.

In den beiden Abschnitten des Diagramms in Grün entsprach die Vorhersage der Erwartung.

Nächste Schritte

Wenn sich in Tests herausstellt, dass Ihre LUIS-App nicht die richtige Absichten und Entitäten erkennt, können Sie die Leistung Ihrer LUIS-App verbessern, indem Sie aktiv weitere Äußerungen bezeichnen oder Features hinzufügen.