Batchtests für Prompts (Vorschauversion)

Note

In diesem Artikel werden Funktionen beschrieben, die in Agents oder Agent-Flows verwendet werden, die von der Standardumgebung unterstützt werden.

[Dieses Thema ist eine Vorabdokumentation und kann geändert werden.]

Mit Eingabeaufforderungen können Sie benutzerdefinierte generative KI-Tools für Unternehmensautomatisierung und -agents erstellen. Die Sicherstellung der Genauigkeit, Zuverlässigkeit und Effizienz dieser Tools ist von entscheidender Bedeutung. Batchtests von Eingabeaufforderungen sind so konzipiert, dass Sie Aufforderungen überprüfen und verbessern können, die in KI-Tools auf der gesamten Plattform verwendet werden.

Important

• Hierbei handelt es sich um eine produktionsbereite Previewfunktion.
• Für produktionsbereite Vorschauversionen gelten zusätzliche Nutzungsbedingungen.
• Aufforderungen werden auf GPT-Modellen ausgeführt, die von Azure OpenAI Service unterstützt werden.
• Diese Funktion ist möglicherweise noch nicht in Ihrer Region verfügbar. Weitere Informationen finden Sie im Abschnitt Prompts unter Verfügbarkeit von Funktionen nach Region oder US Government-Umgebung.
• Für diese Funktion gelten möglicherweise Nutzungsbeschränkungen oder Kapazitätseinschränkungen.

Kernfunktionen von Batchtests

Batchtests bieten einen systematischen Ansatz für die Überprüfung von Eingabeaufforderungen für verschiedene Datasets. Sie haben folgende Möglichkeiten:

• Laden Sie Test-Datasets für eine umfassende Auswertung hoch oder generieren Sie sie.
• Definieren Sie Bewertungskriterien für die Bewertung der Testergebnisse.
• Führen Sie Batchtests aus, um das Eingabeaufforderungsverhalten im gesamten Test-Dataset zu bewerten.
• Vergleichen Sie die Ergebnisse im Laufe der Zeit, um eine kontinuierliche Verbesserung sicherzustellen.
• Überprüfen und anpassen Sie automatische Auswertungen, um die Ausrichtung an Ihre spezifischen Anforderungen sicherzustellen.

Eine Genauigkeitsbewertung wird basierend auf Testergebnissen berechnet, sodass Sie empirische Daten erhalten, um Ihren KI-Tools vertrauen zu können.

Anleitung zur Verwendung von Batchtests

Führen Sie die folgenden Schritte aus, um Batchtests für Ihre Eingabeaufforderungen einzurichten und auszuführen.

Definieren der Testfälle

1. Melden Sie sich bei Copilot Studio, Power Apps oder Power Automate an.

2. Greifen Sie auf die Liste der Aufforderungen zu:

   • Wählen Sie in Copilot Studio Tools aus, und filtern Sie dann nach Eingabeaufforderungen.
   • Wählen Sie in Power Apps und Power Automate AI hub aus.

3. Wähle neben dem Prompt-Namen die drei Punkte (...).

4. Wählen Sie den Testhub (Vorschau) aus.

   Hier ist ein Beispiel für die Anzeige "Tools" in Copilot Studio:

   

   In Copilot Studio sieht der Testhub wie der folgende Screenshot aus:

   

5. Fügen Sie Ihre Testfälle mithilfe einer der verfügbaren Optionen hinzu:

   • Hochladen: Ermöglicht ihnen das Hochladen von Testfällen mithilfe einer CSV-Datei. Wenn Sie das Format der Datei überprüfen möchten, die Sie hochladen müssen, wählen Sie "Testdatenschema herunterladen" aus.
   • KI-generieren: Ermöglicht Es Ihnen, Testfälle mithilfe von KI basierend auf Ihrer Aufforderung zu generieren.
   • Verwenden Sie Aktivitätsdaten: Ermöglicht Ihnen das Abrufen der letzten Aktivität, um mit den ersten Schritten zu beginnen.
   • Manuell hinzufügen: Ermöglicht Es Ihnen, Testfälle manuell zu erstellen.

   Mit einer der Optionen können Sie eine Liste der Testfälle erstellen, die Sie ausführen können:

   

Festlegen von Bewertungskriterien

1. Nachdem Sie die Testfälle erstellt haben, wählen Sie im Konfigurationsabschnitt auf der rechten Seite die Option "Kriterien konfigurieren" aus:

   

2. Definieren Sie die Bestehensnote, bei der es sich um die Mindestpunktzahl handelt, die zum Bestehen einer Antwort erforderlich ist.

3. Wählen Sie eines der folgenden vordefinierten Kriterien aus:

   • Antwortqualität: Testet Antworten auf Klarheit, Hilfreichkeit und Tonfall
   • Antwort-Übereinstimmungen: Testantworten auf bestimmte Wörter und Bedeutungen
   • JSON-Korrektheit: Testet, ob Antworten Ihrem Datenschema entsprechen

   

   Diese Kriterien und das zum Bestehen erforderliche Ergebnis bestimmen, wie die Ausgaben der Testfälle während des Auswertungsprozesses bewertet werden.

Ausführen von Batchtests

1. Wählen Sie im Bildschirm "Testfälle" "Alle ausführen", um die Auswertung für alle Testfälle durchzuführen, oder wählen Sie die auszuführenden Testfälle und "Ausgewählte ausführen".

   

   Der Testhub wertet Ergebnisse anhand der definierten Kriterien aus und liefert Einblicke in die Leistung der Aufforderung.

2. Sobald die Auswertung der Testfälle abgeschlossen ist, wird der Ergebnisbildschirm angezeigt:

   

3. Um auf frühere Auswertungsläufe zuzugreifen, wählen Sie oben auf dem Bildschirm in Copilot Studio den Eingabeaufforderungsnamen aus, oder wählen Sie den Ausführungsverlauf in Power Apps oder Power Automate aus.

   

4. Um Details anzuzeigen, wählen Sie den Bewertungslauf aus.

Der Ausführungsverlauf ermöglicht Es Ihnen, Testergebnisse im Laufe der Zeit zu überwachen und zu analysieren, einschließlich:

• Verfolgen des Fortschritts der Genauigkeitspunktzahl über mehrere Testläufe hinweg.
• Vergleichen Sie Ergebnisse aus verschiedenen Läufen, um Trends oder Regressionen zu identifizieren.
• Zugriff auf Details, warum ein bestimmtes Testergebnis als bestanden oder nicht bestanden eingestuft wurde, um weitere Informationen für die Diagnose bereitzustellen.

Wiederholen Sie die Auswertung von Testfällen und überwachen Sie alle signifikanten Änderungen zwischen den Ausführungsläufen.

Verwandte Informationen

• Häufig gestellte Fragen zu Prompts und Textgenerierungsfunktionen