Testen eines Agents

Wichtig

Einige Informationen in diesem Artikel beziehen sich auf ein vorab veröffentlichtes Produkt, das vor der kommerziellen Veröffentlichung möglicherweise erheblich geändert wird. Microsoft übernimmt mit diesen Informationen keinerlei Gewährleistung, sei sie ausdrücklich oder konkludent.

In diesem Artikel erfahren Sie, wie Sie den von Ihnen erstellten Agent oder seine Tools in Security Copilot testen.

Sie müssen Ihren Agent in einem Benutzer- oder Arbeitsbereichsbereich veröffentlichen, um Ihren Agent zu testen. Die Testphase ist eine Iterations- und Verbesserungsschleife: Konfigurieren Sie den Agent, rufen Sie ihn mit Beispieleingaben auf, oder verwenden Sie die Autotune-Anweisungsoptimierung, beobachten Sie das Verhalten oder die Ausgabe, und verfeinern Sie das YAML-Manifest nach Bedarf basierend auf den beobachteten Ergebnissen.

Voraussetzungen

Das Plug-In ist eine Sammlung verwandter Tools, die Benutzer in Security Copilot aktivieren können, die erweitern, was ein Agent tun kann, indem er ihm Zugriff auf Ressourcen außerhalb eines Agents und LLM gibt.

• Stellen Sie sicher, dass die erforderlichen Plug-Ins aktiviert sind. Sie können sie im Abschnitt Erforderliche Plug-Ins auf der Registerkarte > Test aktivieren.

• Wählen Sie Plug-In aktivieren aus, wenn das Plug-In nicht aktiviert ist. Wählen Sie beispielsweise für das Microsoft Threat Intelligence-Plug-In die Option Plug-In aktivieren für Microsoft Threat Intelligenceaus.

  

Schritte zum Testen eines Agents

Die Schritte zum Testen des Agents sind wie folgt:

1. Veröffentlichen Sie den Agent in einem Benutzer- oder Arbeitsbereichsbereich.

2. Wechseln Sie im oberen Navigationsbereich zur Registerkarte Test .

   

3. Auf der Seite Tools ihres Agents testen:

   • Wählen Sie in der Dropdownliste den Agent oder das Tool aus.

   • Geben Sie Eingaben für den Agent oder das Tool an, falls konfiguriert.

4. Gehen Sie im Abschnitt Anweisungsoptimierung wie unten beschrieben vor:

   • Wenn aktiviert (optional) empfiehlt die Autotune-Anweisungsoptimierung optimierte Agent-Anweisungen basierend auf der erwarteten Ausgabe. Es automatisiert den iterativen Prozess des Aktualisierens, Testens und Verfeinerns von Agent-Anweisungen über eine Auswertungsschleife. Autotune überprüft die Anweisungen und Optimierungen des Agents, um die KI-Qualitätsbewertung zu erhöhen, damit der Agent wie erwartet funktioniert.

   • Je nach ausgewähltem Tooltyp können Sie anweisungen für die zutestzwecken erwartete Ausgabe in natürlicher Sprache (Natural Language, NL) bereitstellen. Geben Sie eine detaillierte Ausgabe des Agents an, wie Sie erwarten, dass sich der Agent verhält.

     

5. Wählen Sie Test ausführen aus, um Testergebnisse zu generieren.

   • Die Ausgabe des Agents ist das Ergebnis des Tests.

   • Wenn die Optimierung von Autotune-Anweisungen aktiviert ist, werden Bewertungen und empfohlene Anweisungen basierend auf der erwarteten Ausgabe bereitgestellt.

6. Nachdem die Autotune-Anweisungsoptimierung ausgeführt wurde, falls aktiviert:

   • Die Analyse der Autotune-Anweisungsoptimierung wird bereitgestellt, die die Qualitätsbewertungen enthält.

   • Die Ergebnisse umfassen empfohlene Anweisungen und Bewertungsdifferenzierung zwischen aktuellen Anweisungen und empfohlenen Anweisungen zur Autotune-Anweisungsoptimierung sowie Überlegungen.

   • Sie können die bereitgestellten Anweisungen zur Autotune-Anweisungsoptimierung kopieren und in ihren Agent einfügen.

   • Scrollen Sie im Bereich Test nach unten, um die für Autotune optimierten Ergebnisse anzuzeigen. Fügen Sie diese in die Anweisungen im Toolkonfigurationsformular ein, indem Sie zur Registerkarte Erstellen navigieren.

     

7. Wählen Sie Aktivitätszuordnung aus, wenn Sie den Workflow für die Agentausführung anzeigen möchten. Wählen Sie den jeweiligen Knoten aus, um die Details anzuzeigen.

8. Sobald Sie nach dem Testen mit der Antwort und Funktionalität des Agents zufrieden sind, veröffentlichen Sie den Agent im Arbeitsbereichsbereich. Der Agent wird in Aktiven Agents veröffentlicht.

   Hinweis

   Autotune ist derzeit in zwei Regionen verfügbar: USA und EU. Es wird in Kürze auf andere Regionen ausgeweitet.

Versionsverwaltungs-Agent

1. Wenn Sie den Agent mit demselben Namen veröffentlichen, wird der vorherige Agent überschrieben.

2. Wenn Sie den Agent mit einem neuen Namen veröffentlichen, wird ein neuer Agent erstellt.

Agent löschen

1. Sie können in der Eingabeaufforderungsleiste > zu Quellenverwalten in Security Copilot navigieren und den Agent löschen.

2. Drittanbieterpartner: Sie müssen zum Sicherheitsspeicher wechseln, um sie zu löschen.

Agent bearbeiten

Sie können Ihren benutzerdefinierten Agent bearbeiten, indem Sie eine der folgenden Optionen auswählen:

1. Navigieren Sie zum Menü Erstellen.

2. Zeigen Sie unter Meine Agents die Agents an, die Sie im Benutzerbereich (Nur Sie) oder Arbeitsbereichsbereich erstellt und veröffentlicht haben.

3. Schalten Sie Für mich sichtbar ein , um zwischen Agents, die Sie im Benutzerbereich veröffentlicht haben, von Agents zu unterscheiden, die Sie für alle Benutzer im Arbeitsbereich veröffentlicht haben.

4. Wählen Sie ihren Agent zum Bearbeiten aus, oder suchen Sie nach ihrem Agent, der bearbeitet werden soll.

   

5. Die Agentdetails werden auf der Übersichtsseite des Agents aufgefüllt.

6. Wählen Sie Veröffentlichen aus, nachdem Sie die Änderungen an Ihrem Agent vorgenommen haben.

   Hinweis

   Sie können auch zur oberen Navigationsleiste wechseln und die Dropdownliste auswählen, um den Agent zu bearbeiten.