Eigenständige Tools zur Computernutzung zu Agenten und Agent-Flows hinzufügen (Vorschau)

[Dieser Artikel ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]

Das eigenständige Computerverwendungstool ist eine modulare Version des lokalen In-Agent-Computer-Verwendungstools (gehostet von und an einen Agent gebunden). Sie können es als lokales Tool in einen Agent kopieren oder als Knoten zu einem Agentablauf hinzufügen. Mithilfe dieses eigenständigen Tools können Sie KI-gesteuerte Automatisierungen erstellen, testen und steuern, die mit digitalen Schnittstellen interagieren. Nachdem Sie das eigenständige Computerverwendungstool veröffentlicht haben, können Sie es über mehrere Agents und Agentflüsse hinweg wiederverwenden und so eine zentrale Möglichkeit zum Verwalten komplexer UI-basierter Aufgaben bieten.

Mit dem eigenständigen Computerverwendungstool können Sie folgende Aktionen ausführen:

  • Erstellen Sie modulare und wiederverwendbare Automatisierungsbausteine.
  • Führen Sie intelligente UI-Interaktionen basierend auf Anweisungen in natürlicher Sprache aus.
  • Zentralisieren Sie die Governance, indem Sie zulässige Anwendungen und Websites definieren.
  • Überwachen Sie die Ausführung mithilfe originalgetreuer Sitzungswiedergaben und detaillierter Aktivitätsprotokolle.
  • Integrieren Sie menschliche Aufsicht für sensible oder komplexe Aufgaben.

Important

Dieser Artikel enthält die Vorschaudokumentation von Microsoft Copilot Studio und kann geändert werden.

Vorschaufunktionen sind nicht für den Produktionsgebrauch gedacht und verfügen möglicherweise über eingeschränkte Funktionalität. Diese Funktionen stehen vor dem offiziellen Release zur Verfügung, damit Sie früher Zugriff darauf erhalten und Feedback geben können.

Wenn Sie einen produktionsreifen Agenten erstellen, finden Sie weitere Informationen unter Übersicht über Microsoft Copilot Studio.

Erstellen eines eigenständigen Computerverwendungstools

Note

Computerverwendung als eigenständiges Tool wird derzeit in unterstützten Regionen eingeführt und ist möglicherweise noch nicht in Ihrer Region verfügbar.

  1. Wählen Sie in Copilot Studio auf der Seitenleiste Tools aus. Die Seite Tools wird angezeigt. Weitere Informationen finden Sie auf der Seite "Tools" unter "Gemeinsame Tools verwenden".

  2. Wählen Sie "Neues Tool" aus. Der Bereich "Neues Tool " wird angezeigt.

  3. Wählen Sie Computernutzung aus. Die Konfigurationsseite wird mit der Registerkarte " Designer " im Fokus angezeigt.

  4. Wechseln Sie zur Registerkarte " Übersicht ".

    1. Wählen Sie " Bearbeiten" auf der Kachel "Details " aus. Der Bereich „Details zur Computernutzung bearbeiten“ wird angezeigt.

    2. Geben Sie einen Namen und eine Beschreibung für Ihr Tool ein. Diese Details helfen anderen Herstellern zu verstehen, wann dieses Tool in ihren Flüssen verwendet werden soll.

    3. Klicken Sie auf Speichern.

  5. Wechseln Sie zur Registerkarte "Designer ".

    1. Wählen Sie das gewünschte Modell für dieses Tool aus.

    2. Geben Sie Anweisungen ein, und definieren Sie Parameter.

  6. Wenn Die Konfiguration abgeschlossen ist, wählen Sie "Veröffentlichen" aus. Wählen Sie alternativ " Entwurf speichern " aus, wenn Sie nicht bereit sind, dieses Tool zu veröffentlichen.

Konfigurieren eines eigenständigen Computerverwendungstools

Die Schnittstelle zum Konfigurieren eines eigenständigen Tools für die Computerverwendung ist in drei Registerkarten angeordnet, die Ihnen bei der Verwaltung des Lebenszyklus und der Observierbarkeit Ihrer Automatisierung helfen.

Übersicht

Die Registerkarte "Übersicht " fungiert als Identitätskarte für das Tool. Verwenden Sie diese Registerkarte, um:

  • Verwalten Sie die Metadaten des Tools, z. B. den Namen und die Beschreibung des Tools.
  • Zeigen Sie den aktuellen Publikationsstatus an.
  • Überwachen Sie die letzten Ausführungsläufe, um schnell zu sehen, wie das Tool in den neuesten Ausführungen ausgeführt wurde.

Designer

Auf der Registerkarte "Designer " erstellen Sie die Logik Ihres Tools.

  • Modell: Wählen Sie das Modell aus, das die Automatisierung unterstützt.
  • Anweisungen: Schreiben Sie die Anleitungen in natürlicher Sprache, die die KI zum Ausführen von UI-Aufgaben folgt.
  • Test: Verwenden Sie die integrierte Sandbox, um Ihre Anweisungen auszuführen und zu sehen, wie die KI in Echtzeit reagiert.
  • Parameter: Definieren Sie Eingabe- und Ausgabeparameter, um Daten an das Tool zu übergeben, oder extrahieren Sie Ergebnisse für nachgeschaltete Schritte in einem Fluss.
  • Gespeicherte Anmeldeinformationen: Die Authentifizierung für die Websites oder Apps, auf die das Tool zugreifen muss, sicher konfigurieren.
  • Zulässige Websites und Desktop-Apps: Definieren Einer Zulassungsliste bestimmter Websites und Anwendungen, mit denen das Tool interagieren darf.
  • Menschliche Aufsicht: Lösen Sie Benachrichtigungen für Menschen in der Schleife für Schritte aus, die eine manuelle Überprüfung oder weitere Informationen erfordern.

Activity

Die Registerkarte "Aktivität" bietet tiefe Einblicke für die Fehlerbehebung und Optimierung. Sie listet alle Läufe aus den letzten 28 Tagen auf. Für jede Ausführung können Sie Folgendes überprüfen:

  • Sitzungswiedergabe: Sehen Sie sich eine Aufzeichnung der Interaktion der KI mit der Schnittstelle an.
  • Screenshots: Überprüfen Sie jeden Bildschirm, der während der Ausführung erfasst wurde.
  • Schrittprotokolle: Sehen Sie sich die genaue Abfolge der vom Tool ausgeführten Aktionen an.
  • Metriken: Analysieren der Ausführungszeit und Erfolgsraten.

Integrationsverhalten

Sie können ein Computerverwendungstool in verschiedenen Teilen der Plattform verwenden. Das Verhalten des Tools hängt davon ab, wie Sie es hinzufügen.

Integrationsmethode Behavior Lifecycle
Hinzufügen zu einem Agent (als lokales Tool) Das Tool wird in die lokalen Tools des Agenten kopiert. Unabhängig: Änderungen am ursprünglichen eigenständigen Tool wirken sich nicht auf die Version des Agenten aus.
Zu einem Agentenablauf hinzufügen (als Knoten) Auf das Tool wird als modularer Knoten verwiesen . Verknüpft: Der Ablauf verwendet immer die neueste veröffentlichte Version des eigenständigen Werkzeugs.

Ein eigenständiges Tool zur Computernutzung zu einem Agenten-Workflow hinzufügen

Important

  • Sie können nur eigenständige Tools für die Computernutzung zu Agent-Workflows hinzufügen. Sie können sie noch nicht zu Workflows hinzufügen.
  • Agent-Flows können nur auf veröffentlichte eigenständige Tools zur Computernutzung zugreifen. Agentabläufe lösen immer die neueste veröffentlichte Version aus.

  1. Wählen Sie in Copilot Studio Flows auf der Seitenleiste aus.

  2. Wählen Sie den gewünschten Agentenablauf aus. Die Registerkarte "Übersicht" für den ausgewählten Agentfluss wird angezeigt.

  3. Wechseln Sie zur Registerkarte "Designer ".

  4. Wählen Sie das Symbol " Neue Aktion einfügen" an der Stelle im Agentfluss aus, an der Sie das eigenständige Computerverwendungstool aufrufen möchten. Der Bereich „Aktion hinzufügen“ wird angezeigt.

  5. Wählen Sie unter "KI-Funktionen" die Option "Computerverwendungstool ausführen" aus. Der Aktionsknoten „Tool zur Computernutzung ausführen“ wird im Ablauf angezeigt.

  6. Wenn Sie noch keine Computer-Use-Verbindung haben, wird die Karte Neue Verbindung erstellen angezeigt:

    1. Wählen Sie für Connect den gewünschten Verbindungstyp aus: Computer oder gehosteter Browser.
    2. Geben Sie die erforderlichen Informationen an, und wählen Sie "Neu erstellen" aus.

  7. Wählen Sie das gewünschte Tool für die Computerverwendung aus.

  8. Wenn das ausgewählte Computerverwendungstool Eingaben enthält, geben Sie statische oder dynamische Werte an.

Tip

Im Aktionsknoten Tool „Computernutzung ausführen“ können Sie Folgendes tun:

  • Erstellen Sie ein neues Computerverwendungstool, indem Sie in der Toolliste "Computer verwenden" die Option "Erstellen" auswählen.
  • Bearbeiten Sie das ausgewählte Computerverwendungstool, indem Sie "Bearbeiten" auswählen.
  • Aktualisieren Sie die Toolliste ihres Computers, indem Sie das Symbol "Aktualisieren" auswählen.

Fügen Sie einem Agenten ein eigenständiges Tool für die Computernutzung hinzu

Note

Wenn Sie einem Agent ein eigenständiges Computerverwendungstool hinzufügen, erstellen Sie eine unabhängige Kopie, die in diesen Agent eingebettet ist. Updates für das eigenständige Tool wirken sich nicht auf die Kopie des Agents aus, und umgekehrt.

  • Auf der Seite „Extras“:

    1. Wählen Sie in Copilot Studio auf der Seitenleiste Tools aus. Die Seite Tools wird angezeigt.

    2. Wählen Sie die drei Punkte (…) neben dem Tool für die Computernutzung aus, das Sie verwenden möchten, und wählen Sie dann Zu Agent hinzufügen aus. Der Bereich Zu einem Agent hinzufügen wird angezeigt.

    3. Wählen Sie den gewünschten Agent und dann "Hinzufügen" aus. Der Bereich Tool hinzufügen wird angezeigt.

    4. Wählen Sie "Hinzufügen" und "Konfigurieren" aus. Die Konfigurationsseite für die lokale Kopie Ihres Tools wird angezeigt.

    5. Ändern Sie bei Bedarf die Konfiguration, und wählen Sie dann "Speichern" aus.

    6. Kehren Sie zur Seite "Extras " für Ihren Agenten zurück, und beachten Sie, dass die Liste das soeben hinzugefügte Computerverwendungstool enthält.

  • Von der Seite "Agent" aus:

    1. Wählen Sie in Copilot Studio auf der Seitenleiste Agents aus. Die Seite "Agents" wird angezeigt.

    2. Wählen Sie den gewünschten Agent aus.

    3. Gehen Sie zur Seite Tools für Ihren Agenten.

    4. Wählen Sie Ein Tool hinzufügen aus. Der Bereich Tool hinzufügen wird angezeigt.

    5. Wählen Sie den Filter Tool zur Computernutzung aus.

    6. Wählen Sie das gewünschte Tool für die Computerverwendung aus, und wählen Sie dann "Hinzufügen und Konfigurieren" aus. Die Konfigurationsseite für die lokale Kopie Ihres Tools wird angezeigt.

    7. Ändern Sie bei Bedarf die Konfiguration, und wählen Sie dann "Speichern" aus.

    8. Kehren Sie zur Seite "Extras " für Ihren Agenten zurück, und beachten Sie, dass die Liste das soeben hinzugefügte Computerverwendungstool enthält.

Häufig gestellte Fragen

Wann sollte ich ein eigenständiges Tool im Vergleich zu einem lokalen Agent-Tool verwenden?

Verwenden Sie das eigenständige Tool zur Computernutzung, wenn Sie eine zentrale verlässliche Informationsquelle für eine bestimmte Agenten-Flow-Automatisierung erstellen möchten, die von mehreren Flows verwendet werden muss. Beispiel: "Spesenabrechnung übermitteln". Verwenden Sie ein lokales agenteninternes Tool zur Computernutzung (dupliziert), wenn die Automatisierung eine nichtdeterministische Orchestrierung erfordert, die vom Agenten selbst gesteuert wird.

Wie behandelt das Tool Sicherheit und Zugriff?

Das eigenständige Tool verwendet zwei Schutzebenen:

  • Anmeldeinformationen: Verschlüsselter Speicher für Anmeldedaten.
  • Governance: Eine harte Einschränkung (Zulassungsliste), die verhindert, dass die KI zu nicht autorisierten URLs oder Anwendungen navigiert, unabhängig von den bereitgestellten Anweisungen.

Kann ich sehen, was die KI während einer Ablaufausführung getan hat?

Ja. Auf der Registerkarte "Aktivität " für das eigenständige Tool werden die Sitzungsaufzeichnungen für die letzten 28 Tage aufgelistet. Diese Aufzeichnungen zeigen Ihnen jeden Klick und jeden Tastendruck, den die KI ausgeführt hat, und sorgen so für vollständige Transparenz und einfacheres Debugging.

Warum ist ein Modell in meiner Region nicht verfügbar?

Anthropic-Modelle sind derzeit in China nicht verfügbar. Chinesische Benutzer sollten die OpenAI-Modelle verwenden.

Verwandte Inhalte

  • Last updated on