Häufig gestellte Fragen zum Computerverwendungstool

Diese häufig gestellten Fragen (FAQ) bieten Einblicke in die Funktionen, Nutzung, Einschränkungen und Schutzmaßnahmen, die Sie beachten sollten, wenn Sie ihrem Copilot Studio-Agents das Computerverwendungstool hinzufügen.

Was ist das Computerverwendungstool?

Computer use ist ein Tool, das Sie Ihren Copilot Studio-Agenten hinzufügen können, die entwickelt wurden, um Aufgaben auf Websites und Anwendungen zu automatisieren. Sie stellen Aufgabenbeschreibungen in natürlicher Sprache bereit, und das Tool automatisiert Mausklicks und Tastaturaktionen entsprechend. Zum Beispiel könnten Sie das Tool anweisen, ein PDF zu öffnen und dessen Inhalt zum Ausfüllen eines Webformulars zu verwenden. Das Tool interpretiert den Bildschirm visuell und führt die erforderlichen Klicks und Tastenanschläge aus und emuliert menschliche Interaktionen.

Warnung

Die Computernutzung ist ein leistungsstarkes Tool, das Interaktionen über Websites und Desktopanwendungen automatisiert, aber auch wichtige Sicherheitsaspekte enthält. In einigen Fällen kann die KI unbeabsichtigte Aktionen aufgrund von mehrdeutigen Anweisungen oder unerwarteten Inhalten auf dem Bildschirm ausführen. Diese Aktionen können sich auf die Sicherheit Ihres Geräts, Ihrer Daten oder verbundenen Konten auswirken, einschließlich des Zugriffs auf persönliche, finanzielle oder Unternehmenssysteme.

Was kann das Computerwerkzeug tun?

Das Computerwerkzeug verarbeitet Bildschirmpixeldaten, um den Inhalt auf dem Bildschirm zu verstehen, und Aufgaben mit virtuellen Mausklicks und Tastatureingaben auszuführen. Das Tool kann mehrstufige Workflows verwalten, unerwartete Szenarien bewältigen und sich dynamisch an Bildschirmänderungen anpassen. Es kann verschiedene digitale Aufgaben ausführen, wie das Navigieren von Webseiten und das Ausfüllen von Formularen, ohne spezielle APIs zu benötigen.

Das Computerverwendungstool folgt einer iterativen Schleife basierend auf drei Schritten:

• Wahrnehmung: Es erfasst Screenshots, um den aktuellen Zustand des Computerbildschirms visuell zu verstehen.

• Begründung: Sie wertet den aktuellen Zustand, frühere Aktionen und Screenshots durch einen Gedankenkettenansatz aus, der es ermöglicht, seine Aktionen effektiv anzupassen.

• Aktion: Es führt Aktionen wie Klicken, Eingeben oder Scrollen aus, bis die Aufgabe abgeschlossen ist oder weitere Benutzereingaben erforderlich sind.

Was sind die beabsichtigten Anwendungsgebiete des Computer-Tools?

Das Computerverwendungstool soll Benutzerinteraktionen mit Websites und Anwendungen über eine virtuelle Maus und Tastatur automatisieren. Dies ist besonders hilfreich in Szenarien, in denen APIs nicht verfügbar sind.

Wie wurde das Tool zur Computernutzung bewertet? Welche Metriken werden verwendet, um die Leistung zu messen?

Das Computerverwendungstool wurde in allen Entwurfs-, Entwicklungs- und Bereitstellungsphasen streng anhand realer Szenarien bewertet. Die Bewertungsmethoden umfassten Forschung, Wirkungsstudien und Tests in verschiedenen Szenarien, um Genauigkeit, Nutzervertrauen und Nützlichkeit zu messen. Um eine hohe Leistung und ein positives Nutzererlebnis zu gewährleisten, überwacht das Team regelmäßig sowohl qualitative als auch quantitative Kennzahlen. Das Team stellt außerdem die Verfügbarkeit des Tools sicher, indem es festgelegte SLAs einhält.

Welche Einschränkungen gelten für das Computerverwendungstool? Wie können Nutzer die Auswirkungen der Einschränkungen des Computerwerkzeugs bei der Nutzung des Systems minimieren?

Die Computernutzung ist eine neuartige Technologie mit bekannten Sicherheitsrisiken und funktionalen Einschränkungen. Das Team befähigt dich, damit zu experimentieren. Diese frühzeitige Funktion ermöglicht die Automatisierung bestimmter computerbasierter Aufgaben, obwohl ihre Leistung je nach Anwendungsfall stark variiert. Um sie effektiv und verantwortungsvoll zu nutzen, verstehen Sie ihre aktuellen Einschränkungen.

Bekannte Einschränkungen

• Die Leistung variiert je nach Aufgabe und Anwendung. Zuverlässigkeit hängt von der Komplexität der Aufgaben, dem Design der Schnittstellen und dem Anwendungsverhalten ab.

• Empfindlich gegenüber Interface- und Zeitänderungen. Layoutänderungen, Ladeverzögerungen oder unerwartete Dialoge können für dieselbe Aufgabe unterschiedliche Ergebnisse erzielen.

• Schwierigkeiten mit bestimmten Steuerungen. Nicht-standardisierte oder dynamische Interface-Elemente wie Dropdowns, Datumswähler und benutzerdefinierte Widgets können schwierig in der Interaktion sein.

• Vielleicht wiederhole ich Aktionen oder bleibe stecken. Unerwartete Bildschirmzustände können dazu führen, dass der Agent in eine Schleife läuft oder keinen Fortschritt mehr macht.

• Herausforderungen mit komplexen Aufgaben. Aufgaben mit detaillierten grafischen Oberflächen oder komplexer Textbearbeitung sind möglicherweise weniger zuverlässig als einfache Aktionen.

• Nicht für sensible oder risikoreiche Anwendungsfälle. Zum Beispiel ist das Werkzeug nicht vorgesehen für:

  • Empfehlungen oder Bewertungen in sensiblen Bereichen wie Einstellung, Gesundheitswesen oder Finanzen.
  • Finanzielle Transaktionen tätigen.
  • Schädliche Handlungen wie Spam oder Fehlinformationen.
  • Daten außerhalb Ihrer Organisation ohne ordnungsgemäße Genehmigung zu teilen.

Wie man Einschränkungen minimiert

Um die Zuverlässigkeit zu verbessern, geben Sie klare, detaillierte Anweisungen bei der Konfiguration von Aufgaben, um Fehler zu reduzieren und die Erfolgsraten zu erhöhen.

Was ist das Merkmal der menschlichen Aufsicht?

Important

Computerverwendungsagenten können auf schädliche oder bösartige Anweisungen stoßen, die häufig als Prompt-Injection-Angriffe bezeichnet werden, bei denen versteckte Befehle in Screenshots, Webseiten oder anderen Eingaben versuchen, Aktionen auf unbeabsichtigte Weise zu beeinflussen. Um diese Risiken zu verringern, sollten Sie den Computer in vertrauenswürdigen, isolierten Umgebungen betreiben und robuste Validierungsprüfungen durchführen, bevor Sie Anweisungen ausführen.

Computerverwendungsläufe können auf Mehrdeutigkeit oder fehlende Informationen stoßen. Ein erforderlicher Wert ist z. B. nicht vorhanden oder mehrere Interpretationen sind plausibel. In diesen Fällen ermöglicht das Feature für die menschliche Überwachung dem den Computer nutzenden Agenten, die Ausführung zu pausieren und eine Klarstellungsanforderung an einen autorisierten und konfigurierten menschlichen Prüfer zu stellen. Reviewer können per E-Mail oder in Copilot Studio über die Aktivitätsübersicht eines Agentenlaufs antworten. Sobald der Agent, der den Computer verwendet, eine Antwort erhält, setzt er seine Ausführung auf der Map ab dem angehaltenen Schritt fort.

Zuverlässigkeit und Grenzwerte

Produktgestützte Evaluierungen deuten darauf hin, dass die Funktion zur menschlichen Überwachung im Allgemeinen erwartungsgemäß funktioniert, jedoch fehlschlagen oder sich auf eine Weise verhalten kann, die Nutzer möglicherweise nicht erwarten. Da Klarstellungsanforderungen durch das probabilistische Modellverhalten ausgelöst werden, werden sie möglicherweise nicht in jeder Situation ausgelöst, in der eine Person eine Pause wünschen würde. Sie können auch auslösen, wenn eine Pause nicht erforderlich ist. Sie sollten sich nicht auf Klarstellungsanforderungen als sicherheitsfehlersicher oder als Garantie verlassen, dass das System immer menschliche Eingaben anfordert, bevor Sie fortfahren.

Kein Mechanismus zur Durchsetzung benutzerdefinierter Regeln

Anforderungen für die menschliche Aufsicht garantieren nicht die Durchsetzung Ihrer definierten Regeln, Richtlinien oder Einschränkungen. Sie sollten für jedes mögliche Szenario mehr geeignete Steuerelemente anwenden (z. B. klare Anweisungen, eingeschränkte Umgebungen, Konten mit geringsten Berechtigungen, Zulassungslisten und andere betriebliche Schutzmaßnahmen), anstatt sich auf Klarstellungsanforderungen zu verlassen, um Informationen bereitzustellen oder unerwünschte Aktionen zu verhindern.

Welche Betrieblichen Faktoren und Einstellungen ermöglichen eine effektive und verantwortungsvolle Verwendung des Computerverwendungstools?

Das Computerverwendungstool führt am besten aus, wenn klare und detaillierte Benutzeranweisungen bereitgestellt werden. Benutzer sollten präzise Hinweise auf Website- oder Anwendungsinteraktionen geben, um die Zuverlässigkeit und Genauigkeit bei der Aufgabenausführung zu verbessern. Für zusätzliche Transparenz und Kontrolle aktivieren Sie die menschliche Aufsicht, indem Sie einen oder mehrere autorisierte Prüfer auf der Konfigurationsseite der Tools zuweisen. Wenn das Modell potenziell schädliche Anweisungen erkennt, erhalten diese Prüfer Benachrichtigungen, um zu überprüfen und zu entscheiden, ob die Ausführung fortgesetzt oder beendet werden soll.

Wie gebe ich Feedback zum Computerverwendungstool?

Haben Sie Feedback zum Computerverwendungstool? E-Mail computeruse-feedback@microsoft.com.