Häufig gestellte Fragen zum Tool zur Computernutzung

Diese häufig gestellten Fragen (FAQ) geben Einblicke in die Fähigkeiten, Nutzung, Einschränkungen und Schutzmaßnahmen, die Sie beachten sollten, wenn Sie das Computer-Nutzungswerkzeug zu Ihren Copilot Studio-Agents hinzufügen.

Was ist das Computernutzungstool?

Computerverwendung ist ein Tool, das Sie Ihren Copilot Studio-Agents hinzufügen können, um Aufgaben auf Websites und in Anwendungen zu automatisieren. Sie formulieren Aufgabenbeschreibungen in natürlicher Sprache, und das Tool automatisiert Mausklicks und Tastatureingaben entsprechend. Zum Beispiel könnten Sie das Tool anweisen, ein PDF zu öffnen und dessen Inhalt zu verwenden, um ein Webformular auszufüllen. Das Tool interpretiert den Bildschirm visuell und führt die erforderlichen Klicks und Tastatureingaben aus, indem es menschliche Interaktionen nachahmt.

Warnung

Computernutzung ist ein leistungsstarkes Werkzeug, das Interaktionen zwischen Websites und Desktop-Anwendungen automatisiert, bringt aber auch wichtige Sicherheitsaspekte mit sich. In einigen Fällen kann die KI unbeabsichtigte Handlungen ausführen, bedingt durch mehrdeutige Anweisungen oder unerwartete Inhalte auf dem Bildschirm. Diese Handlungen können die Sicherheit Ihres Geräts, Ihrer Daten oder Ihrer verbundenen Konten beeinträchtigen, einschließlich des Zugriffs auf persönliche, finanzielle oder Unternehmenssysteme.

Was kann das Computerverwendungstool tun?

Das Computernutzungstool verarbeitet Bildschirmpixeldaten, um den Bildschirminhalt zu verstehen, und führt Aufgaben mithilfe virtueller Mausklicks und Tastatureingaben aus. Das Tool kann mehrstufige Workflows verwalten, unerwartete Szenarien bewältigen und sich dynamisch an Bildschirmänderungen anpassen. Es kann verschiedene digitale Aufgaben ausführen, wie das Navigieren von Webseiten und das Ausfüllen von Formularen, ohne dass spezielle APIs erforderlich sind.

Das Computernutzungstool folgt einer iterativen Schleife, die auf drei Schritten basiert:

• Wahrnehmung: Es werden Screenshots erfasst, um den aktuellen Zustand des Computerbildschirms visuell zu verstehen.

• Argumentation: Es bewertet den aktuellen Zustand, frühere Aktionen und Screenshots durch einen Denkkettenansatz, der es ihm ermöglicht, seine Aktionen effektiv anzupassen.

• Aktion: Es führt Aktionen wie Klicken, Tippen oder Scrollen aus, bis die Aufgabe abgeschlossen ist oder weitere Benutzereingaben erfordert.

Was sind die vorgesehenen Einsatzzwecke des Computernutzung-Tools?

Das Computernutzung-Tool ist dafür gedacht, Benutzerinteraktionen mit Websites und Anwendungen mithilfe einer virtuellen Maus und Tastatur zu automatisieren. Es ist besonders nützlich in Szenarien, in denen keine APIs verfügbar sind.

Wie wurde das Computernutzung-Tool bewertet? Welche Metriken werden verwendet, um die Leistung zu messen?

Das Computerwerkzeug wurde während seiner Design-, Entwicklungs- und Implementierungsphasen streng anhand realer Szenarien bewertet. Bewertungsmethoden umfassten Forschung, Wirkungsstudien und Tests in verschiedenen Szenarien, um Genauigkeit, Nutzervertrauen und Nützlichkeit zu messen. Sowohl qualitative als auch quantitative Kennzahlen werden regelmäßig überwacht, um eine hohe Leistung und eine positive Nutzererfahrung zu gewährleisten. Die Verfügbarkeit des Tools wird zudem durch die Einhaltung etablierter SLAs gewährleistet.

Welchen Einschränkungen unterliegt das Computernutzungstool? Wie können Benutzende die Auswirkungen dieses Computernutzungstools oder die Einschränkungen der Produktnamen minimieren, wenn sie das System nutzen?

Die Computernutzung ist eine neuartige Technologie mit bekannten Sicherheitsrisiken und funktionalen Einschränkungen. Wir befähigen Sie, damit zu experimentieren. Diese Fähigkeit in der Frühphase ermöglicht die Automatisierung bestimmter computerbasierter Aufgaben, wobei die Leistung je nach Anwendungsfall stark variiert. Um das Tool effektiv und verantwortungsvoll zu nutzen, müssen Sie seine aktuellen Einschränkungen verstehen.

Bekannte Einschränkungen

• Die Erfolgsrate variiert je nach Aufgabe: Das Tool erzielt bei webbasierten Aufgaben eine Erfolgsquote von etwa 80 %, während sie bei Desktop-Anwendungen deutlich auf etwa 35 % sinkt.
• Inkonsistente Leistung: Die gleiche Aufgabe kann aufgrund visueller oder zeitlicher Änderungen zu unterschiedlichen Ergebnissen führen.
• Schwierigkeiten mit bestimmten UI-Steuerelementen: Computernutzung kann Schwierigkeiten bei der Interaktion mit nicht standardisierten oder dynamischen Benutzeroberflächenelementen wie Dropdown-Menüs, Datumsauswählern oder benutzerdefinierten Widgets haben.
• Schleifen und festgefahrene Zustände: In manchen Fällen gerät der Agent in eine Schleife oder bleibt stecken, wenn der Bildschirm nicht den Erwartungen entspricht oder sich unvorhersehbar ändert.
• Herausforderungen bei komplexen Aufgaben: Während das Tool für einfache Aktionen effektiv ist, stößt es bei detaillierten grafischen Oberflächen oder Aufgaben mit anspruchsvoller Textbearbeitung an seine Grenzen.
• Nicht für sensible oder risikoreiche Anwendungsfälle: Das Tool ist nicht gedacht für:
  • Empfehlungen oder Bewertungen in sensiblen Bereichen wie Einstellung, Gesundheitswesen oder Finanzen
  • Durchführen von Finanzbuchungen
  • Schädliche Aktivitäten wie Spam oder Falschinformationen
  • Weitergabe von Daten außerhalb Ihrer Organisation ohne entsprechende Autorisierung

Wie Sie Einschränkungen minimieren können

Um die Zuverlässigkeit zu verbessern, sollten Sie beim Konfigurieren von Aufgaben klare, detaillierte Anweisungen geben, um Fehler zu reduzieren und die Erfolgsquote zu erhöhen.

Was ist das menschliche Überwachungs-Feature?

Wichtig

Agents, die Computer nutzen, können auf schädliche oder böswillige Anweisungen stoßen – oft als Prompt-Injection-Angriffe bezeichnet –, bei denen versteckte Befehle in Screenshots, Webseiten oder anderen Eingaben versuchen, Aktionen auf unbeabsichtigte Weise zu beeinflussen. Um diese Risiken zu minimieren, führen Sie die Computernutzung in vertrauenswürdigen, isolierten Umgebungen aus, und wenden Sie robuste Überprüfungen an, bevor Sie Anweisungen ausführen.

Bei Abläufen zur Computernutzung kann es zu Unklarheiten oder fehlenden Informationen kommen. Zum Beispiel fehlt ein erforderlicher Wert oder es sind mehrere Interpretationen möglich. In diesen Fällen ermöglicht die Funktion der menschlichen Aufsicht , dass der computerbenutzende Agent die Ausführung pausiert und eine Klarstellungsanfrage an einen autorisierten und konfigurierten menschlichen Prüfer stellt. Prüfer können per E-Mail oder in Copilot Studio mit der Ausführungsaktivitätskarte des Agents antworten. Sobald der computernutzende Agent eine Antwort erhält, setzt er den Vorgang ab dem pausierten Schritt auf der Karte fort.

Zuverlässigkeit und Grenzen

Produktbasierte Bewertungen zeigen, dass die Funktion zur menschlichen Überwachung im Allgemeinen wie erwartet funktioniert, aber sie kann versagen oder sich auf eine Weise verhalten, die Nutzer nicht erwarten. Da Klarstellungsanfragen durch probabilistisches Modellverhalten ausgelöst werden, werden sie möglicherweise nicht in jeder Situation ausgelöst, in der eine Person eine Pause möchte. Sie könnten auch ausgelöst werden, wenn eine Pause nicht nötig ist. Sie sollten sich nicht auf menschliche Überprüfungs- oder Klarstellungsanfragen als Sicherheitsmechanismus oder als Garantie verlassen, dass das System immer menschliche Eingaben anfordert, bevor es fortfährt.

Kein Mechanismus zur Durchsetzung benutzerdefinierter Regeln

Anfragen nach menschlicher Aufsicht garantieren keine Durchsetzung Ihrer definierten Regeln, Richtlinien oder Einschränkungen. Sie sollten für jedes mögliche Szenario zusätzliche, geeignete Maßnahmen anwenden (z. B.: klare Anweisungen, eingeschränkte Umgebungen, Konten mit minimalen Rechten, Zulassungslisten und andere operative Schutzmaßnahmen), anstatt sich darauf zu verlassen, dass Anfragen zur Klärung Informationen liefern oder unerwünschte Aktionen verhindern.

Welche betrieblichen Faktoren und Einstellungen ermöglichen eine effektive und verantwortungsbewusste Nutzung des Computeranwendungstools?

Das Computernutzung-Tool funktioniert am besten, wenn klare und detaillierte Benutzeranweisungen bereitgestellt werden. Nutzer sollten präzise Hinweise auf Website- oder Anwendungsinteraktionen geben, um die Zuverlässigkeit und Genauigkeit während der Aufgabenausführung zu erhöhen. Für mehr Übersicht und Kontrolle können Sie die menschliche Kontrolle aktivieren, indem Sie ein oder mehrere berechtigte Prüfer auf der Konfigurationsseite des Tools zuweisen. Wenn das Modell potenziell bösartige Anweisungen erkennt, erhalten diese Prüfer Benachrichtigungen, um zu überprüfen und zu entscheiden, ob die Ausführung fortgesetzt oder abgebrochen wird.

Wie kann ich Feedback zum Computernutzungstool geben?

Haben Sie Feedback zum Computernutzungstool? E-Mail computeruse-feedback@microsoft.com.