Menschliche Überwachung der Computernutzung

Note

In diesem Artikel werden Funktionen beschrieben, die in Agents oder Agent-Flows verwendet werden, die von der Standardumgebung unterstützt werden.

Wenn Sie eine menschliche Aufsicht nutzen, eskaliert der Agent, der eine Computer nutzt, bei Bedarf an die Person, die Sie in den Einstellungen der menschlichen Aufsicht konfigurieren.

Note

Computerverwendungs-Agents können auf Prompt-Injection-Angriffe stoßen, bei denen ausgeblendete Anweisungen in Screenshots, Webseiten oder anderen Eingaben versuchen, Aktionen unbeabsichtigt zu beeinflussen. Um dieses Risiko zu minimieren, führen Sie diese Agents in vertrauenswürdigen, isolierten Umgebungen aus, und wenden Sie robuste Überprüfungen an, bevor Sie Anweisungen ausführen.

Funktionsunterstützung pro Modell

Die folgende Tabelle listet auf, welche Modelle die Funktion menschliche Überwachung unterstützen.

Modellanbieter Version Status Unterstützt menschliche Aufsicht
Azure OpenAI OpenAI-Computer mit Agent V1 Pensioniert Yes
Azure OpenAI Computer-nutzender Agent (CUA) Aktiv Yes
Anthropic Claude Sonnet 4.5 Aktiv Yes

Überprüfung der Agenten- und Computernutzungsaktivität

Während der Ausführung, wenn der computerbenutzende Agent eine Bestätigung oder zusätzliche Informationen benötigt, kann er eine Überprüfungsanfrage per Outlook-E-Mail an den konfigurierten menschlichen Prüfer senden. Außerdem kann im Bedienfeld für fortgeschrittene Computeranwendungen eine Inline-Übersichtskarte angezeigt werden.

Das probabilistische Verhalten von KI-Modellen löst menschliche Überprüfungsanfragen aus. Dieses Verhalten bedeutet, dass das Modell diese Anfragen nicht in jeder Situation auslöst, in der eine Person eine Pause möchte, und es könnte diese Anfragen auch auslösen, wenn eine Pause nicht notwendig ist. Verlassen Sie sich nicht auf menschliche Überprüfungs- oder Klarstellungsanfragen als Sicherheitsmaßnahme oder als Garantie, dass das System immer menschliche Eingaben anfordert, bevor es fortfährt.

Note

  • Nur Erstellende des Computerverwendungstools erhalten Anforderungen zur menschlichen Überprüfung und haben Zugriff auf detaillierte Protokolle über den Bereich Erweiterte Computernutzungsaktivität. Wenn du unter den Maschineneinstellungen Endbenutzerzugangsdaten auswählst, erhält die Person, die die Verbindung ursprünglich eingerichtet hat, diese Anfragen, allerdings nur, wenn sie ebenfalls als einer der benannten menschlichen Prüfer enthalten ist.
  • Um die Anfragen zur manuellen Überprüfung direkt im Seitenbereich „Computer-Agent-Aktivitäten“ innerhalb der Aktivitätsübersicht des Agent einzusehen, müssen Sie in Ihrer Umgebung die erweiterte Protokollierung der Computernutzung aktivieren. Wenn die erweiterte Computernutzungsaktivität nicht auf der Aktivitätskarte angezeigt wird, hat Ihr Administrator diese Funktion möglicherweise für Ihre Umgebung deaktiviert.

In der folgenden Tabelle sind die wichtigsten Informationen aufgeführt, die in einer E-Mail-Anforderung für menschliche Überprüfungen enthalten sind:

Feld Description
Agent, der das Tool verwendet Der Name des Copilot Studio-Agents.
Werkzeug zur Computernutzung Der Name des Computerverwendungstools, das die Anforderung ausgelöst hat.
Gespräch Der Deep-Link zu der Agent-Aktivität, in deren Rahmen das Computerverwendungstool derzeit ausgeführt wird.
Anforderungszeitlimit Datum und Uhrzeit der Zeitüberschreitung der Anforderung
Angefordert von Erstellender (Verbindungsbesitzender) des Computerverwendungstools.
Fehlende Informationen bereitstellen Das Textfeld für die Antwort, die an das Computerverwendungstool gesendet werden soll.
Übermitteln Der Button zum Einsenden der eingegebenen Textantwort. Für eine Bestätigungsanfrage geben Sie entweder Ja zum Bestätigen oder Nein zum Ablehnen.

Antwort auf Anfragen zur Überprüfung durch Personen

Um auf menschliche Überprüfungsanfragen zu reagieren, können Sie entweder per E-Mail oder inline über das Aktivitätsfenster "Computernutzung" in der Aktivitätskarte des Agenten antworten. Inline-Antworten erfordern, dass eine fortgeschrittene Computernutzungsprotokollierung in der Umgebung aktiviert wird. In beiden Fällen bleibt der Workflow angehalten, wenn Sie keine Antwort geben, und wird automatisch beendet, sobald das in der E-Mail angegebene Zeitlimit erreicht ist.

Important

Das menschliche Überwachungssystem basiert auf probabilistischem KI-Modellverhalten. Während das System eine Systemaufforderung und vielleicht andere Einschränkungen enthält, kann es gelegentlich Klarstellungsanforderungen generieren, die unnötig sind. Es kann nicht ausgelöst werden, wenn es erwartet wird, oder es kann Informationen anfordern, die nicht im gegebenen Kontext bereitgestellt werden sollten, einschließlich potenziell vertraulicher Informationen.

Daher sollten Prüfer bei der Beantwortung von Anfragen zur menschlichen Überwachung mit Urteilsvermögen umgehen und keine sensiblen Informationen wie Benutzernamen, Passwörter, PINs, Kreditkarteninformationen oder Sozialversicherungsnummern angeben. Je nach Konfiguration Ihrer Organisation können Antworten auf menschliche Überprüfungsanfragen in Ihrer Dataverse-Umgebung oder in Purview-Auditprotokollen bestehen bleiben und für autorisierte Benutzer innerhalb Ihrer Organisation sichtbar sein.

Per E-Mail antworten

Die E-Mail-Anfrage zur menschlichen Überprüfung enthält Details zum Agent, zum Tool und der Unterhaltung sowie zu den spezifizierten Informationen oder Klarstellungen, die angefordert werden. Überprüfen Sie die Anforderung sorgfältig, um festzustellen, ob Sie über ausreichende Informationen verfügen, um zu antworten. Geben Sie gegebenenfalls Ihre Antwort in das angegebene Textfeld ein, und wählen Sie "Absenden" aus.

Inline antworten

  1. Wählen Sie den Link Unterhaltung im dem E-Mail-Text der Anfrage zur menschlichen Überprüfung aus, um die Aktivitätskarte des Agents zu öffnen.
  2. Suchen Sie die Computerverwendungsaktion, die mit dem Namen des konfigurierten Tools zur Computerverwendung übereinstimmt, und öffnen Sie ihren Seitenbereich.
  3. Überprüfen Sie im Abschnitt Aktivität des Seitenbereichs die Liste der Aktivitäten. Aktivitäten, die auf eine menschliche Überprüfung warten, werden mit einem Warteindikator neben der Modellantwort gekennzeichnet.
  4. Überprüfen Sie die Anfrage sorgfältig, und ermitteln Sie, ob Sie über ausreichende Informationen verfügen, um zu antworten. Geben Sie gegebenenfalls Ihre Antwort in das angegebene Textfeld ein, und wählen Sie "Absenden" aus.

Schalten Sie die menschliche Überwachung aus

Important

Das Abschalten der menschlichen Überwachung macht den computerbenutzenden Agenten nicht völlig autonom. Der Agent hält immer noch inne, wenn er eine Bestätigung oder Klarstellung braucht. Wenn keine Prüfer konfiguriert sind, können diese Anfragen nirgendwo weitergeleitet werden, sodass die Sitzung fehlschlägt, wenn der Agent pausiert. Konfigurieren Sie mindestens einen Reviewer.

Um die menschliche Überwachung zu deaktivieren, gehen Sie zum Bereich „Menschliche Überwachung“ des Computernutzungstools und entfernen Sie alle Prüfer aus der Anfragen zuweisen an-Liste.

Häufig gestellte Fragen zum Computerverwendungstool