Nadzór człowieka nad obsługą komputera

W przypadku korzystania z nadzoru ludzkiego agent korzystający z komputera przekazuje sprawę do osoby skonfigurowanej w ustawieniach nadzoru człowieka, gdy potrzebuje potwierdzenia lub dalszych informacji.

Notatka

Agenci korzystający z komputera mogą napotkać ataki polegające na wstrzyknięciu monitów, gdzie ukryte instrukcje na zrzutach ekranu, stronach internetowych lub innych danych wejściowych próbują wpływać na akcje w niezamierzony sposób. Aby zminimalizować to ryzyko, należy obsługiwać tych agentów w zaufanych, izolowanych środowiskach i stosować niezawodne kontrole poprawności przed wykonaniem jakichkolwiek instrukcji.

Obsługa funkcji według modelu

Poniższa tabela przedstawia, które modele obsługują funkcję nadzoru człowieka.

Dostawca modelu Wersja Stan Obsługuje nadzór człowieka
Azure OpenAI Komputer OpenAI korzystający z Agent V1 Wycofane Tak
Azure OpenAI Agent używania komputera (CUA) Aktywne Tak
Anthropic Claude Sonnet 4.5 Aktywne Tak

Przeglądanie przepływu agenta i użycia obsługi komputera

Podczas wykonywania, gdy agent korzystający z komputera potrzebuje potwierdzenia lub dodatkowych informacji, może wysłać żądanie przeglądu do skonfigurowanego recenzenta za pośrednictwem poczty e-mail programu Outlook i wyświetlić kartę przeglądu wbudowanego w panelu Działania zaawansowane obsługi komputera.

Żądania przeglądu przez człowieka są wyzwalane przez probabilistyczne zachowanie modelu AI, co oznacza, że mogą nie być wyzwalane w każdej sytuacji, w której dana osoba chciałaby zrobić przerwę, i mogą również być wyzwalane, gdy przerwa nie jest konieczna. Nie należy polegać na prośbach o przegląd lub wyjaśnienie przez człowieka jako mechanizmie zabezpieczającym ani jako gwarancji, że system zawsze poprosi o interwencję człowieka przed kontynuowaniem działania.

Notatka

  • Tylko twórca narzędzia do użytkowania komputera otrzymuje żądania przeglądu przez człowieka i ma dostęp do pełnych dzienników za pośrednictwem panelu aktywności Zaawansowanego obsługi komputera. Jeśli ustawiono opcję Poświadczenia użytkownika końcowego w ustawieniach komputera, te żądania są wysyłane do osoby, która pierwotnie skonfigurowała połączenie, ale tylko wtedy, gdy są one również dołączone jako jeden z wyznaczonych nadzorców.
  • Aby przejrzeć żądania przeglądu przez człowieka w panelu bocznym działania obsługi komputera na mapie aktywności agenta, należy włączyć funkcję Działania zaawansowanej obsługi komputera w danym środowisku. Jeśli środowisko działania zaawansowanej obsługi komputera nie jest wyświetlane na mapie działań, administrator mógł wyłączyć tę funkcję dla danego środowiska. Informacje na temat Zaawansowanych działań narzędzia obsługi komputera.

W poniższej tabeli przedstawiono główne informacje zawarte w żądaniu wiadomości e-mail mającej na celu przegląd przez człowieka:

Pole Opis
Agent korzystający z narzędzia Nazwa agenta Copilot Studio.
Narzędzie do obsługi komputera Nazwa narzędzia do obsługi komputera, które wyzwoliło żądanie.
Konwersacja Link bezpośredni do przepływu agenta, w którym jest aktualnie uruchomione narzędzie do obsługi komputera.
Przekroczono limit czasu żądania Data i godzina przekroczenia limitu czasu żądania
Wnioskowane przez Twórca (właściciel połączenia) narzędzia do obsługi komputera.
Podaj brakujące informacje Pole tekstowe na odpowiedź do przesłania do narzędzia do obsługi komputera.
Prześlij Przycisk do przesłania wpisanej odpowiedzi tekstowej. W przypadku żądań potwierdzenia wpisz Tak aby potwierdzić lub Nie aby odmówić.

Odpowiadaj na prośby o weryfikację przez użytkowników

Aby odpowiedzieć na prośby o przegląd przez człowieka, możesz odpowiedzieć pocztą e-mail lub bezpośrednio przy użyciu panelu aktywności użytkowania komputera w mapie aktywności agenta. Odpowiedzi udzielane bezpośrednio wymagają, aby Panel aktywności zaawansowanej obsługi komputera był włączony w środowisku. W obu przypadkach, jeśli nie udzielisz odpowiedzi, przepływ pracy pozostaje wstrzymany i automatycznie zatrzymuje się po osiągnięciu limitu czasu określonego w wiadomości e‑mail.

Ważne

System nadzoru człowieka opiera się na probabilistycznym zachowaniu modelu AI. Chociaż system zawiera polecenie systemowe i być może inne ograniczenia, może czasami generować zbędne prośby o wyjaśnienie. Może nie uruchomić się wtedy, gdy jest oczekiwany, lub może prosić o informacje, których nie należy udostępniać w danym kontekście, w tym dane wrażliwe.

W związku z tym przeglądający powinni kierować się zdrowym rozsądkiem podczas odpowiadania na prośby o ludzki nadzór i unikać przesyłania wrażliwych danych, takich jak nazwy użytkowników, hasła, kody PIN, informacje o kartach kredytowych czy numery ubezpieczenia społecznego. W zależności od konfiguracji Twojej organizacji, odpowiedzi na żądania przeglądu człowieka mogą być przechowywane w środowisku Dataverse oraz w logach audytu Purview i mogą być dostępne dla upoważnionych użytkowników w Twojej organizacji.

Odpowiedz e-mailem

Wiadomość e-mail z żądaniem przeglądu przez człowieka zawiera szczegółowe informacje o agencie, narzędziu i konwersacji wraz z określonymi informacjami lub żądanymi wyjaśnieniami. Przeanalizuj żądanie dokładnie, aby ocenić, czy posiadasz wystarczające informacje do udzielenia odpowiedzi. Jeśli to stosowne, wpisz swoją odpowiedź w wyznaczonym polu tekstowym i wybierz Zatwierdź.

Odpowiedz bezpośrednio

  1. Wybierz link Konwersacja w wiadomości e-mail żądania przeglądu przez człowieka, aby zobaczyć mapę aktywności agenta.
  2. Znajdź czynność związaną z korzystaniem z komputera, która odpowiada skonfigurowanemu narzędziu do zarządzania korzystaniem z komputera, i otwórz jej panel boczny.
  3. W sekcji Działanie panelu bocznego przejrzyj listę działań. Czynności oczekujące na weryfikację przez człowieka są oznaczone symbolem oczekiwania umieszczonym obok odpowiedzi generowanej przez model.
  4. Przeanalizuj żądanie dokładnie, aby ocenić, czy posiadasz wystarczające informacje do udzielenia odpowiedzi. Jeśli to stosowne, wpisz swoją odpowiedź w wyznaczonym polu tekstowym i wybierz Zatwierdź.

Wyłącz ludzki nadzór

Aby wyłączyć nadzór człowieka, przejdź do sekcji nadzoru człowieka w narzędziu do obsługi komputera i usuń wszystkich recenzentów z listy Przypisz żądania do.

Często zadawane pytania dotyczące narzędzia do obsługi komputera