Często zadawane pytania dotyczące narzędzia do obsługi komputera

Te często zadawane pytania (FAQ) dostarczają szczegółowe informacje na temat możliwości, użytkowania, ograniczeń oraz zabezpieczeń, które warto znać podczas dodawania narzędzia do obsługi komputera do agentów Copilot Studio.

Czym jest narzędzie do obsługi komputera?

Obsługa komputera to narzędzie, które możesz dodać do swoich agentów Copilot Studio, zaprojektowane do automatyzacji zadań na stronach internetowych i w aplikacjach. Opisujesz zadania w języku naturalnym, a narzędzie automatyzuje kliknięcia myszką i naciśnięcia klawiszy zgodnie z opisem. Na przykład możesz zlecić narzędziu otwarcie pliku PDF i użycie jego zawartości do wypełnienia formularza na stronie internetowej. Narzędzie wizualnie interpretuje ekran i wykonuje niezbędne kliknięcia i naciśnięcia, naśladując interakcje ludzkie.

Ostrzeżenie

Korzystanie z komputera to potężne narzędzie, które automatyzuje interakcje między stronami internetowymi i aplikacjami desktopowymi, ale wiąże się też z istotnymi kwestiami bezpieczeństwa. W niektórych przypadkach AI może podejmować niezamierzone działania z powodu niejednoznacznych poleceń lub nieoczekiwanych treści na ekranie. Działania te mogą wpływać na bezpieczeństwo Twojego urządzenia, danych lub powiązanych kont, w tym dostęp do systemów osobistych, finansowych lub firmowych.

Co może zrobić narzędzie obsługi komputera?

Narzędzie do obsługi komputera przetwarza dane pikseli ekranu, aby zrozumieć zawartość wyświetlaną na ekranie, i wykonuje zadania za pomocą wirtualnych kliknięć myszy oraz wprowadzania danych z klawiatury. Narzędzie potrafi zarządzać wieloetapowymi procesami, obsługiwać nieoczekiwane sytuacje oraz dynamicznie dostosowywać się do zmian na ekranie. Może wykonywać różne zadania, takie jak nawigacja po stronach internetowych czy wypełnianie formularzy, bez potrzeby korzystania z dedykowanych API.

Narzędzie do obsługi komputera działa w iteracyjnym cyklu opartym na trzech krokach:

• Percepcja: Przechwytuje zrzuty ekranu, aby wizualnie zrozumieć aktualny stan ekranu komputera.

• Rozumowanie: Ocenia bieżący stan, poprzednie działania i zrzuty ekranu za pomocą podejścia myślowego, co pozwala mu skutecznie dostosowywać swoje działania.

• Akcja: Wykonuje czynności, takie jak klikanie, pisanie lub przewijanie, aż zadanie zostanie zakończone lub będzie wymagało dalszych danych wejściowych użytkownika.

Jakie jest przeznaczenie narzędzia do obsługi komputera?

Narzędzie do obsługi komputera ma na celu automatyzację interakcji użytkownika ze stronami internetowymi i aplikacjami za pomocą wirtualnej myszy i klawiatury. Jest to szczególnie przydatne w sytuacjach, gdy API nie jest dostępne.

Jak oceniano narzędzie do obsługi komputera? Jakie metryki są używane do oceny wydajności?

Narzędzie do obsługi komputera zostało rygorystycznie ocenione przy użyciu rzeczywistych scenariuszy podczas faz projektowania, rozwoju i wdrożenia. Metody oceny obejmowały badania, analizy wpływu oraz testy w różnych scenariuszach w celu pomiaru dokładności, zaufania użytkowników i użyteczności. Zarówno metryki jakościowe, jak i ilościowe są regularnie monitorowane, aby utrzymać wysoką wydajność i pozytywne doświadczenia użytkownika. Dostępność narzędzia jest również zapewniana przez przestrzeganie ustalonych SLA.

Jakie są ograniczenia tego narzędzia do monitorowania obsługi komputera? W jaki sposób użytkownicy mogą zminimalizować wpływ ograniczeń narzędzie obsługi komputera podczas korzystania z systemu?

Narzędzie do obsługi komputera jest nowatorską technologią o znanych zagrożeniach bezpieczeństwa i ograniczeniach funkcjonalnych. Umożliwiamy użytkownikom eksperymentowanie z tym narzędziem. Ta funkcja na wczesnym etapie rozwoju umożliwia automatyzację niektórych zadań komputerowych, choć jej skuteczność znacznie się różni w zależności od przypadku użycia. Aby używać go skutecznie i odpowiedzialnie, należy zrozumieć jego obecne ograniczenia.

Znane ograniczenia

• Wskaźnik sukcesu różni się w zależności od zadania: Narzędzie najlepiej radzi sobie w zadaniach webowych (około 80% skuteczności), ale znacznie spada w aplikacjach desktopowych (około 35% skuteczności).
• Niejednolite wyniki: To samo zadanie może przynieść różne wyniki w zależności od zmian w wyglądzie lub czasie wykonania.
• Trudności z niektórymi elementami sterującymi interfejsu: obsługa komputera może mieć trudności z interakcją z niestandardowymi lub dynamicznymi elementami interfejsu, takimi jak menu rozwijane, kontrolki wyboru daty czy niestandardowe widżety.
• Pętle i stany zablokowania: W niektórych przypadkach agent wchodzi w pętlę lub utknie, gdy ekran nie spełnia oczekiwań lub zmienia się w sposób nieprzewidywalny.
• Wyzwania związane ze złożonymi zadaniami: Choć narzędzie jest skuteczne w przypadku prostych działań, może mieć trudności ze szczegółowymi interfejsami graficznymi lub zadaniami wymagającymi skomplikowanej manipulacji tekstem.
• Nie do wrażliwych lub wysokiego ryzyka zastosowań: Narzędzie nie jest przeznaczone do:
  • Rekomendowanie lub ocenianie w wrażliwych obszarach, takich jak rekrutacja, opieka zdrowotna czy finanse
  • Dokonywanie transakcji finansowych
  • Szkodliwe działania, takie jak spam i dezinformacja
  • Udostępnianie danych poza organizacją bez odpowiedniej autoryzacji

Jak minimalizować ograniczenia

Aby zwiększyć niezawodność, należy podać jasne, szczegółowe instrukcje podczas konfigurowania zadań, aby zmniejszyć liczbę błędów i zwiększyć skuteczność zadań.

Czym jest funkcja nadzoru ludzkiego?

Ważne

Agenty obsługujące komputer mogą napotkać szkodliwe lub złośliwe instrukcje – zjawisko to często określa się mianem ataków typu wstrzykiwanie poleceń, w ramach których ukryte polecenia zawarte w zrzutach ekranu, stronach internetowych lub innych danych wejściowych próbują wpłynąć na działania w niezamierzony sposób. Aby ograniczyć te zagrożenia, należy korzystać z obsługi komputera w zaufanych, odizolowanych środowiskach oraz stosować rygorystyczne kontrole weryfikacyjne przed wykonaniem jakichkolwiek poleceń.

Obsługa komputera może napotykać niejednoznaczności lub brakujące informacje. Na przykład brakuje wymaganej wartości lub występuje wiele możliwych interpretacji. W takich przypadkach funkcja nadzoru ludzkiego pozwala agentowi korzystającemu z obsługi komputera wstrzymać działanie i wysłać prośbę o wyjaśnienie do autoryzowanego i skonfigurowanego ludzkiego recenzenta. Recenzenci mogą odpowiadać za pośrednictwem poczty e-mail lub w Copilot Studio przy użyciu mapy aktywności przebiegu agenta. Gdy agent korzystający z komputera otrzyma odpowiedź, wznawia swoje działanie od kroku, na którym został zatrzymany na mapie.

Niezawodność i ograniczenia

Oceny produktowe wskazują, że funkcja nadzoru ludzkiego działa zazwyczaj zgodnie z oczekiwaniami, ale może zawieść lub zachowywać się w nieoczekiwany sposób. Ponieważ prośby o doprecyzowanie są wywoływane przez probabilistyczne zachowanie modelu, mogą nie pojawić się w każdej sytuacji, w której użytkownik oczekiwałby pauzy. Mogą też wywołać reakcje, gdy pauza nie jest konieczna. Nie należy polegać na prośbach o przegląd lub wyjaśnienie przez człowieka jako mechanizmie zabezpieczającym ani jako gwarancji, że system zawsze poprosi o interwencję człowieka przed kontynuowaniem działania.

To nie jest mechanizm egzekwowania reguł niestandardowych

Prośby o ludzki nadzór nie gwarantują egzekwowania Twoich zasad, polityk ani ograniczeń. Należy zastosować adekwatne środki kontroli odpowiednie dla każdego możliwego scenariusza (na przykład: jasne instrukcje, środowiska ograniczone, konta z minimalnymi uprawnieniami, listy dozwolonych oraz inne zabezpieczenia operacyjne) zamiast polegać na żądaniach wyjaśnień w celu uzyskania informacji lub zapobiegania niepożądanym działaniom.

Jakie czynniki operacyjne i ustawienia pozwalają na efektywne i odpowiedzialne korzystanie z narzędzia obsługi komputera?

Narzędzie do obsługi komputera osiąga najlepsze wyniki, gdy użytkownik zapewnia jasne i szczegółowe instrukcje. Użytkownicy powinni udzielać precyzyjnych wskazówek dotyczących interakcji ze stronami internetowymi lub aplikacjami, aby zwiększyć niezawodność i dokładność podczas realizacji zadań. Aby zwiększyć widoczność i kontrolę, należy włączyć nadzór ludzki, przypisując jedną lub więcej autoryzowanych osób zatwierdzających na stronie konfiguracji narzędzia. Gdy model wykryje potencjalnie złośliwe instrukcje, osoby zatwierdzające otrzymują powiadomienia, aby zweryfikować i zdecydować, czy kontynuować, czy zatrzymać wykonywanie.

Jak mogę udzielić informacji zwrotnej na temat narzędzia do obsługi komputera?

Masz opinię na temat narzędzia do obsługi komputera? E-mail computeruse-feedback@microsoft.com.