Często zadawane pytania dotyczące narzędzia do obsługi komputera

Te często zadawane pytania zapewniają wgląd w możliwości, użycie, ograniczenia i zabezpieczenia, o których należy pamiętać podczas dodawania narzędzia do korzystania z komputera do agentów programu Copilot Studio.

Czym jest narzędzie do obsługi komputera?

Korzystanie z komputera to narzędzie, które można dodać do agentów Copilot Studio zaprojektowanych do automatyzowania zadań w witrynach internetowych i aplikacjach. Udostępniasz opisy zadań w języku naturalnym, a narzędzie automatyzuje odpowiednie kliknięcia myszy i akcje klawiatury. Na przykład możesz polecić narzędziu otwarcie pliku PDF i użyć jego zawartości do wypełnienia formularza webowego. Narzędzie wizualnie interpretuje ekran i wykonuje niezbędne kliknięcia i naciśnięcia, emulując interakcje człowieka.

Ostrzeżenie

Korzystanie z komputera to zaawansowane narzędzie, które automatyzuje interakcje między witrynami internetowymi i aplikacjami stacjonarnymi, ale wiąże się również z ważnymi zagadnieniami dotyczącymi zabezpieczeń. W niektórych przypadkach sztuczna inteligencja może podejmować niezamierzone akcje z powodu niejednoznacznych instrukcji lub nieoczekiwanej zawartości na ekranie. Te akcje mogą mieć wpływ na bezpieczeństwo urządzenia, danych lub połączonych kont, w tym dostęp do systemów osobistych, finansowych lub przedsiębiorstwa.

Jakie możliwości ma narzędzie do używania komputera?

Narzędzie do korzystania z komputera przetwarza dane dotyczące pikseli ekranu, aby zrozumieć zawartość wyświetlaną na ekranie, i wykonuje zadania za pomocą wirtualnych kliknięć myszy oraz wejść z klawiatury. Narzędzie potrafi zarządzać wieloetapowymi przepływami pracy, radzić sobie z nieoczekiwanymi sytuacjami oraz dynamicznie dostosowywać się do zmian na ekranie. Może wykonywać różne cyfrowe zadania, takie jak poruszanie się po stronach internetowych i wypełnianie formularzy, bez potrzeby specjalistycznych API.

Narzędzie do obsługi komputera działa zgodnie z pętlą iteracyjną opartą na trzech krokach:

• Postrzeganie: przechwytuje zrzuty ekranu, aby wizualnie zrozumieć bieżący stan ekranu komputera.

• Rozumowanie: ocenia bieżący stan, poprzednie akcje i zrzuty ekranu za pomocą podejścia opartego na łańcuchu myśli, co pozwala na efektywne dostosowanie swoich działań.

• Akcja: wykonuje akcje, takie jak klikanie, wpisywanie lub przewijanie, aż zadanie zostanie ukończone lub wymaga dalszych danych wejściowych użytkownika.

Jakie są zamierzone zastosowania narzędzia do użycia komputera?

Narzędzie do korzystania z komputera ma na celu zautomatyzowanie interakcji użytkownika z witrynami internetowymi i aplikacjami za pomocą wirtualnej myszy i klawiatury. Jest to szczególnie przydatne w scenariuszach, w których interfejsy API nie są dostępne.

W jaki sposób narzędzie do korzystania z komputera było oceniane? Jakie metryki są używane do mierzenia wydajności?

Narzędzie do użycia komputerów zostało rygorystycznie ocenione przy użyciu rzeczywistych scenariuszy w fazie projektowania, programowania i wdrażania. Metody oceny obejmowały badania, badania wpływowe oraz testy w różnych scenariuszach, aby zmierzyć dokładność, zaufanie użytkowników i użyteczność. Aby utrzymać wysoką wydajność i pozytywne doświadczenia użytkownika, zespół regularnie monitoruje zarówno metryki jakościowe, jak i ilościowe. Zespół zapewnia również dostępność narzędzia, przestrzegając ustalonych SLA.

Jakie są ograniczenia narzędzia do używania komputera? Jak użytkownicy mogą zminimalizować wpływ ograniczeń narzędzia komputerowego podczas korzystania z systemu?

Korzystanie z komputera to nowatorska technologia ze znanymi ograniczeniami bezpieczeństwa i funkcjonalności. Zespół daje ci możliwość eksperymentowania z nim. Ta wczesna możliwość umożliwia automatyzację niektórych zadań opartych na komputerach, chociaż jej wydajność różni się w zależności od przypadku użycia. Aby używać go skutecznie i odpowiedzialnie, należy zrozumieć jego obecne ograniczenia.

Znane ograniczenia

• Wydajność różni się w zależności od zadania i zastosowania. Niezawodność zależy od złożoności zadania, projektu interfejsu oraz zachowania aplikacji.

• Wrażliwy na zmiany interfejsu i czasowania. Zmiany układu, opóźnienia ładowania lub nieoczekiwane dialogi mogą przynieść różne efekty dla tego samego zadania.

• Trudności z niektórymi sterowaniami. Niestandardowe lub dynamiczne elementy interfejsu, takie jak rozwijane menu, wybieranie dat czy niestandardowe widgety, mogą być trudne w obsłudze.

• Może powtarzać działania lub utknąć. Nieoczekiwane stany ekranu mogą spowodować, że agent zapętli się lub przestanie robić postępy.

• Wyzwania związane z złożonymi zadaniami. Zadania wymagające szczegółowych interfejsów graficznych lub skomplikowanej manipulacji tekstem mogą być mniej niezawodne niż proste działania.

• Nie do zastosowań newralgicznych lub wysokiego ryzyka. Na przykład narzędzie nie jest przeznaczone do:

  • Polecanie lub ocenę w wrażliwych obszarach, takich jak rekrutacja, opieka zdrowotna czy finanse.
  • Dokonywanie transakcji finansowych.
  • Szkodliwe działania, takie jak spam czy dezinformacja.
  • Udostępnianie danych poza organizacją bez odpowiedniej autoryzacji.

Jak zminimalizować ograniczenia

Aby poprawić niezawodność, dostarczaj jasne, szczegółowe instrukcje podczas konfigurowania zadań, aby zmniejszyć liczbę błędów i zwiększyć wskaźniki sukcesu.

Co to jest funkcja nadzoru ludzkiego?

Ważna

Agenci komputerowi mogą napotkać szkodliwe lub złośliwe instrukcje, często określane jako ataki typu prompt injection, w których ukryte polecenia na zrzutach ekranu, stronach internetowych lub innych danych wejściowych próbują wpłynąć na działania w niezamierzony sposób. Aby zmniejszyć to ryzyko, należy korzystać z komputera w zaufanych, odizolowanych środowiskach i stosować solidne kontrole poprawności przed wykonaniem jakichkolwiek instrukcji.

Przebiegi korzystania z komputera mogą wiązać się z niejednoznacznością lub brakiem informacji. Na przykład wymagana wartość nie jest obecna, a wiele interpretacji jest prawdopodobnych. W takich przypadkach funkcja nadzoru ludzkiego pozwala agentowi komputerowemu wstrzymać wykonywanie i zwrócić się z prośbą o wyjaśnienia do autoryzowanego i skonfigurowanego recenzenta. Recenzenci mogą odpowiadać za pośrednictwem poczty e-mail lub w Copilot Studio przy użyciu mapy aktywności przebiegu agenta. Po otrzymaniu odpowiedzi agent korzystający z komputera wznawia działanie od wstrzymanego kroku w mapie.

Niezawodność i limity

Oceny prowadzone przez produkt wskazują, że funkcja nadzoru ludzkiego działa ogólnie zgodnie z oczekiwaniami, ale może zakończyć się niepowodzeniem lub zachowaniem w sposób, w jaki użytkownicy mogą nie przewidzieć. Ponieważ prośby o doprecyzowanie są uruchamiane przez probabilistyczne zachowanie modelu, mogą nie pojawiać się w każdej sytuacji, w której ktoś chciałby zrobić przerwę. Mogą również być wyzwalane, gdy wstrzymanie nie jest konieczne. Nie należy polegać na żądaniach wyjaśnień jako bezpieczeństwa w trybie awaryjnym lub jako gwarancji, że system zawsze będzie żądać ludzkich danych wejściowych przed kontynuowaniem.

To nie jest mechanizm egzekwowania reguł niestandardowych

Żądania nadzoru ludzkiego nie gwarantują wymuszania zdefiniowanych reguł, zasad ani ograniczeń. Należy zastosować więcej mechanizmów kontroli odpowiednich dla każdego możliwego scenariusza (na przykład: jasne instrukcje, środowiska z ograniczeniami, konta z najmniejszymi uprawnieniami, listy dozwolonych i inne zabezpieczenia operacyjne), a nie polegać na żądaniach wyjaśnienia w celu dostarczenia informacji lub uniemożliwienia niepożądanych akcji.

Jakie czynniki operacyjne i ustawienia umożliwiają efektywne i odpowiedzialne korzystanie z narzędzia do korzystania z komputera?

Narzędzie do korzystania z komputera najlepiej sprawdza się, gdy są dostępne jasne i szczegółowe instrukcje użytkownika. Użytkownicy powinni podać dokładne wskazówki dotyczące interakcji witryny internetowej lub aplikacji w celu zwiększenia niezawodności i dokładności podczas wykonywania zadania. Aby zwiększyć widoczność i kontrolę, włącz nadzór przez człowieka, przypisując co najmniej jednego autoryzowanego recenzenta na stronie konfiguracji narzędzi. Gdy model wykryje potencjalnie złośliwe instrukcje, ci recenzenci otrzymają powiadomienia w celu zweryfikowania i podjęcia decyzji, czy kontynuować, czy zatrzymać przebieg.

Jak przekazać opinię na temat narzędzia do korzystania z komputera?

Masz opinię na temat narzędzia do korzystania z komputera? Wyślij wiadomość e-mail na adres .computeruse-feedback@microsoft.com