Często zadawane pytania dotyczące narzędzia do korzystania z komputera

Co to jest narzędzie do korzystania z komputera

Korzystanie z komputera to narzędzie, które można dodać do agentów Copilot Studio zaprojektowanych do automatyzowania zadań w witrynach internetowych i aplikacjach. Użytkownicy udostępniają opisy zadań w języku naturalnym, a narzędzie automatyzuje odpowiednie kliknięcia myszy i akcje klawiatury. Możesz na przykład poinstruować narzędzie, aby otworzyć plik PDF i użyć jego zawartości do wypełnienia formularza internetowego. Narzędzie wizualnie interpretuje ekran i wykonuje niezbędne kliknięcia i naciśnięcia, emulując interakcje człowieka.

Ostrzeżenie

Korzystanie z komputera to zaawansowane narzędzie, które automatyzuje interakcje między witrynami internetowymi i aplikacjami stacjonarnymi, ale wiąże się również z ważnymi zagadnieniami dotyczącymi zabezpieczeń. W niektórych przypadkach sztuczna inteligencja może podejmować niezamierzone akcje z powodu niejednoznacznych instrukcji lub nieoczekiwanej zawartości na ekranie. Te akcje mogą mieć wpływ na bezpieczeństwo urządzenia, danych lub połączonych kont, w tym dostęp do systemów osobistych, finansowych lub przedsiębiorstwa.

Co może zrobić komputer za pomocą narzędzia?

Komputer używa narzędzia przetwarza dane pikseli ekranu w celu zrozumienia zawartości na ekranie i wykonuje zadania za pomocą wirtualnych kliknięć myszy i danych wejściowych klawiatury. Narzędzie może zarządzać wieloetapowymi przepływami pracy, obsługiwać nieoczekiwane scenariusze i dynamicznie dostosowywać się do zmian ekranu, umożliwiając mu wykonywanie różnych zadań cyfrowych, takich jak nawigowanie po witrynach internetowych i wypełnianie formularzy bez konieczności używania wyspecjalizowanych interfejsów API.

Narzędzie do użycia komputera jest zgodne z pętlą iteracyjną opartą na trzech krokach:

• Postrzeganie: przechwytuje zrzuty ekranu, aby wizualnie zrozumieć bieżący stan ekranu komputera.

• Rozumowanie: ocenia bieżący stan, poprzednie akcje i zrzuty ekranu za pomocą podejścia opartego na łańcuchu myśli, co pozwala na efektywne dostosowanie swoich działań.

• Akcja: wykonuje akcje, takie jak klikanie, wpisywanie lub przewijanie, aż zadanie zostanie ukończone lub wymaga dalszych danych wejściowych użytkownika.

Jakie są zamierzone zastosowania narzędzia do użycia przez komputer?

Narzędzie do korzystania z komputera ma na celu zautomatyzowanie interakcji użytkowników z witrynami internetowymi i aplikacjami za pomocą wirtualnej myszy i klawiatury, szczególnie przydatne w scenariuszach, w których interfejsy API nie są dostępne.

W jaki sposób narzędzie używane przez komputer było oceniane? Jakie metryki są używane do mierzenia wydajności?

Narzędzie do użycia komputerów zostało rygorystycznie ocenione przy użyciu rzeczywistych scenariuszy w fazie projektowania, programowania i wdrażania. Metody oceny obejmowały badania, badania wpływu i testowanie w różnych scenariuszach w celu mierzenia dokładności, zaufania użytkowników i przydatności. Zarówno metryki jakościowe, jak i ilościowe są regularnie monitorowane w celu zachowania wysokiej wydajności i pozytywnego środowiska użytkownika. Dostępność narzędzia jest również zapewniana przez przestrzeganie ustanowionych umów SLA.

Jakie są ograniczenia narzędzia do używania komputera? Jak użytkownicy mogą zminimalizować wpływ ograniczeń narzędzia do korzystania z komputera podczas korzystania z systemu?

Korzystanie z komputera to nowatorska technologia ze znanymi ograniczeniami bezpieczeństwa i funkcjonalności. Umożliwiamy ci eksperymentowanie z nim. Ta wczesna możliwość umożliwia automatyzację niektórych zadań opartych na komputerach, chociaż jej wydajność różni się w zależności od przypadku użycia. Aby efektywnie i odpowiedzialnie z niego korzystać, zapoznaj się z jego bieżącymi ograniczeniami:

Znane ograniczenia

• Współczynnik powodzenia różni się w zależności od zadania: narzędzie najlepiej sprawdza się w przypadku zadań internetowych (około 80% powodzenia), ale znacznie spada w aplikacjach klasycznych (około 35% powodzeniu).
• Niespójna wydajność: to samo zadanie może przynieść różne wyniki w zależności od zmian w wizualizacji lub chronometrażu.
• Trudności z niektórymi kontrolkami interfejsu użytkownika: korzystanie z komputera może mieć trudności z interakcją z niestandardowymi lub dynamicznymi elementami interfejsu, takimi jak listy rozwijane, selektory dat lub widżety niestandardowe.
• Pętle i zablokowane stany: w niektórych przypadkach agent przechodzi w pętlę lub blokuje się, gdy ekran nie odpowiada oczekiwaniom lub zmienia się nieprzewidywalnie.
• Wyzwania związane ze złożonymi zadaniami: Chociaż jest to skuteczne w przypadku prostych akcji, narzędzie może zmagać się ze szczegółowymi interfejsami graficznymi lub zadaniami obejmującymi skomplikowane manipulowanie tekstem.
• Nie dotyczy przypadków użycia wrażliwych lub wysokiego ryzyka: narzędzie nie jest przeznaczone do:
  • Rekomendowanie lub ocenianie w poufnych domenach, takich jak zatrudnianie, opieka zdrowotna lub finanse
  • Dokonywanie transakcji finansowych
  • Szkodliwe działania, takie jak spam lub dezinformacji
  • Udostępnianie danych spoza organizacji bez odpowiedniej autoryzacji

Jak zminimalizować ograniczenia

Aby zwiększyć niezawodność, użytkownicy powinni podać jasne, szczegółowe instrukcje podczas konfigurowania zadań. Pomaga to zmniejszyć liczbę błędów i zwiększyć współczynniki powodzenia zadań.

Nadzór człowieka

Nadzór ludzki poprawia widoczność i kontrolę. Autoryzowany recenzent, którego skonfigurowałeś w sekcji ludzkiego nadzoru narzędzia, może potwierdzać działania lub udzielać informacji na żądanie modelu. Jeśli potrzebne jest potwierdzenie lub wejście, system zatrzymuje wykonanie i powiadamia przydzielonych recenzentów, którzy mogą zdecydować, jak dalej postępować.

Ważne

Agenci komputerowi mogą napotkać szkodliwe lub złośliwe instrukcje, często określane jako ataki typu prompt injection, w których ukryte polecenia na zrzutach ekranu, stronach internetowych lub innych danych wejściowych próbują wpłynąć na działania w niezamierzony sposób. Aby zmniejszyć to ryzyko, należy korzystać z komputera w zaufanych, odizolowanych środowiskach i stosować solidne kontrole poprawności przed wykonaniem jakichkolwiek instrukcji.

Jakie czynniki operacyjne i ustawienia umożliwiają efektywne i odpowiedzialne korzystanie z narzędzia do korzystania z komputera?

Narzędzie do korzystania z komputera najlepiej sprawdza się, gdy są dostępne jasne i szczegółowe instrukcje użytkownika. Użytkownicy powinni podać dokładne wskazówki dotyczące interakcji witryny internetowej lub aplikacji w celu zwiększenia niezawodności i dokładności podczas wykonywania zadania. Aby zwiększyć widoczność i kontrolę, włącz nadzór przez człowieka, przypisując co najmniej jednego autoryzowanego recenzenta na stronie konfiguracji narzędzi. Gdy model wykryje potencjalnie złośliwe instrukcje, ci recenzenci otrzymają powiadomienia w celu zweryfikowania i podjęcia decyzji, czy kontynuować, czy zatrzymać przebieg.

Jak przekazać opinię na temat narzędzia do korzystania z komputera?

Masz opinię na temat narzędzia do korzystania z komputera? Wyślij wiadomość e-mail na adres .computeruse-feedback@microsoft.com