Tanya Jawab Umum untuk alat penggunaan komputer

Pertanyaan yang sering diajukan (FAQ) ini memberikan wawasan tentang kemampuan, penggunaan, batasan, dan perlindungan yang harus Anda ketahui saat menambahkan alat penggunaan komputer ke agen Copilot Studio Anda.

Apa itu alat penggunaan komputer?

Penggunaan komputer adalah alat yang dapat Anda tambahkan ke agen Copilot Studio yang dirancang untuk mengotomatiskan tugas di situs web dan aplikasi. Anda menyediakan deskripsi tugas dalam bahasa alami, dan alat ini mengotomatiskan klik mouse dan tindakan keyboard yang sesuai. Misalnya, Anda bisa menginstruksikan alat untuk membuka PDF dan menggunakan isinya untuk mengisi formulir web. Alat ini secara visual menafsirkan layar dan menjalankan klik dan penekanan tombol yang diperlukan, meniru interaksi manusia.

Peringatan

Penggunaan komputer adalah alat canggih yang mengotomatiskan interaksi di seluruh situs web dan aplikasi desktop, tetapi juga dilengkapi dengan pertimbangan keamanan penting. Dalam beberapa kasus, AI mungkin mengambil tindakan yang tidak diinginkan karena instruksi ambigu atau konten tak terduga di layar. Tindakan ini dapat memengaruhi keamanan perangkat, data, atau akun yang terhubung, termasuk akses ke sistem pribadi, keuangan, atau perusahaan.

Apa yang dapat dilakukan alat penggunaan komputer?

Alat penggunaan komputer memproses data piksel layar untuk memahami konten di layar, dan melakukan tugas menggunakan klik mouse virtual dan input keyboard. Alat ini dapat mengelola alur kerja multilangkah, menangani skenario tak terduga, dan beradaptasi secara dinamis dengan perubahan layar. Perangkat ini dapat melakukan berbagai tugas digital seperti menavigasi situs web dan mengisi formulir tanpa memerlukan API khusus.

Alat penggunaan komputer mengikuti perulangan berulang berdasarkan tiga langkah:

• Persepsi: Ini menangkap cuplikan layar untuk memahami status layar komputer saat ini secara visual.

• Penalaran: Ini mengevaluasi status saat ini, tindakan sebelumnya, dan cuplikan layar melalui pendekatan rantai pemikiran, yang memungkinkannya menyesuaikan tindakannya secara efektif.

• Tindakan: Tindakan ini melakukan tindakan seperti mengklik, mengetik, atau menggulir hingga tugas selesai atau memerlukan input pengguna lebih lanjut.

Apa tujuan penggunaan alat penggunaan komputer?

Alat penggunaan komputer dimaksudkan untuk mengotomatiskan interaksi pengguna dengan situs web dan aplikasi melalui mouse virtual dan keyboard. Ini sangat berguna dalam skenario di mana API tidak tersedia.

Bagaimana alat penggunaan komputer dievaluasi? Metrik apa yang digunakan untuk mengukur performa?

Alat penggunaan komputer dievaluasi secara ketat menggunakan skenario dunia nyata sepanjang fase desain, pengembangan, dan penyebarannya. Metode evaluasi meliputi penelitian, studi dampak, dan pengujian di berbagai skenario untuk mengukur akurasi, kepercayaan pengguna, dan kegunaan. Untuk menjaga kinerja tinggi dan pengalaman pengguna yang positif, tim secara rutin memantau metrik kualitatif dan kuantitatif. Tim juga memastikan ketersediaan alat dengan mematuhi SLA yang telah ditetapkan.

Apa batasan alat penggunaan komputer? Bagaimana pengguna dapat meminimalkan dampak keterbatasan alat penggunaan komputer saat menggunakan sistem?

Penggunaan komputer adalah teknologi baru dengan risiko keamanan yang diketahui dan batasan fungsi. Tim memberdayakan Anda untuk bereksperimen dengannya. Kemampuan tahap awal ini memungkinkan otomatisasi tugas berbasis komputer tertentu, meskipun performanya sangat bervariasi tergantung pada kasus penggunaan. Untuk menggunakannya secara efektif dan bertanggung jawab, pahami keterbatasannya saat ini.

Batasan yang diketahui

• Performa bervariasi tergantung tugas dan aplikasi. Keandalan bergantung pada kompleksitas tugas, desain antarmuka, dan perilaku aplikasi.

• Sensitif terhadap perubahan antarmuka dan waktu. Perubahan tata letak, keterlambatan pemuatan, atau dialog tak terduga dapat menghasilkan hasil berbeda untuk tugas yang sama.

• Kesulitan dengan kontrol tertentu. Elemen antarmuka non-standar atau dinamis, seperti dropdown, pemilih tanggal, dan widget kustom, bisa menjadi tantangan untuk diinteraksikan.

• Mungkin akan mengulangi tindakan atau terjebak. Kondisi layar yang tidak terduga dapat menyebabkan agen terjebak dalam pengulangan atau berhenti mengalami kemajuan.

• Tantangan dengan tugas yang kompleks. Tugas yang melibatkan antarmuka grafis yang detail atau manipulasi teks yang rumit mungkin kurang dapat diandalkan dibandingkan tindakan sederhana.

• Tidak untuk kasus penggunaan yang sensitif atau berisiko tinggi. Misalnya, alat ini tidak ditujukan untuk:

  • Merekomendasikan atau memberi skor di domain sensitif, seperti perekrutan, kesehatan, atau keuangan.
  • Melakukan transaksi keuangan.
  • Tindakan berbahaya, seperti spam atau misinformasi.
  • Berbagi data di luar organisasi Anda tanpa otorisasi yang tepat.

Cara meminimalkan batasan

Untuk meningkatkan keandalan, berikan instruksi yang jelas dan rinci saat mengonfigurasi tugas untuk mengurangi kesalahan dan meningkatkan tingkat keberhasilan tugas.

Apa itu fitur pengawasan manusia?

Important

Agen penggunaan komputer mungkin menemukan instruksi berbahaya, yang sering disebut sebagai serangan injeksi perintah, di mana perintah tersembunyi dalam tangkapan layar, halaman web, atau input lainnya mencoba memengaruhi tindakan secara tidak diinginkan. Untuk mengurangi risiko ini, operasikan penggunaan komputer di lingkungan tepercaya dan terisolasi dan terapkan pemeriksaan validasi yang kuat sebelum menjalankan instruksi apa pun.

Proses penggunaan komputer dapat menghadapi ambiguitas atau informasi yang hilang. Misalnya, nilai yang diperlukan tidak ada atau beberapa interpretasi masuk akal. Dalam kasus tersebut, fitur pengawasan manusia memungkinkan agen yang menggunakan komputer menjeda eksekusi dan mengeluarkan permintaan klarifikasi kepada peninjau manusia yang berwenang dan dikonfigurasi. Peninjau dapat merespons melalui email atau di Copilot Studio menggunakan peta aktivitas agen yang sedang berjalan. Setelah agen pengguna komputer menerima respons, agen tersebut melanjutkan prosesnya dari langkah di peta yang sebelumnya dijeda.

Keandalan dan batasan

Evaluasi yang dipimpin produk menunjukkan fitur pengawasan manusia umumnya berfungsi seperti yang diharapkan, tetapi dapat gagal atau berulah dengan cara yang mungkin tidak diantisipasi pengguna. Karena permintaan klarifikasi dipicu oleh perilaku model probabilistik, permintaan tersebut mungkin tidak memicu dalam setiap situasi di mana seseorang menginginkan jeda. Mereka juga dapat terpicu saat jeda tidak diperlukan. Anda tidak boleh mengandalkan permintaan klarifikasi sebagai pengaman keselamatan maupun jaminan bahwa sistem akan selalu meminta masukan manusia sebelum melanjutkan.

Bukan mekanisme penegakan aturan kustom

Permintaan untuk pengawasan manusia tidak menjamin penegakan aturan, kebijakan, atau batasan yang ditentukan. Anda harus menerapkan lebih banyak kontrol yang sesuai untuk setiap skenario yang mungkin (misalnya: instruksi yang jelas, lingkungan terbatas, akun hak istimewa terkecil, daftar izinkan, dan perlindungan operasional lainnya) daripada mengandalkan permintaan klarifikasi untuk memberikan informasi atau mencegah tindakan yang tidak diinginkan.

Faktor dan pengaturan operasional apa yang memungkinkan penggunaan alat penggunaan komputer yang efektif dan bertanggung jawab?

Alat penggunaan komputer berkinerja terbaik ketika instruksi pengguna yang jelas dan terperinci disediakan. Pengguna harus memberikan petunjuk yang tepat tentang interaksi situs web atau aplikasi untuk meningkatkan keandalan dan akurasi selama eksekusi tugas. Untuk visibilitas dan kontrol tambahan, aktifkan pengawasan manusia dengan menetapkan satu atau beberapa peninjau resmi di halaman konfigurasi alat. Saat model mendeteksi instruksi yang berpotensi berbahaya, peninjau ini menerima pemberitahuan untuk memvalidasi dan memutuskan apakah akan melanjutkan atau menghentikan eksekusi.

Bagaimana cara memberikan umpan balik pada alat penggunaan komputer?

Memiliki umpan balik tentang alat penggunaan komputer? Email computeruse-feedback@microsoft.com.