Tanya Jawab Umum untuk alat penggunaan komputer

Pertanyaan umum (FAQ) ini memberikan wawasan tentang kapabilitas, penggunaan, batasan, dan tindakan pengamanan yang perlu Anda ketahui saat menambahkan alat penggunaan komputer ke agen Copilot Studio Anda.

Apa yang dimaksud dengan alat penggunaan komputer?

Penggunaan komputer adalah alat yang dapat Anda tambahkan ke agen Copilot Studio Anda, yang dirancang untuk mengotomatiskan tugas di situs web dan aplikasi. Anda memberikan deskripsi tugas dalam bahasa alami, dan alat ini secara otomatis melakukan klik mouse serta tindakan keyboard yang sesuai. Misalnya, Anda dapat memberikan instruksi kepada alat untuk membuka file PDF dan menggunakan isinya untuk mengisi formulir web. Alat ini secara visual mengidentifikasi tampilan layar dan mengeksekusi klik serta penekanan tombol yang diperlukan, sehingga meniru interaksi manusia.

Peringatan

Penggunaan komputer adalah alat canggih yang mengotomatiskan interaksi di seluruh situs web dan aplikasi desktop, namun juga memerlukan perhatian khusus terkait keamanan. Dalam beberapa kasus, AI mungkin mengambil tindakan yang tidak diinginkan karena instruksi ambigu atau konten tak terduga di layar. Tindakan ini dapat memengaruhi keamanan perangkat, data, atau akun yang terhubung, termasuk akses ke sistem pribadi, keuangan, atau perusahaan.

Apa yang dapat dilakukan alat penggunaan komputer?

Alat penggunaan komputer memproses data piksel layar untuk memahami konten di layar, dan melakukan tugas menggunakan klik mouse virtual dan input keyboard. Alat ini dapat mengelola alur kerja multilangkah, menangani skenario tak terduga, dan beradaptasi secara dinamis terhadap perubahan layar. Alat ini dapat melakukan berbagai tugas digital seperti menavigasi situs web dan mengisi formulir tanpa memerlukan API khusus.

Alat penggunaan komputer mengikuti siklus iteratif berdasarkan tiga langkah:

• Persepsi: Ini menangkap Cuplikan layar untuk memahami secara visual keadaan layar komputer saat ini.

• Penalaran: Ini mengevaluasi status saat ini, tindakan sebelumnya, dan cuplikan layar melalui pendekatan rantai pemikiran, yang memungkinkannya menyesuaikan tindakannya secara efektif.

• Tindakan: Alat melakukan tindakan seperti mengklik, mengetik, atau menggulir hingga tugas selesai atau memerlukan input pengguna lebih lanjut.

Apa kegunaan yang dimaksudkan dari alat penggunaan komputer?

Alat penggunaan komputer dimaksudkan untuk mengotomatiskan interaksi pengguna dengan situs web dan aplikasi melalui mouse dan keyboard virtual. Ini sangat berguna dalam skenario yang tidak menyediakan API.

Bagaimana alat penggunaan komputer dievaluasi? Metrik apa yang digunakan untuk mengukur kinerja?

Alat penggunaan komputer dievaluasi secara menyeluruh menggunakan skenario dunia nyata di seluruh tahap desain, pengembangan, dan implementasi. Metode evaluasi mencakup penelitian, studi dampak, dan pengujian di berbagai skenario untuk mengukur akurasi, kepercayaan pengguna, dan kegunaan. Baik metrik kualitatif maupun kuantitatif dipantau secara rutin guna memastikan kinerja tinggi dan pengalaman pengguna yang positif. Ketersediaan alat ini juga turut dijamin melalui kepatuhan terhadap SLA yang berlaku.

Apa batasan alat penggunaan komputer? Bagaimana pengguna dapat meminimalkan dampak keterbatasan alat penggunaan komputer saat menggunakan sistem?

Teknologi penggunaan komputer adalah teknologi baru dengan risiko keamanan dan keterbatasan fungsional yang diketahui. Kami memberdayakan Anda untuk bereksperimen dengannya. Kemampuan tahap awal ini memungkinkan otomatisasi tugas berbasis komputer tertentu, meskipun kinerjanya sangat bervariasi tergantung pada kasus penggunaan. Untuk menggunakannya secara efektif dan bertanggung jawab, pahami keterbatasannya saat ini.

Pembatasan yang diketahui

• Tingkat keberhasilan bervariasi menurut tugas: Alat ini berkinerja terbaik pada tugas berbasis web (sekitar 80% keberhasilan) tetapi turun secara signifikan pada aplikasi desktop (sekitar 35% keberhasilan).
• Performa yang tidak konsisten: Tugas yang sama mungkin menghasilkan hasil yang berbeda tergantung perubahan visual atau waktu.
• Kesulitan dengan kontrol UI tertentu: penggunaan komputer dapat mengalami kesulitan berinteraksi dengan elemen antarmuka non-standar atau dinamis, seperti menu dropdown, pemilih tanggal, atau widget khusus.
• Perulangan dan keadaan terjebak: Dalam beberapa kasus, agen dapat memasuki perulangan atau terjebak ketika layar tidak sesuai harapan atau berubah secara tidak terduga.
• Tantangan dengan tugas kompleks: Meskipun efektif untuk tindakan sederhana, alat ini mungkin kesulitan dengan antarmuka grafis terperinci atau tugas yang melibatkan manipulasi teks yang rumit.
• Tidak untuk kasus penggunaan sensitif atau berisiko tinggi: Alat ini tidak ditujukan untuk:
  • Memberikan rekomendasi atau skor di bidang sensitif, seperti perekrutan, perawatan kesehatan, atau keuangan
  • Melakukan transaksi keuangan
  • Tindakan berbahaya, seperti spam atau misinformasi
  • Membagikan data ke luar organisasi Anda tanpa izin yang sesuai

Cara meminimalkan batasan

Untuk meningkatkan keandalan, Anda harus memberikan instruksi yang jelas dan terperinci saat mengonfigurasi tugas untuk mengurangi kesalahan dan meningkatkan tingkat keberhasilan tugas.

Apa yang dimaksud dengan fitur pengawasan manusia?

Penting

Agen pengguna komputer mungkin menemukan instruksi berbahaya atau jahat, yang sering disebut sebagai serangan injeksi perintah, yang menyembunyikan perintah dalam cuplikan layar, halaman web, atau input lainnya mencoba memengaruhi tindakan dengan cara yang tidak diinginkan. Untuk mengurangi risiko ini, operasikan penggunaan komputer dalam lingkungan tepercaya dan terisolasi dan terapkan pemeriksaan validasi yang kuat sebelum menjalankan instruksi apa pun.

Proses penggunaan komputer dapat menghadapi ambiguitas atau kekurangan informasi. Misalnya, nilai yang diperlukan tidak ada atau ada beberapa kemungkinan interpretasi. Dalam situasi tersebut, fitur pengawasan manusia memungkinkan agen penggunaan komputer menjeda proses dan mengirim permintaan klarifikasi kepada peninjau manusia yang berwenang dan telah dikonfigurasi. Peninjau dapat merespons melalui email atau di Copilot Studio menggunakan peta aktivitas agen yang sedang berjalan. Setelah agen pengguna komputer menerima respons, agen tersebut melanjutkan prosesnya dari langkah di peta yang sebelumnya dijeda.

Keandalan dan batasan

Evaluasi yang dilakukan oleh tim produk menunjukkan bahwa fitur pengawasan manusia umumnya bekerja seperti yang diharapkan, tetapi dapat gagal atau berperilaku dengan cara yang tidak diantisipasi oleh pengguna. Karena permintaan klarifikasi dipicu oleh perilaku model probabilistik, permintaan tersebut mungkin tidak muncul dalam setiap situasi di mana seseorang menginginkan jeda. Mereka juga dapat memicu saat jeda tidak diperlukan. Anda tidak boleh mengandalkan permintaan klarifikasi sebagai mekanisme pengaman atau sebagai jaminan bahwa sistem akan selalu meminta masukan manusia sebelum melanjutkan.

Bukan mekanisme penegakan aturan khusus

Permintaan untuk pengawasan manusia tidak menjamin penegakan aturan, kebijakan, atau batasan yang Anda tentukan. Anda harus menerapkan lebih banyak kontrol yang sesuai untuk setiap skenario yang mungkin (misalnya: instruksi yang jelas, lingkungan yang dibatasi, akun dengan hak istimewa paling rendah, daftar yang diizinkan, dan perlindungan operasional lainnya) daripada mengandalkan permintaan klarifikasi untuk memberikan informasi atau mencegah tindakan yang tidak diinginkan.

Faktor dan pengaturan operasional apa yang memungkinkan penggunaan alat penggunaan komputer yang efektif dan bertanggung jawab?

Alat penggunaan komputer akan memberikan hasil terbaik apabila pengguna memberikan instruksi yang jelas dan terperinci. Pengguna harus memberikan petunjuk yang tepat tentang interaksi situs web atau aplikasi untuk meningkatkan keandalan dan akurasi selama pelaksanaan tugas. Untuk visibilitas dan kontrol tambahan, aktifkan pengawasan manusia dengan menetapkan satu atau beberapa peninjau yang berwenang di halaman konfigurasi alat. Saat model mendeteksi instruksi yang berpotensi berbahaya, peninjau yang berwenang akan menerima pemberitahuan untuk memverifikasi dan memutuskan apakah proses akan dilanjutkan atau dihentikan.

Bagaimana cara memberikan umpan balik tentang alat penggunaan komputer?

Punya umpan balik tentang alat penggunaan komputer? Email computeruse-feedback@microsoft.com.