FAQ untuk alat penggunaan komputer

Apa itu alat penggunaan komputer

Penggunaan komputer adalah alat yang dapat Anda tambahkan ke agen Copilot Studio yang dirancang untuk mengotomatiskan tugas di situs web dan aplikasi. Pengguna memberikan deskripsi tugas dalam bahasa alami, dan alat ini mengotomatiskan klik mouse dan tindakan keyboard yang sesuai. Misalnya, Anda dapat menginstruksikan alat untuk membuka PDF dan menggunakan kontennya untuk mengisi formulir web. Alat ini secara visual menafsirkan layar dan menjalankan klik dan penekanan tombol yang diperlukan, meniru interaksi manusia.

Peringatan

Penggunaan komputer adalah alat canggih yang mengotomatiskan interaksi di seluruh situs web dan aplikasi desktop, tetapi juga dilengkapi dengan pertimbangan keamanan penting. Dalam beberapa kasus, AI mungkin mengambil tindakan yang tidak diinginkan karena instruksi ambigu atau konten tak terduga di layar. Tindakan ini dapat memengaruhi keamanan perangkat, data, atau akun yang terhubung, termasuk akses ke sistem pribadi, keuangan, atau perusahaan.

Apa yang dapat dilakukan alat penggunaan komputer?

Alat penggunaan komputer memproses data piksel layar untuk memahami konten di layar, dan melakukan tugas menggunakan klik mouse virtual dan input keyboard. Alat ini dapat mengelola alur kerja multi-langkah, menangani skenario tak terduga, dan beradaptasi secara dinamis dengan perubahan layar, memungkinkannya melakukan berbagai tugas digital seperti menavigasi situs web dan mengisi formulir tanpa memerlukan API khusus.

Alat penggunaan komputer mengikuti perulangan berulang berdasarkan tiga langkah:

• Persepsi: Ini menangkap cuplikan layar untuk memahami status layar komputer saat ini secara visual.

• Penalaran: Ini mengevaluasi status saat ini, tindakan sebelumnya, dan cuplikan layar melalui pendekatan rantai pemikiran, yang memungkinkannya untuk menyesuaikan tindakannya secara efektif.

• Tindakan: Tindakan ini melakukan tindakan seperti mengklik, mengetik, atau menggulir hingga tugas selesai atau memerlukan input pengguna lebih lanjut.

Apa saja penggunaan alat penggunaan komputer yang dimaksudkan?

Alat penggunaan komputer dimaksudkan untuk mengotomatiskan interaksi pengguna dengan situs web dan aplikasi melalui mouse virtual dan keyboard, terutama berguna dalam skenario di mana API tidak tersedia.

Bagaimana alat penggunaan komputer dievaluasi? Metrik apa yang digunakan untuk mengukur performa?

Alat penggunaan komputer dievaluasi secara ketat menggunakan skenario dunia nyata sepanjang fase desain, pengembangan, dan penyebarannya. Metode evaluasi termasuk penelitian, studi dampak, dan pengujian di berbagai skenario untuk mengukur akurasi, kepercayaan pengguna, dan kegunaan. Metrik kualitatif dan kuantitatif dipantau secara teratur untuk mempertahankan performa tinggi dan pengalaman pengguna yang positif. Ketersediaan alat ini juga dipastikan dengan mematuhi SLA yang ditetapkan.

Apa batasan alat penggunaan komputer? Bagaimana pengguna dapat meminimalkan dampak keterbatasan alat penggunaan komputer saat menggunakan sistem?

Penggunaan komputer adalah teknologi baru dengan risiko keamanan yang diketahui dan batasan fungsi. Kami memberdayakan Anda untuk bereksperimen dengan itu. Kemampuan tahap awal ini memungkinkan otomatisasi tugas berbasis komputer tertentu, meskipun performanya sangat bervariasi tergantung pada kasus penggunaan. Untuk menggunakannya secara efektif dan bertanggung jawab, pahami batasannya saat ini:

Batasan yang diketahui

• Tingkat keberhasilan bervariasi menurut tugas: Alat ini berkinerja terbaik pada tugas berbasis web (sekitar 80% berhasil) tetapi turun secara signifikan pada aplikasi desktop (sekitar 35% berhasil).
• Performa yang tidak konsisten: Tugas yang sama mungkin menghasilkan hasil yang berbeda tergantung pada perubahan visual atau waktu.
• Kesulitan dengan kontrol UI tertentu: Penggunaan komputer dapat mengalami kesulitan berinteraksi dengan elemen antarmuka non-standar atau dinamis, seperti dropdown, pemilih tanggal, atau widget kustom.
• Perulangan dan status macet: Dalam beberapa kasus, agen memasuki perulangan atau macet ketika layar tidak sesuai dengan harapan atau perubahan yang tidak dapat diprediksi.
• Tantangan dengan tugas yang kompleks: Meskipun efektif untuk tindakan sederhana, alat ini mungkin berjuang dengan antarmuka grafis terperinci atau tugas yang melibatkan manipulasi teks yang rumit.
• Bukan untuk kasus penggunaan sensitif atau berisiko tinggi: Alat ini tidak ditujukan untuk:
  • Merekomendasikan atau menilai di domain sensitif, seperti perekrutan, layanan kesehatan, atau keuangan
  • Melakukan transaksi keuangan
  • Tindakan berbahaya, seperti spam atau informasi yang salah
  • Berbagi data di luar organisasi Anda tanpa otorisasi yang tepat

Cara meminimalkan batasan

Untuk meningkatkan keandalan, pengguna harus memberikan instruksi yang jelas dan terperinci saat mengonfigurasi tugas. Ini membantu mengurangi kesalahan dan meningkatkan tingkat keberhasilan tugas.

Pengawasan manusia

Pengawasan manusia meningkatkan visibilitas dan kontrol. Peninjau resmi yang telah Anda konfigurasikan di bagian pengawasan manusia alat dapat mengonfirmasi tindakan atau memberikan informasi saat diminta oleh model. Jika konfirmasi atau masukan diperlukan, sistem menjeda eksekusi dan memberi tahu peninjau yang ditugaskan, yang kemudian dapat memutuskan bagaimana melanjutkan.

Penting

Agen penggunaan komputer mungkin menemukan instruksi berbahaya atau berbahaya, sering disebut sebagai serangan injeksi prompt, di mana perintah tersembunyi dalam tangkapan layar, halaman web, atau input lain mencoba memengaruhi tindakan dengan cara yang tidak diinginkan. Untuk mengurangi risiko ini, operasikan penggunaan komputer di lingkungan tepercaya dan terisolasi dan terapkan pemeriksaan validasi yang kuat sebelum menjalankan instruksi apa pun.

Faktor dan pengaturan operasional apa yang memungkinkan penggunaan alat penggunaan komputer yang efektif dan bertanggung jawab?

Alat penggunaan komputer berkinerja terbaik ketika instruksi pengguna yang jelas dan terperinci disediakan. Pengguna harus memberikan petunjuk yang tepat tentang interaksi situs web atau aplikasi untuk meningkatkan keandalan dan akurasi selama eksekusi tugas. Untuk visibilitas dan kontrol tambahan, aktifkan pengawasan manusia dengan menetapkan satu atau beberapa peninjau resmi di halaman konfigurasi alat. Saat model mendeteksi instruksi yang berpotensi berbahaya, peninjau ini menerima pemberitahuan untuk memvalidasi dan memutuskan apakah akan melanjutkan atau menghentikan eksekusi.

Bagaimana cara memberikan umpan balik pada alat penggunaan komputer?

Memiliki umpan balik tentang alat penggunaan komputer? Email computeruse-feedback@microsoft.com.