Mengotomatiskan aplikasi web dan desktop dengan penggunaan komputer (pratinjau)

[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]

Penggunaan komputer adalah alat di Copilot Studio yang memungkinkan agen Anda berinteraksi dan mengotomatiskan tugas di komputer Windows. Ini berfungsi dengan aplikasi situs web dan desktop dengan memilih tombol, memilih menu, dan memasukkan teks ke bidang di layar. Jelaskan dalam bahasa alami apa yang Anda ingin dilakukan oleh penggunaan komputer, dan melakukan tugas pada komputer yang Anda siapkan menggunakan mouse virtual dan keyboard. Dengan penggunaan komputer, agen dapat menyelesaikan tugas bahkan ketika tidak ada API untuk terhubung langsung ke sistem. Jika seseorang dapat menggunakan aplikasi atau situs web, penggunaan komputer juga dapat. Anda dapat menggunakan penggunaan komputer untuk tugas seperti entri data otomatis, pemrosesan faktur, dan ekstraksi data.

Penting

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dibuat untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen siap produksi, lihat Gambaran umum Microsoft Copilot Studio.

Penggunaan komputer didukung oleh Computer-Using Agents (CUA), model AI yang menggabungkan kemampuan visi dengan penalaran tingkat lanjut untuk berinteraksi dengan antarmuka pengguna grafis (GUI). Karena didukung AI, ia beradaptasi dengan perubahan antarmuka. Misalnya, ketika tombol atau layar berubah, alat terus berfungsi tanpa merusak alur Anda. Mudah digunakan. Cukup jelaskan apa yang Anda inginkan dalam bahasa alami. Anda tidak harus menulis kode.

Tonton video ini untuk mempelajari bagaimana alat penggunaan komputer memungkinkan agen berinteraksi dengan aplikasi web.

Persyaratan

• Fitur ini tersedia untuk lingkungan di mana wilayah diatur ke Amerika Serikat.

• Pastikan agen Anda mengaktifkan orkestrator generatif untuk menggunakan penggunaan komputer.

Menambahkan penggunaan komputer ke agen Anda

Pada agen baru atau agen yang sudah ada di Copilot Studio, tambahkan penggunaan komputer sebagai alat dengan mengikuti langkah-langkah berikut:

1. Buka bagian Alat untuk agen Anda, dan pilih Tambahkan alat.

2. Di dialog Tambahkan alat, pilih Alat baru.

3. Pilih Penggunaan komputer.

4. Berikan instruksi yang menjelaskan tugas yang harus dilakukan alat di komputer. Anda melihat beberapa templat instruksi untuk memulai. Untuk mempelajari selengkapnya tentang cara terbaik menulis instruksi untuk penggunaan komputer, periksa praktik terbaik untuk petunjuk penggunaan komputer.

5. Pilih Tambahkan dan konfigurasikan.

   • Pada halaman konfigurasi, konfigurasikan empat bidang ini:

     • Nama: Masukkan nama tampilan untuk alat penggunaan komputer. Nama ini membantu Anda membedakannya dari alat lain yang Anda tambahkan ke agen Anda.
     • Deskripsi: Masukkan deskripsi singkat tentang apa yang dilakukan alat ini dan kapan menggunakannya. Teks ini memberi tahu agen Anda kapan harus menggunakan alat ini.
     • Model: Pilih model yang digunakan untuk menjalankan alat penggunaan komputer. Model yang saat ini didukung termasuk Computer-Using Agent OpenAI dan Claude Sonnet 4.5 dari Anthropic.

       Catatan

       Claude Sonnet 4.5 Anthropic saat ini sedang diluncurkan di seluruh wilayah yang didukung dan mungkin belum tersedia di wilayah Anda. Pastikan administrator Anda telah mengaktifkan model eksternal.

     • Petunjuk: Cantumkan langkah-langkah yang harus dilakukan alat, termasuk URL dan nama aplikasi. Untuk tips, lihat Praktik terbaik untuk petunjuk penggunaan komputer.

6. Tinjau bidang dan pengaturan lain ini pada halaman konfigurasi yang mungkin relevan:

   • Input: Gunakan Input untuk menentukan nilai dinamis yang berubah setiap kali penggunaan komputer berjalan. Misalnya, jika Anda ingin mengisi formulir dengan nilai yang berbeda pada setiap eksekusi, buat input untuk bidang tersebut. Pada waktu eksekusi, penggunaan komputer menggabungkan instruksi Anda dengan nilai input untuk menyelesaikan tugas.

   • Mesin: Pilih mesin target yang digunakan agen untuk menjalankan penggunaan komputer. Lihat Mengonfigurasi tempat penggunaan komputer berjalan untuk detail selengkapnya tentang memilih jenis komputer yang tepat berdasarkan kebutuhan Anda.

     • Gunakan Refresh untuk memperbarui daftar komputer.
     • Pilih Kelola komputer untuk membuka halaman pengelolaan komputer di portal Power Automate.
     • Pilih Lihat detail komputer untuk membuka halaman detail komputer di portal Power Automate.

   • Koneksi: Koneksi yang digunakan untuk alat ini. Perbarui atau buat koneksi baru untuk mengubah kredensial yang digunakan.

   • Kredensial yang akan digunakan: Tentukan cara komputer menggunakan autentikasi selama eksekusi:

     • Kredensial yang disediakan pembuat (default): Opsi ini menggunakan kredensial pembuat dan cocok untuk agen otonom.

     Peringatan

     Jika Anda berbagi agen dengan pengaturan ini, siapa pun yang menggunakannya dapat bertindak dengan akses penulis asli pada komputer yang dikonfigurasi.

     • Kredensial pengguna akhir: Opsi ini menggunakan kredensial orang yang berinteraksi dengan agen. Setiap pengguna harus memiliki kredensial akses ke komputer.

   • Pengawasan manusia: Tentukan siapa yang harus dihubungi melalui email (Outlook) jika agen penggunaan komputer mendeteksi instruksi yang berpotensi berbahaya yang dapat mengubah perilaku model. Setiap agen berjalan dan aktivitasnya terkait dengan pengguna yang memulainya. Jika Anda memilih peninjau selain orang yang menjalankan agen penggunaan komputer, mereka kemungkinan tidak melihat aktivitas karena mereka tidak memulai eksekusi. Oleh karena itu, mereka tidak dapat memverifikasi atau bertindak berdasarkan permintaan dengan benar. Selain itu, pastikan penerima diotorisasi dan memiliki konteks yang diperlukan untuk menangani permintaan tersebut. Batas waktu respons menentukan berapa lama permintaan tetap aktif. Setelah periode ini, permintaan kedaluwarsa, dan eksekusi penggunaan komputer berhenti jika tidak ada respons yang diterima. Lihat Pengawasan manusia untuk informasi selengkapnya.

   • Kredensial tersimpan: Tentukan kredensial yang digunakan penggunaan komputer untuk masuk ke situs web dan aplikasi. Selama pelaksanaan, jika prompt masuk muncul, penggunaan komputer yang aman akan menggunakan kredensial apa pun yang Anda tentukan di bagian ini untuk situs atau aplikasi tersebut. Nilai kata sandi kredensial ini disimpan dalam penyimpanan internal Power Platform (tidak diperlukan konfigurasi) atau di Azure Key Vault yang Anda sediakan. Pelajari cara membuat Azure Key Vault di Membuat brankas kunci menggunakan portal Azure.

     • Opsi penyimpanan internal: Dengan opsi ini, Anda dapat mengonfigurasi kredensial di alat tanpa prakonfigurasi apa pun. Rahasia dienkripsi dan disimpan secara internal di Power Platform. Untuk setiap kredensial, berikan detail berikut:

       • Jenis: pilih antara Situs Web dan aplikasi Desktop tergantung pada permukaan mana yang Anda rencanakan untuk menggunakan kredensial ini
       • Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.
       • Kata sandi: nilai kata sandi yang digunakan untuk masuk ke situs web atau aplikasi target.

       Catatan

       Bidang kata sandi didukung di semua situs web dan sebagian besar aplikasi Windows (WinForms, WPF, UWP, WinUI, Win32), yang mencakup sebagian besar skenario pelanggan. Beberapa jenis aplikasi, seperti Electron, Java, Unity, game, antarmuka baris perintah, Citrix, atau lingkungan virtual lainnya, mungkin tidak didukung.

       • Domain login atau nama aplikasi Desktop: domain atau nama aplikasi tempat Anda memasukkan kredensial (misalnya, login.microsoft.com atau Excel). Untuk domain login, pastikan untuk memverifikasi domain ini, karena mungkin berbeda dari URL situs utama.

     • Opsi Azure Key Vault: Dengan opsi ini, Anda dapat mengonfigurasi kredensial dalam alat dengan terlebih dahulu memasukkan ID langganan, nama grup sumber daya, dan nama Key Vault. Semua informasi ini tersedia dari halaman Ikhtisar Key Vault Anda.

       • Untuk menggunakan rahasia Azure Key Vault dengan Power Platform:

         • Langganan Azure yang memiliki brankas harus memiliki penyedia sumber daya PowerPlatform terdaftar.
         • Pengguna yang membuat variabel lingkungan harus memiliki izin yang sesuai ke sumber daya Azure Key Vault.

       • Jika Anda belum melakukannya, ikuti langkah-langkah dalam Mengonfigurasi Azure Key Vault lalu berikan detail berikut:

         • Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.
         • Nama rahasia Azure: nama rahasia di Key Vault yang menyimpan kata sandi untuk situs web atau aplikasi.

         Catatan

         Bidang kata sandi didukung di semua situs web dan sebagian besar aplikasi Windows (WinForms, WPF, UWP, WinUI, Win32), yang mencakup sebagian besar skenario pelanggan. Beberapa jenis aplikasi, seperti Electron, Java, Unity, game, antarmuka baris perintah, Citrix, atau lingkungan virtual lainnya, mungkin tidak didukung.

         • Domain login atau nama aplikasi Desktop: domain atau nama aplikasi tempat Anda memasukkan kredensial (misalnya, login.microsoft.com atau Excel). Untuk domain login, pastikan untuk memverifikasi domain ini, karena mungkin berbeda dari URL situs utama.

   • Kontrol akses: Secara default, penggunaan komputer dapat beroperasi di situs web atau aplikasi apa pun. Jika Anda ingin membatasi akses ini, aktifkan kontrol akses untuk menentukan URL dan aplikasi desktop tertentu yang harus dibatasi penggunaan komputer. Anda dapat mengonfigurasi situs web dan aplikasi:

     • Situs web: Masukkan alamat situs web utama (misalnya, example.com). Semua halaman di situs web tersebut disertakan secara otomatis. Anda juga dapat menggunakan wildcard (*) untuk subdomain.
       • Contoh: www.contoso.com, *.contoso.com, contoso.com
     • Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses.
       • Contoh: Microsoft Edge, msedge, Notepad.

     Catatan

     Kontrol akses hanya mencegah model mengambil tindakan di situs web atau aplikasi yang tidak ada dalam daftar yang diizinkan. Ini tidak menghalangi model untuk membukanya. Misalnya, jika hanya microsoft.com dan Microsoft Edge yang ada dalam daftar yang diizinkan, model masih dapat menggunakan bilah pencarian Edge untuk membuka Bing. Namun, setelah Bing dibuka, upaya apa pun untuk berinteraksi dengannya gagal karena tidak ada dalam daftar yang diizinkan.

7. Pilih Simpan.

Menguji penggunaan komputer

Menguji penggunaan komputer adalah langkah kunci dalam perjalanan penulisan. Setelah Anda memasukkan nama, deskripsi, dan instruksi, dan menyimpan alat, pilih Uji untuk memulai pengalaman pengujian.

Setelah periode pemuatan singkat, pengalaman pengujian muncul:

• Panel kiri menunjukkan instruksi Anda dan log langkah demi langkah dari penalaran dan tindakan alat.
• Panel kanan menampilkan pratinjau tindakan pada komputer yang Anda siapkan untuk penggunaan komputer.

Setelah tugas selesai, Anda akan melihat pesan Pengujian selesai. Saat pengujian sedang berlangsung, Anda dapat memilih Hentikan pengujian untuk segera menghentikan semua tindakan pada komputer.

Jika hasilnya tidak seperti yang Anda harapkan, buka halaman konfigurasi dan perbaiki instruksi Anda. Tambahkan detail selengkapnya untuk meningkatkan akurasi. Untuk panduan, lihat praktik terbaik untuk menulis instruksi yang efektif.

Menerbitkan agen dengan penggunaan komputer

Siapkan penggunaan komputer, lalu publikasikan agen Anda. Cara agen Anda berjalan tergantung pada skenarionya. Bisa otonom atau percakapan:

• Agen otonom berjalan secara otomatis dan melakukan tugas di latar belakang.
• Agen percakapan memungkinkan pengguna berinteraksi melalui saluran seperti Microsoft Teams.

Penggunaan komputer berfungsi paling baik untuk agen otonom, melakukan tugas di latar belakang tanpa interaksi pengguna.

Anda juga dapat menerapkan penggunaan komputer dalam pengalaman percakapan, tetapi ingatlah pertimbangan ini:

• Jika Anda memilih Autentikasi pengguna sebagai pengaturan autentikasi, setiap pengguna yang berinteraksi dengan agen dalam percakapan memerlukan kredensial yang valid untuk komputer yang digunakan oleh penggunaan komputer.
• Saat alat berjalan, alat berbagi pesan penalaran dan cuplikan layar aktivitas komputer dalam obrolan.

Praktik terbaik

Agar tetap produktif dan aman di lingkungan digital saat ini, ikuti praktik terbaik untuk penggunaan komputer, terutama saat menulis instruksi yang jelas dan mengamankan mesin.

Praktik terbaik untuk mengamankan mesin

Saat menyiapkan mesin untuk penggunaan komputer yang memungkinkan AI melakukan tugas menggunakan bahasa alami, pertimbangkan rekomendasi keamanan ini:

Rekomendasi keamanan	Informasi Tambahan
Menggunakan mesin khusus untuk penggunaan komputer	Tetapkan mesin khusus yang terisolasi secara eksklusif untuk tugas yang melibatkan penggunaan komputer. Pendekatan ini mengurangi risiko kontaminasi silang dari perangkat lunak yang tidak terkait, malware, atau akses yang tidak sah. Ini memungkinkan Anda mengontrol konfigurasi, pembaruan, dan pemantauan secara lebih efektif.
Batasi izin ke akun pengguna yang Anda gunakan untuk penggunaan komputer	Siapkan akun pengguna untuk penggunaan komputer untuk mengikuti prinsip hak istimewa paling sedikit—hanya berikan izin yang diperlukan untuk menjalankan alat yang diperlukan.
Batasi akses web ke daftar yang diizinkan hanya situs tepercaya tertentu	Izinkan akses web hanya ke daftar domain terverifikasi yang telah ditentukan sebelumnya dan domain tepercaya. Misalnya, Anda dapat mengonfigurasi pengaturan kebijakan Microsoft Edge dengan Microsoft Intune yang digunakan mesin target untuk penggunaan komputer.
Batasi aplikasi desktop tertentu agar tersedia	Hanya instal dan izinkan eksekusi aplikasi yang penting untuk alur kerja AI yang dimaksudkan. Hapus atau nonaktifkan akses ke perangkat lunak yang tidak perlu. Misalnya, Anda dapat mengonfigurasi Kontrol Aplikasi untuk membatasi aplikasi apa saja yang diizinkan untuk dijalankan pada mesin.

Praktik terbaik untuk instruksi penggunaan komputer

Instruksi yang Anda tulis menentukan seberapa baik penggunaan komputer bekerja. Instruksi spesifik dan terperinci membantu penggunaan komputer menyelesaikan tugas lengkap secara akurat. Anggap saja sebagai menjelaskan tugas kepada kolega. Panduan langkah demi langkah yang jelas membantu memastikan keberhasilan.

Tips untuk menulis instruksi yang efektif:

• Spesifiklah tentang situs web dan aplikasi. Selalu sertakan URL lengkap situs web apa pun dan nama yang tepat dari aplikasi apa pun yang harus digunakan alat. Contoh: Buka https://www.microsoft.com dan buka "Berita perusahaan".

• Nyatakan tindakan yang relevan dengan jelas. Jika Anda ingin sesuatu dilakukan, katakan secara eksplisit—terutama tindakan seperti mengirimkan formulir atau mengirim email. Contoh: Setelah Anda mengisi formulir, pilih Kirim. Tidak perlu meminta izin.

• Menguraikan interaksi yang kompleks. Untuk area di mana UI bisa jadi lebih kompleks untuk dinavigasi, jelaskan setiap langkah secara rinci. Contoh: Pilih ikon Lainnya di sudut kanan atas. Dropdown muncul. Setelah terbuka, pilih item terakhir dalam daftar.

• Gunakan pemformatan langkah demi langkah untuk tugas yang lebih panjang. Instruksi panjang lebih mudah diikuti saat Anda memformatnya sebagai daftar.

Sampel instruksi

Jelajahi sampel instruksi ini untuk mencoba penggunaan komputer atau menggunakannya sebagai referensi untuk menulis sendiri.

Skenario	Nama	KETERANGAN	Instruksi
Pemrosesan faktur	Mentransfer dan mengirimkan detail faktur	Transfer data faktur dari PDF dan kirimkan ke formulir lain.	1. Buka https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, atur filter Tanggal ke 24 jam terakhir, dan buka PDF faktur. 2. Di tab baru, buka https://computerusedemos.blob.core.windows.net/web/Contoso/index.html dan isi formulir dengan data dari PDF tersebut. Kirim formulir faktur, tidak perlu konfirmasi.
Entri data	Mengirimkan item inventaris	Tambahkan produk ke sistem inventaris.	1. Buka https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Kirim entri baru untuk setiap item berikut: Derailleur Belakang, RD-4821, 50, 42.75, Tailspin Toys Set Pedal, PD-1738, 80, 19.99, Northwind Traders Tuas Rem, BL-2975, 35, 14.50, Trey Research Set Baut Rantai, CB-6640, 100, 5.25, VanArsdel, Ltd. Braket Bawah, BB-9320, 60, 24.90, Tailwind Traders
Ekstraksi data	Cari manajer portofolio dan nilai	Dapatkan nama manajer dan nilai untuk portofolio.	1. Buka https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Temukan baris untuk Fourth Coffee dan catat nama Manajer Portofolio dan Nilai Portofolio saat ini persis seperti yang ditampilkan. 3. Mengembalikan dua nilai tersebut sebagai output akhir.

Praktik terbaik untuk mengekstrak data

Anda dapat menggunakan komputer untuk mengekstrak data dari situs web atau aplikasi lalu meneruskan data tersebut ke agen Anda atau ke alat lain di agen. Untuk melakukannya, cukup jelaskan informasi apa yang ingin Anda ekstrak langsung dalam instruksi untuk penggunaan komputer.

Jika Anda ingin menggunakan data yang diekstrak dengan alat lain (misalnya, mengirimnya melalui email), tentukan kebutuhan tersebut dalam instruksi agen dan pastikan kedua alat ditambahkan ke agen.

Contoh: Gunakan penggunaan komputer untuk mengekstrak informasi klien untuk dasbor portofolio keuangan dan mengirim email ke data yang diekstraksi. Dalam hal ini, agen Anda harus menyertakan alat penggunaan komputer dan alat email.

Mengekstrak nilai sebagai teks

Anda dapat menginstruksikan penggunaan komputer untuk mengekstrak nilai tertentu dan mengembalikannya sebagai teks biasa. Misalnya, prompt berikut mengekstrak manajer portofolio dan nilai portofolio untuk klien, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agen hanya mengembalikan dua nilai yang diminta sebagai teks.

Mengekstrak nilai sebagai JSON

Anda juga dapat meminta penggunaan komputer untuk mengembalikan informasi yang diekstrak dalam format JSON. Format ini berguna ketika Anda ingin meneruskan data terstruktur ke alat lain. Contoh berikut mengekstrak semua baris portofolio yang terkait dengan Contoso dan mengembalikannya sebagai JSON yang diformat dengan benar:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Pendekatan ini memastikan output yang terstruktur.

Lisensi

Saat penggunaan komputer ada dalam pratinjau, ini ditagih menggunakan fitur tindakan Agen dengan tingkat penagihan lima Kredit Copilot. Untuk informasi lebih lanjut, lihat Manajemen dan tarif penagihan Microsoft Copilot Studio.

Setiap penggunaan komputer yang dijalankan bergantung pada model AI yang menjalankan urutan langkah. Langkah dapat melibatkan satu atau beberapa tindakan tingkat rendah (misalnya, mengklik, mengetik, atau menavigasi). Setiap langkah menghabiskan 5 Kredit Copilot.

Misalnya, Jika Anda mengonfigurasi penggunaan komputer untuk mengisi formulir lembar waktu berbasis web, eksekusi mungkin melakukan langkah-langkah berikut:

1. Luncurkan browser dan arahkan ke portal lembar waktu.

2. Pilih Buat lembar waktu baru.

3. Isi bidang Waktu Mulai, Waktu Berakhir, dan Kode Proyek.

4. Pilih tombol Kirim.

Dalam contoh ini, komputer menggunakan run menjalankan 4 langkah, menghabiskan total 20 Kredit Copilot.

Sampaikan tanggapan Anda

Apakah Anda memiliki umpan balik tentang penggunaan komputer? Beri tahu kami di computeruse-feedback@microsoft.com.

Informasi terkait

Tanya Jawab Umum untuk alat penggunaan komputer