Otomatiskan aplikasi web dan desktop dengan penggunaan komputer

Penggunaan komputer adalah alat di Copilot Studio yang memungkinkan agen Anda berinteraksi dan mengotomatiskan tugas di komputer Windows. Ini berfungsi dengan situs web dan aplikasi desktop dengan memilih tombol, memilih menu, dan memasukkan teks ke dalam bidang di layar. Jelaskan dalam bahasa alami apa yang Anda inginkan komputer untuk lakukan, dan komputer akan melakukan tugas tersebut di komputer yang telah Anda siapkan dengan mouse dan keyboard virtual. Dengan menggunakan komputer, agen dapat menyelesaikan tugas bahkan ketika tidak ada API untuk terhubung langsung ke sistem. Jika seseorang dapat menggunakan aplikasi atau situs web, maka dia juga bisa menggunakan komputer. Anda dapat menggunakan komputer untuk tugas seperti entri data otomatis, pemrosesan faktur, dan ekstraksi data.

Penggunaan komputer didukung oleh Computer-Using Agents (CUA), model AI yang menggabungkan kemampuan visi dengan penalaran tingkat lanjut untuk berinteraksi dengan antarmuka pengguna grafis (GUI). Karena didukung AI, ia beradaptasi dengan perubahan antarmuka. Misalnya, ketika tombol atau layar berubah, alat terus berfungsi tanpa merusak alur Anda. Mudah digunakan. Cukup jelaskan apa yang Anda inginkan dalam bahasa alami. Anda tidak perlu menulis kode.

Tonton video ini untuk mempelajari bagaimana alat penggunaan komputer memungkinkan agen berinteraksi dengan aplikasi web.

Persyaratan

Fitur ini tersedia untuk lingkungan yang wilayahnya diatur ke Amerika Serikat.
Pastikan agen Anda mengaktifkan orkestrator generatif untuk menggunakan komputer.

Aktifkan penggunaan komputer pada agen Anda

Pada agen baru atau agen yang sudah ada di Copilot Studio, tambahkan penggunaan komputer sebagai alat dengan mengikuti langkah-langkah berikut:

Buka bagian Alat di agen Anda dan pilih Tambahkan alat.
Dalam dialog Tambahkan alat , pilih Alat baru.
Pilih Penggunaan komputer.
Berikan instruksi yang menjelaskan tugas yang harus dilakukan alat di komputer. Anda melihat beberapa templat instruksi untuk mulai mengerjakan. Untuk mempelajari selengkapnya tentang cara terbaik menulis instruksi untuk penggunaan komputer, lihat praktik terbaik untuk instruksi penggunaan komputer.
Pilih Tambahkan dan konfigurasikan. Pada halaman konfigurasi, konfigurasikan empat bidang ini:
- Nama: Masukkan nama tampilan untuk alat penggunaan komputer. Nama ini membantu Anda membedakannya dari alat lain yang Anda tambahkan ke agen Anda.
- Deskripsi: Masukkan deskripsi singkat tentang apa yang dilakukan alat ini dan kapan menggunakannya. Teks ini memberi tahu agen Anda kapan harus menggunakan alat ini.
- Model: Pilih model yang digunakan untuk menjalankan alat penggunaan komputer. Saat ini, model yang didukung termasuk Agen Pengguna Komputer OpenAI dan Claude Sonnet 4.5 dari Anthropic.
  
  Note
  
  Untuk menggunakan model Anthropic, pastikan administrator Anda memiliki model eksternal yang dapat diakses.
- Petunjuk: Cantumkan langkah-langkah yang harus dilakukan alat, termasuk URL dan nama aplikasi. Untuk tips, lihat Praktik terbaik untuk petunjuk penggunaan komputer.
Secara opsional, tinjau dan sesuaikan bidang tambahan yang tersedia di halaman konfigurasi. Lihat Mengonfigurasi pengaturan tambahan untuk katalog lengkap, termasuk Mesin, Kredensial yang akan digunakan, Pengawasan manusia, Kredensial tersimpan, dan Kontrol akses.
Pilih Simpan.

Mengonfigurasi pengaturan tambahan

Halaman konfigurasi mengekspos bidang opsional di luar empat bidang yang diperlukan (Nama, Deskripsi, Model, Instruksi). Tinjau dan konfigurasikan ini sesuai kebutuhan untuk skenario Anda.

Masukan

Gunakan Input untuk menentukan nilai-nilai dinamis yang berubah setiap kali komputer menjalankan operasi. Misalnya, jika Anda ingin mengisi formulir dengan nilai yang berbeda pada setiap eksekusi, buat input untuk bidang tersebut. Pada waktu eksekusi, penggunaan komputer menggabungkan instruksi Anda dengan nilai input untuk menyelesaikan tugas.

Mesin

Pilih komputer target yang digunakan agen untuk menjalankan penggunaan komputer. Lihat Mengonfigurasi tempat penggunaan komputer berjalan untuk detail selengkapnya tentang memilih jenis komputer yang tepat berdasarkan kebutuhan Anda.

Gunakan Refresh untuk memperbarui daftar komputer.
Pilih Kelola komputer untuk membuka halaman manajemen mesin di portal Power Automate.
Pilih Lihat detail mesin untuk membuka halaman detail mesin di portal Power Automate.

Connection

Koneksi yang digunakan untuk alat ini. Perbarui atau buat koneksi baru untuk mengubah kredensial yang digunakan.

Kredensial yang akan digunakan

Tentukan bagaimana penggunaan komputer mengautentikasi selama eksekusi:

Kredensial yang disediakan pembuat (default): Opsi ini menggunakan kredensial pembuat dan cocok untuk agen otonom.

Warning

Jika Anda berbagi agen dengan pengaturan ini, siapa pun yang menggunakannya dapat bertindak dengan akses penulis asli pada komputer yang dikonfigurasi.
Kredensial pengguna akhir: Opsi ini menggunakan kredensial orang yang berinteraksi dengan agen. Setiap pengguna harus memiliki kredensial akses ke komputer.

Pengawasan manusia

Tentukan siapa yang harus dihubungi melalui email (Outlook) jika agen penggunaan komputer mendeteksi instruksi yang berpotensi berbahaya yang dapat mengubah perilaku model. Setiap agen berjalan dan aktivitasnya terkait dengan pengguna yang memulainya. Jika Anda memilih peninjau selain orang yang menjalankan agen penggunaan komputer, kemungkinan besar mereka tidak melihat aktivitasnya karena mereka tidak memulai proses berjalan. Oleh karena itu, mereka tidak dapat memverifikasi atau bertindak berdasarkan permintaan dengan benar. Selain itu, pastikan penerima diotorisasi dan memiliki konteks yang diperlukan untuk menangani permintaan tersebut. Batas waktu respons menentukan berapa lama permintaan tetap aktif. Setelah periode ini, permintaan kedaluwarsa, dan eksekusi penggunaan komputer berhenti jika tidak ada respons yang diterima. Lihat Pengawasan manusia untuk informasi selengkapnya.

Kredensial tersimpan

Tentukan kredensial yang digunakan komputer untuk masuk ke situs web dan aplikasi. Selama pelaksanaan, jika prompt masuk muncul, penggunaan komputer yang aman akan menggunakan kredensial apa pun yang Anda tentukan di bagian ini untuk situs atau aplikasi tersebut. Nilai kata sandi kredensial ini disimpan di penyimpanan internal Power Platform (tidak diperlukan konfigurasi) atau dalam Azure Key Vault yang Anda berikan. Untuk mempelajari cara membuat Azure Key Vault, lihat Membuat brankas kunci menggunakan portal Microsoft Azure.

Opsi penyimpanan internal: Dengan menggunakan opsi ini, Anda dapat mengonfigurasi kredensial di alat tanpa prakonfigurasi apa pun. Rahasia dienkripsi dan disimpan secara internal di Power Platform. Untuk setiap kredensial, berikan detail berikut:
- Jenis: pilih antara Situs Web dan aplikasi Desktop tergantung pada permukaan mana yang Anda rencanakan untuk menggunakan kredensial ini
- Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.
- Kata sandi: nilai kata sandi yang digunakan untuk masuk ke situs web atau aplikasi target.
Note

Bidang kata sandi didukung di semua situs web dan sebagian besar aplikasi Windows (WinForms, WPF, UWP, WinUI, Win32), yang mencakup sebagian besar skenario pelanggan. Beberapa jenis aplikasi, seperti Electron, Java, Unity, game, antarmuka baris perintah, Citrix, atau lingkungan virtual lainnya, mungkin tidak didukung.
- Domain login (situs web) atau nama aplikasi desktop (aplikasi desktop):
  - Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
  - Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.
opsi Azure Key Vault: Dengan opsi ini, Anda dapat mengonfigurasi kredensial di alat dengan terlebih dahulu memasukkan ID langganan, nama grup sumber daya, dan nama Key Vault. Anda dapat menemukan semua informasi ini di halaman Gambaran Umum Key Vault Anda.
- Untuk menggunakan rahasia Azure Key Vault dengan Power Platform:
  - Langganan Azure yang memiliki vault harus melakukan pendaftaran penyedia layanan PowerPlatform.
  - Pengguna yang membuat variabel lingkungan harus memiliki izin yang sesuai ke sumber daya Azure Key Vault.
- Jika Anda belum melakukannya, ikuti langkah-langkah dalam Mengonfigurasi Azure Key Vault lalu berikan detail berikut:
  - Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.
  - Nama rahasia Azure: nama rahasia di brankas kunci yang menyimpan kata sandi untuk situs web atau aplikasi
  - Domain login (situs web) atau nama aplikasi desktop (aplikasi desktop):
    - Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
    - Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.

Kontrol akses

Secara default, penggunaan komputer dapat beroperasi di situs web atau aplikasi apa pun. Jika Anda ingin membatasi akses ini, aktifkan kontrol akses untuk menentukan URL dan aplikasi desktop tertentu yang harus dibatasi penggunaan komputer. Anda dapat mengonfigurasi situs web dan aplikasi:

Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.

Note

Kontrol akses hanya mencegah model mengambil tindakan di situs web atau aplikasi yang tidak ada dalam daftar yang diizinkan. Ini tidak menghalangi model untuk membukanya. Misalnya, jika hanya microsoft.com dan Microsoft Edge yang ada dalam daftar izinkan, model masih dapat menggunakan bilah pencarian Edge untuk membuka Bing. Namun, setelah Bing dibuka, upaya apa pun untuk berinteraksi dengannya gagal karena tidak ada dalam daftar yang diizinkan.

Uji penggunaan komputer

Menguji penggunaan komputer adalah langkah kunci dalam perjalanan penulisan. Setelah Anda memasukkan nama, deskripsi, dan instruksi, dan menyimpan alat, pilih Uji untuk memulai pengalaman pengujian.

Setelah periode pemuatan singkat, pengalaman pengujian muncul:

Panel kiri menunjukkan instruksi Anda dan log langkah demi langkah dari penalaran dan tindakan alat.
Panel kanan menunjukkan pratinjau tindakan pada komputer yang telah Anda siapkan untuk digunakan.

Setelah tugas selesai, Anda akan melihat pesan Uji selesai . Saat pengujian sedang berlangsung, Anda dapat memilih Hentikan pengujian untuk segera menghentikan semua tindakan pada komputer.

Jika hasilnya tidak seperti yang Anda harapkan, buka halaman konfigurasi dan perbaiki instruksi Anda. Tambahkan detail selengkapnya untuk meningkatkan akurasi. Untuk panduan, lihat praktik terbaik untuk menulis instruksi yang efektif.

Menerbitkan agen dengan penggunaan komputer

Siapkan pengaturan penggunaan komputer, lalu publikasikan agen Anda. Cara agen Anda beroperasi tergantung pada skenario. Bisa mandiri atau konversasional:

Agen otonom berjalan secara otomatis dan melakukan tugas di latar belakang.
Agen percakapan memungkinkan pengguna berinteraksi melalui saluran seperti Microsoft Teams.

Penggunaan komputer berfungsi paling baik untuk agen otonom, melakukan tugas di latar belakang tanpa interaksi pengguna.

Anda juga dapat menerapkan penggunaan komputer dalam pengalaman percakapan, tetapi ingatlah pertimbangan ini:

Jika Anda memilih Autentikasi pengguna sebagai pengaturan autentikasi, setiap pengguna yang berinteraksi dengan agen dalam percakapan memerlukan kredensial yang valid untuk komputer yang digunakan oleh penggunaan komputer.
Saat alat berjalan, alat berbagi pesan penalaran dan cuplikan layar aktivitas komputer dalam obrolan.

Praktik terbaik

Agar tetap produktif dan aman di lingkungan digital saat ini, ikuti praktik terbaik untuk penggunaan komputer, terutama saat menulis instruksi yang jelas dan mengamankan mesin.

Praktik terbaik untuk mengamankan mesin

Saat menyiapkan mesin untuk penggunaan komputer yang memungkinkan AI melakukan tugas menggunakan bahasa alami, pertimbangkan rekomendasi keamanan ini:

Rekomendasi keamanan	Informasi tambahan
Menggunakan mesin khusus untuk penggunaan komputer	Tetapkan mesin khusus yang terisolasi secara eksklusif untuk tugas yang melibatkan penggunaan komputer. Pendekatan ini mengurangi risiko kontaminasi silang dari perangkat lunak yang tidak terkait, malware, atau akses yang tidak sah. Ini memungkinkan Anda mengontrol konfigurasi, pembaruan, dan pemantauan secara lebih efektif.
Batasi izin ke akun pengguna yang Anda gunakan untuk penggunaan komputer	Siapkan akun pengguna untuk penggunaan komputer untuk mengikuti prinsip hak istimewa paling sedikit—hanya berikan izin yang diperlukan untuk menjalankan alat yang diperlukan.
Batasi akses web ke daftar yang diizinkan hanya situs tepercaya tertentu	Izinkan akses web hanya ke daftar domain yang telah ditentukan sebelumnya dan domain tepercaya. Misalnya, Anda dapat mengonfigurasi pengaturan kebijakan Microsoft Edge dengan Microsoft Intune yang menargetkan perangkat yang digunakan untuk penggunaan komputer.
Batasi aplikasi desktop tertentu agar tersedia	Hanya instal dan izinkan eksekusi aplikasi yang penting untuk alur kerja AI yang dimaksudkan. Hapus atau nonaktifkan akses ke perangkat lunak yang tidak perlu. Misalnya, Anda dapat mengonfigurasi Kontrol Aplikasi untuk membatasi aplikasi apa yang diizinkan untuk dijalankan pada komputer.

Praktik terbaik untuk instruksi penggunaan komputer

Instruksi yang Anda tulis menentukan seberapa baik penggunaan komputer bekerja. Instruksi spesifik dan terperinci membantu komputer menggunakan tugas lengkap secara akurat. Anggap saja sebagai menjelaskan tugas kepada kolega. Panduan langkah demi langkah yang jelas membantu memastikan keberhasilan.

Tips untuk menulis instruksi yang efektif:

Spesifiklah tentang situs web dan aplikasi. Selalu sertakan URL lengkap situs web apa pun dan nama yang tepat dari aplikasi apa pun yang harus digunakan alat. Contoh: Buka https://www.microsoft.com dan buka "Berita perusahaan".
Nyatakan tindakan yang relevan dengan jelas. Jika Anda ingin sesuatu dilakukan, ucapkan secara eksplisit&mdashpecial untuk tindakan seperti mengirimkan formulir atau mengirim email. Contoh: Setelah Anda mengisi formulir, pilih Kirim. Tidak perlu meminta izin.
Memecah interaksi yang kompleks. Untuk area di mana UI bisa jadi lebih kompleks untuk dinavigasi, jelaskan setiap langkah secara rinci. Contoh: Pilih ikon Lainnya di sudut kanan atas. Dropdown muncul. Setelah terbuka, pilih item terakhir dalam daftar.
Gunakan pemformatan langkah demi langkah untuk tugas yang lebih panjang. Instruksi panjang lebih mudah diikuti saat Anda memformatnya sebagai daftar.

Contoh instruksi

Jelajahi contoh instruksi ini untuk mencoba penggunaan komputer atau gunakan sebagai referensi untuk menulis sendiri.

Scenario	Name	Description	Petunjuk
Pemrosesan faktur	Mentransfer dan mengirimkan detail faktur	Transfer data faktur dari PDF dan kirimkan ke formulir lain.	1. Buka https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, atur filter Tanggal ke 24 jam terakhir, dan buka PDF faktur. 2. Di tab baru, buka https://computerusedemos.blob.core.windows.net/web/Contoso/index.html dan isi formulir dengan data dari PDF tersebut. Kirim formulir faktur, tidak perlu konfirmasi.
Entri data	Mengirimkan item inventaris	Tambahkan produk ke sistem inventaris.	1. Buka https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Kirim entri baru untuk setiap item berikut: Derailleur Belakang, RD-4821, 50, 42.75, Tailspin Toys Set Pedal, PD-1738, 80, 19.99, Northwind Traders Tuas Rem, BL-2975, 35, 14.50, Trey Research Set Baut Rantai, CB-6640, 100, 5.25, VanArsdel, Ltd. Laher Tengah, BB-9320, 60, 24.90, Tailwind Traders
Ekstraksi data	Cari manajer portofolio dan nilai	Dapatkan nama manajer dan nilai untuk portofolio.	1. Buka https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Temukan baris untuk Fourth Coffee dan catat nama Manajer Portofolio dan Nilai Portofolio saat ini persis seperti yang ditunjukkan. 3. Mengembalikan dua nilai tersebut sebagai output akhir.

Praktik terbaik untuk mengekstrak data

Anda dapat menggunakan komputer untuk mengekstrak data dari situs web atau aplikasi lalu meneruskan data tersebut ke agen Anda atau ke alat lain di agen. Untuk melakukan ini, jelaskan informasi apa yang ingin Anda ekstrak langsung dalam instruksi untuk penggunaan komputer.

Jika Anda ingin menggunakan data yang diekstrak dengan alat lain (misalnya, mengirimnya melalui email), tentukan kebutuhan tersebut dalam instruksi agen dan pastikan Anda menambahkan kedua alat ke agen. Contoh: Gunakan penggunaan komputer untuk mengekstrak informasi klien untuk dasbor portofolio keuangan dan mengirim data yang diekstrak melalui email. Dalam hal ini, agen Anda harus menyertakan alat penggunaan komputer dan alat email .

Mengekstrak nilai sebagai teks

Anda dapat menginstruksikan penggunaan komputer untuk mengekstrak nilai tertentu dan mengembalikannya sebagai teks biasa. Misalnya, prompt berikut mengekstrak manajer portofolio dan nilai portofolio untuk klien, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agen hanya mengembalikan dua nilai yang diminta sebagai teks.

Mengekstrak nilai sebagai JSON

Anda juga dapat meminta penggunaan komputer untuk mengembalikan informasi yang diekstrak dalam format JSON. Format ini berguna ketika Anda ingin meneruskan data terstruktur ke alat lain. Contoh berikut mengekstrak semua baris portofolio yang terkait dengan Contoso dan mengembalikannya sebagai JSON yang diformat dengan benar:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Pendekatan ini memastikan output yang terstruktur.

Pelisensian

Komputer menggunakan penggunaan tagihan melalui fitur tindakan Agen dengan tingkat penagihan lima kredit Copilot. Untuk informasi selengkapnya, lihat Tarif dan manajemen penagihan Microsoft Copilot Studio.

Setiap penggunaan komputer yang dijalankan bergantung pada model AI yang menjalankan urutan langkah. Langkah mungkin melibatkan satu atau beberapa tindakan tingkat rendah, seperti mengklik, mengetik, atau menavigasi. Setiap langkah menggunakan 5 Kredit Copilot.

Misalnya, jika Anda mengonfigurasi penggunaan komputer untuk mengisi formulir lembar waktu berbasis web, eksekusi mungkin melakukan langkah-langkah berikut:

Luncurkan browser dan arahkan ke portal lembar waktu.
Pilih Buat lembar waktu baru.
Isi bidang Waktu Mulai, Waktu Selesai, dan Kode Proyek .
Pilih tombol Kirim.

Dalam contoh ini, penggunaan komputer menjalankan empat langkah, menggunakan total 20 Kredit Copilot.

Apakah Anda memiliki umpan balik tentang penggunaan komputer? Beri tahu kami di computeruse-feedback@microsoft.com.

Tanya Jawab Umum untuk alat penggunaan komputer

Saran dan Komentar

Apakah halaman ini membantu?

Last updated on 2026-05-07