Otomatiskan aplikasi web dan desktop dengan penggunaan komputer

Note

Fitur dalam artikel ini menggunakan harness standar, yang menggunakan opsi penagihan yang dijelaskan dalam Lisensi untuk agen yang menggunakan harness standar. Pelajari cara mengakses fitur standar di agen standar Access dan alur agen.

Penggunaan komputer adalah alat di Copilot Studio yang memungkinkan agen Anda berinteraksi dan mengotomatiskan tugas di komputer Windows. Ini berfungsi dengan situs web dan aplikasi desktop dengan memilih tombol, memilih menu, dan memasukkan teks ke dalam bidang di layar. Jelaskan dalam bahasa alami apa yang Anda inginkan komputer untuk lakukan, dan komputer akan melakukan tugas tersebut di komputer yang telah Anda siapkan dengan mouse dan keyboard virtual. Dengan menggunakan komputer, agen dapat menyelesaikan tugas bahkan ketika tidak ada API untuk terhubung langsung ke sistem. Jika seseorang dapat menggunakan aplikasi atau situs web, maka dia juga bisa menggunakan komputer. Anda dapat menggunakan komputer untuk tugas seperti entri data otomatis, pemrosesan faktur, dan ekstraksi data.

Penggunaan komputer didukung oleh Computer-Using Agents (CUA), model AI yang menggabungkan kemampuan visi dengan penalaran tingkat lanjut untuk berinteraksi dengan antarmuka pengguna grafis (GUI). Karena didukung AI, ia beradaptasi dengan perubahan antarmuka. Misalnya, ketika tombol atau layar berubah, alat terus berfungsi tanpa merusak alur Anda. Mudah digunakan. Cukup jelaskan apa yang Anda inginkan dalam bahasa alami. Anda tidak perlu menulis kode.

Tonton video ini untuk mempelajari bagaimana alat penggunaan komputer memungkinkan agen berinteraksi dengan aplikasi web.

Note

Fitur ini hanya tersedia untuk agen dengan orkestrasi generatif diaktifkan.

Aktifkan penggunaan komputer pada agen Anda

Di Copilot Studio, tambahkan penggunaan komputer sebagai alat dengan mengikuti langkah-langkah berikut:

1. Buka halaman Alat untuk agen Anda dan pilih Tambahkan alat.

2. Di Tambahkan alat, pilih Alat baru.

3. Pilih Penggunaan komputer.

4. Berikan instruksi yang menjelaskan tugas yang harus dilakukan alat di komputer. Templat instruksi tersedia untuk membantu Anda memulai. Ikuti praktik terbaik untuk instruksi penggunaan komputer.

5. Pilih Tambahkan dan konfigurasikan. Pada halaman konfigurasi, konfigurasikan empat bidang ini:

   • Nama: Masukkan nama tampilan untuk alat penggunaan komputer. Nama ini membantu Anda membedakannya dari alat lain yang Anda tambahkan ke agen Anda.

   • Deskripsi: Masukkan deskripsi singkat tentang apa yang dilakukan alat ini dan kapan menggunakannya. Teks ini memberi tahu agen Anda kapan harus menggunakan alat ini.

   • Model: Pilih model yang digunakan untuk menjalankan alat penggunaan komputer. Model berikut tersedia:

     Provider	Modél	Tier	Status
     OpenAI	Agen Penggunaan Komputer (CUA)	Standard	Tersedia secara umum
     Anthropic	Claude Sonnet 4.5	Standard	Tersedia secara umum
     Anthropic	Soneta Claude 4.6	Standard	Experimental
     Anthropic	Claude Opus 4.6	Premium	Experimental

     Note

     Untuk menggunakan model Anthropic, pastikan administrator Anda mengaktifkan akss ke model eksternal untuk lingkungan Anda.

   • Petunjuk: Cantumkan langkah-langkah yang harus dilakukan alat, termasuk URL dan nama aplikasi. Ikuti praktik terbaik untuk instruksi penggunaan komputer.

6. Secara opsional, tinjau dan sesuaikan bidang lain yang tersedia di halaman konfigurasi.

7. Pilih Simpan.

Mengonfigurasi pengaturan opsional

Halaman konfigurasi mencakup bidang opsional di luar empat bidang yang diperlukan (Nama, Deskripsi, Model, Instruksi). Tinjau dan konfigurasikan opsi ini sesuai kebutuhan untuk skenario Anda.

Masukan

Gunakan input untuk menetapkan nilai dinamis yang berubah setiap kali Computer Use dijalankan. Misalnya, jika Anda ingin mengisi formulir dengan nilai yang berbeda pada setiap eksekusi, buat input untuk bidang tersebut. Pada waktu eksekusi, penggunaan komputer menggabungkan instruksi Anda dengan nilai input untuk menyelesaikan tugas.

Mesin

Pilih komputer target yang digunakan agen untuk menjalankan penggunaan komputer. Pelajari selengkapnya di Mengonfigurasi tempat penggunaan komputer berjalan.

• Pilih Refresh untuk memperbarui daftar komputer.
• Pilih Kelola komputer untuk membuka halaman manajemen komputer di Power Automate.
• Pilih Lihat detail mesin untuk membuka halaman detail mesin di Power Automate.

Koneksi

Koneksi yang digunakan untuk alat ini. Perbarui atau buat koneksi baru untuk mengubah kredensial yang digunakan.

Kredensial yang akan digunakan

Tentukan bagaimana penggunaan komputer mengautentikasi selama eksekusi:

• Kredensial yang disediakan pembuat (default): Gunakan kredensial pembuat. Opsi ini cocok untuk agen otonom.

  Warning

  Jika Anda berbagi agen dengan pengaturan ini, siapa pun yang menggunakannya dapat bertindak dengan akses penulis asli pada komputer yang dikonfigurasi.

• Kredensial pengguna akhir: Gunakan kredensial orang yang berinteraksi dengan agen. Setiap pengguna harus memiliki kredensial akses ke komputer.

Pengawasan manusia

Tentukan siapa yang harus dihubungi melalui email (Outlook) jika agen penggunaan komputer mendeteksi instruksi yang berpotensi berbahaya yang dapat mengubah perilaku model. Setiap agen berjalan dan aktivitasnya terkait dengan pengguna yang memulainya. Jika Anda memilih peninjau selain orang yang menjalankan agen penggunaan komputer, kemungkinan besar mereka tidak melihat aktivitasnya karena mereka tidak memulai proses berjalan. Oleh karena itu, mereka tidak dapat memverifikasi atau bertindak berdasarkan permintaan dengan benar. Selain itu, pastikan penerima diotorisasi dan memiliki konteks yang diperlukan untuk menangani permintaan tersebut. Batas waktu respons menentukan berapa lama permintaan tetap aktif. Setelah periode ini, permintaan kedaluwarsa, dan eksekusi penggunaan komputer berhenti jika tidak ada respons yang diterima. Pelajari lebih lanjut dalam Pengawasan manusia.

Kredensial tersimpan

Tentukan kredensial yang digunakan komputer untuk masuk ke situs web dan aplikasi. Selama pelaksanaan, jika prompt masuk muncul, penggunaan komputer yang aman akan menggunakan kredensial apa pun yang Anda tentukan di bagian ini untuk situs atau aplikasi tersebut. Kata sandi disimpan di penyimpanan internal Power Platform (tidak diperlukan konfigurasi) atau dalam Azure Key Vault yang Anda sediakan. Pelajari selengkapnya di Buat brankas kunci menggunakan portal Azure.

• Opsi penyimpanan internal: Dengan menggunakan opsi ini, Anda dapat mengonfigurasi kredensial di alat tanpa prakonfigurasi apa pun. Power Platform mengenkripsi dan menyimpan rahasia secara internal. Untuk setiap kredensial, berikan detail berikut:

  • Jenis: pilih antara Situs Web dan aplikasi Desktop tergantung pada permukaan mana yang Anda rencanakan untuk menggunakan kredensial ini

  • Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.

  • Kata sandi: nilai kata sandi yang digunakan untuk masuk ke situs web atau aplikasi target.

    Note

    Bidang kata sandi didukung di semua situs web dan sebagian besar aplikasi Windows (WinForms, WPF, UWP, WinUI, Win32), yang mencakup sebagian besar skenario pelanggan. Beberapa jenis aplikasi, seperti Electron, Java, Unity, game, antarmuka baris perintah, Citrix, atau lingkungan virtual lainnya, mungkin tidak didukung.

  • Domain login (situs web) atau nama aplikasi desktop (aplikasi desktop):

    • Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
    • Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.

• opsi Azure Key Vault: Dengan menggunakan opsi ini, Anda dapat mengonfigurasi kredensial di alat dengan terlebih dahulu memasukkan ID langganan, nama grup sumber daya, dan nama brankas kunci. Anda dapat menemukan semua informasi ini di halaman Gambaran Umum untuk brankas kunci Anda.

  • Untuk menggunakan rahasia Azure Key Vault dengan Power Platform:

    • Langganan Azure yang memiliki vault harus melakukan pendaftaran penyedia layanan PowerPlatform.
    • Pengguna yang membuat variabel lingkungan harus memiliki izin yang sesuai ke sumber daya Azure Key Vault.

  • Jika Anda belum melakukannya, ikuti langkah-langkah dalam Mengonfigurasi Azure Key Vault lalu berikan detail berikut:

    • Nama pengguna: nama pengguna yang Anda gunakan untuk login ke situs atau aplikasi target.

    • Nama rahasia Azure: nama rahasia di brankas kunci yang menyimpan kata sandi untuk situs web atau aplikasi

    • Domain login (situs web) atau nama aplikasi desktop (aplikasi desktop):

      • Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
      • Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.

Kontrol akses

Secara default, penggunaan komputer dapat beroperasi di situs web atau aplikasi apa pun. Jika Anda ingin membatasi akses ini, aktifkan kontrol akses untuk menentukan URL dan aplikasi desktop tertentu yang harus dibatasi penggunaan komputer. Anda dapat mengonfigurasi situs web dan aplikasi:

• Situs Web: Masukkan alamat situs web utama (misalnya, example.com). Anda secara otomatis menyertakan semua halaman di situs web tersebut. Anda juga dapat menggunakan wildcard (*) untuk subdomain. Contoh: www.contoso.com, *.contoso.com, contoso.com
• Aplikasi desktop: Masukkan nama produk aplikasi atau nama proses. Untuk menemukannya, tekan Ctrl+Shift+Esc untuk membuka Pengelola Tugas. Lalu periksa tab Proses . Contoh: Microsoft Edge, msedge, Notepad.

Note

Kontrol akses hanya mencegah model mengambil tindakan di situs web atau aplikasi yang tidak ada dalam daftar yang diizinkan. Ini tidak menghalangi model untuk membukanya. Misalnya, jika hanya microsoft.com dan Microsoft Edge yang ada dalam daftar izinkan, model masih dapat menggunakan bilah pencarian Microsoft Edge untuk membuka Bing. Namun, setelah Bing dibuka, upaya apa pun untuk berinteraksi dengannya gagal karena tidak ada dalam daftar yang diizinkan.

Menerapkan HTTPS

Aktifkan Enforce HTTPS untuk memastikan penggunaan komputer hanya berfungsi dengan situs web HTTPS (URL-nya dimulai dengan https://). Ketika pengaturan ini diaktifkan, penggunaan komputer tidak berinteraksi dengan situs HTTP, membantu melindungi dari potensi paparan data.

Uji penggunaan komputer

Menguji penggunaan komputer adalah langkah kunci dalam perjalanan penulisan. Setelah Anda memasukkan nama, deskripsi, dan instruksi, dan menyimpan alat, pilih Uji untuk memulai pengalaman pengujian.

Setelah periode pemuatan singkat, pengalaman pengujian muncul:

• Panel kiri menunjukkan instruksi Anda dan log langkah demi langkah dari penalaran dan tindakan alat.
• Panel kanan menunjukkan pratinjau tindakan pada komputer yang telah Anda siapkan untuk digunakan.

Setelah tugas selesai, pesan Uji selesai muncul. Untuk segera menghentikan semua tindakan di mesin, Anda dapat memilih Hentikan pengujian saat pengujian sedang berlangsung.

Jika hasilnya tidak seperti yang Anda harapkan, buka halaman konfigurasi dan perbaiki instruksi Anda. Untuk meningkatkan akurasi, tambahkan lebih banyak detail. Ikuti praktik terbaik untuk menulis instruksi yang efektif.

Menerbitkan agen dengan penggunaan komputer

Siapkan pengaturan penggunaan komputer, lalu publikasikan agen Anda. Cara agen Anda beroperasi tergantung pada skenario. Bisa mandiri atau konversasional:

• Agen otonom berjalan secara otomatis dan melakukan tugas di latar belakang.
• Agen percakapan memungkinkan pengguna berinteraksi melalui saluran seperti Microsoft Teams.

Penggunaan komputer berfungsi paling baik untuk agen otonom, melakukan tugas di latar belakang tanpa interaksi pengguna.

Anda juga dapat menerapkan penggunaan komputer dalam pengalaman percakapan, tetapi ingatlah pertimbangan ini:

• Jika Anda memilih Autentikasi pengguna sebagai pengaturan autentikasi, setiap pengguna yang berinteraksi dengan agen dalam percakapan memerlukan kredensial yang valid untuk komputer yang digunakan oleh penggunaan komputer.
• Saat alat berjalan, alat berbagi pesan penalaran dan cuplikan layar aktivitas komputer dalam obrolan.

Praktik terbaik

Agar tetap produktif dan aman di lingkungan digital saat ini, ikuti praktik terbaik untuk penggunaan komputer, terutama saat menulis instruksi yang jelas dan mengamankan mesin.

Praktik terbaik untuk mengamankan mesin

Saat menyiapkan mesin untuk penggunaan komputer yang memungkinkan AI melakukan tugas menggunakan bahasa alami, pertimbangkan rekomendasi keamanan ini:

Rekomendasi keamanan	Informasi tambahan
Menggunakan mesin khusus untuk penggunaan komputer	Tetapkan mesin khusus yang terisolasi secara eksklusif untuk tugas yang melibatkan penggunaan komputer. Pendekatan ini mengurangi risiko kontaminasi silang dari perangkat lunak yang tidak terkait, malware, atau akses yang tidak sah. Ini memungkinkan Anda mengontrol konfigurasi, pembaruan, dan pemantauan secara lebih efektif.
Batasi izin ke akun pengguna yang Anda gunakan untuk penggunaan komputer	Siapkan akun pengguna untuk penggunaan komputer untuk mengikuti prinsip hak istimewa paling sedikit—hanya berikan izin yang diperlukan untuk menjalankan alat yang diperlukan.
Batasi akses web ke daftar yang diizinkan hanya situs tepercaya tertentu	Izinkan akses web hanya ke daftar domain yang telah ditentukan sebelumnya dan domain tepercaya. Misalnya, Anda dapat mengonfigurasi pengaturan kebijakan Microsoft Edge dengan Microsoft Intune yang menargetkan perangkat yang digunakan untuk penggunaan komputer.
Batasi aplikasi desktop tertentu agar tersedia	Hanya instal dan izinkan eksekusi aplikasi yang penting untuk alur kerja AI yang dimaksudkan. Hapus atau nonaktifkan akses ke perangkat lunak yang tidak perlu. Misalnya, Anda dapat mengonfigurasi kontrol aplikasi untuk membatasi aplikasi apa yang diizinkan untuk dijalankan pada komputer.

Praktik terbaik untuk instruksi penggunaan komputer

Instruksi yang Anda tulis menentukan seberapa baik penggunaan komputer bekerja. Instruksi spesifik dan terperinci membantu komputer menggunakan tugas lengkap secara akurat. Anggap saja sebagai menjelaskan tugas kepada kolega. Panduan langkah demi langkah yang jelas membantu memastikan keberhasilan.

Tips untuk menulis instruksi yang efektif:

• Spesifiklah tentang situs web dan aplikasi. Selalu sertakan URL lengkap situs web apa pun dan nama yang tepat dari aplikasi apa pun yang harus digunakan alat. Contoh: Buka https://www.microsoft.com dan buka berita perusahaan.
• Nyatakan tindakan yang relevan dengan jelas. Jika Anda ingin sesuatu dilakukan, ucapkan secara eksplisit—terutama untuk tindakan seperti mengirimkan formulir atau mengirim email. Contoh: Setelah Anda mengisi formulir, pilih Kirim. Tidak perlu meminta izin.
• Memecah interaksi yang kompleks. Untuk area di mana UI bisa jadi lebih kompleks untuk dinavigasi, jelaskan setiap langkah secara rinci. Contoh: Pilih ikon Lainnya di sudut kanan atas. Dropdown muncul. Setelah terbuka, pilih item terakhir dalam daftar.
• Gunakan pemformatan langkah demi langkah untuk tugas yang lebih panjang. Instruksi panjang lebih mudah diikuti saat Anda memformatnya sebagai daftar.

Contoh instruksi

Jelajahi contoh instruksi ini untuk mencoba penggunaan komputer atau gunakan sebagai referensi untuk menulis sendiri.

Skenario	Name	Description	Petunjuk
Pemrosesan faktur	Mentransfer dan mengirimkan detail faktur	Transfer data faktur dari PDF dan kirimkan ke formulir lain.	1. Buka https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html, atur filter Tanggal ke 24 jam terakhir, dan buka PDF faktur. 2. Di tab baru, buka https://computerusedemos.blob.core.windows.net/web/Contoso/index.html dan isi formulir dengan data dari PDF tersebut. Kirim formulir faktur, tidak perlu konfirmasi.
Entri data	Mengirimkan item inventaris	Tambahkan produk ke sistem inventaris.	1. Buka https://computerusedemos.blob.core.windows.net/web/Adventure/index.html. 2. Kirim entri baru untuk setiap item berikut: Derailleur belakang, RD-4821, 50, 42.75, Tailspin Toys Set Pedal, PD-1738, 80, 19.99, Northwind Traders Tuas Rem, BL-2975, 35, 14.50, Trey Research Set Baut Gir Depan, CB-6640, 100, 5.25, VanArsdel, Ltd. Laher Tengah, BB-9320, 60, 24.90, Tailwind Traders
Ekstraksi data	Cari manajer portofolio dan nilai	Dapatkan nama manajer dan nilai untuk portofolio.	1. Buka https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html. 2. Temukan baris untuk Fourth Coffee dan catat nama Manajer Portofolio dan Nilai Portofolio saat ini persis seperti yang ditunjukkan. 3. Mengembalikan dua nilai tersebut sebagai output akhir.

Praktik terbaik untuk mengekstrak data

Gunakan penggunaan komputer untuk mengekstrak data dari situs web atau aplikasi. Kemudian, teruskan data tersebut ke agen Anda atau ke alat lain dalam agen. Jelaskan informasi apa yang ingin Anda ekstrak langsung dalam instruksi untuk penggunaan komputer.

Jika Anda ingin menggunakan data yang diekstrak dengan alat lain (misalnya, mengirimnya melalui email), tentukan kebutuhan tersebut dalam instruksi agen dan pastikan Anda menambahkan kedua alat ke agen. Contoh: Gunakan penggunaan komputer untuk mengekstrak informasi klien untuk dasbor portofolio keuangan dan mengirim data yang diekstrak melalui email. Dalam hal ini, agen Anda harus menyertakan alat penggunaan komputer dan alat email .

Mengekstrak nilai sebagai teks

Instruksikan penggunaan komputer untuk mengekstrak nilai tertentu dan mengembalikannya sebagai teks biasa. Misalnya, prompt berikut mengekstrak manajer portofolio dan nilai portofolio untuk klien, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Agen hanya mengembalikan dua nilai yang diminta sebagai teks.

Mengekstrak nilai sebagai JSON

Anda juga dapat meminta penggunaan komputer untuk mengembalikan informasi yang diekstrak dalam format JSON. Format ini berguna ketika Anda ingin meneruskan data terstruktur ke alat lain. Contoh berikut mengekstrak semua baris portofolio yang terkait dengan Contoso dan mengembalikannya sebagai JSON yang diformat dengan benar:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Pendekatan ini memastikan output yang terstruktur.

Lisensi

Komputer menggunakan penggunaan tagihan melalui fitur tindakan Agen dengan tingkat penagihan lima kredit Copilot. Pelajari selengkapnya di Tingkat penagihan dan manajemen.

Setiap penggunaan komputer yang dijalankan bergantung pada model AI yang menjalankan urutan langkah. Langkah mungkin melibatkan satu atau beberapa tindakan tingkat rendah, seperti mengklik, mengetik, atau menavigasi. Setiap langkah menggunakan 5 Kredit Copilot, atau 15 Kredit Copilot saat menggunakan model premium.

Model berikut tersedia untuk penggunaan komputer:

Provider	Modél	Tier	Kredit per langkah
OpenAI	Agen Penggunaan Komputer (CUA)	Standard	5
Anthropic	Claude Sonnet 4.5	Standard	5
Anthropic	Soneta Claude 4.6	Standard	5
Anthropic	Claude Opus 4.6	Premium	15

Misalnya, jika Anda mengonfigurasi penggunaan komputer untuk mengisi formulir lembar waktu berbasis web, eksekusi mungkin melakukan langkah-langkah berikut:

1. Buka browser dan akses portal timesheet.

2. Pilih Buat lembar waktu baru.

3. Isi bidang Waktu Mulai, Waktu Selesai, dan Kode Proyek .

4. Pilih Kirim.

Dalam contoh ini, proses penggunaan komputer menjalankan empat langkah. Jika menggunakan model standar, proses ini mengonsumsi total 20 kredit Copilot. Jika menggunakan model premium, model ini mengonsumsi total 60 kredit Copilot.

Bagikan tanggapan Anda

Apakah Anda memiliki umpan balik tentang penggunaan komputer? Beri tahu kami di computeruse-feedback@microsoft.com.

Informasi terkait

• Tanya Jawab Umum untuk alat penggunaan komputer
• Menambahkan alat penggunaan komputer mandiri ke agen dan alur agen (pratinjau)