Mengotomatiskan evaluasi agen dengan Power Platform API

Note

Fitur-fitur dalam artikel ini didukung oleh harness standar, yang menggunakan opsi penagihan yang dijelaskan dalam Lisensi untuk agen yang didukung oleh harness standar. Pelajari cara mengakses fitur standar di agen standar Access dan alur agen.

Copilot Studio menyediakan alat kepada pembuat untuk terus mengevaluasi performa agen dengan menjalankan pengujian otomatis terhadap set pengujian yang telah ditentukan sebelumnya menggunakan Power Platform REST API. Dengan menggunakan REST API, Anda dapat secara terprogram memicu evaluasi agen sebagai bagian dari alur kerja pengembangan Anda, seperti selama pembaruan agen, validasi rilis, atau pengujian regresi.

Mengotomatiskan evaluasi membantu Anda:

  • Periksa kualitas agen setelah melakukan perubahan.
  • Jalankan pemeriksaan performa berulang terhadap agen produksi atau penahapan.
  • Integrasikan pengujian agen ke dalam alur CI/CD.
  • Mendeteksi regresi dalam perilaku agen di awal siklus hidup pengembangan.

Prasyarat

  • Anda memiliki ID Bot dan ID Lingkungan untuk agen target.
  • Satu kumpulan uji dibuat di Copilot Studio untuk agen target Anda.
  • Token akses pengguna yang dikeluarkan oleh Microsoft Entra ID (OAuth 2.0). Untuk mendapatkan token, lihat Autentikasi.
    • Dapatkan token akses dengan menggunakan ID klien pendaftaran aplikasi yang memiliki cakupan yang sesuai yang diberikan di bawah Power Platform API.

Gambaran umum untuk menjalankan evaluasi dengan menggunakan REST API

Untuk menjalankan evaluasi dengan menggunakan POWER Platform API, ikuti langkah-langkah umum berikut:

  1. Selesaikan prasyarat.
  2. Temukan dan ambil ID set pengujian dari set pengujian yang ingin Anda gunakan.
  3. Jalankan evaluasi.
  4. Ambil hasilnya dengan menggunakan ID eksekusi evaluasi.

Ketika permintaan berhasil, evaluasi berjalan secara asinkron dan menghasilkan hasil yang dapat Anda tinjau di Copilot Studio.

Operasi API untuk mengotomatiskan evaluasi

Copilot Studio mendukung operasi REST API yang dapat Anda gunakan untuk memicu evaluasi secara terprogram terhadap agen Anda dengan menggunakan set pengujian yang ada.

Untuk informasi selengkapnya tentang cara dan waktu penggunaan API Power Platform, lihat:

Dapatkan set uji agen

  • Titik Akhir:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Tujuan: Mengambil daftar ID set pengujian dan detail lainnya untuk satu agen tertentu.
  • Respons: Mengembalikan daftar yang disebut value set pengujian dengan informasi berikut:
    • auditInfo: Tanda waktu dan ID pengguna untuk membuat dan memodifikasi setiap set pengujian
    • displayName: Nama set pengujian.
    • id: ID dari set uji. Gunakan fitur Mulai evaluasi agen untuk memilih set pengujian mana yang akan digunakan.
    • description: Deskripsi set pengujian.
    • state: Status perangkat uji. Set pengujian yang dapat digunakan memiliki status Active.
    • totalTestCases: Jumlah kasus pengujian dalam set pengujian.

Pelajari selengkapnya di Set Pengujian Evaluasi Pembuat Daftar.

Mendapatkan rincian set uji agen

  • Titik Akhir:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Tujuan: Ambil detail untuk set pengujian tertentu, menggunakan ID set pengujian.
  • Respons: Mengembalikan informasi satu item dalam array respons Dapatkan set uji agen.

Pelajari selengkapnya di Set Pengujian Evaluasi Pembuat Daftar.

Memulai evaluasi agen

  • Titik Akhir:POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Tujuan: Jalankan evaluasi untuk set pengujian dengan menggunakan id. Anda juga dapat menyertakan profil pengguna untuk mengautentikasi koneksi selama evaluasi berjalan. Gunakan mcsConnectionId untuk menentukan profil pengguna. Jika Anda tidak menambahkan mcsConnectionId ke panggilan Anda, evaluasi berjalan tanpa autentikasi.
  • Respons: Mengembalikan informasi berikut:
    • runId: ID untuk sesi evaluasi. Gunakan ID ini untuk mengakses detail evaluasi.
    • lastUpdatedAt: Saat status eksekusi terakhir kali diperbarui.
    • executionState: Status proses eksekusi selama evaluasi berlangsung.
    • state: Status eksekusi saat ini.
    • totalTestCases: Jumlah total kasus pengujian dalam set pengujian yang digunakan untuk evaluasi.
    • testCasesProcessed: Total kasus pengujian yang dievaluasi pada pembaruan terakhir.

Pelajari selengkapnya di Run Maker Evaluation Test Set.

Mendapatkan pelaksanaan pengujian agen

  • Titik Akhir:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Tujuan: Ambil array dari semua pengulangan sebelumnya.
  • Respons: Setiap item dalam array menyertakan nilai yang sama seperti yang ditemukan di Dapatkan detail eksekusi pengujian agen.

Pelajari lebih lanjut di Proses Uji Evaluasi List Maker.

Mendapatkan detail eksekusi uji agen

  • Titik Akhir:GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Tujuan: Mengambil detail evaluasi menggunakan runId untuk eksekusi evaluasi target Anda.
  • Respons: Mengembalikan informasi berikut:
    • id: ID untuk sesi evaluasi. Gunakan ID ini untuk mengakses detail evaluasi.
    • environmentId: ID untuk lingkungan agen Anda.
    • cdsBotId: ID untuk agen target.
    • ownerId: ID pengguna yang memulai eksekusi evaluasi.
    • testSetId: ID set pengujian yang digunakan untuk evaluasi.
    • state: Status kemajuan evaluasi.
    • startTime: Ketika evaluasi dimulai.
    • endTime: Setelah evaluasi selesai, jika selesai.
    • name: Nama evaluasi.
    • totalTestCases: Total kasus pengujian dalam set pengujian.
    • mcsConnectionId: ID koneksi untuk koneksi Copilot Studio dari profil pengguna yang digunakan untuk pelaksanaan evaluasi. null jika tidak ada profil pengguna yang tersambung.
    • testCasesResults: Daftar kasus pengujian dalam pelaksanaan evaluasi. Termasuk:
      • testCaseId: ID kasus pengujian.
      • state: Status penyelesaian kasus pengujian.
      • metricsResults: Detail dan hasil untuk setiap metode pengujian yang digunakan untuk kasus pengujian. Termasuk yang berikut ini:
        • type: Metode pengujian.
        • result: Hasil akhir pengujian untuk kasus pengujian ini. Termasuk yang berikut ini:
          • data: Detail hasilnya. Nilai yang tepat tergantung pada metode pengujian. Pelajari selengkapnya di dokumen POWER Platform API. Untuk pengujian kualitas umum , responsnya mencakup hal-hal berikut:
            • abstention: Apakah agen menjawab pertanyaan.
            • relevance: Apakah jawabannya relevan.
            • completeness: Apakah jawabannya selesai.
        • status: Status pengujian kasus.
        • errorReason: Jika terjadi kesalahan, penyebab kesalahan.
        • aiResultReason: Penjelasan AI tentang hasil kasus pengujian.

Pelajari selengkapnya di Get Maker Evaluation Test Run.

Menggunakan ID Konektor Microsoft Studio untuk evaluasi

Pada Mulai evaluasi agen, Anda dapat menambahkan ID Konektor Studio Microsoft secara opsional pada panggilan sebagai profil pengguna untuk evaluasi tersebut. Untuk menemukan mcsConnectionId:

  1. Buka Power Automate.
  2. Buka halaman Koneksi .
  3. Pilih koneksi Microsoft Copilot Studio.
  4. mcsConnectionId Salin dari URL:.../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on