Pantau agen Anda dengan metrik kustom (pratinjau)

Note

Artikel ini menjelaskan fitur yang digunakan pada agen atau alur agen yang didukung oleh harness standar.

[Artikel ini adalah dokumentasi prarilis dan dapat berubah.]

Gunakan bahasa alami untuk menentukan hingga tiga metrik kustom yang ingin Anda Copilot Studio buat. Sesuaikan metrik kustom agen Anda untuk mengukur hasil agen dan dampak bisnis pada pesan percakapan. Metrik kustom dihitung berdasarkan transkrip pesan agen, termasuk konten yang dikirim dalam pesan Kartu Adaptif.

Tampilkan metrik kustom Anda secara grafis sebagai grafik donat berlabel di bawah Metrik kustom di halaman Monitor .

Penting

Artikel ini berisi dokumentasi pratinjau Microsoft Copilot Studio dan dapat berubah.

Fitur pratinjau tidak dimaksudkan untuk penggunaan produksi dan mungkin memiliki fungsionalitas terbatas. Fitur ini tersedia sebelum rilis resmi agar Anda bisa memperoleh akses awal dan memberikan tanggapan.

Jika Anda membangun agen yang siap untuk produksi, silakan lihat Gambaran Umum Microsoft Copilot Studio.

Proposisi nilai kunci

Fitur ini menggunakan AI untuk membuat perintah yang menghitung hasil metrik kustom yang Anda tentukan dengan menggunakan bahasa alami. Metrik berlaku untuk pengambilan sampel data pesan percakapan (sesi). Anda dapat menyempurnakan dan melakukan iterasi pada metrik sebelum menyimpannya di agen Anda. Buat hingga tiga metrik kustom per agen. Anda dapat menguji metrik dengan menggunakan data sesi sampel dan meninjau hasil dengan menggunakan penalaran bawaan. Anda kemudian dapat menyempurnakan metrik untuk mencerminkan hasil dan dampak bisnis dengan lebih baik.

Membuat metrik kustom

  1. Di halaman Monitor agen Anda, pilih Metrik kustom di atas kartu Ringkasan .

    Tangkapan layar tombol Metrik kustom di halaman Monitor.

  2. Di Buat metrik kustom, jelaskan apa yang ingin Anda ukur dalam bahasa biasa, dalam hal hasil apa yang ingin Anda lacak di semua percakapan.

    Cuplikan layar deskripsi metrik 'Buat metrik kustom'.

  3. Untuk setiap hasil yang mungkin Anda inginkan untuk metrik yang Anda tentukan, tambahkan kategori hasil dan jelaskan bagaimana AI harus mengenali kapan hasil metrik ini terjadi.

    Note

    • Untuk setiap metrik, Anda dapat menentukan hingga 10 kategori hasil.
    • Setiap hasil sesi yang tidak cocok dipetakan ke kategori default Lainnya.

  4. Pilih Selanjutnya.

    AI menggunakan metrik dan deskripsi hasil Anda, dan metadata agen Anda yang sudah ada, untuk membuat perintah. Perintah menghitung hasil metrik baru berdasarkan data sesi. Petak metrik kustom baru muncul di tab Pratinjau.

  5. Pratinjau dan ulang perintah metrik kustom Anda. Perintah digunakan untuk menghitung hasil metrik kustom.

Mengedit metrik kustom

  1. Di halaman Monitor agen Anda, pilih tiga titik (...) pada ubin metrik kustom yang ingin Anda edit, lalu pilih Edit.

  2. Pada Buat metrik kustom, edit salah satu pengaturan berikut sesuai kebutuhan:

    • Bagaimana hasil bisnis ditentukan, di bawah Apa yang ingin Anda ukur?.
    • Salah satu kategori hasil, termasuk mengubah teks kategori apa pun atau menghapus kategori.
    • Menambahkan kategori hasil baru, dengan memilih Tambahkan kategori.

  3. Pilih Berikutnya, lalu pilih Simpan metrik.

  4. Pratinjau dan ulang perintah metrik kustom Anda. Perintah digunakan untuk menghitung hasil metrik kustom.

Pratinjau dan lakukan iterasi pada prompt metrik kustom Anda

Gunakan fungsionalitas pratinjau metrik kustom untuk menyempurnakan petunjuk metrik Anda. Saat menguji metrik kustom Anda pada panel Buat metrik kustom , metrik menarik data dari pengambilan sampel hingga 20 sesi.

  1. Pada halaman pertama Buat metrik kustom, pilih Berikutnya.

  2. Pilih Pratinjau untuk melihat tampilan metrik kustom Anda saat ditampilkan secara grafis pada petak.

    Cuplikan layar pratinjau petak metrik kustom.

  3. Pilih Hasil untuk melihat daftar hasil untuk data sampel dan deskripsi penalaran AI untuk setiap hasil.

    Cuplikan layar hasil metrik kustom dari data sampel.

  4. Evaluasi apakah penalaran dan hasilnya benar.

  5. Pilih Perintah untuk melihat deskripsi pemahaman AI tentang apa yang Anda inginkan untuk mengukur dan menghitung metrik kustom dan dengan kategori hasil apa. Tab Prompt memberikan transparansi dan wawasan tentang apa logika yang mendasar digunakan untuk menghasilkan hasilnya.

    Cuplikan layar tab Prompt 'Buat metrik kustom' memperlihatkan perintah yang dihasilkan AI.

  6. Jika Anda ingin menyetel permintaan untuk memberikan hasil yang lebih tepat atau lebih relevan, buat penyesuaian pada input yang awalnya Anda berikan di halaman pertama panel Buat metrik kustom . Kemudian coba lagi perintah yang disesuaikan dengan data sampel.

  7. Pilih Simpan metrik.

    Petak metrik kustom baru muncul di halaman Monitor di bagian Metrik kustom.

    Setelah metrik dibuat, ada perhitungan satu kali output metrik baru berdasarkan data sesi selama tujuh hari terakhir. Penghitungan awal ini mungkin membutuhkan waktu untuk diselesaikan, tergantung pada berapa banyak sesi yang dimiliki agen. Setelah perhitungan awal, ada perhitungan harian output metrik Anda berdasarkan data dari sesi hari terakhir. Perhitungan harian terjadi pada malam hari di zona waktu Anda, dan menjaga metrik Anda tetap terbarui.

    Semua perhitungan, baik perhitungan awal maupun perhitungan malam hari, untuk metrik kustom dilakukan pada sesi sampel dan tidak pada semua sesi dalam periode waktu tersebut.

Penghapusan metrik kustom

  1. Di halaman Monitor agen Anda, pilih tiga titik (...) pada ubin metrik kustom yang ingin Anda hapus, lalu pilih Hapus.

  2. Dalam dialog konfirmasi, pilih Hapus.

  • Last updated on