Değerlendirmeleri çalıştırma ve sonuçları görüntüleme

Değerlendirmeler yapın ve sonuçları analiz ederek temsilcinizin davranışını optimize edin ve temsilcinizin iş ve kalite gereksinimlerinize uyduğunu doğrulayın. Ayrıca ajanınızı geliştirdikçe zamanla değişiklikleri görmek için bir test setini birden fazla kez çalıştırabilirsiniz.

Bu makalede, Copilot Studio arabirimini kullanarak değerlendirmeleri başlatma ve sonuçları görüntüleme açıklanmaktadır. Ayrıca, değerlendirmeleri araç olarak eklenen veya Copilot Studio ya da Power Automate otomasyon akışlarının bir parçası olan Power Platform API veya bağlayıcılar ile çalıştırabilirsiniz.

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Test setiyle bir test çalıştırın

Bir test seti oluşturduktan sonra, o seti kullanarak bir test çalıştırın. Ya da aynı seti kullanarak sonuçları zaman ve yinelemeler içinde karşılaştırarak testleri tekrar çalıştırabilirsiniz. Bir testin yapılması birkaç dakikaya kadar sürebilir. Aynı anda sadece bir test yapabilirsiniz.

Önemli

Kullanıcı kimlik doğrulaması kullanan aracı değerlendirmeleri, Microsoft Copilot Studio bağlayıcısı üzerinden erişim gerektirir. Yöneticiniz bu bağlantıyı kapatırsa, değerlendirme aracını kullanarak test yapamazsınız. Daha fazla bilgi için bkz. Copilot Studio bağlayıcıları ve veri grupları.

1. Temsilcinizin Değerlendirme sayfasına gidin.

   

2. Aşağıdaki işlemlerden birini uygulayarak test yapın:

   • Test seti oluşturma veya düzenlemenin sonunda, Değerlendir seçeneğini seçin.
   • Son sonuçlar bölümünde, aşağıdaki adımlardan birini uygulayarak testi tekrar çalıştırın:
     • Değerlendirmek istediğiniz test sonucunun üzerine gelin ve ardından ▶ Değerlendir (Test kümesini yeniden değerlendir) seçeneğini Aracı Değerlendir yanında seçin.
     • Test sonucunu seçerek açın ve ardından Değerlendirme özeti bölmesinde Çalıştır ▶ simgesini seçin.

   Test kümesinin kullanıcı profilinde bağlantı kesildiyse veya test kümesinin kullanıcı profili yoksa Profili ve bağlantıları yönet iletişim kutusu görüntülenir. Test için kullanıcı profili kullanmanıza gerek yok. Ancak bir profil kullanıyorsanız, tüm bağlantılar çalışıyor olmalı. Bağlantıları düzeltme hakkında bilgi için Kullanıcı profillerini ve bağlantıları yönet bölümünü inceleyebilirsiniz.

Değerlendirme birkaç dakika sürer. Test sonuçları gerçek zamanlı, satır satır işlenir. Her değerlendirme testi çalışmalarının sonucunun oluşturuldukça sıralı olarak göründüğünü görürsünüz. Test çalışmalarının canlı işlenmesi, değerlendirme çalışırken kalite eğilimleri ve olası hatalar hakkında anında görünürlük sağlar. Herhangi bir noktada sorun çıkması durumunda çalıştırmayı durdurabilirsiniz. Copilot Studio tam değerlendirme tamamlandığında ve özet sonuçları görüntülenmeye hazır olduğunda bir uyarı görüntülenir.

Uyarı

Bir kerede yalnızca bir değerlendirme testi kümesi çalıştırabilirsiniz. Başka bir değerlendirmeyi başlatmadan önce geçerli değerlendirmenin tamamlanmasını bekleyin.

Test sonuçlarına dalış

Copilot Studio ile bir test kümesi kullanarak her değerlendirme çalıştırdığınızda:

1. Aracıyla yapılan konuşmaların simülasyonunu yapmak için bağlı kullanıcı hesabını kullanır ve test çalışması içindeki her soruyu aracıya gönderir.

2. Aracının yanıtlarını toplar.

3. Her yanıtın başarısını ölçür ve analiz eder. Her bir test vakası, test vakasının kriterlerine göre Geçti, Başarısız, Geçersiz veya Hata alır.

4. Geçme oranı puanı, test kümesinin Geçti/Kaldı oranına göre atanır.

Her test setinin geçme oranını , ajanınızın Değerlendirme sayfasında, Son sonuçlar bölümünde görebilirsiniz. Daha fazla test seti çalışmasını görmek için Tümünü gör'ü seçin.

Bir test vakası için ayrıntılı analizi inceleyin ve değerlendirin

Bir test sonucunu açtığınızda, test çalışmasının detaylarını, testte kullanılan sorguların listesini, ajanın nasıl yanıt verdiğini ve Geçti veya Başarısız puanını görürsünüz.

Her yanıtın ayrıntılı değerlendirmesini görmek için listeden bir test vakası seçin. Sonuçları filtrelemek için Hepsi, Geç veya Başarısız seçeneklerini seçin.

Değerlendirme, beklenen ve gerçek yanıtları, test sonucunun arkasındaki gerekçeleri ve ajanın yanıt vermek için kullandığı bilgi, konular ve araçları içerir.

1. Değerlendirme sonuçları. Bu örnek, kalite değerlendirmesinin sonuç detaylarını gösterir.

2. Temsilcinizin bir test vakasındaki girdi, karar ve çıktı dizisini görmek için Göster aktivite haritasını seçin. Etkinlik içindeki konuşmayı görüntüleme bölümünde daha fazla bilgi edinin.

3. Test sorusunun transkripti ve temsilci yanıtı.

4. Ajanın testte kullandığı kaynaklar. Açmak için birini seçin.

Her test vakası için değerlendirmenin ne kadar iyi performans gösterdiği konusunda Microsoft'a geri bildirim verebilirsiniz. Bu geri bildirim, seçilmiş değerlendirme yönteminin yanıtı ne kadar etkili değerlendirdiğiyle ilgilidir, yanıtın kendisinin doğru olup olmadığıyla ilgili değildir. Geri bildiriminiz, zamanla değerlendirmelerin kalitesini ve doğruluğunu artırmaya yardımcı olur.

Bir değerlendirmeyi değerlendirmek için, test için başparmak yukarı simgesi gösterilen ekran görüntüsünü seçin. veya test test vakası detayları panelindeki simge. Geri bildirim formu açıldığında, puanınız hakkında daha fazla bilgi verin ve ardından Gönder'i seçin.

Bir değerlendirme test kümesi, aynı aracının birkaç "oluşturucusu" tarafından birden çok kez çalıştırılabilir. Oluşturucular, diğer oluşturucular tarafından oluşturulan test kümelerini kullanarak değerlendirmeler çalıştırabilir. Oluşturucular herhangi bir test çalıştırmasının çalıştırma durumunu ve sonuç ölçümlerini görebilir, ancak yalnızca test çalıştırmasını başlatan oluşturucu aracı yanıtlarını ve sonuç açıklamalarını görüntüleyebilir.

Test sonuçlarını karşılaştırın

Ajanınızın bir versiyonunu test etmek ve değişiklik yapmadan önce ve sonra performanstaki değişiklikleri görmek istersiniz. Aynı test setinin iki denemesini Karşılaştırma aracı kullanarak karşılaştırabilirsiniz.

Karşılaştırma görmek için aynı test setini en az iki kez çalıştırmanız gerekir.

1. Temsilcinizin Değerlendirme sayfasında, Son test sonuçları altında, karşılaştırma için temel olarak kullanmak istediğiniz test denemesini açın .

2. Karşılaştır ile açılır menüsünü seçin ve ardından şu anda açık olan test sonuçlarıyla karşılaştırmak istediğiniz test zamanı ve tarihini seçin.

Test durumları listesinde oklar, hangi test durumu sonuçlarının başarısızdan başarılıya geçişle iyileştiğini veya başarılıdan başarısıza geçişle düştüğünü gösterir.

Daha fazla detay görmek için bir test vakası seçin. Değerlendirme özet panelinde, mevcut test çalışmasının sonucunun üstünde yer aldığı test puanlarının doğrudan karşılaştırmasını görebilirsiniz.

Test sonuçlarını dışarı aktarma

Test sonuçlarını CSV dosyasına dışa aktarabilirsiniz. Dosya, soru, beklenen yanıt (varsa), test yöntemi, geçme puanı (varsa), ajanın yanıtı, test sonucu ve her test vakası için analizleri listeler.

1. Temsilcinizin Değerlendirme sayfasına gidin.
2. Son sonuçlar bölümünde, aşağıdaki adımlardan birini uygulayarak test sonucunu dışa aktarın:
   • Dışa aktarmak istediğiniz test vakasının üzerine gelin, üç noktayı (...) seçin ve ardından Test sonuçlarını Dışa Aktar' seçin.
   • Açmak için test vakasını seçin, Değerlendirme özet panelinde üç noktayı (...) seçin ve ardından Test sonuçlarını dışa aktar'ı seçin.

İndirilen test sonuçları test setinizin adı.csv olarak kaydedilir.