Değerlendirmeleri çalıştırma ve sonuçları görüntüleme

Note

Bu makaledeki özellikler, standart harness tarafından desteklenir ve standart harness tarafından desteklenen aracılar için lisanslama bölümünde açıklanan faturalama seçeneklerini kullanır. Standart özelliklere nasıl erişeceğinizi, Standart aracılara ve aracı akışlarına erişim bölümünde öğrenin.

Değerlendirmeler yapın ve sonuçları analiz ederek temsilcinizin davranışını optimize edin ve temsilcinizin iş ve kalite gereksinimlerinize uyduğunu doğrulayın. Ayrıca ajanınızı geliştirdikçe zamanla değişiklikleri görmek için bir test setini birden fazla kez çalıştırabilirsiniz.

Bu makalede, Copilot Studio arabirimini kullanarak değerlendirmeleri başlatma ve sonuçları görüntüleme açıklanmaktadır. Ayrıca, değerlendirmeleri araç olarak eklenen veya Copilot Studio ya da Power Automate otomasyon akışlarının bir parçası olan Power Platform API veya bağlayıcılar ile çalıştırabilirsiniz.

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Test setiyle bir test çalıştırın

Bir test seti oluşturduktan sonra, o seti kullanarak bir test çalıştırın. Ya da aynı seti kullanarak sonuçları zaman ve yinelemeler içinde karşılaştırarak testleri tekrar çalıştırabilirsiniz. Bir testin yapılması birkaç dakikaya kadar sürebilir. Aynı anda sadece bir test yapabilirsiniz.

Important

Kullanıcı kimlik doğrulaması kullanan aracı değerlendirmeleri, Microsoft Copilot Studio bağlayıcısı üzerinden erişim gerektirir. Yöneticiniz bu bağlantıyı kapatırsa, değerlendirme aracını kullanarak test yapamazsınız. Daha fazla bilgi için bkz. Copilot Studio bağlayıcıları ve veri grupları.

1. Temsilcinizin Değerlendirme sayfasına gidin.

   

2. Aşağıdaki işlemlerden birini uygulayarak test yapın:

   • Test seti oluşturma veya düzenlemenin sonunda, Değerlendir seçeneğini seçin.
   • Son sonuçlar bölümünde, aşağıdaki adımlardan birini uygulayarak testi tekrar çalıştırın:
     • Değerlendirmek istediğiniz test sonucunun üzerine gelin ve ardından ▶ Değerlendir (Test kümesini yeniden değerlendir) seçeneğini Aracı Değerlendir yanında seçin.
     • Test sonucunu seçerek açın ve ardından Değerlendirme özeti bölmesinde Çalıştır ▶ simgesini seçin.

   Test kümesinin kullanıcı profilinde bağlantı kesildiyse veya test kümesinin kullanıcı profili yoksa Profili ve bağlantıları yönet iletişim kutusu görüntülenir. Test için kullanıcı profili kullanmanıza gerek yok. Ancak bir profil kullanıyorsanız, tüm bağlantılar çalışıyor olmalı. Daha fazla bilgi edinin Kullanıcı profillerini ve bağlantılarını yönetin.

   Important

   Bir kullanıcı profili seçtiğinizde, ajanınızın kullandığı bağlantıları inceleyip doğrulayabilirsiniz. Copilot Studio'ya giriş yapmak için kullandığınız hesap dışında, örneğin test hesabı seçerseniz, Copilot Studio o kullanıcı profilini doğrular ve kullanıcının mevcut bağlantılarını getirir. Bir değerlendirme çalıştırmadan önce bu bağlantıları yapılandırabilir, gözden geçirebilir ve kaydedebilirsiniz. Daha fazla bilgi edinin Kullanıcı profillerini ve bağlantılarını yönetin.

Değerlendirme birkaç dakika sürer. Test sonuçları gerçek zamanlı, satır satır işlenir. Her değerlendirme testi çalışmalarının sonucunun oluşturuldukça sıralı olarak göründüğünü görürsünüz. Test çalışmalarının canlı işlenmesi, değerlendirme çalışırken kalite eğilimleri ve olası hatalar hakkında anında görünürlük sağlar. Herhangi bir noktada sorun çıkması durumunda çalıştırmayı durdurabilirsiniz. Copilot Studio tam değerlendirme tamamlandığında ve özet sonuçları görüntülenmeye hazır olduğunda bir uyarı görüntülenir.

Note

Bir kerede yalnızca bir değerlendirme testi kümesi çalıştırabilirsiniz. Başka bir değerlendirmeyi başlatmadan önce geçerli değerlendirmenin tamamlanmasını bekleyin.

Test sonuçlarına dalış

Copilot Studio ile bir test kümesi kullanarak her değerlendirme çalıştırdığınızda:

1. Aracıyla yapılan konuşmaların simülasyonunu yapmak için bağlı kullanıcı hesabını kullanır ve test çalışması içindeki her soruyu aracıya gönderir.

2. Aracının yanıtlarını toplar.

3. Her yanıtın başarısını ölçür ve analiz eder. Her bir test vakası, test vakasının kriterlerine göre Geçti, Başarısız, Geçersiz veya Hata alır.

4. Geçme oranı puanı, test kümesinin Geçti/Kaldı oranına göre atanır.

Her test setinin geçme oranını , ajanınızın Değerlendirme sayfasında, Son sonuçlar bölümünde görebilirsiniz. Daha fazla test seti çalışmasını görmek için Tümünü gör'ü seçin.

Bir test vakası için ayrıntılı analizi inceleyin ve değerlendirin

Bir test sonucunu açtığınızda, test çalışmasının detaylarını, testte kullanılan sorguların listesini, ajanın nasıl yanıt verdiğini ve Geçti veya Başarısız puanını görürsünüz.

Her yanıtın ayrıntılı değerlendirmesini görmek için listeden bir test vakası seçin. Sonuçları filtrelemek için Hepsi, Geç veya Başarısız seçeneklerini seçin.

Değerlendirme, beklenen ve gerçek yanıtları, test sonucunun arkasındaki gerekçeleri ve ajanın yanıt vermek için kullandığı bilgi, konular ve araçları içerir.

1. Değerlendirme sonuçları. Bu örnek, kalite değerlendirmesinin sonuç detaylarını gösterir.

2. Temsilcinizin bir test vakasındaki girdi, karar ve çıktı dizisini görmek için Göster aktivite haritasını seçin. Oturum etkinliğini görüntüleme bölümünde daha fazla bilgi edinin.

3. Test sorusunun transkripti ve temsilci yanıtı.

4. Ajanın testte kullandığı kaynaklar. Açmak için birini seçin.

Her test vakası için değerlendirmenin ne kadar iyi performans gösterdiği konusunda Microsoft'a geri bildirim verebilirsiniz. Bu geri bildirim, seçilmiş değerlendirme yönteminin yanıtı ne kadar etkili değerlendirdiğiyle ilgilidir, yanıtın kendisinin doğru olup olmadığıyla ilgili değildir. Geri bildiriminiz, zamanla değerlendirmelerin kalitesini ve doğruluğunu artırmaya yardımcı olur.

Bir değerlendirmeyi değerlendirmek için, test için başparmak yukarı simgesi gösterilen ekran görüntüsünü seçin. veya test test vakası detayları panelindeki simge. Geri bildirim formu açıldığında, puanınız hakkında daha fazla bilgi verin ve ardından Gönder'i seçin.

Bir değerlendirme test kümesi, aynı aracının birkaç "oluşturucusu" tarafından birden çok kez çalıştırılabilir. Oluşturucular, diğer oluşturucular tarafından oluşturulan test kümelerini kullanarak değerlendirmeler çalıştırabilir. Oluşturucular herhangi bir test çalıştırmasının çalıştırma durumunu ve sonuç ölçümlerini görebilir, ancak yalnızca test çalıştırmasını başlatan oluşturucu aracı yanıtlarını ve sonuç açıklamalarını görüntüleyebilir.

Yanıt süresini gözden geçirmek

Copilot Studio, değerlendirme sırasında her etkileşim için yanıt süresini otomatik olarak ölçür. Bir etkileşim, tek bir kullanıcı talebi ve ajanın karşılık gelen yanıtıdır. Yanıt süresi, ajanın talebi aldığı andan yanıt vermesine kadar olan uçtan uca saniyeler cinsinden olan süredir. Tüm akıl yürütmeleri, araç çağrıları, bağlayıcı çağrıları, sorgular veya ajanın yanıt vermeden önce tamamladığı iş akışı adımlarını içerir.

Yanıt süresini görmek için Sonuçlar penceresinden bir test vakası sorusu seçin. Yanıt süresi değeri, yanıttan sonra ajan yanıt panelinde saniyeler içinde görünür.

Tek bir yanıt test vakası için, test vakası sorusu ve ajanın yanıtı tek bir etkileşim oluşturur. Bir konuşma test vakası birden fazla etkileşime sahip olabilir ve Copilot Studio her birini ayrı ayrı ölçür.

Tepki süresini kullanarak daha yavaş etkileşimleri tespit edin ve ajanı değiştirdikten sonra performansı karşılaştırın. Tepki süresi sadece bir ölçümdür. Başarılı veya Başarısız sonucu atamaz ya da test kümesinin geçme oranını etkilemez.

Test sonuçlarını karşılaştırın

Ajanınızın bir versiyonunu test etmek ve değişiklik yapmadan önce ve sonra performanstaki değişiklikleri görmek istersiniz. Aynı test setinin iki denemesini Karşılaştırma aracı kullanarak karşılaştırabilirsiniz.

Karşılaştırma görmek için aynı test setini en az iki kez çalıştırmanız gerekir.

1. Temsilcinizin Değerlendirme sayfasında, Son test sonuçları altında, karşılaştırma için temel olarak kullanmak istediğiniz test denemesini açın .

2. Karşılaştır ile açılır menüsünü seçin ve ardından şu anda açık olan test sonuçlarıyla karşılaştırmak istediğiniz test zamanı ve tarihini seçin.

Test durumları listesinde oklar, hangi test durumu sonuçlarının başarısızdan başarılıya geçişle iyileştiğini veya başarılıdan başarısıza geçişle düştüğünü gösterir.

Daha fazla detay görmek için bir test vakası seçin. Değerlendirme özet panelinde, mevcut test çalışmasının sonucunun üstünde yer aldığı test puanlarının doğrudan karşılaştırmasını görebilirsiniz.

Test sonuçlarını dışarı aktarma

Test sonuçlarını CSV dosyasına dışa aktarabilirsiniz. Dosya, soru, beklenen yanıt (varsa), test yöntemi, geçme puanı (varsa), ajanın yanıtı, test sonucu ve her test vakası için analizleri listeler.

1. Temsilcinizin Değerlendirme sayfasına gidin.
2. Son sonuçlar bölümünde, aşağıdaki adımlardan birini uygulayarak test sonucunu dışa aktarın:
   • Dışa aktarmak istediğiniz test vakasının üzerine gelin, üç noktayı (...) seçin ve ardından Test sonuçlarını Dışa Aktar' seçin.
   • Açmak için test vakasını seçin, Değerlendirme özet panelinde üç noktayı (...) seçin ve ardından Test sonuçlarını dışa aktar'ı seçin.

İndirilen test sonuçları test setinizin adı.csv olarak kaydedilir.

Değerlendirmeleri ajan görüntüleyici rolünü kullanarak paylaşın

Eğer temsilci sahibiyseniz ve sadece temsilcinizin Değerlendirme sayfasına erişim vermek istiyorsanız, temsilciyi paylaşın ve temsilci izleyici paylaşım rolünü etkinleştirin. Bu role sahip kullanıcılar, ajanın kendisine erişim olmadan belirli bir ajan için değerlendirmeleri yönetebilirler.

Note

Temsilci izleyici rolü, çevre çapında veya kiracı çapında ayrıcalıklar sağlamaz.

Değerlendirmeler için ajan görüntüleyici rolüne atanmış kullanıcılar:

• Diğer üreticilerden gelen değerlendirme test setlerini görüntüleyin ve çalıştırın.
• Değerlendirmeleri yeniden adlandırın, iptal edin ve silin.
• Onlarla paylaşılan değerlendirme test setlerini oluşturamıyor veya güncelleyemiyor.

Note

Ajan görüntüleyici rolüne atanan kullanıcılar, ajanı veya içeriği değerlendirmeler dışında oluşturamaz, güncelleyemez veya silemezler. Kullanıcılar ajanı yayınlayamaz veya paylaşım ile erişim ayarlarını yönetemez.

Rolü atamak için:

1. Ajanı açın ve üç noktayı seçin (...) >Paylaş.
2. Yeni kullanıcılar ve uygulama kimlikleri bölümünden bir kullanıcı veya grup ekleyin. Ya da listeden mevcut bir kullanıcıyı seçebilirsiniz.
3. Bu aracı için izinlere sahip rol olarak altında, rol listesinden Aracı görüntüleyici seçin.
4. Temsilciyi paylaşmak için Paylaş'ı seçin.

Kullanıcı ardından ajanı açabilir ve Değerlendirmeler ve İzleme sekmelerini görebilir. Daha sonra değerlendirmeleri Değerlendirme sekmesinde yönetebilirler.

Bir ajanın değerlendirmelerini diğer kullanıcılarla paylaşmak hakkında daha fazla bilgi edinin.