Konuşma testi kümesi oluşturma

Konuşma değerlendirmesi, daha uzun bir etkileşimde aracınızın genel davranışını değerlendirmenize olanak tanır. Gerçek kullanıcıların aracılarla nasıl etkileşime geçtiğini ve her yanıtın devam eden bir konuşmadaki önceki bağlama bağlı olduğunu yansıtır. Bir aracının bağlamı koruyup koruyamayacağını belirlemek, açıklama istemek ve çok adımlı görevleri tamamlamak için bu değerlendirmeleri kullanabilirsiniz.

Ayrıca, aracınızı belirli soruları nasıl yanıtladığı, hangi özellikleri çağırdığı ve yanıtlarında kullandığı tam ifade üzerinde test etmek istediğinizde iyi olan tek yanıt değerlendirmeleri çalıştırabilirsiniz.

Değerlendirmeler test kümelerini kullanır. Konuşma değerlendirmeleri için bir test kümesi, en fazla 20 test çalışması içeren bir gruptan oluşur. Bir ajan değerlendirmesi yaptığınızda, bir test seti seçirsiniz ve Copilot Studio o setteki tüm test vakalarını ajanınıza karşı çalıştırır.

Bir elektronik tablo kullanarak bunları içeri aktararak bir test kümesi içinde test çalışmaları oluşturabilir veya aracınızın tasarımına ve kaynaklarına göre ileti oluşturmak için yapay zekayı kullanabilirsiniz. Daha sonra, bir test setindeki her test vakası için ajanınızın yanıtlarının kalitesini nasıl ölçeceğinizi seçebilirsiniz.

Ajan değerlendirmesinin nasıl çalıştığı hakkında daha fazla bilgi için Ajan değerlendirmesi hakkında sayfasına bakınız.

Mevcut bir test setini nasıl düzenleyeceğinizi öğrenmek için Bir test setinin detaylarını Değiştirin sayfasına bakınız.

Important

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Konuşma test kümesi oluşturma

1. Temsilcinizin Değerlendirme sayfasına gidin.

1. Yeni değerlendirme'yi ve ardından Konuşma'yı seçin.

   

2. Aşağıdaki yöntemlerden herhangi birini kullanarak çok aşamalı test çalışmaları oluşturabilirsiniz:

   • Hızlı konuşma kümesi: Temsilcinizin açıklamalarına, yönergelerine ve özelliklerine göre otomatik olarak 10 kısa konuşma oluşturun.

   • Tam konuşma kümesi: Aracınızın bilgilerini veya tanımlı konu başlıklarını kullanarak konuşmalar oluşturun. Bu seçenekte kısa veya uzun konuşmalar oluşturmayı seçebilirsiniz.

   • Test sohbetinizi kullanın: En son test sohbetini test durumuna dönüştürün.

Note

Konuşma testi kümeleri en fazla 20 test çalışması destekler. Her test çalışması toplam 12 iletiyi destekler ve bu da 6 çift soru ve yanıttır.

1. Ad'ın altında test kümeniz için bir ad yazın.

2. Kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin. Konuşma testi kümeleri için Genel kalite, Anahtar sözcük eşleşmesi, Yetenek eşleşmesi veya Sınıflandırma özel test yöntemlerini ekleyebilirsiniz.

   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle'yi seçin.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin, sonra OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için bkz. Değerlendirme yöntemlerini seçin.
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

   Test yöntemi	Ölçümler	Test kümesi türü	Puanlama	Yapılandırmalar
   Genel kalite	Belirli niteliklere göre bir test çalışması yanıtının ne kadar iyi olduğu	Tek yanıt veya konuşma	100 üzerinden puanlanır	Hiç kimse
   Anlamı karşılaştır	Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Yetenek kullanımı	Test durumu, beklenen kaynakların tamamını mı yoksa herhangi birini mi kullandı?	Tek yanıt	Geçme/başarısız	Beklenen yetenekler
   Anahtar kelime eşleşmesi	Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı	Tek yanıt veya konuşma	Geçme/başarısız	Beklenen anahtar kelimeler veya ifadeler
   Metin benzerliği	Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Tam eşleşme	Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği	Tek yanıt	Geçme/başarısız	Beklenen cevap
   Özelleştirilmiş	Test çalışması yanıtının tanımlı ölçütlerinize veya beklentilerinize uygun olup olmadığı.	Tek yanıt veya konuşma	Başarılı/başarısız (tanımlı etiket ölçütlerini geçirir)	Ad, değerlendirme yönergeleri, etiketler

3. Test vakalarının detaylarını düzenleyin. Genel kalite dışındaki tüm test yöntemleri beklenen yanıtları veya anahtar sözcükleri gerektirir. Test çalışmalarını düzenleme hakkında daha fazla bilgi için bkz. Test kümesini değiştirme.

4. Kullanıcı profilini seçin, ardından bu test seti için kullanmak istediğiniz hesabı seçin veya ekleyin, ya da kimlik doğrulaması olmadan devam edin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Kullanıcı profillerini ekleme ve yönetme hakkında bilgi için Kullanıcı profillerini ve bağlantılarını yönet sayfasına bakabilirsiniz.

Note

Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin.

1. Daha fazla test çalışması düzenleyin veya oluşturun. Daha fazla bilgi için bkz. Test kümesi içindeki test çalışmalarını düzenleme.

2. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.