Tek yanıt test kümesi oluşturma

Note

Bu makale, standard harness ile desteklenen ajanlarda veya ajan akışlarında kullanılan özellikleri açıklamaktadır.

Tek bir yanıt değerlendirmesi, tam bir konuşma yerine aracınızı tek seferde tek bir bağlantısız soru üzerinde test ediyor. Örneğin, müşteri hizmetleri temsilcisi için tek bir yanıt değerlendirmesi iş saatleriniz nelerdir? sorusunu sorar, aracının bu soruya verdiği yanıtı kaydeder ve ardından yeni bir soruyla başlar: Sipariş geçmişimi nasıl bulabilirim?

Tek yanıt değerlendirmeleri, aracınızı belirli soruları nasıl yanıtladığında, hangi özellikleri çağırdığında ve yanıtlarında tam olarak kullandığı ifadede test etmek istediğinizde işe yarar. Ayrıca, daha uzun bir etkileşim üzerinden aracınızın davranışını değerlendirmenizi sağlayan konuşma değerlendirmesini de çalıştırabilirsiniz.

Değerlendirmeler test kümelerini kullanır. Tek yanıt değerlendirmeleri için bir test kümesi, en fazla 100 test çalışması içeren bir gruptan oluşur. Bir ajan değerlendirmesi yaptığınızda, bir test seti seçirsiniz ve Copilot Studio o setteki tüm test vakalarını ajanınıza karşı çalıştırır.

Test seti içinde manuel olarak test vakaları oluşturabilir, bir tablo kullanarak içe aktarabilir veya ajanınızın tasarımı ve kaynaklarına göre mesajlar oluşturmak için yapay zeka kullanabilirsiniz. Daha sonra, bir test setindeki her test vakası için ajanınızın yanıtlarının kalitesini nasıl ölçeceğinizi seçebilirsiniz.

Ajan değerlendirmesinin nasıl çalıştığı hakkında daha fazla bilgi edinin : Ajan değerlendirmesi hakkında.

Mevcut bir test setini nasıl düzenleyeceğinizi öğrenmek için Bir test setinin detaylarını Değiştirin sayfasına bakınız.

Important

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Yeni test kümesi oluşturma

1. Temsilcinizin Değerlendirme sayfasına gidin.

   

2. Yeni değerlendirme seçeneğini seçin, ardından Tek yanıtlar seçeneğini seçin.

   

3. Test kümenizi oluşturmak için kullanmak istediğiniz yöntemi seçin. Bir test setinde 100'e kadar test vakası bulunabilir.

   • Hızlı soru seti ile, ajanınızın açıklaması, yönergeleri ve özelliklerine göre Copilot Studio'nun otomatik olarak test senaryoları oluşturmasını sağlayın. Bu seçenek, küçük ve hızlı değerlendirmeler yapmak veya daha büyük bir test seti oluşturmak için 10 soru oluşturur.
   • Copilot Studio'nun bir bilgi kaynağı veya konu başlığı kullanarak test çalışmaları oluşturmasını ve oluşturulacak soru sayısını seçmesini sağlamak için tam soru kümesi.
   • Test sohbet sohbetinizi kullanarak test sohbetinizde verdiğiniz soruları otomatik olarak test setini doldurun. Bu yöntem, en son test sohbetinden alınan soruları kullanır. Değerlendirme simgesini kullanarak test sohbetinden de değerlendirme başlatabilirsiniz.
     
   • Test vakalarını bir dosyadan içeri aktarın: Dosyanızı belirtilen alana sürükleyerek, Göz at seçeneğiyle yükleyerek veya diğer yükleme seçeneklerinden birini seçerek yükleyin.
   • Ya da kendiniz bazı soruları yazıp manuel olarak bir test seti oluşturun. Test vakalarını eklemek ve düzenlemek için bir test setini düzenleme adımlarını takip edin.
   • Ajanınızın analizindeki temalara dayalı üretim verilerini kullanın.

4. Ad'ın altında test kümeniz için bir ad girin.

5. Test yöntemlerini seç bölümünde, kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin:

   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin.
     3. Bazı yöntemler geçiş puanı gerektirir. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler. Skoru belirleyin, sonra OK seçin.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için Değerlendirme yöntemlerini seçin
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

   Test yöntemi	Ölçümler	Test kümesi türü	Puanlama	Configurations
   Genel kalite	Belirli niteliklere göre bir test çalışması yanıtının ne kadar iyi olduğu	Tek yanıt veya konuşma	100 üzerinden puanlanır	Hiçbiri
   Anlamı karşılaştır	Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Araç kullanımı	Test durumu, beklenen kaynakların tamamını mı yoksa herhangi birini mi kullandı?	Tek yanıt	Geçme/başarısız	Beklenen yetenekler
   Anahtar kelime eşleşmesi	Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı	Tek yanıt veya konuşma	Geçme/başarısız	Beklenen anahtar kelimeler veya ifadeler
   Metin benzerliği	Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Tam eşleşme	Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği	Tek yanıt	Geçme/başarısız	Beklenen cevap
   Custom	Test çalışması yanıtının tanımlı ölçütlerinize veya beklentilerinize uygun olup olmadığı.	Tek yanıt veya konuşma	Başarılı/başarısız (tanımlı etiket ölçütlerini geçirir)	Ad, değerlendirme yönergeleri, etiketler

6. Test vakalarının detaylarını düzenleyin. Genel kalite dışındaki tüm test yöntemleri beklenen yanıtları veya anahtar sözcükleri gerektirir. Test vakalarını düzenleme hakkında daha fazla bilgi edinin: Test setini Değiştir.

7. Ek yapılandırma altında Yönet'i seçin.

   

8. Profil ve bağlantıları yönet bölümünde, Kullanıcı bölümünde, bu veri seti için kullanmak istediğiniz hesabı seçin veya ekleyin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Daha fazla bilgi edinin Kullanıcı profillerini ve bağlantılarını yönetin.

   Note

   Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin. Copilot Studio test vakaları oluştururken, bağlı bir hesabın kimlik bilgilerini kullanarak ajanınızın bilgi kaynaklarına ve araçlarına erişir. Oluşturulan test çalışmaları, bağlı hesabın erişebileceği hassas verileri içerebilir. Aracıya erişimi olan herhangi bir oluşturucu, bu aracıya bağlı test kümelerini de görüntüleyebilir.

9. Veri setini değerlendirme yapmadan güncellemek için Kaydet'i veya veri setini hemen çalıştırmak için Çalıştır'ı seçin.

Bilgi veya konulardan tek bir yanıt veri seti oluşturun

Temsilcinizi zaten sahip olduğu bilgi ve konuşma kaynaklarından sorular oluşturarak test edebilirsiniz. Bu test yöntemi, ajanınızın zaten sahip olduğu bir bilgi kaynağını veya konuları nasıl kullandığını test etmek için iyidir, ancak bilgi boşluklarını test etmek için iyi değildir.

Aşağıdaki bilgi kaynaklarını kullanarak veri vakaları oluşturun:

• Metin

• Microsoft Word

• Microsoft Excel

• PDF dosyaları

• SharePoint dosyaları

Note

Test seti oluşturmak için bilgi kaynağı olarak yalnızca bireysel SharePoint dosyalarını kullanın. SharePoint klasörleri desteklenmiyor.

Test soruları oluşturmak için 5 MB'a kadar olan dosyaları kullanabilirsiniz.

Bir veri seti oluşturmak için:

1. Temsilcinizin Değerlendirme sayfasına gidin.

2. Yeni değerlendirmeyi seçin.

3. Anahtarda Oluştur seçeneğini seçin:

   

4. Veri tipini seç bölümünde Tek yanıtlar seçeneğini seçin.

   • Aşağıdaki ayarları yapılandırmak için Göster oluşturma seçeneklerini seçin:

     

     1. Oluşturulacak soru sayısı altında, test setinizde oluşturulacak soru sayısını seçmek için kaydırıcıyı seçin ve sürükleyin.
     2. Referans olarak Neyi kullanmalıyız? bölümünde, yeni bir değerlendirme için sorular oluştururken temsilcinizin referans almasını istediğiniz alanı seçin. İki seçeneğiniz vardır:
        • Bilgi kaynakları: Ajanın bilgisini tarar ve ilgili bir soru seti oluşturur. Bilgi, üretken orkestrasyon kullanan ajanlar için en iyi şekilde çalışır.
        • Konular: Temsilcinin konularını kontrol eder ve bu konularda sorular oluşturur. Klasik modu kullanan ajanlar için en iyisi. Topics, klasik orkestrasyon kullanan ajanlar için en iyi şekilde çalışır.

   

5. Veri seti oluştur seçeneğini seçin.

6. İnceleme veri seti altında, test vakalarının detaylarını girin. Genel kalite dışındaki tüm test yöntemleri beklenen yanıtları veya anahtar sözcükleri gerektirir. Test vakalarını düzenleme hakkında daha fazla bilgi edinin : Test setini Değiştir.

   

7. Test yöntemlerini seç bölümünde, kullanmak istediğiniz test yöntemlerini seçin veya değiştirin:

   • Yeni bir yöntem eklemek için:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin ve sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin ve ardından OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için değerlendirme yöntemlerini seçin.
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

8. Ek yapılandırma altında Yönet'i seçin.

   

9. Profil ve bağlantıları yönet bölümünde, Kullanıcı bölümünde, bu veri seti için kullanmak istediğiniz hesabı seçin veya ekleyin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Daha fazla bilgi edinin Kullanıcı profillerini ve bağlantılarını yönetin.

   Note

   Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin. Copilot Studio test vakaları oluştururken, bağlı bir hesabın kimlik bilgilerini kullanarak ajanınızın bilgi kaynaklarına ve araçlarına erişir. Oluşturulan test çalışmaları, bağlı hesabın erişebileceği hassas verileri içerebilir. Aracıya erişimi olan herhangi bir oluşturucu, bu aracıya bağlı test kümelerini de görüntüleyebilir.

10. Veri setini değerlendirme yapmadan güncellemek için Kaydet'i veya veri setini hemen çalıştırmak için Çalıştır'ı seçin.

Test vakası oluşturma sınırlaması

Test vakası oluşturma, bir veya daha fazla soru temsilcinizin içerik moderasyon ayarlarını ihlal ederse başarısız olur. Olası nedenler şunlardır:

• Ajanın talimatları veya konuları, modelin sistemin işaretlediği içerik üretmesine yol açar.
• Bağlantılı bilgi kaynağı hassas veya kısıtlı içerik içerir.
• Ajanın içerik moderasyon ayarları çok katıdır.

Sorunu çözmek için, bilgi kaynaklarını ayarlamak, talimatları güncellemek veya moderasyon ayarlarını değiştirmek gibi farklı işlemleri deneyin.

Bir test seti 100'e kadar test vakası içerebilir.

İçe aktarmak için bir test kümesi dosyası oluşturun

Test vakalarınızı doğrudan Copilot Studio'da oluşturmak yerine, tüm test vakalarınızı içeren bir tablo dosyası oluşturup bunu içe aktararak test setinizi oluşturabilirsiniz. Her test sorusunu oluşturabilir ve her soru için beklenen yanıtları belirtebilirsiniz. Dosyayı oluşturmayı tamamladığınızda, dosyayı .csv veya .txt dosyası olarak kaydedin ve Copilot Studio'ya aktarın.

Important

• Dosyada en fazla 100 soru bulunabilir.
• Her soru, boşluklar da dahil olmak üzere en fazla 1.000 karakter olabilir.
• Dosya virgülle ayrılmış değerler (CSV) veya metin biçiminde olmalıdır.

İçe aktarma dosyasını oluşturmak için:

1. Bir elektronik tablo uygulaması açın (örneğin, Microsoft Excel). > İçe aktar seçeneğini belirledikten sonra, Veya bir dosya yükleyin bölümünün altında bir CSV şablonu indirebilirsiniz. Ayrıca analitikten müşteri oturumlarını indirip Excel'de düzenleme yapabilirsiniz.

2. Aşağıdaki başlıkları ilk satıra bu sırayla ekleyin:

   • Question
   • Beklenen yanıt

3. Soru sütununa test sorularınızı girin. Her soru, boşluklar dahil olmak üzere 1.000 veya daha az karakter olabilir.

4. Beklenen yanıt sütununa her soru için beklenen yanıtları girin. Beklenen yanıtlar, test kümesini içeri aktarmak için isteğe bağlıdır. Ancak eşleşmeyi, benzerliği çalıştırmak ve test çalışmalarının anlamını karşılaştırmak için beklenen yanıtlara ihtiyacınız vardır.

5. Dosyayı .csv veya .txt dosyası olarak kaydedin.

6. Dosyayı yeni test seti oluştur bölümündeki adımları takip ederek içe aktarın.

Set dosyasını içe aktararak tek bir yanıt veri seti oluşturun

1. Temsilcinizin Değerlendirme sayfasına gidin.

2. Yeni değerlendirmeyi seçin.

3. Veri tipini seç bölümünde Tek yanıtlar seçeneğini seçin.

4. Geçiş düğmesinde İçe Aktar seçeneğini belirleyin.

   

5. Mevcut önizleme sohbet oturumunuzdan verileri kullanmak için Önizleme sohbetini seçerek veya CSV dosyasından test vakalarını aktararak veya dosyayı belirlenen alana sürükleyerek veya Dosyayı Sürükle ya da Yüklemeye Tıklayın (CSV) seçtikten sonra yükleyerek verileri içe aktarın.

   

6. İnceleme veri seti altında, test vakalarının detaylarını düzenleyin. Genel kalite dışındaki tüm test yöntemleri beklenen yanıtları veya anahtar sözcükleri gerektirir. Daha fazla bilgi için Bir test setini Değiştir.

7. Test yöntemlerini seç bölümünde, kullanmak istediğiniz test yöntemlerini seçin veya değiştirin:

   • Yeni bir yöntem eklemek için:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin ve sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin ve ardından OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için değerlendirme yöntemlerini seçin.
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

8. Ek yapılandırma altında Yönet'i seçin.

9. Kullanıcı altındaki Profil ve bağlantıları yönet bölümünde, bu veri seti için kullanmak istediğiniz hesabı seçin veya ekleyin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Daha fazla bilgi edinin Kullanıcı profillerini ve bağlantılarını yönetin.

10. Veri setini değerlendirme yapmadan güncellemek için Kaydet'i veya veri setini hemen çalıştırmak için Çalıştır'ı seçin.

Bir temaya dayalı bir test seti oluşturun

Gerçek kullanıcılarla yapılan sohbetlerden sorularla bir test seti oluşturun. Bu yöntem, temsilcinizin analizlerinde bulunan temaları (önizleme) kullanır.

Temalar, kullanıcı soruları havuzundan alınan ve üretken yanıtları tetikleyen soruların gruplandırılmasıdır. Bir tema kullanarak test seti oluşturduğunuzda, kullanıcıların o temaya ilişkin sorularından test vakaları oluşturulur.

Bu test setlerini, temsilcinizin kapsamındaki bir alan veya konuya odaklanan değerlendirmeler yapmak için kullanın. Örneğin, bir müşteri hizmetleri temsilciniz varsa, faturalama ve ödeme sorularının yanıt kalitesini sorun giderme gibi diğer kullanım durumlarından ayrı olarak takip edebilirsiniz.

Note

Temalardan test setleri oluşturmadan önce, analitikte temalara erişmeniz gerekir. Temalar için ön koşulları gözden geçirin (önizleme).

1. Temsilcinizin Monitör sayfasında Temalar listesine gidin.

2. Bir temanın üzerine gelin ve ardından Değerlendir'i seçin.

   

   Ayrıca Daha fazla tema görmek için Hepsini Gör seçeneğini seçebilir, ardından Değerlendir seçeneğini seçebilirsiniz.

3. Oluştur'u seçin veaçın.

4. Test setlerinin ve vakaların detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi edinin : Test setini Değiştir.

5. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.