Tek yanıt test kümesi oluşturma

Tek bir yanıt değerlendirmesi, tam bir konuşma yerine aracınızı tek seferde tek bir bağlantısız soru üzerinde test ediyor. Örneğin, müşteri hizmetleri temsilcisi için tek bir yanıt değerlendirmesi iş saatleriniz nelerdir? sorusunu sorar, aracının bu soruya verdiği yanıtı kaydeder ve ardından yeni bir soruyla başlar: Sipariş geçmişimi nasıl bulabilirim?

Tek yanıt değerlendirmeleri, aracınızı belirli soruları nasıl yanıtladığında, hangi özellikleri çağırdığında ve yanıtlarında tam olarak kullandığı ifadede test etmek istediğinizde işe yarar. Ayrıca, daha uzun bir etkileşim üzerinden aracınızın davranışını değerlendirmenizi sağlayan konuşma değerlendirmesini de çalıştırabilirsiniz.

Değerlendirmeler test kümelerini kullanır. Tek yanıt değerlendirmeleri için bir test kümesi, en fazla 100 test çalışması içeren bir gruptan oluşur. Bir ajan değerlendirmesi yaptığınızda, bir test seti seçirsiniz ve Copilot Studio o setteki tüm test vakalarını ajanınıza karşı çalıştırır.

Test seti içinde manuel olarak test vakaları oluşturabilir, bir tablo kullanarak içe aktarabilir veya ajanınızın tasarımı ve kaynaklarına göre mesajlar oluşturmak için yapay zeka kullanabilirsiniz. Daha sonra, bir test setindeki her test vakası için ajanınızın yanıtlarının kalitesini nasıl ölçeceğinizi seçebilirsiniz.

Ajan değerlendirmesinin nasıl çalıştığı hakkında daha fazla bilgi için Ajan değerlendirmesi hakkında sayfasına bakınız.

Mevcut bir test setini nasıl düzenleyeceğinizi öğrenmek için Bir test setinin detaylarını Değiştirin sayfasına bakınız.

Important

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Yeni test kümesi oluşturma

1. Temsilcinizin Değerlendirme sayfasına gidin.

   

2. Yeni değerlendirme'yi ve ardından Tek yanıt'ı seçin.

   

3. Test kümenizi oluşturmak için kullanmak istediğiniz yöntemi seçin. Bir test setinde 100'e kadar test vakası bulunabilir.

   • Hızlı soru seti ile, ajanınızın açıklaması, yönergeleri ve özelliklerine göre Copilot Studio'nun otomatik olarak test senaryoları oluşturmasını sağlayın. Bu seçenek, küçük ve hızlı değerlendirmeler yapmak veya daha büyük bir test seti oluşturmak için 10 soru oluşturur.
   • Copilot Studio'nun bir bilgi kaynağı veya konu başlığı kullanarak test çalışmaları oluşturmasını ve oluşturulacak soru sayısını seçmesini sağlamak için tam soru kümesi.
   • Test sohbet sohbetinizi kullanarak test sohbetinizde verdiğiniz soruları otomatik olarak test setini doldurun. Bu yöntem, en son test sohbetinden alınan soruları kullanır. Değerlendirme simgesini kullanarak test sohbetinden de değerlendirme başlatabilirsiniz.
     
   • Test vakalarını bir dosyadan içeri aktarın: Dosyanızı belirtilen alana sürükleyerek, Göz at seçeneğiyle yükleyerek veya diğer yükleme seçeneklerinden birini seçerek yükleyin.
   • Ya da kendiniz bazı soruları yazıp manuel olarak bir test seti oluşturun. Test vakalarını eklemek ve düzenlemek için bir test setini düzenleme adımlarını takip edin.
   • Ajanınızın analizindeki temalara dayalı üretim verilerini kullanın.

4. Ad'ın altında test kümeniz için bir ad girin.

5. Kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin:

   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin.
     3. Bazı yöntemler geçiş puanı gerektirir. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler. Skoru belirleyin, sonra OK seçin.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için bkz. Değerlendirme yöntemlerini seç
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

   Test yöntemi	Ölçümler	Test kümesi türü	Puanlama	Configurations
   Genel kalite	Belirli niteliklere göre bir test çalışması yanıtının ne kadar iyi olduğu	Tek yanıt veya konuşma	100 üzerinden puanlanır	Hiçbiri
   Anlamı karşılaştır	Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Yetenek kullanımı	Test durumu, beklenen kaynakların tamamını mı yoksa herhangi birini mi kullandı?	Tek yanıt	Geçme/başarısız	Beklenen yetenekler
   Anahtar kelime eşleşmesi	Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı	Tek yanıt veya konuşma	Geçme/başarısız	Beklenen anahtar kelimeler veya ifadeler
   Metin benzerliği	Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu	Tek yanıt	100 üzerinden puanlanır	Geçme puanı, beklenen cevap
   Tam eşleşme	Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği	Tek yanıt	Geçme/başarısız	Beklenen cevap
   Custom	Test çalışması yanıtının tanımlı ölçütlerinize veya beklentilerinize uygun olup olmadığı.	Tek yanıt veya konuşma	Başarılı/başarısız (tanımlı etiket ölçütlerini geçirir)	Ad, değerlendirme yönergeleri, etiketler

6. Test vakalarının detaylarını düzenleyin. Genel kalite dışındaki tüm test yöntemleri beklenen yanıtları veya anahtar sözcükleri gerektirir. Test çalışmalarını düzenleme hakkında daha fazla bilgi için bkz. Test kümesini değiştirme.

7. Kullanıcı profilini seçin, ardından bu test seti için kullanmak istediğiniz hesabı seçin veya ekleyin, ya da kimlik doğrulaması olmadan devam edin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Değerlendirme için bağlayıcı kimlik doğrulamasına sahip hesaptan farklı bir hesap seçilirse, bağlayıcıları veya araçları kullanan aracılar başarısız olur. Kullanıcı profillerini ekleme ve yönetme hakkında bilgi için Kullanıcı profillerini ve bağlantılarını yönet sayfasına bakabilirsiniz.

   Note

   Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin. Copilot Studio test vakaları oluştururken, bağlı bir hesabın kimlik bilgilerini kullanarak ajanınızın bilgi kaynaklarına ve araçlarına erişir. Oluşturulan test çalışmaları, bağlı hesabın erişebileceği hassas verileri içerebilir. Aracıya erişimi olan herhangi bir oluşturucu, bu aracıya bağlı test kümelerini de görüntüleyebilir.

8. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

Test vakası oluşturma sınırlaması

Test vakası oluşturma, bir veya daha fazla soru temsilcinizin içerik moderasyon ayarlarını ihlal ederse başarısız olur. Olası nedenler şunlardır:

• Ajanın talimatları veya konuları, modelin sistemin işaretlediği içerik üretmesine yol açar.
• Bağlantılı bilgi kaynağı hassas veya kısıtlı içerik içerir.
• Temsilcinin içerik moderasyon ayarları aşırı katıdır.

Sorunu çözmek için, bilgi kaynaklarını ayarlamak, talimatları güncellemek veya moderasyon ayarlarını değiştirmek gibi farklı işlemleri deneyin.

Bir test seti 100'e kadar test vakası içerebilir.

Bilgi veya konulardan bir test seti oluşturun

Temsilcinizin zaten sahip olduğu bilgi ve konuşma kaynaklarını kullanarak sorular oluşturarak temsilcinizi test edebilirsiniz. Bu test yöntemi, aracınızın zaten sahip olduğu bir bilgi kaynağını veya konu başlıklarını nasıl kullandığını test etme açısından iyidir, ancak bilgi boşluklarını test etme açısından iyi değildir.

Aşağıdaki bilgi kaynaklarını kullanarak test çalışmaları oluşturabilirsiniz:

• Text

• Microsoft Word

• Microsoft Excel

• PDF dosyaları

• SharePoint içeriği

Test soruları oluşturmak için 5 MB'a kadar olan dosyaları kullanabilirsiniz.

Bir test seti oluşturmak için:

1. Yeni değerlendirmede, Tam soru setini seçin.

2. Bilgi veya Konular seçeneğini seçin.

   • Bilgi, üretken orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, aracınızın bilgi kaynaklarından birini kullanarak sorular oluşturur.
   • Topics, klasik orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, temsilcinizin konularını kullanarak sorular oluşturur.

3. Bilgi için, soru oluşturmak için kullanmak istediğiniz bilgi kaynağını seçin.

   

4. Bilgi ve Konular için, oluşturulacak soru sayısını seçmek için kaydırıcıyı seçip sürükleyin.

   

5. Oluştur'a tıklayın.

6. Ad'ın altında test kümeniz için bir ad girin.

7. Kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin:

   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin, sonra OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için bkz. Değerlendirme yöntemlerini seç
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

8. Test vakalarının detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

9. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

İçe aktarmak için bir test kümesi dosyası oluşturun

Test çalışmalarınızı doğrudan Copilot Studio'da oluşturmak yerine, tüm test çalışmalarınızla birlikte bir elektronik tablo dosyası oluşturabilir ve bunları içeri aktararak test kümenizi oluşturabilirsiniz. Her bir test sorusu oluşturabilir, kullanmak istediğiniz test yöntemini belirleyebilir ve her soru için beklenen yanıtları belirtebilirsiniz. Dosyayı oluşturmayı tamamladığınızda, dosyayı .csv veya .txt dosyası olarak kaydedin ve Copilot Studio'ya aktarın.

Important

• Dosyada en fazla 100 soru bulunabilir.
• Her soru, boşluklar da dahil olmak üzere en fazla 1.000 karakter olabilir.
• Dosya virgülle ayrılmış değerler (CSV) veya metin biçiminde olmalıdır.

İçe aktarma dosyasını oluşturmak için:

1. Bir elektronik tablo uygulaması açın (örneğin, Microsoft Excel). Yeni değerlendirme'yi seçtikten sonra Veri kaynağı altında bir CSV şablonu indirebilirsiniz.

2. Aşağıdaki başlıkları ilk satıra bu sırayla ekleyin:

   • Question
   • Beklenen yanıt
   • Test yöntemi

3. Soru sütununa test sorularınızı girin. Her soru, boşluklar dahil olmak üzere 1.000 veya daha az karakter olabilir.

4. Test yöntemi sütununa her soru için aşağıdaki test yöntemlerinden birini girin:

   • Genel kalite
   • Anlamı karşılaştır
   • Benzerlik
   • Tam eşleşme
   • Anahtar kelime eşleşmesi

5. Beklenen yanıt sütununa her soru için beklenen yanıtları girin. Beklenen yanıtlar, test kümesini içeri aktarmak için isteğe bağlıdır. Ancak eşleşmeyi, benzerliği çalıştırmak ve test çalışmalarının anlamını karşılaştırmak için beklenen yanıtlara ihtiyacınız vardır.

6. Dosyayı .csv veya .txt dosyası olarak kaydedin.

7. Dosyayı yeni test seti oluştur bölümündeki adımları takip ederek içe aktarın.

Bir temaya dayalı bir test seti oluşturun

Gerçek kullanıcılarla yapılan sohbetlerden sorularla bir test seti oluşturun. Bu yöntem, temsilcinizin analizlerinde bulunan temaları (önizleme) kullanır.

Temalar, kullanıcı soruları havuzundan alınan ve üretken yanıtları tetikleyen soruların gruplandırılmasıdır. Bir tema kullanarak test seti oluşturduğunuzda, kullanıcıların o temaya ilişkin sorularından test vakaları oluşturulur.

Bu test setlerini, temsilcinizin kapsamındaki bir alan veya konuya odaklanan değerlendirmeler yapmak için kullanın. Örneğin, bir müşteri hizmetleri temsilciniz varsa, faturalama ve ödeme sorularının yanıt kalitesini sorun giderme gibi diğer kullanım durumlarından ayrı olarak takip edebilirsiniz.

Note

Temalardan test setleri oluşturmadan önce, analitikte temalara erişmeniz gerekir. Temalar için ön koşulları gözden geçirin (önizleme).

1. Temsilcinizin Analitik sayfasında Temalar listesine gidin.

2. Bir temanın üzerine gelin ve ardından Değerlendir'i seçin.

   

   Ayrıca Daha fazla tema görmek için Hepsini Gör seçeneğini seçebilir, ardından Değerlendir seçeneğini seçebilirsiniz.

3. Oluştur'u seçin veaçın.

4. Test setlerinin ve vakaların detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

5. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.