Ajanınızı değerlendirmek için bir test seti oluşturun veya değiştirin

[Bu makale bir sürüm öncesi belgesidir ve değiştirilebilir.]

Bir test seti , 100'e kadar test vakasından oluşan bir gruptan oluşur. Bir ajan değerlendirmesi yaptığınızda, bir test seti seçirsiniz ve Copilot Studio o setteki tüm test vakalarını ajanınıza karşı çalıştırır.

Test seti içinde manuel olarak test vakaları oluşturabilir, bir tablo kullanarak içe aktarabilir veya ajanınızın tasarımı ve kaynaklarına göre mesajlar oluşturmak için yapay zeka kullanabilirsiniz. Daha sonra, bir test setindeki her test vakası için ajanınızın yanıtlarının kalitesini nasıl ölçeceğinizi seçebilirsiniz.

Ajan değerlendirmesinin nasıl çalıştığı hakkında daha fazla bilgi için Ajan değerlendirmesi hakkında sayfasına bakınız.

Önemli

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Yeni test kümesi oluşturma

1. Temsilcinizin Değerlendirme sayfasına gidin.

2. Yeni test setini seçin.

   

3. Yeni test seti sayfasında, test setinizi oluşturmak için kullanmak istediğiniz yöntemi seçin. Bir test setinde 100'e kadar test vakası bulunabilir.

   • Copilot Studio'nun ajanınızın tanımı, talimatları ve yeteneklerine göre otomatik test vakaları oluşturmasını sağlayan hızlı soru seti var. Bu seçenek, küçük ve hızlı değerlendirmeler yapmak veya daha büyük bir test seti oluşturmak için 10 soru oluşturur.
   • Copilot Studio'nun ajanınızın bilgi kaynakları veya konuları kullanarak test vakaları oluşturması için tam soru seti oluşturuldu.
   • Test sohbet sohbetinizi kullanarak test sohbetinizde verdiğiniz soruları otomatik olarak test setini doldurun. Bu yöntem, en son test sohbetinden alınan soruları kullanır. Test sohbetinden değerlendirme tuşunu kullanarak da değerlendirme başlatabilirsiniz.
   • Dosyadan test vakalarını dosyadan ithale getirin; dosyanızı belirlenen alana sürükleyerek, dosyayı yüklemek için Göz at'ı seçerek veya diğer yükleme seçeneklerinden birini seçerek alın.
   • Ya da kendiniz bazı soruları yazıp manuel olarak bir test seti oluşturun. Test vakalarını eklemek ve düzenlemek için bir test setini düzenleme adımlarını takip edin.

4. Test vakalarının detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

5. Ad'ın altında test kümeniz için bir ad girin.

6. Kullanıcı profilini seçin, ardından bu test seti için kullanmak istediğiniz hesabı seçin veya ekleyin, ya da kimlik doğrulaması olmadan devam edin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Kullanıcı profillerini ekleme ve yönetme hakkında bilgi için Kullanıcı profillerini ve bağlantılarını yönet sayfasına bakabilirsiniz.

Uyarı

Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin.

1. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

Test vakası oluşturma sınırlaması

Bir veya daha fazla soru temsilcinizin içerik moderasyon ayarlarını ihlal ederse test vakası oluşturma başarısız olabilir. Nedenler şunlardır:

• Ajanın talimatları veya konuları, modelin işaretlenen içerik üretmesine yol açar.
• Bağlantılı bilgi kaynağı hassas veya kısıtlı içerik içerir.
• Temsilcinin içerik moderasyon ayarları aşırı katıdır.

Sorunu çözmek için, bilgi kaynaklarını ayarlamak, talimatları güncellemek veya moderasyon ayarlarını değiştirmek gibi farklı işlemleri deneyin.

Bir test seti 100'e kadar test vakası içerebilir.

Bilgi veya konulardan bir test seti oluşturun

Temsilcinizin zaten sahip olduğu bilgi ve konuşma kaynaklarını kullanarak sorular oluşturarak temsilcinizi test edebilirsiniz. Bu test yöntemi, ajanınızın zaten sahip olduğu bilgi ve konuları nasıl kullandığını test etmek için iyidir, ancak bilgi boşluklarını test etmek için iyi değildir.

Bu bilgi kaynaklarını kullanarak test vakaları oluşturabilirsiniz:

• Metin
• Microsoft Word
• Microsoft Excel

Test soruları oluşturmak için 293 KB'a kadar dosyalar kullanabilirsiniz.

Bir test seti oluşturmak için:

1. Yeni test setinde, Tam soru setini seçin.

2. Bilgi veya Konular seçeneğini seçin.

   • Bilgi, üretken orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, temsilcinizin bilgi kaynaklarından bir seçilmiş şekilde sorular oluşturur.
   • Topics, klasik orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, temsilcinizin konularını kullanarak sorular oluşturur.

3. Bilgi için, soru üretimine dahil etmek istediğiniz bilgi kaynaklarını seçin.

1. Bilgi ve Konular için, oluşturulacak soru sayısını seçmek için kaydırıcıyı seçip sürükleyin.

1. Oluştur seçeneğini belirleyin.

2. Test vakalarının detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

3. Bu test seti için kullanmak istediğiniz hesabı seçmek veya bağlamak için Profili Yönet'i seçin. Ayrıca kimlik doğrulama için hesap eklemeden de devam edebilirsiniz.

Uyarı

Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin.

Copilot Studio test vakaları oluştururken, bağlı bir hesabın kimlik bilgilerini kullanarak ajanınızın bilgi kaynaklarına ve araçlarına erişir. Oluşturulan test vakaları veya sonuçlar, bağlı hesabın erişebildiği hassas bilgileri içerebilir ve bu bilgiler, test setine erişebilen tüm üreticiler tarafından görülebilir.

1. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

İçe aktarmak için bir test kümesi dosyası oluşturun

Test çalışmalarınızı doğrudan Copilot Studio'da oluşturmak yerine, tüm test çalışmalarınızla birlikte bir elektronik tablo dosyası oluşturabilir ve bunları içeri aktararak test kümenizi oluşturabilirsiniz. Her bir test sorusu oluşturabilir, kullanmak istediğiniz test yöntemini belirleyebilir ve her soru için beklenen yanıtları belirtebilirsiniz. Dosyayı oluşturmayı bitirdiğinizde, dosyayı .csv veya .txt dosyası olarak kaydedin ve Copilot Studio'ya aktarın.

Önemli

• Dosyada en fazla 100 soru bulunabilir.
• Her soru, boşluklar da dahil olmak üzere en fazla 1.000 karakter olabilir.
• Dosya virgülle ayrılmış değerler (CSV) veya metin biçiminde olmalıdır.

İçe aktarma dosyasını oluşturmak için:

1. Bir elektronik tablo uygulaması açın (örneğin, Microsoft Excel).

2. Aşağıdaki başlıkları ilk satıra bu sırayla ekleyin:

   • Question
   • Beklenen yanıt
   • Test yöntemi

3. Soru sütununa test sorularınızı girin. Her soru, boşluklar dahil olmak üzere 1.000 veya daha az karakter olabilir.

4. Test yöntemi sütununa her soru için aşağıdaki test yöntemlerinden birini girin:

   • Genel kalite
   • Anlamı karşılaştırma
   • Benzerlik
   • Tam eşleşme
   • Anahtar kelime eşleşmesi

5. Beklenen yanıt sütununa her soru için beklenen yanıtları girin. Beklenen yanıtlar, test kümesini içeri aktarmak için isteğe bağlıdır. Ancak eşleşmeyi, benzerliği çalıştırmak ve test çalışmalarının anlamını karşılaştırmak için beklenen yanıtlara ihtiyacınız vardır.

6. Dosyayı .csv veya .txt dosyası olarak kaydedin.

7. Dosyayı yeni test seti oluştur bölümündeki adımları takip ederek içe aktarın.