Ajanınızı değerlendirmek için bir test seti oluşturun veya değiştirin

[Bu makale bir sürüm öncesi belgesidir ve değiştirilebilir.]

Bir test seti , 100'e kadar test vakasından oluşan bir gruptan oluşur. Bir ajan değerlendirmesi yaptığınızda, bir test seti seçirsiniz ve Copilot Studio o setteki tüm test vakalarını ajanınıza karşı çalıştırır.

Test seti içinde manuel olarak test vakaları oluşturabilir, bir tablo kullanarak içe aktarabilir veya ajanınızın tasarımı ve kaynaklarına göre mesajlar oluşturmak için yapay zeka kullanabilirsiniz. Daha sonra, bir test setindeki her test vakası için ajanınızın yanıtlarının kalitesini nasıl ölçeceğinizi seçebilirsiniz.

Ajan değerlendirmesinin nasıl çalıştığı hakkında daha fazla bilgi için Ajan değerlendirmesi hakkında sayfasına bakınız.

Mevcut bir test setini nasıl düzenleyeceğinizi öğrenmek için Bir test setinin detaylarını Değiştirin sayfasına bakınız.

Önemli

Test sonuçları Copilot Studio'da 89 gün boyunca mevcuttur. Test sonuçlarınızı daha uzun süre kaydetmek için sonuçları bir CSV dosyasına aktarın .

Yeni test kümesi oluşturma

1. Temsilcinizin Değerlendirme sayfasına gidin.

1. Yeni değerlendirmeyi seçin.

   

2. Yeni değerlendirme sayfasında, test setinizi oluşturmak için kullanmak istediğiniz yöntemi seçin. Bir test setinde 100'e kadar test vakası bulunabilir.

   • Copilot Studio'nun ajanınızın tanımı, talimatları ve yeteneklerine göre otomatik test vakaları oluşturmasını sağlayan hızlı soru seti var. Bu seçenek, küçük ve hızlı değerlendirmeler yapmak veya daha büyük bir test seti oluşturmak için 10 soru oluşturur.
   • Copilot Studio'nun temsilcinizin bilgi kaynakları veya konuları kullanarak test vakaları oluşturması ve oluşturulacak soru sayısını seçmesi için tam soru seti oluşturulur.
   • Test sohbet sohbetinizi kullanarak test sohbetinizde verdiğiniz soruları otomatik olarak test setini doldurun. Bu yöntem, en son test sohbetinden alınan soruları kullanır. Test sohbetinden değerlendirme tuşunu kullanarak da değerlendirme başlatabilirsiniz.
   • Dosyadan test vakalarını dosyadan ithale getirin; dosyanızı belirlenen alana sürükleyerek, dosyayı yüklemek için Göz at'ı seçerek veya diğer yükleme seçeneklerinden birini seçerek alın.
   • Ya da kendiniz bazı soruları yazıp manuel olarak bir test seti oluşturun. Test vakalarını eklemek ve düzenlemek için bir test setini düzenleme adımlarını takip edin.
   • Ajanınızın analizindeki temalara dayalı üretim verilerini kullanın.

3. Test vakalarının detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

4. Ad'ın altında test kümeniz için bir ad girin.

5. Kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin:

   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin, sonra OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için bkz. Değerlendirme yöntemlerini seçin.
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

   Test yöntemi	Önlem -ler	Puanlama	Configurations
   Genel kalite	Test vakasının cevabı belirli niteliklere göre ne kadar iyi?	100 üzerinden puan%	Hiç kimse
   Anlamı karşılaştır	Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu	100 üzerinden puan%	Geçme puanı, beklenen cevap
   Yetenek kullanımı	Test vakasının beklenen kaynakları kullanıp kullanmadığı	Geçme/başarısız	Beklenen yetenekler
   Anahtar kelime eşleşmesi	Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı	Geçme/başarısız	Beklenen anahtar kelimeler veya ifadeler
   Metin benzerliği	Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu	100 üzerinden puan%	Geçme puanı, beklenen cevap
   Tam eşleşme	Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği	Geçme/başarısız	Beklenen cevap

6. Kullanıcı profilini seçin, ardından bu test seti için kullanmak istediğiniz hesabı seçin veya ekleyin, ya da kimlik doğrulaması olmadan devam edin. Değerlendirme, test sırasında bilgi kaynakları ve araçlara bağlanmak için bu hesabı kullanır. Kullanıcı profillerini ekleme ve yönetme hakkında bilgi için Kullanıcı profillerini ve bağlantılarını yönet sayfasına bakabilirsiniz.

   Uyarı

   Otomatik test, seçilen test hesabının doğrulamasını kullanır. Eğer ajanınızın belirli kimlik doğrulama gerektiren bilgi kaynakları veya bağlantıları varsa, test için uygun hesabı seçin. Copilot Studio test vakaları oluştururken, bağlı bir hesabın kimlik bilgilerini kullanarak ajanınızın bilgi kaynaklarına ve araçlarına erişir. Oluşturulan test vakaları veya sonuçlar, bağlı hesabın erişebildiği hassas bilgileri içerebilir ve bu bilgiler, test setine erişebilen tüm üreticiler tarafından görülebilir.

7. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

Test vakası oluşturma sınırlaması

Test vakası oluşturma, bir veya daha fazla soru temsilcinizin içerik moderasyon ayarlarını ihlal ederse başarısız olur. Olası nedenler şunlardır:

• Ajanın talimatları veya konuları, modelin sistemin işaretlediği içerik üretmesine yol açar.
• Bağlantılı bilgi kaynağı hassas veya kısıtlı içerik içerir.
• Temsilcinin içerik moderasyon ayarları aşırı katıdır.

Sorunu çözmek için, bilgi kaynaklarını ayarlamak, talimatları güncellemek veya moderasyon ayarlarını değiştirmek gibi farklı işlemleri deneyin.

Bir test seti 100'e kadar test vakası içerebilir.

Bilgi veya konulardan bir test seti oluşturun

Temsilcinizin zaten sahip olduğu bilgi ve konuşma kaynaklarını kullanarak sorular oluşturarak temsilcinizi test edebilirsiniz. Bu test yöntemi, ajanınızın zaten sahip olduğu bilgi ve konuları nasıl kullandığını test etmek için iyidir, ancak bilgi boşluklarını test etmek için iyi değildir.

Bu bilgi kaynaklarını kullanarak test vakaları oluşturabilirsiniz:

• Metin

• Microsoft Word

• Microsoft Excel

Test soruları oluşturmak için 293 KB'a kadar dosyalar kullanabilirsiniz.

Bir test seti oluşturmak için:

1. Yeni değerlendirmede, Tam soru setini seçin.

2. Bilgi veya Konular seçeneğini seçin.

   • Bilgi, üretken orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, temsilcinizin bilgi kaynaklarından bir seçilmiş şekilde sorular oluşturur.
   • Topics, klasik orkestrasyon kullanan ajanlar için en iyi şekilde çalışır. Bu yöntem, temsilcinizin konularını kullanarak sorular oluşturur.

3. Bilgi için, soru üretimine dahil etmek istediğiniz bilgi kaynaklarını seçin.

1. Bilgi ve Konular için, oluşturulacak soru sayısını seçmek için kaydırıcıyı seçip sürükleyin.

1. Oluştur seçeneğini belirleyin.

2. Ad'ın altında test kümeniz için bir ad girin.

3. 1. Kullanmak istediğiniz test yöntemlerini değiştirin veya ekleyin:
   • Yeni bir yöntem ekleyin:
     1. Test yöntemini ekle.
     2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
     3. Bazı yöntemler için bir geçiş puanı belirleyin, sonra OK seçin. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler.
     4. Bazı yöntemler, her test vakanız için beklenen yanıtlar veya anahtar kelimeler eklemeyi gerektirir. Daha fazla bilgi için bkz. Değerlendirme yöntemlerini seç
   • Düzenlemek veya silmek için mevcut bir test yöntemini seçin.

4. Test vakalarının detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

5. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.

İçe aktarmak için bir test kümesi dosyası oluşturun

Test çalışmalarınızı doğrudan Copilot Studio'da oluşturmak yerine, tüm test çalışmalarınızla birlikte bir elektronik tablo dosyası oluşturabilir ve bunları içeri aktararak test kümenizi oluşturabilirsiniz. Her bir test sorusu oluşturabilir, kullanmak istediğiniz test yöntemini belirleyebilir ve her soru için beklenen yanıtları belirtebilirsiniz. Dosyayı oluşturmayı bitirdiğinizde, dosyayı .csv veya .txt dosyası olarak kaydedin ve Copilot Studio'ya aktarın.

Önemli

• Dosyada en fazla 100 soru bulunabilir.
• Her soru, boşluklar da dahil olmak üzere en fazla 1.000 karakter olabilir.
• Dosya virgülle ayrılmış değerler (CSV) veya metin biçiminde olmalıdır.

İçe aktarma dosyasını oluşturmak için:

1. Bir elektronik tablo uygulaması açın (örneğin, Microsoft Excel).

2. Aşağıdaki başlıkları ilk satıra bu sırayla ekleyin:

   • Question
   • Beklenen yanıt
   • Test yöntemi

3. Soru sütununa test sorularınızı girin. Her soru, boşluklar dahil olmak üzere 1.000 veya daha az karakter olabilir.

4. Test yöntemi sütununa her soru için aşağıdaki test yöntemlerinden birini girin:

   • Genel kalite
   • Anlamı karşılaştırma
   • Benzerlik
   • Tam eşleşme
   • Anahtar kelime eşleşmesi

5. Beklenen yanıt sütununa her soru için beklenen yanıtları girin. Beklenen yanıtlar, test kümesini içeri aktarmak için isteğe bağlıdır. Ancak eşleşmeyi, benzerliği çalıştırmak ve test çalışmalarının anlamını karşılaştırmak için beklenen yanıtlara ihtiyacınız vardır.

6. Dosyayı .csv veya .txt dosyası olarak kaydedin.

7. Dosyayı yeni test seti oluştur bölümündeki adımları takip ederek içe aktarın.

Bir temaya dayalı bir test seti oluşturun

Gerçek kullanıcılarla yapılan sohbetlerden sorularla bir test seti oluşturun. Bu yöntem, temsilcinizin analizlerinde bulunan temaları (önizleme) kullanır.

Temalar, kullanıcı soruları havuzundan alınan ve üretken yanıtları tetikleyen soruların gruplandırılmasıdır. Bir tema kullanarak test seti oluşturduğunuzda, kullanıcıların o temaya ilişkin sorularından test vakaları oluşturulur.

Bu test setlerini, temsilcinizin kapsamındaki bir alan veya konuya odaklanan değerlendirmeler yapmak için kullanın. Örneğin, bir müşteri hizmetleri temsilciniz varsa, faturalama ve ödeme sorularının yanıt kalitesini sorun giderme gibi diğer kullanım durumlarından ayrı olarak takip edebilirsiniz.

Uyarı

Temalardan test setleri oluşturmadan önce, analitikte temalara erişmeniz gerekir. Temalar için ön koşulları gözden geçirin (önizleme).

1. Temsilcinizin Analitik sayfasında Temalar listesine gidin.

2. Bir temanın üzerine gelin ve ardından Değerlendir'i seçin.

   

   Ayrıca Daha fazla tema görmek için Hepsini Gör seçeneğini seçebilir, ardından Değerlendir seçeneğini seçebilirsiniz.

3. Oluştur'u seçin veaçın.

4. Test setlerinin ve vakaların detaylarını düzenleyin. Yöntemleri kullanan tüm test vakaları, genel kalite hariç, beklenen yanıtlar gerektirir. Düzenleme hakkında daha fazla bilgi için bkz. Test setini değiştir.

5. Test vakalarını çalıştırmadan test setini güncellemek için Kaydet'i veya test kümesini hemen çalıştırmak için Değerlendir'i seçin.