Değerlendirme yöntemlerini seçin

[Bu makale bir sürüm öncesi belgesidir ve değiştirilebilir.]

Test setleri oluştururken, ajanınızın yanıtlarını değerlendirmek için farklı test yöntemlerinden seçim yapın. Her test yönteminin kendine ait güçlü yönleri vardır ve farklı değerlendirme türlerine uygundur.

Test yöntemi	Önlem -ler	Puanlama	Configurations
Genel kalite	Test vakasının cevabı belirli niteliklere göre ne kadar iyi?	100 üzerinden puan%	Hiç kimse
Anlamı karşılaştır	Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu	100 üzerinden puan%	Geçme puanı, beklenen cevap
Yetenek kullanımı	Test vakasının beklenen kaynakları kullanıp kullanmadığı	Geçme/başarısız	Beklenen yetenekler
Anahtar kelime eşleşmesi	Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı	Geçme/başarısız	Beklenen anahtar kelimeler veya ifadeler
Metin benzerliği	Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu	100 üzerinden puan%	Geçme puanı, beklenen cevap
Tam eşleşme	Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği	Geçme/başarısız	Beklenen cevap

Test setine test yöntemleri eklemek için:

1. Bir test seti oluştururken veya düzenlerken , Test yöntemini ekle seçeneğini seçin.
2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.
3. Bazı yöntemler geçiş puanı gerektirir. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler. Skoru belirleyin, sonra OK seçin.
4. Bazı test yöntemleri ek kriterler gerektirir.
5. Test setindeki değişikliklerinizi kaydetmek için Kaydet'i seçin.

Mevcut bir test yöntemi seçin ve o yöntemin kriterlerini düzenleyin veya o yöntemi silinin.

Genel kalite

Genel kalite , temsilcinizin yanıtlarının standartlarınıza uygun olup olmadığını belirlemenize yardımcı olur. Bir ajanın kullanıcı sorularına ne kadar etkili yanıt verdiğini değerlendirmek için bir dil modeli kullanır.

Genel kalite özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bu temel kriterleri kullanır ve puanlama için tutarlı bir prompt uygular:

• İlgi: Aracının yanıtının soruyu ne ölçüde ele verdiği. Örneğin, ajanın yanıtı konuyla ilgili kalır ve soruyu doğrudan yanıtlar mı?

• Temel: Aracının yanıtının sağlanan bağlama göre ne ölçüde olduğu. Örneğin, aracının yanıt başvurusu veya ilgisiz veya desteklenmeyen bilgileri tanıtmak yerine bağlamda verilen bilgilere güveniyor mu?

• Eksiksizlik: Aracının yanıtının gerekli tüm bilgileri ne ölçüde sağladığı. Örneğin, aracının yanıtı sorunun tüm yönlerini kapsıyor ve yeterli ayrıntı sağlıyor mu?

• Çekimserlik: Aracının soruyu yanıtlamaya çalışıp çalışmadığı.

Yüksek kaliteli sayılması için yanıtın tüm bu temel kriterleri karşılaması gerekir. Bir kriterin karşılanmaması durumunda, yanıt iyileştirme için işaretlenir. Bu puanlama yöntemi, yalnızca hem eksiksiz hem de iyi desteklenen yanıtların üst işaretleri almasını sağlar. Buna karşılık, eksik veya destekleyici kanıt eksikliği olan yanıtlar daha düşük puanlar alır.

Test yöntemleri eklerken veya düzenlerken, Genel kaliteyi seçin. Tüm test setleri varsayılan olarak bu yöntemle başlar.

Genel kalite değerlendirmesini tamamlamak için test vakalarına beklenen cevaplar eklemenize gerek yok.

Anlamı karşılaştırma

Anlamı karşılaştırmak, aracının yanıtının beklenen yanıtın hedeflenen anlamını ne kadar iyi yansıttığını değerlendirir. Kesin ifadeye odaklanmak yerine, niyet benzerliği kullanır; yani kelimelerin arkasındaki fikirleri ve anlamı karşılaştırarak tepkinin beklediğinizle ne kadar uyumlu olduğunu değerlendirir.

Genel kalite gibi, anlamı karşılaştırmak özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz. Varsayılan geçiş puanı 50'dir. Anlam karşılaştırma testi yöntemi, bir cevabın farklı doğru şekillerde ifade edilebildiği, ancak genel anlamın veya niyetin yine de ortaya çıkması gerektiği durumlarda faydalıdır.

1. Test yöntemleri eklerken veya düzenlerken, Anlamı Karşılaştır'ı seçin.

2. Bu yöntem için geçiş puanını belirleyin.

3. Beklenen cevapları ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. Beklediğiniz cevabı ekleyin.
   3. Beklenen cevabı kaydetmek için Başvur'u seçin.
   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Yetenek kullanımı

Yetenek testi , ajanın belirli araçlar veya konular kullanarak cevap üretmesiyle yapılır. Eğer geçtiyse, geçer. Aksi takdirde başarısız olur.

Geçiş için herhangi bir araç veya konu gerektirip gerektirmediğini veya hepsini seçebilirsiniz. Herhangi bir Seçim, eğer ajan en az birini çağırırsa, test vakası geçer demektir. Hepsini seçmek, bir test vakasının geçmesi için beklenen tüm araçların veya konuların eşleşmesi gerektiği anlamına gelir.

1. Test yöntemleri eklerken veya düzenlerken, Capability use seçeneğini seçin.

2. Bir test vakasının eşleşmesi için Herhangi bir veya Tamamı aracı veya konu gerektirip gerekmediğini seçin.

3. Beklenen araçları veya konuları ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. O davanın cevabının sahip olmasını istediğiniz yetenekleri seçin.
   3. tamamseçin.
   4. Değişiklikleri kaydetmek için Uygula'yı seçin.
   5. Yetenek kullanımı için test etmek istediğiniz tüm test vakaları için tekrarlayın.

4. Bu yöntem için geçiş puanını belirleyin.

5. Beklenen cevapları ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. Beklediğiniz araçları veya konuları ekleyin.
   3. Kaydetmek için Uygula'yı seçin.
   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Anahtar kelime eşleşmesi

Anahtar kelime eşleşmesi, temsilcinin cevabında, tanımladığınız beklenen yanıttaki kelime veya ifadelerin bir kısmını veya tamamını içerip içermediğini kontrol eder. Öyleyse geçer. Aksi takdirde başarısız olur.

Geçişin anahtar kelimelerden herhangi birini veya hepsini gerektirip gerektirmediğini seçebilirsiniz. Herhangi bir kelimeyi seçmek, en az bir kelime veya ifade eşleşirse test vakasının geçtiği anlamına gelir. Hepsini seçmek, bir sınav vakasının geçmesi için beklenen tüm kelime veya ifadelerin eşleşmesi gerektiği anlamına gelir.

Anahtar kelime eşleştirmesi, bir yanıt farklı doğru şekillerde ifade edilebiliyorsa, ancak anahtar terimler veya fikirler yine de yanıta dahil edilmeli olduğunda faydalıdır.

1. Test metodlarını eklerken veya düzenlerken, anahtar kelime eşleşmesi seçeneğini seçin.

2. Bir test vakasının eşleşmesi için Herhangi bir veya Tüm anahtar kelimelere ihtiyacı olup olmadığını seçin.

3. Beklenen anahtar kelimeleri ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. O davanın cevabında beklediğiniz bir anahtar kelime veya ifade ekleyin.
   3. Daha fazla anahtar kelime veya ifade eklemeyi seçin + . Sil Seçeneği
   4. Beklenen anahtar kelimeleri kaydetmek için Başvuru'yu seçin.
   5. Anahtar kelime eşleştirmesi için test etmek istediğiniz tüm test vakaları için tekrarlayın.

Metin benzerliği

Benzerlik testi yöntemi, ajanın yanıtlarının test setinizde tanımladığınız beklenen yanıtlarla benzerliğini karşılaştırır. Bir yanıtın farklı doğru yollarla ifade edilebilmesi ancak genel anlamın veya amacın yine de gelmesi gerektiğinde yararlıdır.

Ajansın cevabının beklenen cevabın ifade tarzı ve anlamına ne kadar benzer olduğunu değerlendirmek ve bir puan belirlemek için kosinüs benzerlik ölçütü kullanır. Puan 0 ile 1 arasında değişir; burada 1, yanıtın yakın eşleşmediğini, 0 ise eşleşmediğini gösterir. Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz.

1. Test yöntemleri eklerken veya düzenlerken, Metin benzerliği seçeneğini seçin.

2. Bu yöntem için geçiş puanını belirleyin.

3. Beklenen cevapları ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. Beklediğiniz cevabı ekleyin.
   3. Beklenen cevabı kaydetmek için Başvur'u seçin.
   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Tam eşleşme

Tam eşleşme , aracının yanıtının testte beklenen yanıtla tam olarak eşleşip eşleşmediğini denetler: karakter için karakter, sözcük sözcüğü. Aynıysa geçer. Bir şey farklılık gösterirse, başarısız olur. Tam eşleşme, sayılar, kodlar veya sabit tümcecikler gibi kısa ve kesin yanıtlar için kullanışlıdır. İnsanların birden çok doğru şekilde ifade edebildiği yanıtlara uygun değildir.

1. Test yöntemleri eklerken veya düzenlerken, Tam Eşleşme'yi seçin.

2. Beklenen cevapları ekleyin. Herhangi bir test vakası bu test yöntemi için geçersiz sonuç verir.

   1. Bir test vakası seçin.
   2. Beklediğiniz cevabı ekleyin.
   3. Beklenen cevabı kaydetmek için Başvur'u seçin.
   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.