Değerlendirme yöntemlerini seçin

Note

Bu makale, standard harness ile desteklenen ajanlarda veya ajan akışlarında kullanılan özellikleri açıklamaktadır.

Test setleri oluştururken, ajanınızın yanıtlarını değerlendirmek için farklı test yöntemlerinden seçim yapın. Her test yönteminin kendine ait güçlü yönleri vardır ve farklı değerlendirme türlerine uygundur.

Test yöntemi Önlem -ler Test kümesi türü Puanlama Configurations
Genel kalite Belirli niteliklere göre bir test çalışması yanıtının ne kadar iyi olduğu Tek yanıt veya konuşma 100 üzerinden puanlanır Hiçbiri
İçerik güvenliği Test vakasının yanıtında nefret, şiddet, kendine zarar verme veya cinsel içerik gibi zararlı içerikler olup olmadığı Tek yanıt veya konuşma Geçme/başarısız İçerik türü, İzin verilen içerik güvenlik seviyesi
Anlamı karşılaştır Test vakasının cevabının anlamı beklenen cevapla ne kadar uyumlu olduğu Tek yanıt 100 üzerinden puanlanır Geçme puanı, beklenen cevap
Araç kullanımı Test durumu, beklenen kaynakların tamamını mı yoksa herhangi birini mi kullandı? Tek yanıt Geçme/başarısız Beklenen yetenekler
Anahtar kelime eşleşmesi Test vakasında beklenen anahtar kelimelerin veya ifadelerin hepsini veya herhangi birini kullanıp kullanmadığı Tek yanıt veya konuşma Geçme/başarısız Beklenen anahtar kelimeler veya ifadeler
Metin benzerliği Test vakasının cevabının metninin beklenen cevabla ne kadar uyumlu olduğu Tek yanıt 100 üzerinden puanlanır Geçme puanı, beklenen cevap
Tam eşleşme Test vakasının cevabının beklenen cevabla tam olarak eşleşip eşleşmediği Tek yanıt Geçme/başarısız Beklenen cevap
Custom Test çalışması yanıtının tanımlı ölçütlerinize veya beklentilerinize uygun olup olmadığı. Tek yanıt veya konuşma Başarılı/başarısız (tanımlı etiket ölçütlerini geçirir) Ad, değerlendirme yönergeleri, etiketler

Test yöntemi ekleme

  1. Bir test seti oluştururken veya düzenlerken , Test yöntemini ekle seçeneğini seçin.

  2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.

    1. Bazı yöntemler geçiş puanı gerektirir. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler. Skoru belirleyin, sonra OK seçin.

    2. Bazı test yöntemleri daha fazla ölçüt gerektirir.

  3. Test setindeki değişikliklerinizi kaydetmek için Kaydet'i seçin.

Mevcut bir test yöntemi seçin ve o yöntemin kriterlerini düzenleyin veya o yöntemi silinin.

Genel kalite

Tek yanıt ve konuşma test kümeleri için kullanılabilir. Genel kalite , temsilcinizin yanıtlarının standartlarınıza uygun olup olmadığını belirlemenize yardımcı olur. Bir aracının kullanıcı sorularını ne kadar etkili bir şekilde yanıtlayanı değerlendirmek için büyük bir dil modeli (LLM) kullanır.

Genel kalite özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bu temel kriterleri kullanır ve puanlama için tutarlı bir prompt uygular:

  • İlgililik: Ajanın yanıtının soruyu ne ölçüde karşıladığı. Örneğin, ajanın yanıtı konuyla ilgili kalır ve soruyu doğrudan yanıtlar mı?

  • Temellendirilmişlik: Ajanın yanıtının sağlanan bağlama ne ölçüde dayandığı. Örneğin, temsilcinin yanıtı, ilgili olmayan veya desteklenmeyen bilgiler sunmak yerine bağlamda verilen bilgilere atıfta bulunuyor ya da bu bilgilere dayanıyor mu?

  • Eksiksizlik: Ajanın yanıtının gerekli tüm bilgileri ne ölçüde sunduğu. Örneğin, aracının yanıtı sorunun tüm yönlerini kapsıyor ve yeterli ayrıntı sağlıyor mu?

  • Yanıt vermekten kaçınma: Ajanın soruyu yanıtlamaya çalışıp çalışmadığı.

Yüksek kaliteli sayılması için yanıtın tüm bu temel kriterleri karşılaması gerekir. Bir kriterin karşılanmaması durumunda, yanıt iyileştirme için işaretlenir. Bu puanlama yöntemi, yalnızca hem eksiksiz hem de iyi desteklenen yanıtların üst işaretleri almasını sağlar. Buna karşılık, eksik veya destekleyici kanıt eksikliği olan yanıtlar daha düşük puanlar alır.

Test yöntemleri eklerken veya düzenlerken, Genel kaliteyi seçin. Tüm test setleri varsayılan olarak bu yöntemle başlar.

Genel kalite değerlendirmesini tamamlamak için test vakalarına beklenen cevaplar eklemenize gerek yok.

Bir test vakası ajanın cevap vermeyi reddetmesini bekliyorsa, Genel kalite cevabı iyileştirme için işaretleyebilir çünkü absident kriteri ajanın yanıt vermeye çalışıp çalışmadığını değerlendirir. Uygun bir reddi geçiş sonucu olarak değerlendirmek için, değerlendirme talimatları ve beklenen reddi tanımlayan etiketlerle özel bir test yöntemi kullanın.

Note

Aracı için bilgi kaynaklarının sayısını azaltmak, aracı değerlendirmesinde genel kalite değerlendirmesini iyileştirmeyi garanti etmez. Bu sınırlama, alınan bilginin (modelin belirli bir test vakası için ilgili bulduğu bilgi) çok büyük olabileceğinden kaynaklanmaktadır.

İçerik güvenliği

Tek yanıt ve konuşma test kümeleri için kullanılabilir. İçerik güvenliği , bir ajanın potansiyel zararlı içerik için verdiği yanıtları değerlendirir. Aşağıdaki zararlı içerik türlerini tanımlar:

  • Nefret ve adaletsizlik

  • Cinsel içerik

  • Violence

  • Kendine zarar verme

Her içerik türü için, değerlendirici yanıttaki detay seviyesine göre bir ciddiyet seviyesi atar. Sınav, şiddet seviyesi yapılandırılmış detay seviyesinin eşiği içindeyse geçer. Aksi takdirde test başarısız olur.

  1. Test yöntemleri eklerken veya düzenlerken, İçerik güvenliğini seçin.

  2. Değerlendirmek istediğiniz içerik türünü seçin.

  3. Seçilen içerik türü için ajanın yanıtının ne kadar detay içerebileceğini seçin ve yine de testi geçin. Şiddet eşikleri seviye 0 ile 7 arasında değişir. 0. seviye en katı olan, 7. seviye ise en izin vericidir ve grafik ya da aşırı içeriklerin geçmesine izin verir.

  4. Tamam'ı seçin.

Değerlendirmek istediğiniz her içerik türü için ayrı bir içerik güvenliği testi yöntemi ekleyin.

İçerik güvenliği değerlendirmeleri, potansiyel olarak zararlı içerikleri belirlemeye yardımcı olur, ancak bir ajanın her senaryo için güvenli veya uygun olduğunu garanti etmez. Daha geniş güvenlik stratejinizin bir parçası olarak sorumlu yapay zeka incelemeleri ve içerik güvenliği filtrelerini kullanmaya devam edin.

Genel kalite değerlendirmesi, geri getirilen bilgi değerlendirme girdisini fazla büyük hâle getirdiğinde, ajan bir yanıt ürettikten sonra hata döndürebilir. Erişilen bağlamı azaltmak için ajanı veya test vakasını iyileştirin veya başka uygun değerlendirme yöntemi kullanın.

Anlamı karşılaştır

Tek yanıt test kümeleri için kullanılabilir. Anlamı karşılaştırmak, aracının yanıtının beklenen yanıtın hedeflenen anlamını ne kadar iyi yansıttığını değerlendirir. Kesin ifadeye odaklanmak yerine, niyet benzerliği kullanır; yani kelimelerin arkasındaki fikirleri ve anlamı karşılaştırarak tepkinin beklediğinizle ne kadar uyumlu olduğunu değerlendirir.

Genel kalite gibi, anlamı karşılaştırmak özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz. Varsayılan geçiş puanı 50'dir. Anlam karşılaştırma testi yöntemi, bir cevabın farklı doğru şekillerde ifade edilebildiği, ancak genel anlamın veya niyetin yine de ortaya çıkması gerektiği durumlarda faydalıdır.

  1. Test yöntemleri eklerken veya düzenlerken, Anlamı Karşılaştır'ı seçin.

  2. Bu yöntem için geçiş puanını belirleyin.

  3. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

    1. Bir test vakası seçin.

    2. Beklediğiniz cevabı ekleyin.

    3. Beklenen cevabı kaydetmek için Başvur'u seçin.

    4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Araç kullanımı

Tek yanıt test kümeleri için kullanılabilir. Araç kullanımı, ajanın bir yanıt oluşturmak için belirli araçları veya konuları kullanıp kullanmadığını test eder. Eğer geçtiyse, onaylanır. Aksi takdirde başarısız olur.

  1. Test yöntemlerini eklerken veya düzenlerkenAraç kullanımı'nı seçin.

  2. Beklenen araçları veya konuları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

    1. Bir test vakası seçin. Tüm test çalışmaları için aynı beklenen araçları ve konuları eklemek için Araçlar sütun başlığındaki Düzenle simgesini seçin.

    2. Araçları seçin panelinde, aracınızın bu test çalışması için kullanmasını beklediğiniz konuları veya araçları seçin.

    3. Tamam'ı seçin.

    4. Değişiklikleri kaydetmek için Kaydet'i seçin.

    5. Araçların kullanılması için test etmek istediğiniz tüm test vakaları için tekrarlayın.

Anahtar kelime eşleşmesi

Tek yanıt ve konuşma test kümeleri için kullanılabilir. Anahtar sözcük eşleşmesi , aracının yanıtının tanımladığınız beklenen yanıttan gelen sözcüklerin veya tümceciklerin bir kısmını veya tümünü içerip içermediğini denetler. Öyle yaparsa, geçer. Aksi takdirde başarısız olur.

Geçişin anahtar kelimelerden herhangi birini veya hepsini gerektirip gerektirmediğini seçebilirsiniz. Herhangi bir kelimeyi seçmek, en az bir kelime veya ifade eşleşirse test vakasının geçtiği anlamına gelir. Hepsini seçmek, bir sınav vakasının geçmesi için beklenen tüm kelime veya ifadelerin eşleşmesi gerektiği anlamına gelir.

  1. Test metodlarını eklerken veya düzenlerken, anahtar kelime eşleşmesi seçeneğini seçin.

  2. Bir test vakasının eşleşmesi için Herhangi bir veya Tüm anahtar kelimelere ihtiyacı olup olmadığını seçin.

  3. Beklenen anahtar kelimeleri ekleyin. Beklenen anahtar sözcükler içermeyen herhangi bir test çalışması, bu test yöntemi için Geçersiz bir sonuç üretir.

    1. Bir test vakası seçin.

    2. Test durumunu düzenle bölmesinde, söz konusu olayın yanıtını beklediğiniz bir anahtar sözcük veya tümcecik ekleyin.

    3. Daha fazla anahtar sözcük veya tümcecik eklemek için + Ekle'yi seçin. Anahtar sözcüğü veya tümceciği kaldırmak için Sil simgesini seçin.

    4. Beklenen anahtar kelimeleri kaydetmek için Başvuru'yu seçin.

    5. Anahtar kelime eşleştirmesi için test etmek istediğiniz tüm test vakaları için tekrarlayın.

Metin benzerliği

Metin benzerliği test yöntemi, aracının yanıtlarının test kümenizde tanımladığınız beklenen yanıtlarla benzerliğini karşılaştırır. Doğru yanıtın hem sözcük hem de cümle yapısında beklenen yanıtla tam olarak veya neredeyse tam olarak eşleşmesi gerektiğinde bu test yöntemini kullanın. Örneğin, yasal bir belge oluşturulduğunda genellikle kesin ifade gerekir. Bu test genellikle anlamın benzerliğini sağlayan ancak sözcüğün benzerliğini sağlamayan Karşılaştırma anlamı test yöntemiyle birlikte kullanılır. Ayrıca, belirli terimlerin varlığını sağlayan ancak yapı benzerliğini sağlamayan Anahtar Sözcük eşleştirme testi yönteminden farklıdır. Yanıtın tamamının beklenen yanıtın tamamıyla tam olarak eşleşmesi gerekiyorsa bunun yerine Tam eşleşme test yöntemini kullanın.

Bir kosinüs benzerliği metriği, ajanın yanıtının beklenen yanıtın ifade biçimine ne kadar benzediğini değerlendirir ve bir puan belirler. Puan 0 ile 1 arasında değişir; burada 1, yanıtın yakından eşleştiği, 0 ise eşleşmediği anlamına gelir. Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz.

  1. Test yöntemleri eklerken veya düzenlerken, Metin benzerliği seçeneğini seçin.

  2. Bu yöntem için geçiş puanını belirleyin.

  3. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

    1. Bir test vakası seçin.

    2. Beklediğiniz cevabı ekleyin.

    3. Beklenen cevabı kaydetmek için Başvur'u seçin.

    4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Tam eşleşme

Tek yanıt test kümeleri için kullanılabilir. Tam eşleşme, aracın yanıtının testte beklenen yanıtla tıpatıp eşleşip eşleşmediğini denetler: karakter karaktere, sözcük sözcüğe. Aynıysa geçer. Bir şey farklılık gösterirse, başarısız olur. Tam eşleşme, sayılar, kodlar veya sabit tümcecikler gibi kısa ve kesin yanıtlar için kullanışlıdır. İnsanların birden fazla doğru şekilde formüle edebileceği yanıtlar için uygun değildir.

  1. Test yöntemleri eklerken veya düzenlerken, Tam Eşleşme'yi seçin.

  2. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

    1. Bir test vakası seçin.

    2. Beklediğiniz cevabı ekleyin.

    3. Beklenen cevabı kaydetmek için Başvur'u seçin.

    4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Custom

Özel , özelleştirilebilir bir test yöntemidir. Kendi ölçütlerinizi kullanarak aracı yanıtlarını test etmenizi ve etiketlemenizi sağlar. Örneğin, IK aracısı için bir uyumluluk testi oluşturarak test yanıtlarını IK uyumluluğu açıklamanızla uyumlu veya uyumsuz olarak etiketleyebilirsiniz.

Özel test, yapılandırmanız için iki bileşen içerir:

Değerlendirme yönergeleri: Bu testle gerçekleştirmek istediğiniz hedefi açıklar. Testin temsilcinizin yanıtları hakkında ne öğrenmesini istiyorsunuz?

İyi değerlendirme yönergeleri:

  • Hedefe odaklı olun.

  • Yalnızca izin verilen karakterleri kullanın.

  • Düzenleme için madde işaretleri ve başlıklar kullanın.

Örneğin:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Etiketler: Özel testi kullanarak her yanıta atanan sonucu açıklar. Etiketler, bu test yönteminin test kümesi başarı oranına katkıda bulunan geçme/başarısız olma atamalarına da sahiptir.

Etiketlerin bir adı ve açıklaması vardır. İyi bir açıklama:

  • Kısa.

  • Eşleşen yanıtlarda aradığınız öznitelikleri içerir.

Etiketler için bir strateji iki etikete sahip olmaktır: biri aradığınız ölçütleri başarıyla karşılayan yanıtlar, diğeri ise bu ölçütleri başarıyla karşılamayan yanıtlar. Örneğin, bir İK politikası uyumluluk özel testi Uyumlu ve Uyumsuz etiketleri olabilir.

  1. Test yöntemlerini eklerken veya düzenlerkenÖzel'i seçin.

  2. Bu özel test için bir ad girin.

  3. Değerlendirme yönergeleri ekleyin.

  4. İki veya daha fazla etiket ekleyin. Her etiketin bir adı ve açıklaması vardır.

    Daha fazla etiket eklemek için Etiket ekle'yi seçin.

    Etiket başlıkları yalnızca harf, sayı, boşluk, kısa çizgi -, alt çizgi _, eğik çizgi /, ve &işareti , artı işareti +ve nokta .kullanabilir.

  5. Her etiket için Pass veya Fail sonucunu ayarlayın.

  6. Tamam'ı seçin.

  • Last updated on