Aracıyı değerlendir (önizleme)

[Bu makale bir yayın öncesi belgedir ve değiştirilebilir.]

Yeni aracı deneyimindeki Değerlendir sekmesi, aracınız için yapılandırılmış ve yinelenebilir testler sağlar. Test vakalarında ajan kalitesini ölçmek için değerlendirmeleri kullanın, zamanla gelişmeleri takip edin ve yayınlamadan önce ajanınızın davranışını doğrulayın.

Önemli

Ajan değerlendirmesi nedir?

Aracı değerlendirmesi, aracınızın yanıtlarını kalite standartlarına göre sistematik bir şekilde test etmenizi sağlar. Her senaryoyu ön izleme sekmesinde manuel olarak test etmek yerine, test konuşmalarıyla değerlendirmeler oluşturun, yanıtların nasıl ölçüleceğini tanımlayın ve değerlendirmeleri yürüterek nicel sonuçlar alın.

Değerlendirme, şu soruları yanıtlamanıza yardımcı olur:

  • Ajan, beklenen çeşitli senaryolarda doğru şekilde yanıt veriyor mu?
  • Bir yapılandırma değişikliği yanıt kalitesini iyileştirdi mi yoksa kötüleştirdi mi?
  • Temsilci gerektiğinde araçları çağırıyor mu?

Temel kavramlar

Copilot Studio'da değerlendirme çalışmaları yürütülürken aşağıdaki kavramlar temel öneme sahiptir:

Konuşma

Bir görüşme, aracınızın ele almasını istediğiniz bir senaryoyu temsil eden bir test senaryosudur. Her konuşma, kullanıcı iletilerini ve isteğe bağlı olarak beklenen aracı yanıtlarını içerir. Konuşmaları değerlendirmeler halinde düzenleyin. Konuşmaları manuel olarak oluşturun, yapay zeka ile oluşturun veya CSV dosyasından yükleyin.

Evaluations

Değerlendirme, konuşmaları bir test yöntemiyle birleştiren adlandırılmış bir test kümesidir. Değerlendirmeleri Değerlendir sekmesinden oluşturur, bunlara konuşmalar ekler ve ardından puanlanmış sonuçlar elde etmek için çalıştırırsınız.

Test yöntemleri

Test yöntemleri, ajanın yanıtlarının nasıl puanlanacağını belirler. Şu anda mevcut tek test yöntemi, yanıtların alaka ve tamlık gibi kalite standartlarına uyup uymadığına dair yapay zeka tabanlı bir değerlendirme olan Genel kalitedir.

Note

Genel kalite test yöntemi, yanıtları beklenen cevaplarla karşılaştırmaz.

Kullanıcı profili

Değerlendirmeler, giriş yapmış kullanıcı profiliyle yürütülür. Farklı bir kullanıcı profili kullanmak için çıkış yapın ve ardından değerlendirmeye başlamadan önce o profilin hesabıyla giriş yapın.

Kredi kullanımı

Test süreci boyunca tahmini Copilot Kredi kullanımını değerlendirin, böylece daha büyük test paketleri çalıştırmadan önce test kalitesinin maliyetini anlayabilirsiniz. Hangi deneyimlerin kredi kullandığını, her değerlendirme çalışması için tahmini toplamı, yanıtların oluşturulması ve puanlama arasındaki dağılımı, ayrıca bireysel test vakası düzeyinde kredi kullanımını görebilirsiniz. Daha fazla bilgi için Tahmini kredi kullanımını Anlamak.

Değerlendirme iş akışı

Bir temsilciyi değerlendirmek için şu adımları izleyin:

  1. Bir değerlendirme oluşturun: Değerlendir sekmesinde yeni bir değerlendirme başlatın. Bir aracı için test kümesi oluşturma bölümünde daha fazla bilgi edinin.
  2. Konuşma ekle: Test konuşmalarını manuel olarak yazarak AI ile oluşturarak veya bir CSV dosyası yükleyerek ekleyin.
  3. Yapılandırma: Değerlendirmeyi adlandırın, bir test yöntemi seçin ve ajan sürümünü seçin.
  4. Değerlendirmeyi çalıştırın: Testi çalıştırmak için Değerlendirme'yi seçin ve sonuçları bekleyin. Daha fazla bilgi edinin: Bir ajans için değerlendirme yapın.
  5. İnceleme sonuçları: Puanları analiz edin ve geliştirilmesi gereken alanları belirleyin. Daha fazla bilgi edinin: Bir ajanın değerlendirme sonuçlarını görüntüleyin.
  6. Yineleme: Ajanınızın talimatlarını, bilgisini veya araçlarını ayarlayın ve ardından etkiyi ölçmek için değerlendirmeyi tekrar yapın.

Limitations

Değerlendirmeler yalnızca No authentication veya Authenticate with Microsoft kullanacak şekilde ayarlanmış ajanları destekler. Kimliği el ile doğrula olarak ayarlanan ajanlar desteklenmez.

  • Last updated on