Bir aracıyı değerlendirme (önizleme)

[Bu makale yayın öncesi belgedir ve değişebilir.]

Yeni aracı deneyimindeki Değerlendir sekmesi, aracınız için yapılandırılmış ve yinelenebilir testler sağlar. Test vakalarında ajan kalitesini ölçmek için değerlendirmeleri kullanın, zamanla gelişmeleri takip edin ve yayınlamadan önce ajanınızın davranışını doğrulayın.

Important

Ajan değerlendirmesi nedir?

Aracı değerlendirmesi, aracınızın yanıtlarını kalite standartlarına göre sistematik bir şekilde test etmenizi sağlar. Her senaryoyu ön izleme sekmesinde manuel olarak test etmek yerine, test konuşmalarıyla değerlendirmeler oluşturun, yanıtların nasıl ölçüleceğini tanımlayın ve değerlendirmeleri yürüterek nicel sonuçlar alın.

Değerlendirme, şu soruları yanıtlamanıza yardımcı olur:

  • Aracı, beklenen çeşitli senaryolarda doğru yanıtlar veriyor mu?
  • Bir yapılandırma değişikliği yanıt kalitesini iyileştirdi mi yoksa kötüleştirdi mi?
  • Temsilci gerektiğinde araçları çağırıyor mu?

Temel kavramlar

Copilot Studio'da değerlendirme çalışmaları yürütülürken aşağıdaki kavramlar temel öneme sahiptir:

Konuşma

Bir görüşme, aracınızın ele almasını istediğiniz bir senaryoyu temsil eden bir test senaryosudur. Her konuşma, kullanıcı iletilerini ve isteğe bağlı olarak beklenen aracı yanıtlarını içerir. Konuşmaları değerlendirmeler halinde düzenleyin. Konuşmaları manuel olarak oluşturun, yapay zeka ile oluşturun veya CSV dosyasından yükleyin.

Evaluations

Değerlendirme, konuşmaları bir test yöntemiyle birleştiren adlandırılmış bir test kümesidir. Değerlendirmeleri Değerlendir sekmesinden oluşturur, bunlara konuşmalar ekler ve ardından puanlanmış sonuçlar elde etmek için çalıştırırsınız.

Test yöntemleri

Test yöntemleri, aracının yanıtlarının nasıl puanlanacağını belirler. Şu anda mevcut tek test yöntemi, yanıtların alaka ve tamlık gibi kalite standartlarına uyup uymadığına dair yapay zeka tabanlı bir değerlendirme olan Genel kalitedir.

Note

Genel kalite test yöntemi, yanıtları beklenen cevaplarla karşılaştırmaz.

Kullanıcı profili

Değerlendirmeler bir kullanıcı profili altında çalışır. Hangi doğrulanmış profilin değerlendirmeyi çalıştırdığını yönetin, böylece ajanın araçları ve bağlantıları tamamen test edilebilir olsun.

Değerlendirme iş akışı

Bir temsilciyi değerlendirmek için şu adımları izleyin:

  1. Bir değerlendirme oluşturun: Değerlendir sekmesinde yeni bir değerlendirme başlatın. Daha fazla bilgi için Bir Ajan için Test Seti Oluştur.
  2. Konuşma ekle: Test konuşmalarını manuel olarak yazarak AI ile oluşturarak veya bir CSV dosyası yükleyerek ekleyin.
  3. Yapılandır: Değerlendirmeyi adlandırın, bir test yöntemi seçin, aracı sürümünü belirleyin ve kullanıcı profilini ayarlayın.
  4. Değerlendirmeyi çalıştırın: Testi çalıştırmak için Değerlendirme'yi seçin ve sonuçları bekleyin. Daha fazla bilgi edinin: Bir ajans için değerlendirme yapın.
  5. İnceleme sonuçları: Puanları analiz edin ve geliştirilmesi gereken alanları belirleyin. Daha fazla bilgi edinin: Bir ajanın değerlendirme sonuçlarını görüntüleyin.
  6. Yineleme: Ajanınızın talimatlarını, bilgisini veya araçlarını ayarlayın ve ardından etkiyi ölçmek için değerlendirmeyi tekrar yapın.
  • Last updated on