Aracılığıyla paylaş


Copilot Studio Kit ile ajan testini geliştirin

Power CAT Copilot Studio Kit, aracı yanıtlarını doğrulamanızı sağlayan kullanıcı dostu bir uygulamadır. Ayrıca, toplu oluşturma ve güncelleştirmeler için Excel dışarı ve içeri aktarma gibi yerel özellikleri de içerir.

Yapılandırma, çalıştırma ve analiz etme

Aracı yanıtlarını beklenen sonuçlara göre değerlendirmek için Copilot Studio API'lerinde (Direct Line API) testleri yapılandırın ve çalıştırın.

Sonuçları zenginleştirmek için konuşma transkript kayıtlarını (tam olarak tetiklenen konu adı ve amaç tanıma puanları gibi) analiz ederek Azure Application Insights ve Dataverse'den ek veri noktaları alın.

Doğası gereği belirleyici olmayan AI tarafından üretilen yanıtlar için, oluşturulan yanıtı örnek bir yanıt veya doğrulama talimatlarıyla karşılaştırmak için istemleri kullanın.

Azure Application Insights, AI Builder ve Dataverse gibi Copilot Studio Direct Line API'lerinin test ve analizinde yer alan Azure ve Power Platform bileşenlerini gösteren diyagram.

Test türleri

Araç şu test türlerini destekler:

  • Yanıt eşleşmesi
  • Uyarlamalı kartlar gibi ekler
  • Konu eşleşmesi (Dataverse gerektirir)
  • Üretken yanıtlar (yanıt analizi için AI Builder ve yanıtın neden oluşturulmamış olduğuyla ilgili ayrıntılar için Application Insights gerekir)
  • Çok dönüşlü test türü özel bir test türüdür. Aynı konuşma bağlamında belirli bir sırada çalışan düzenli türlerden oluşan bir dizi test vakası içerir. Senaryoları uçtan uca test etmek ve özel aracıları üretken düzenlemeyle test etmek için çok aşamalı testleri kullanın.
  • Plan doğrulaması, oluşturucuların üretken düzenleme kullanan özel aracılarının beklenen araçları içerdiğini doğrulamasını sağlar. Bu test türü, aracının söylediklerini değerlendirmek yerine dinamik planın, önceden belirlenmiş bir eşiğe kadar beklenen araç ve yöntemleri (araçlar, eylemler ve bağlı aracılar) içerdiğini denetler.

Copilot Studio Kit'te testleri yapılandırma bölümünde test türleri hakkında daha fazla bilgi edinin.

Tüm test çalıştırmaları için başarı oranını ve gecikme süresini gösteren bir grafik de dahil olmak üzere test çalıştırması sonucu ayrıntılarının ekran görüntüsü.

Sonraki adım