Copilot Studio'da ajanların performansını izleyin

Note

Bu makale, standard harness ile desteklenen ajanlarda veya ajan akışlarında kullanılan özellikleri açıklamaktadır.

Ajanınızın ne kadar iyi performans gösterdiğini anlamak ve iyileştirme alanlarını belirlemek için analitiği kullanın.

Copilot Studio'daki Monitor sayfası, temel metrikleri özetler ve ajanınızın bileşenleri için kullanım analizleri sunar. Temel verileri keşfetmek için bireysel metrikleri açın.

Monitor deneyimi, konuşma ajanları ve otonom ajanlar için özel olarak tasarlanmıştır.

İzleme tüm coğrafyalarda mevcuttur. Monitör verileri 360 güne kadar erişilebilir. Oturum ayrıntıları ve transkript bilgileri son 28 gün için kullanılabilir. Analitikte zaman ve tarih damgaları Koordineli Evrensel Zaman (UTC) ile oluşturulur. Zaman ve tarih damgaları gün başlangıç ve bitiş saatlerini, oturum saatlerini ve temsilcinizin verilerindeki diğer zaman işaretlerini içerir.

Note

Monitor sayfası, Copilot Studio'da temsilcinizi test panelini kullanarak test ettiğinizde tamamladığınız aktivite için analitikleri göstermiyor.

Analizlere yalnızca sınırlı görüntüleme erişimi ver.

Aracın sahibiyseniz yalnızca İzleme sayfasına erişim vermek için aracıyı Analiz Görüntüleyicisi paylaşım rolüyle paylaşın. Konuşma transkripsiyon bilgilerine erişmek için kişinin ayrıca Bot Transcript Viewer güvenlik rolüne sahip olması gerekir.

Daha fazla bilgi için bkz. Bir aracının analizini paylaşın.

Önemli

Bir aracı sahibi olarak, Analytics görüntüleyici rolünü yalnızca bireylerle paylaşabilirsiniz, kullanıcı gruplarıyla değil.

Temsilcinizin Monitör sayfasına erişmek için:

1. Temsilcinizi Copilot Studio'da açın.
2. Üst menü çubuğunda Monitör seçeneğini seçin.

Summary

Summary alanı, aracınızla ilgili önemli analiz içgörülerinin yapay zeka özetini oluşturmak için Copilot kullanır. Özetlenmiş içgörü listesinin tamamını görmek için Daha Fazla Görüntüle'yi seçin.

Sık kullanılan temaları ve ölçümleri hızla anlamanıza ve aracınıza yönelik iyileştirme alanlarını, seçilen raporlama dönemi için madde işaretli bir listede özetleyerek belirlemenize yardımcı olur. Bu liste, etkileşim metriklerini, müşteri duygusunu ve geri bildirimlerini, ayrıca son raporlama döneminden bu yana trendleri içerebilir.

Müşteri yorumları özeti (önizleme)

[Bu bölüm yayın öncesi belgedir ve değişebilir.]

Müşteri yorumları özeti, geri bildirimler ve yorumlar yoluyla temsilci hakkında müşterilerin genel görüşünü anlamanıza yardımcı olur. İçgörüler hem ilgili yorumların hacmine hem de genel önemine göre önceliklendirilir. Özet, düşük değerli veya alakasız yorumları filtreler ve ilgili geri bildirimleri bir arada gruplar.

Önemli

Bu makale Microsoft Copilot Studio önizleme belgelerini içerir ve değiştirilebilir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız bkz. Microsoft Copilot Studio Overview.

Bu bölüm hakkında Microsoft'a geri bildirim göndermek için Beğenme veya Beğenmeme seçeneğini belirleyin. Yorum eklemek ve ilgili dosyaları paylaşıp paylaşmamayı seçmek için Microsoft’a geri bildirim gönder panelini kullanın.

1. Microsoft'a geri bildirim gönder panelinde, paneli açmak için hangi simgeyi seçtiğinize bağlı olarak beğendiğiniz veya beğenmediğiniz doğal dilde açıklayın.
2. İstem, oluşturulan yanıt, ilgili içerik örnekleri ve ekstra günlük dosyalarını paylaşıp paylaşmamayı seçin.
3. Gönder'i seçin.

Overview

Genel Bakış bölümünde yüksek seviyeli performans özetini inceleyin, ardından bireysel metrikleri daha ayrıntılı inceleyin.

Etkin kullanıcılar

Aktif kullanıcı metrikleri, bir konuşma ajanının benimsenmesini ve bunun zamanla nasıl değiştiğini gösterir. Etkin kullanıcı, raporun dönemi boyunca konuşma aracısı ile en az bir kez etkileşim kuran benzersiz bir kullanıcıdır. Monitor sayfası günlük aktif kullanıcıları (DAU) ve aylık aktif kullanıcıları (MAU) gösterir. Günlük sayım, UTC'de tam 24 saatlik bir günü kapsar. Aylık sayım, UTC'deki takvim ayını takip eder.

Önemli

Etkin kullanıcı ölçümleri özelliği yalnızca aracınızı Ayarlar>Güvenlik>Kimlik Doğrulaması altında kimlik doğrulaması gerektirecek şekilde ayarlarsanız desteklenir.

Seçilen dönemin ortalama DAU değeri ve önceki dönemdeki yüzde değişikliği Genel Bakış bölümünde önemli bir performans göstergesi (KPI) olarak görünür.

Note

Ortalama DAU'yu hesaplamak için kullanılan formül: (sum of all full-day active user counts in the period) / (count of full days in the period).

Zaman içinde eğilim gösteren günlük ve aylık etkin kullanıcı sayısı hakkında daha fazla ayrıntı görmek için genel bakış panelinin sağ üst köşesindeki Etkin kullanıcıları görüntüle düğmesini seçin.

Yalnızca konuşma oturumları

Copilot Studio'da konuşma aracıları için Analytics aracınızla kullanıcı etkileşimini izleyin ve aracınızın kullanıcı görevlerini ne kadar iyi işlediğini yakalamaya çalışın.

Diyaloğa dayalı analitik aşağıdaki kavram ve terimleri kullanır:

• Konuşmalar, bir kanaldaki belirli bir kullanıcı veya kullanıcı grubu ile temsilciniz arasında sürekli bir etkileşimdir.

• Görüşmeler duraklatılabilir ve daha sonra devam ettirilebilir veya bir müşteri hizmetleri temsilcisine aktarılabilir. Konuşma tek yönlü olabilir, ya müşteriden temsilciye, ya da temsilciden müşteriye olabilir, ancak genellikle müşteri ile temsilci arasında karşılıklı bir etkileşimdir.

• Bir konuşma 30 dakika boyunca hareketsiz kalındığında zaman aşımına uğrar.

• Telefon kanalına atanmış aracılar için görüşmeler bir Görüşmeyi Sonlandır olayından 3 dakika sonra zaman aşımına uğrar.

• Tek bir konuşma bir veya daha fazla analiz oturumu içerebilir.

• Standard harness tarafından desteklenen bir analiz oturumu, bir kullanıcı tarafından tetiklenen son özel konu ile ilişkilendirilir. Oturumda özel konular yoksa, kullanıcı tarafından doğrudan tetiklenen son sistem konusudur.

Yalnızca olay tetikleme oturumları

Otonom bir ajan, olay tetikleyicisine sahip bir ajandır. Bu aracılar yalnızca tetikleyicileri olan aracıların analizini destekler.

Tetikleyicileri olan aracılar için bir analiz oturumu, bir aracının bir tetikleyiciden yük verisi almasından aracının yanıt olarak çalıştırdığı eylemlere kadar izler. Bu analiz oturumları, aracınızın neye yanıt verdiğini ve aracınızın ne kadar iyi performans gösterdiğini yakalar.

Note

Bir tetikleyici başarısız olursa ve aracı bir tetikleyici yük verisi almazsa, analiz oturumu başlatılamaz. Analizlerde yalnızca başarıyla tetiklenen çalıştırmalar izlenir.

Karma görünüm - hem konuşma hem de olayla tetiklenen oturumlar

Ajanınızın verileri, rapor süresi boyunca en az bir konuşma ve en az bir tetikleyici tabanlı çalışma için oturumlar içerdiğinde, İzleme sayfası hem konuşma hem de otonom oturumlar için ilgili metriklerin hibrit görünümünü gösterir. Bu görüşte, Genel Bakış ve Etkinlik bölümleri, hem konuşma hem de olay tetikleyici oturumlar için metrikleri yan yana gösterir. Kullanım bölümü, yalnızca ilgili verileri görüntüleyen Konuşmalar veya Çalıştırmalar arasında seçim yapmanıza olanak tanır. Tümü seçildiğinde kullanımla ilgili tüm veriler gösterilir. Memnuniyet bölümünde konuşma oturumları için memnuniyet ölçümleri görüntülenir.

Daha fazla bilgi için:

• Konuşma oturumu metrikleri için konuşma ajanının etkinliğini izlemek

• Otonom ajan sağlığını izleyin olay tetiklemeli oturum metrikleri için

Konuşma metinlerini indirin

Son 28 gün içindeki dönemler için Copilot Studio'da oturum transkriptlerini indirebilirsiniz. Bir analiz oturumu bittikten sonra ilgili verilerin analitik panoda görünmesi bir saate kadar sürebilir. Copilot Studio'da konuşma transkriptlerini indirin, erişilebilirlik, izinler ve indirme adımları hakkında daha fazla bilgi edinin.

Dataverse transkript tutma, Copilot Studio'daki 28 günlük oturum-veri penceresinden ayrıdır. Daha fazla bilgi için bkz. Power Apps platformunda konuşma dökümlerini indirme.

Konu kullanım analizi

Copilot Studio’da bir konu, bir aracı ile yapılan konuşmanın nasıl ilerlediğini tanımlar ve bir kullanıcı ile bir aracı arasındaki konuşmanın bir bölümünü temsil eder. Konu İzleme paneli, bireysel bir konunun nasıl performans gösterdiğini, ne sıklıkla tetiklendiğini, dahil olduğu oturumların nasıl çözüldüğünü ve kullanıcıların bu oturumlardan ne kadar memnun olduğunu gösterir. Bu içgörülerden yararlanarak, insan müdahalesine yönlendirilen veya terk edilen konuları belirleyin ve ardından bunları iyileştirmek için önceliklendirin. Konu oluşturma ve düzenleme bölümünde daha fazla bilgi edinin.

Note

Konu Monitörü yalnızca Standart altyapı ile çalışan ajanlar ve bir oturumla ilgili konular için mevcuttur. Ajanınız üretken orkestrasyon kullanıyorsa, Monitor sayfasındaki konuşma sonuçlarını ve temalarını kullanın.

Konuyu izlemek için Monitor paneli:

1. Copilot Studio'daki temsilcinizin Konular sayfasına gidin.

2. Analiz etmek istediğiniz konuyu seçin. Kullanılabilir konu yoksa bkz. Konu oluşturma ve düzenleme.

3. Konular sayfasının sağ üst köşesinde Daha Fazla (...) seçeneğini seçin. >Monitör.

Konu Monitör paneli şunları gösteriyor:

• Konu sonuçları: Bu konunun tetiklendiği oturumlarEscalatedResolved için , ve Abandonedoturum sonuçlarının grafiği. Konu durumunu hızla değerlendirmek için bu grafiği kullanın. Escalated veya Abandoned sonuçlarının yüksek bir oranı, konunun iyileştirilmesi gerektiği anlamına gelebilir.
• Toplam konu kullanımı: Konu sonuçlarının zaman içindeki eğiliminin grafiği. Bir konu düzenlendikten sonra Bırakılan oturumlardaki ani artış gibi regresyonları algılamak veya son değişikliklerin çözüm oranlarını iyileştirdiğini onaylamak için bunu kullanın.
• Müşteri memnuniyeti puanı: Bu konu başlığıyla ilişkilendirilmiş oturumlardan gelen kullanıcı anketi yanıtlarını temel alan bir puan.
• Memnuniyet puanı eğilimi: Memnuniyet puanının zaman içinde nasıl değiştiğini gösteren grafik. Kullanıcı duyarlılığının azaldığı veya iyileştiği dönemleri belirlemek için bu eğilimi kullanın.

Zaman aralığını değiştirmek için, konu Monitör panelinin üstündeki zaman aralığı açılır menüsünü seçin.

İlgili bilgiler

Yapay zeka aracılarının yatırım getirisini (ROI) ve iş değerini ölçme