Konuşma ajanının etkinliğini izleyin

Note

Bu makale, standard harness ile desteklenen ajanlarda veya ajan akışlarında kullanılan özellikleri açıklamaktadır.

Copilot Studio'daki Monitor sayfasını kullanarak konuşma aracınızın analiz oturumları arasındaki etkinliğini inceleyin. Konuşmaların nerede başarılı veya çöktüğünü belirleyin, kullanıcı geri bildirimlerini gözden geçirin ve cevapları ile araç kullanımını iyileştirmek için fırsatlar bulun.

Aşağıdaki alanları gözden geçirin:

• Özet, Genel Bakış ve Tasarruf alanları temel içgörüler, temel performans göstergeleri (KPI) ve tahmini zaman ile maliyet tasarruflarını gösterir.
• Özel metrikler (önizleme) bölümü, temsilcinizin kullanım durumları için iş dünyasına özgü metrikleri tanımlamanıza olanak tanır.
• Etkililik bölümü, konuşmaların nerede başarılı olduğunu, nerede aksadığını ve kullanıcıların sonuçlar hakkında ne hissettiğini göstererek kullanıcı deneyimlerinin kalitesini değerlendirmenize yardımcı olur.
• Kullanım bölümü, aracınızın soruları ne kadar iyi yanıtladığı, güvenilir araçların ve bilgi kaynaklarının bu yanıtları nasıl desteklediğini ve hedeflenen güncelleştirmelerin kapsamı ve tutarlılığı nerede artırabileceğini göstererek operasyonel performansı geliştirmenize yardımcı olur.

Son 360 gün içinde gerçekleşen olayların analizini görüntüleyebilirsiniz.

Özel ölçümler (önizleme)

[Bu bölüm yayın öncesi belgedir ve değişebilir.]

Özel metrikler bölümü, doğal dilde en fazla üç iş özel ölçütü tanımlamanıza olanak tanır. Copilot Studio, tanımınızdan sınıflandırma kategorileri veya sayısal puanlama kriterleri oluşturur. Önizleme, ölçütü test etmenize yardımcı olmak için örnek oturumlar kullanır. Kaydettikten sonra Copilot Studio, önceki yedi güne ait tüm geçerli oturumlar için bu metriği hesaplar ve ardından yeni oturumlar için bunu günlük olarak hesaplar.

Important

Bu makale Microsoft Copilot Studio önizleme belgelerini içerir ve değiştirilebilir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız bkz. Microsoft Copilot Studio Overview.

Bot Transcript Viewer güvenlik rolünüz varsa, müşteri oturumları listesine ayrıntılı olarak gitmek için bir kategori veya sonuç seçebilirsiniz. Oturum listesinden, metrik sonucunun arkasındaki gerekçeyi inceleyebilir ve bireysel oturumun transkriptini açabilirsin.

Özel metriklerle temsilcinizi izlemek (önizleme) bölümünde metrik oluşturma, test etme ve iyileştirme hakkında daha fazla bilgi edinin.

Etkinliği

Etkinlik bölümü, bir oturum için tepkilerden, aracı yanıtlarından, anket sonuçlarından ve yaklaşım puanından toplanan kullanıcı geri bildirimlerini gösterir. Etkililik birçok alt bölüme ayrılmıştır:

• Konuşma sonuçları: Bir konuşmanın sonunu bilmek, aracınızın başarılı olduğu yeri ve geliştirmesi gereken yeri belirlemeye başlamanıza yardımcı olur.
• Tepkiler: Belirli ajan yanıtlarına yönelik beğenme/beğenmeme geri bildirimleri ve kullanıcı yorumları dahil olmak üzere kullanıcı yanıtları.
• Müşteri memnuniyeti: Müşteri memnuniyeti (CSAT) puanının görüntülenmesi.
• Duygu (önizleme): Tüm oturum için yapay zeka tabanlı duygu analizi.
• Temsilciler: Alt ve bağlı temsilcilerin çağrı hacmi metriklerini, başarı oranlarını ve mevcut durumunu görüntüleyin.

Sistem, geri bildirim verilerini Dataverse'teki konuşma transkript tablosunda saklar.

Konuşma sonuçları

Konuşma sonuçları bölümü, aracınız ve kullanıcılar arasındaki her oturum için sonuç türünü izleyen bir grafik gösterir.

Grafik, oturum sonuçlarının üst üste yığılmış histogramını veya üst üste yığılmış alan grafiğini gösterir. Çözülmüş, Üst birime iletilmiş, Terk edilmiş ve Yanıt vermemiş durumlarının her birinin açıklamada karşılık gelen bir rengi vardır. y ekseni, oturum sayısını gösterir.

Belirli bir gündeki bir sonucun metriklerini görmek için, sonucu belirlemek üzere grafik açıklamasını kullanın ve ardından o sonuç için o gündeki segmentin üzerine gelin.

Konuşma sonuç verilerini indirmek için grafik menüsünü açın ve CSV'yi indir seçeneğini belirleyin.

Note

İndirirken grafikten herhangi bir sonucu çıkarırsanız, bu sonuçlara ait veriler CSV'de görünmez.

Konuşma sonuçları hakkında ayrıntılı bilgi içeren bir yan panel açmak için grafikte Ayrıntıları gör seçeneğini belirleyin. Konuşma sonuçları yan paneli şunları içerir:

• Oturum sonuçlarının pasta grafik dağılımı, Çözülen, Yönlendirilen ve Terk Edilen sonuçların yüzde olarak ifade edilen göreceli ağırlıklarını göstermektedir.
• Çözümlenen tüm oturum sonuçlarını açıklayan Onaylanmış çözümlenen ve İma edilen çözümlenen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilen) gösteren yığılmış çubuk grafik.
• Yükseltilmiş oturum sonuçlarının tümünü açıklayan Sistem tarafından amaçlanan, Sistem tarafından amaçlanmayan ve Kullanıcı tarafından talep edilen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilir) gösteren yığılmış çubuk grafik.
• Her sonuca yol açan en önemli konular.

Note

Ham sayı bilgilerini içeren bir araç ipucu görmek için pasta grafiğin veya yığılmış çubuk grafik kesimlerinin üzerine gelin.

Bir oturum aşağıdaki iki durumdan birine girer:

• Katılımsız: Bir oturum, bir kullanıcı aracınızla etkileşime girdiğinde veya aracı kullanıcıya proaktif bir mesaj gönderdiğinde başlar. Oturum etkileşimsiz bir durumda başlar.

• Katılım: Kullanıcı, aracıyla etkin bir şekilde etkileşim kurar. Ajanın düzenleme moduna göre davranış farklılık gösterir.

  • Klasik düzenleme: Aşağıdaki konulardan biri tetiklendiğinde oturum devreye girer:

    • Kullanıcı tarafından doğrudan tetiklenen özel konu
    • Konuyu yükseltme
    • Geri dönüş konusu
    • Sohbeti canlandıran konu

  • Üretken yapay zeka düzenlemesi: Kullanıcı bir planı doğrudan tetiklediğinde ve aşağıdaki öğelerden birini içerdiğinde oturum devreye girer:

    • Sistem dışı konu
    • Konuyu yükseltme
    • Geri dönüş konusu
    • Bir Bilgi Kaynağı
    • Bir araç

Katılımlı bir oturum aşağıdaki sonuçlardan birine sahiptir:

Sonuç kategorisi	Outcome	Description
Resolved		Oturum başarıyla sona eriyor. İki tür çözümlenmiş oturum vardır: Çözüldü onaylandı ve Çözüldü zımni.
	Çözüldü, onaylandı	Bir oturum, Konuşmanın Sonu konusu tetiklendiğinde ve kullanıcı etkileşimin başarılı olduğunu onayladığında Çözüldü onaylandı olarak kabul edilir.
	İma edilen çözümlendi	Oturum, kullanıcının onayı olmadan, bunun yerine yazılımın mantığına göre tamamlandığında Örtülü Çözüldü kabul edilir. Çözümlendi zımni durumu, aracınızın Klasik mi yoksa Üretken yapay zeka düzenlemesi mi kullandığına bağlıdır: - Klasik düzenleme: Konuşma Sonu konusu tetiklendiğinde oturumun Örtük olarak çözümlenmiş olduğu kabul edilir ve kullanıcı bir onay sağlamadan oturumun zaman aşımına uğramasına izin verir. - Üretken AI orkestrasyonu: Bir oturum zaman aşımına uğradığında ve kalan etkin plan olmadığında, oturum Çözüldü olarak kabul edilir. Etkin plan, kullanıcının girişini bekleyen bir plandır.
Yükseltildi		Bir oturum sona erer ancak Yükselt konusu tetiklendiğinde veya Temsilciye aktar düğümü çalıştırıldığında Yükseltilmiş olarak kabul edilir (görüşme canlı bir temsilciye aktarılsın veya aktarılmasın, mevcut analiz oturumu sona erer). Üç tür yükseltilmiş oturum vardır: Sistem amaçlı, Sistem amaçlanmadı ve Kullanıcı tarafından talep edildi.
	Sistem için tasarlanan	Bir oluşturucu tarafından ayarlanan otomatik iş kuralı sonucunda oturum otomatik olarak yükseltilir. Tırmanma konuşmanın beklenen bir sonucu ve soruşturulması ya da değiştirilmesi gereken bir şey değil. Örnek: Kullanıcı bir üçüncü tarafa 25.000 ABD dolarından fazla aktarmak istiyor. Bu tutar bir iş kuralındaki eşiği aşıyor ve sonuç olarak oturum otomatik olarak yükseltiliyor.
	Beklenmeyen Sistem	Yükseltme, bir oluşturucu tarafından ayarlanan bir veya daha fazla eşiği aşan bir oturumun sonucu olarak otomatik olarak gerçekleşir. Genellikle bu sonuç, kullanıcının konuşmada sıkışıp kaldığını ve yardıma ihtiyacı olduğunu gösterir. Örnek: Belirli bir görevi gerçekleştirmeye yönelik üç hatadan sonra bir oturum ilerletilir.
	Kullanıcı tarafından talep edildi	Konuşma sırasında açık bir kullanıcı isteği olduğundan oturum ilerletilir. Örnek: Kullanıcı Transfer me to an agent girer.
Bırakıldı		Bir oturum, 30 dakika sonra zaman aşımına uğradığında ve çözülmüş veya üst kademeye iletilmiş bir duruma ulaşmadığında sona erer ve Terk Edilmiş olarak kabul edilir.

Ayrıca, conversationOutcome parametresiyle araçlar için sonucu, araç kodu düzenleyicisini kullanarak ayarlayabilirsiniz. Örneğin, onaylanan başarı için conversationOutcome: ResolvedConfirmed veya zımni başarı için conversationOutcome: ResolvedImplied.

Reaksiyon

Tepkiler bölümünde, tepkilerden aracı yanıtlarına kadar toplanan kullanıcı geri bildirimleri gösterilir. Grafik, kullanıcıların aracınızdan aldıkları her yanıtta bulunan beğenme (olumlu) veya beğenmeme (olumsuz) düğmelerinden hangisini seçtiklerini sayar.

Note

• Microsoft Copilot kanalında yayımlanan aracıların, tepkiler ve yorumlar da dahil olmak üzere kullanıcı geri bildirimlerini paylaşabilmesi için Microsoft 365 yönetim merkezinde yönetici onayı gerekir. Bu geri bildirimi Monitor sayfasında görebilirsiniz. Microsoft 365 yönetim merkezi'daki Ajan ayarlarında daha fazla bilgi edinin.
• Microsoft Copilot kanalından gelen tepkiler, Temalar ve Bilgi kaynak kullanım bölümlerindeki Tepkiler sütununda toplanmaz veya sayılmaz.
• Açıklamaları görüntülemek için Bot Transkript Görüntüleyicisi güvenlik rolüne sahip olmanız gerekir.

Reactions özelliği, Microsoft Copilot kanalı hariç tüm kanallar için varsayılan olarak açıktır. İsterseniz bu özelliği kapatabilirsiniz. Ayrıca, kullanıcılar için geri bildirimlerinin nasıl kullanıldığına ilişkin bir sorumluluk reddi beyanı ekleyebilir veya düzenleyebilirsiniz:

1. Ajanı açın, Ayarlar'a gidin ve Kullanıcı geri bildirimi bölümünü bulun.

2. Aracı iletilerine kullanıcı tepkileri topla seçeneğini Açık veya Kapalı olarak ayarlayın.

3. Kullanıcıların geri bildirimlerinin nasıl kullanıldığını bilmeleri için bir sorumluluk reddi beyanı ekleyin veya düzenleyin. Ayrıca gizlilik bilgileri ve ipuçları da sağlayabilirsiniz.

Bot Transkript Görüntüleyicisi ayrıcalığına sahip kullanıcılar bireysel tepkiler için aracı yanıtlarında detaya gidebilir ve kullanıcı açıklamalarına göre filtreleyebilir.

Zaman içindeki tepki eğilimlerini görün

Tepkiler yan panelini açmak için Reaksiyonlar kutucuğunda Ayrıntıları göster'i seçin. Panel, pozitif ve negatif reaksiyonların ( Başparmaklar yukarı ve Başparmaklar aşağı) zaman içinde ne kadar eğilimli olduğunu gösterir.

Müşteri memnuniyeti

Müşteri memnuniyeti bölümünde, kullanıcı anketi sonuçlarına göre kullanıcı memnuniyeti hakkında bilgiler gösterilir:

• Memnuniyet puanı: Kullanıcıların ankete gitmek için oturum sonu isteklerine yanıt verdiği oturumlar için ortalama müşteri memnuniyeti (CSAT) puanlarından hesaplanan 5 puan.

  Note

  1 ve 2 puanları Memnun Değil olarak, 3 puanı Nötr olarak ve 4 ve 5 puanları Memnun olarak değerlendirilir.

• Oturum bazında memnuniyet: Anketin her bir puan kategorisi Dissatisfied, Neutral, ve Satisfied için göreceli ağırlıkları görselleştiren üst üste yığılmış bir çubuk grafik. Çizelgedeki her segmentin üzerine gelerek örneklemin boyutunu ve her skor kategorisinin ağırlık değerini görebilirsiniz. Bot Transkript Görüntüleyicisi ayrıcalığına sahip kullanıcılar için, seçilen çubuk segmentin bölümüne göre filtrelenmiş müşteri oturumlarının listesinin detayına gidebilirsiniz.

Seçilen zaman aralığındaki Memnuniyet puanı eğilimini görüntülemek için Ayrıntıları görüntüle'yi seçin.

Duygu (önizleme)

[Bu bölüm yayın öncesi belgedir ve değişebilir.]

Yaklaşım analizi, bir oturum örneğindeki kullanıcı iletilerini analiz etmek ve aracı için genel kullanıcı yaklaşımını değerlendirmek için yapay zekayı kullanır. Sayısal değer, olumsuz kullanıcı duygusunun olduğu oturumların yüzdesini temsil eder.

Important

Bu makale Microsoft Copilot Studio önizleme belgelerini içerir ve değiştirilebilir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız bkz. Microsoft Copilot Studio Overview.

Yaklaşım kategorilerinin her birinin göreli ağırlığına ilişkin yaklaşım verilerini görüntülemek için Ayrıntılara bakın'ı seçin (, PositiveNeutralve Negative).

Ayarlar'ın altında aracınız için yaklaşım analizini açabilir ve kapatabilirsiniz. Duygu analizi kapatıldığında, oturumlar sırasında kullanıcı duygu analizi yapılmaz.

1. Ayarlar'a gidin ve Gelişmiş'i seçin.

2. Duygu Analizini açıp kapatın.

   

Temsilciler

Aracılar listesi, ana aracınızın bağlı ve alt aracıları için üst düzey hacim, performans ve durum ölçümlerini görüntüler. Liste, listelenen aracının Tür sütunundaki ana aracınızla olan ilişki türünü tanımlar. Bir aracı bir alt aracıysa, onun türü Child olur. Bağlantılı ajanların, nerede oluşturulduklarını yansıtan listelenmiş bir tipi vardır (örneğin, Copilot Studio, Azure Yapay Zeka Atölyesi). Listelenen her aracı için Çağrılar ölçümü, ana aracıdan bağlı veya alt aracıya yapılan çağrıların hacmini açıklar. Başarı oranı, başarıyla tamamlanan çağrıların oranını (tüm çağrıların %'i olarak) yansıtır. Durum, her bağlı ve alt birim aracı için tek tek yönetim durumunu gösterir.

Varsayılan olarak, Ajanlar listesi ana ajanınızın bağlı ve alt beş ajanını, toplam soru sayısına göre en yüksekten en düşüğe sıralanmış şekilde gösterir. Beşten fazla aracı varsa, tüm aracıları görüntülemek için Tümünü göster'i seçin.

Note

Tümünü göster düğmesi yalnızca ana aracınıza beşten fazla bağlı veya alt aracı varsa görünür.

Kullan

Kullanım bölümü, kullanıcıların aracınızla nasıl etkileşim kuracaklarını ve yanıt güvenilirliğini nerede geliştirebileceğinizi anlamanıza yardımcı olur. Kullanım, birçok alt bölüme bölünür:

• Temalar: Temalar , kullanıcı sorularını yapay zeka tarafından önerilen kategorilere kümeleyerek analiz içgörüleri elde etmenize yardımcı olur.
• Oluşturulan yanıt oranı ve kalitesi: Temsilcinizin soruları yanıtlamakta ne zaman zorlandığını ve yanıt oranını ve kalitesini artırmak için bilgi kaynaklarını nasıl kullandığını belirleyin.
• Araç kullanımı: Araçların ne sıklıkta kullanıldığını ve ne sıklıkta başarılı olduklarını öğrenmek, bu araçların kullanıcılar için yararlı ve başarılı olup olmadığını anlamanıza yardımcı olabilir.
• Bilgi kaynağı kullanımı: Bireysel bilgi kaynaklarının ne sıklıkta kullanıldığını ve hata döndürme sıklığını öğrenmek, temsilcinizin yanıtlarının kalitesini ve kapsamını geliştirmenize yardımcı olur.

Oluşturulan yanıt oranı ve kalitesi

Üretken yanıtlarla, temsilciniz bilgi kaynakları ve sizin verdiğiniz talimatlar kullanarak kullanıcı sorularına yanıtlar oluşturmak için yapay zekayı kullanabilir. Ancak aracınız tüm kullanıcı sorgularını yanıtlayamayabilir. Oluşturulan yanıt oranı ve kalite bölümü, size aracınızın yanıt verme performansını iyileştirme konusunda rehberlik sağlamak üzere yanıtlanmamış sorguları ve yanıt kalitesini izler, düzenler ve analiz eder.

Yanıt oranı, seçilen zaman aralığında yanıtlanan ve yanıtlanmayan soruların sayısını ve zaman içindeki değişim yüzdesini gösterir.

Yanıt kalitesi , yapay zeka kullanarak yanıtların kalitesini ölçer. Copilot Studio, cevaplanmış soruların bir örneklemini tamlık, alaka ve temellendirilmiş olma açısından analiz ediyor. Bir cevap belirli bir standardı karşılarsa, Copilot Studio onu İyi olarak etiketler. Bu standardı karşılamayan cevaplar Düşük kaliteli olarak etiketlenir. Kötü cevaplar için Copilot Studio, kalite derecelendirmesinin nedenini belirtir ve her kategoriye atanan cevapların yüzdesini gösterir.

Grafikteki çubukların herhangi bir bölümünün üzerine fareyle geldiğinizde, İyi veya Kötü kalite etiketi için her bir nedenin göreceli ağırlığını görebilirsiniz. Araç ipucu, hesaplanan yüzde değerine ulaşmak için örneklenen yanıt sayısını da gösterir.

Grafiğin altındaki açıklamada, kalite etiketi nedenlerinden herhangi birinin üzerine fareyle gelinerek o neden grafikte vurgulanabilir.

Çubuk grafiğin bir bölümünü seçerek bu yanıt kalitesine göre filtrelenmiş kullanıcı soruları sayfasını açın. Soruları Gör seçeneğini, yapılandırılmış zaman dilimindeki tüm soruların filtrelenmemiş listesini görüntülemek için seçin.

Araç kullanımı

Araç kullanımı bölümü, araçlarınızın zaman içinde ne sıklıkla başlatıldığını ve temsilcinizin bu araçları ne sıklıkla başarıyla kullandığını takip eden bir grafik ve metrikler gösterir. Ayrıca, temsilcinizin her aracı ne sıklıkta kullandığına ve çağrılan araçların başarıyla kullanılma yüzdesine ilişkin eğilim göstergelerini gösterir.

Grafik, Monitor sayfasının üst kısmında tanımlanan tarih diliminde kullanılan en çok kullanılan ilk beş aracı gösterir.

Grafiğin altındaki açıklamada, grafikte o aracı vurgulamak için araçlardan herhangi birinin üzerine gelin.

Belirtilen zaman diliminde kullanılan tüm araçların listesini ve trend göstergelerini içeren bir yan panel açmak için grafikte Ayrıntıları Gör seçeneğini belirleyin. Araç kullanımı panelinde, her araç için kullanılan soru yüzdesi hesaplamalarını görüntüleyebilirsiniz. Aracınızın alt temsilcileri varsa, hesaplamaları hem ana aracı hem de alt aracılar için (Tüm), yalnızca Ana aracı veya yalnızca Alt aracı için görüntülemeyi seçebilirsiniz.

Bilgi kaynağı kullanımı

Bilgi kaynağı kullanımı bölümü, aracınızın bilgi kaynaklarını nasıl kullandığı ve bu kaynakların ne sıklıkta hata döndüreceği hakkında içgörü sağlar. Bilgi kaynağı kullanımı hakkında daha fazla bilgi edinin.