Konuşma aracılarını analiz etme

Copilot Studio'daki Analytics sayfası, analytics oturumları genelinde aracınızın genel etkinliği hakkında toplu bir içgörü sağlar. Sayfa, farklı performans bağlamlarına odaklanan temel alanlara ayrılmıştır. Sayfa ayrıca, aracınız için üst düzey temel performans göstergesi (KPI) ölçütleri sağlayan bir Genel Bakış alanı, aracınıza veya aracınızın araçlarına atfedilebilen zaman ve maliyet tasarruflarını analiz eden bir Tasarruf alanı ve aracınızın performansına ilişkin temel analitik bilgiler sağlayan bir Özet alanı da görüntüler.

Konuşma aracısı etkinliğini gözden geçirirken ve geliştirirken odaklanmanız gereken dört temel bölüm vardır.

• Özet, Genel Bakış ve Tasarruf bölümünde aracılarınız hakkındaki temel analiz içgörülerinin yanı sıra faturalama ve maliyet tasarrufu istatistikleri gösterilir; Her alt bölüm hakkında daha fazla bilgi edinmek için bkz. Özet, Genel Bakış ve Tasarruf.
• Özel ölçümler bölümü, aracılarınızın kullanım örnekleri için işletmeye özgü ölçümler tanımlamanızı sağlar.
• Etkililik bölümü, konuşmaların nerede başarılı olduğunu, nerede aksadığını ve kullanıcıların sonuçlar hakkında ne hissettiğini göstererek kullanıcı deneyimlerinin kalitesini değerlendirmenize yardımcı olur.
• Kullanım bölümü, aracınızın soruları ne kadar iyi yanıtladığı, güvenilir araçların ve bilgi kaynaklarının bu yanıtları nasıl desteklediğini ve hedeflenen güncelleştirmelerin kapsamı ve tutarlılığı nerede artırabileceğini göstererek operasyonel performansı geliştirmenize yardımcı olur.

Son 90 gün içinde gerçekleşen olayların analizini görüntüleyebilirsiniz.

Özel ölçümler

Özel ölçümler bölümü, doğal dilde işletmeye özgü üç ölçüm tanımlamanıza ve örneklenen oturumlarda her sonucun ne sıklıkta göründüğünü izlemenize olanak tanır. Standart analiz içgörülerinizi aracınızın hedeflerini ve iş kullanımını yansıtan göstergelerle tamamlamak için bu ölçümleri kullanın. Özel ölçümler oluşturmayı, test etmeyi ve iyileştirmeyi öğrenmek için bkz. Aracınızı özel ölçümlerle analiz etme.

Etkinliği

Etkinlik bölümü, bir oturum için tepkilerden, aracı yanıtlarından, anket sonuçlarından ve yaklaşım puanından toplanan kullanıcı geri bildirimlerini gösterir. Etkililik birçok alt bölüme ayrılmıştır:

• Konuşma sonuçları: Bir konuşmanın sonunu bilmek, aracınızın başarılı olduğu yeri ve geliştirmesi gereken yeri belirlemeye başlamanıza yardımcı olur.
• Tepkiler: Belirli ajan yanıtlarına yönelik beğenme/beğenmeme geri bildirimleri ve kullanıcı yorumları dahil olmak üzere kullanıcı yanıtları.
• Müşteri memnuniyeti: Müşteri memnuniyeti (CSAT) puanının görüntülenmesi.
• Duygu (önizleme): Tüm oturum için yapay zeka tabanlı duygu analizi.
• Temsilciler: Alt ve bağlı temsilcilerin çağrı hacmi metriklerini, başarı oranlarını ve mevcut durumunu görüntüleyin.

Geri bildirim verileri Dataverse'deki konuşma transkripti tablosunda depolanır. Bu özelliği destekleyen kanalların listesi için bkz Özellik ayrıntıları.

Konuşma sonuçları

Konuşma sonuçları bölümü, aracınız ve kullanıcılar arasındaki her oturum için sonuç türünü izleyen bir grafik gösterir.

İster yığılmış histogram ister yığılmış alan grafiği olarak görüntülenen grafik, renk kodlu ve türe göre yığılmış göreli sonuç hacimlerini görselleştirir. Çözümlendi, Yükseltildi, Bırakıldı ve Tamamlanmamış her biri, her veri noktası için kendi renkleriyle temsil edilir. y ekseni, oturum sayısını gösterir.

Tek bir veri noktasına (belirli bir gün) özgü bireysel sonuçlarla ilgili ölçümleri görmek için ilginizi çeken bir sonucun rengini (örneğin, Terk Edildi için turkuaz) temsil eden bir alanın üzerine, ilgilendiğiniz gün, gelin.

Konuşma sonuç verilerini (grafikte görselleştirilmiş veriler) indirmek için menü simgesini seçin ve CSV'yi İndir'i seçin.

Note

İndirdiğinizde grafikten herhangi bir sonuç kaldırılırsa, bunların verileri CSV'de görünmez.

Konuşma sonuçları hakkında ayrıntılı bilgi içeren bir yan panel açmak için grafikte Ayrıntıları gör seçeneğini belirleyin. Konuşma sonuçları yan paneli şunları içerir:

• Oturum sonuçlarının pasta grafik dağılımı, Çözülen, Yönlendirilen ve Terk Edilen sonuçların yüzde olarak ifade edilen göreceli ağırlıklarını göstermektedir.
• Çözümlenen tüm oturum sonuçlarını açıklayan Onaylanmış çözümlenen ve İma edilen çözümlenen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilen) gösteren yığılmış çubuk grafik.
• Yükseltilmiş oturum sonuçlarının tümünü açıklayan Sistem tarafından amaçlanan, Sistem tarafından amaçlanmayan ve Kullanıcı tarafından talep edilen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilir) gösteren yığılmış çubuk grafik.
• Her sonuca yol açan en önemli konular.

Note

Ham sayı bilgilerini içeren bir araç ipucu görmek için pasta grafiğin veya yığılmış çubuk grafik kesimlerinin üzerine gelin.

Bir oturum aşağıdaki iki durumdan birine girer:

• Katılımsız: Bir oturum, bir kullanıcı aracınızla etkileşime girdiğinde veya aracı kullanıcıya proaktif bir mesaj gönderdiğinde başlar. Oturum etkileşimsiz bir durumda başlar.

• Katılım: Kullanıcı, aracıyla etkin bir şekilde etkileşim kurar. Ajanın düzenleme moduna göre davranış farklılık gösterir.

  • Klasik düzenleme: Aşağıdaki konulardan biri tetiklendiğinde oturum devreye girer:

    • Kullanıcı tarafından doğrudan tetiklenen özel konu
    • Konuyu yükseltme
    • Geri dönüş konusu
    • Sohbeti canlandıran konu

  • Üretken yapay zeka düzenlemesi: Kullanıcı bir planı doğrudan tetiklediğinde ve aşağıdaki öğelerden birini içerdiğinde oturum devreye girer:

    • Sistem dışı konu
    • Konuyu yükseltme
    • Geri dönüş konusu
    • Bir Bilgi Kaynağı
    • Bir araç

Katılımlı bir oturum aşağıdaki sonuçlardan birine sahiptir:

Sonuç kategorisi	Sonuç	Açıklama
Çözümlendi		Oturum başarıyla sona eriyor. İki tür çözümlenmiş oturum vardır: Çözüldü onaylandı ve Çözüldü zımni.
	Çözüldü, onaylandı	Bir oturum, Konuşmanın Sonu konusu tetiklendiğinde ve kullanıcı etkileşimin başarılı olduğunu onayladığında Çözüldü onaylandı olarak kabul edilir.
	İma edilen çözümlendi	Oturum, kullanıcının onayı olmadan, bunun yerine yazılımın mantığına göre tamamlandığında Örtülü Çözüldü kabul edilir. Çözümlendi zımni durumu, aracınızın Klasik mi yoksa Üretken yapay zeka düzenlemesi mi kullandığına bağlıdır: - Klasik düzenleme: Konuşma Sonu konusu tetiklendiğinde oturumun Örtük olarak çözümlenmiş olduğu kabul edilir ve kullanıcı bir onay sağlamadan oturumun zaman aşımına uğramasına izin verir. - Üretken AI orkestrasyonu: Bir oturum zaman aşımına uğradığında ve kalan etkin plan olmadığında, oturum Çözüldü olarak kabul edilir. Etkin plan, kullanıcının girişini bekleyen bir plandır.
Yükseltildi		Bir oturum sona erer ancak Yükselt konusu tetiklendiğinde veya Temsilciye aktar düğümü çalıştırıldığında Yükseltilmiş olarak kabul edilir (görüşme canlı bir temsilciye aktarılsın veya aktarılmasın, mevcut analiz oturumu sona erer). Üç tür yükseltilmiş oturum vardır: Sistem amaçlı, Sistem amaçlanmadı ve Kullanıcı tarafından talep edildi.
	Sistem için tasarlanan	Bir oluşturucu tarafından ayarlanan otomatik iş kuralı sonucunda oturum otomatik olarak yükseltilir. Tırmanma konuşmanın beklenen bir sonucu ve soruşturulması ya da değiştirilmesi gereken bir şey değil. Örnek: Kullanıcı bir üçüncü tarafa 25.000 ABD dolarından fazla aktarmak istiyor. Bu tutar bir iş kuralındaki eşiği aşıyor ve sonuç olarak oturum otomatik olarak yükseltiliyor.
	Beklenmeyen Sistem	Yükseltme, bir oluşturucu tarafından ayarlanan bir veya daha fazla eşiği aşan bir oturumun sonucu olarak otomatik olarak gerçekleşir. Genellikle bu sonuç, kullanıcının konuşmada sıkışıp kaldığını ve yardıma ihtiyacı olduğunu gösterir. Örnek: Belirli bir görevi gerçekleştirmeye yönelik üç hatadan sonra bir oturum ilerletilir.
	Kullanıcı tarafından talep edildi	Konuşma sırasında açık bir kullanıcı isteği olduğundan oturum ilerletilir. Örnek: Kullanıcı Transfer me to an agent girer.
Bırakıldı		Bir oturum, 30 dakika sonra zaman aşımına uğradığında ve çözülmüş veya üst kademeye iletilmiş bir duruma ulaşmadığında sona erer ve Terk Edilmiş olarak kabul edilir.

Ayrıca, conversationOutcome parametresiyle araçlar için sonucu, araç kodu düzenleyicisini kullanarak ayarlayabilirsiniz. Örneğin, onaylanan başarı için conversationOutcome: ResolvedConfirmed veya zımni başarı için conversationOutcome: ResolvedImplied.

Etkileşimi ölçme ve geliştirme konusunda öneriler ve en iyi uygulamalar için rehber dokümana bakınız.

Reaksiyon

Tepkiler bölümünde, tepkilerden aracı yanıtlarına kadar toplanan kullanıcı geri bildirimleri gösterilir. Grafik, kullanıcıların aracınızdan aldıkları her yanıtta bulunan beğenme (olumlu) veya beğenmeme (olumsuz) düğmelerinden hangisini seçtiklerini sayar.

Note

• Microsoft 365 Copilot kanalında yayımlanan ajanlar reaksiyonları desteklemez.
• Açıklamaları görüntülemek için Bot Transkript Görüntüleyicisi güvenlik rolüne sahip olmanız gerekir.

Tepkiler özelliği varsayılan olarak Açık'tır . İsterseniz bu özelliği kapatabilirsiniz. Ayrıca, kullanıcılar için geri bildirimlerinin nasıl kullanıldığına ilişkin bir sorumluluk reddi beyanı ekleyebilir veya düzenleyebilirsiniz:

1. Aracıyı açın, ardından Ayarlar'a gidin ve Kullanıcı geri bildirimi bölümünü bulun.

2. Aracı iletilerine kullanıcı tepkileri topla seçeneğini Açık veya Kapalı olarak ayarlayın.

3. Kullanıcıların geri bildirimlerinin nasıl kullanıldığını bilmeleri için bir sorumluluk reddi beyanı ekleyin veya düzenleyin. Ayrıca gizlilik bilgileri ve ipuçları da sağlayabilirsiniz.

Bot Transkript Görüntüleyicisi ayrıcalığına sahip kullanıcılar bireysel tepkiler için aracı yanıtlarında detaya gidebilir ve kullanıcı açıklamalarına göre filtreleyebilir.

Zaman içindeki tepki eğilimlerini görün

Tepkiler yan panelini açmak için Reaksiyonlar kutucuğunda Ayrıntıları göster'i seçin. Panel, pozitif ve negatif reaksiyonların ( Başparmaklar yukarı ve Başparmaklar aşağı) zaman içinde ne kadar eğilimli olduğunu gösterir.

Müşteri memnuniyeti

Müşteri memnuniyeti bölümünde, kullanıcı anketi sonuçlarına göre kullanıcı memnuniyeti hakkında bilgiler gösterilir:

• Memnuniyet puanı: Kullanıcıların ankete gitmek için oturum sonu isteklerine yanıt verdiği oturumlar için ortalama müşteri memnuniyeti (CSAT) puanlarından hesaplanan 5 puan.

  Note

  1 ve 2 puanları Memnun Değil olarak, 3 puanı Nötr olarak ve 4 ve 5 puanları Memnun olarak değerlendirilir.

• Oturum bazında memnuniyet: Anketin her bir puan kategorisi Dissatisfied, Neutral, ve Satisfied için göreceli ağırlıkları görselleştiren üst üste yığılmış bir çubuk grafik. Çizelgedeki her segmentin üzerine gelerek örneklemin boyutunu ve her skor kategorisinin ağırlık değerini görebilirsiniz. Bot Transkript Görüntüleyicisi ayrıcalığına sahip kullanıcılar için, seçilen çubuk segmentin bölümüne göre filtrelenmiş müşteri oturumlarının listesinin detayına gidebilirsiniz.

Seçilen zaman aralığındaki Memnuniyet puanı eğilimini görüntülemek için Ayrıntıları görüntüle'yi seçin.

Duygu (önizleme)

[Bu bölüm yayın öncesi belgelerdir ve değiştirilebilir.]

Yaklaşım analizi, bir oturum örneğindeki kullanıcı iletilerini analiz etmek ve aracı için genel kullanıcı yaklaşımını değerlendirmek için yapay zekayı kullanır. Sayısal değer, olumsuz kullanıcı duygusunun olduğu oturumların yüzdesini temsil eder.

Important

Bu makale Microsoft Copilot Studio önizleme belgelerini içerir ve değiştirilebilir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız bkz. Microsoft Copilot Studio Overview.

Yaklaşım kategorilerinin her birinin göreli ağırlığına ilişkin yaklaşım verilerini görüntülemek için Ayrıntılara bakın'ı seçin (, PositiveNeutralve Negative).

Ayarlar'ın altında aracınız için yaklaşım analizini açabilir ve kapatabilirsiniz. Duygu analizi kapatıldığında, oturumlar sırasında kullanıcı duygu analizi yapılmaz.

1. Ayarlar'a gidin ve Gelişmiş'i seçin.

2. Duygu Analizi'ni açın veya kapatın.

   

Ajanslar

Aracılar listesi, ana aracınızın bağlı ve alt aracıları için üst düzey hacim, performans ve durum ölçümlerini görüntüler. Liste, listelenen aracının Tür sütunundaki ana aracınızla olan ilişki türünü tanımlar. Bir aracı bir alt aracıysa, onun türü Child olur. Bağlantılı ajanların, nerede oluşturulduklarını yansıtan listelenmiş bir tipi vardır (örneğin, Copilot Studio, Azure Yapay Zeka Atölyesi). Listelenen her aracı için Çağrılar ölçümü, ana aracıdan bağlı veya alt aracıya yapılan çağrıların hacmini açıklar. Başarı oranı, başarıyla tamamlanan çağrıların oranını (tüm çağrıların %'i olarak) yansıtır. Durum, her bağlı ve alt birim aracı için tek tek yönetim durumunu gösterir.

Varsayılan olarak Aracılar listesi, ana aracınızın en yüksekten en düşük toplam soru sayısına kadar derecelenmiş ilk beş (5) bağlı ve alt aracısını görüntüler. Beşten fazla aracı varsa, tüm aracıları görüntülemek için Tümünü göster'i seçin.

Note

Tümünü göster düğmesi yalnızca ana aracınıza beşten fazla bağlı veya alt aracı varsa görünür.

Kullan

Kullanım bölümü, kullanıcıların aracınızla nasıl etkileşim kuracaklarını ve yanıt güvenilirliğini nerede geliştirebileceğinizi anlamanıza yardımcı olur. Kullanım, birçok alt bölüme bölünür:

• Temalar: Temalar , kullanıcı sorularını yapay zeka tarafından önerilen kategorilere kümeleyerek analiz içgörüleri elde etmenize yardımcı olur.
• Oluşturulan yanıt oranı ve kalitesi: Aracının kullanıcı sorularına yanıt vermekte ne zaman zorlandığından ve bilgi kaynaklarını nasıl kullandığından anlamak, aracınızın yanıt oranını ve kalitesini geliştirmenin yollarını bulmanıza yardımcı olabilir.
• Araç kullanımı: Araçların ne sıklıkta kullanıldığını ve ne sıklıkta başarılı olduklarını öğrenmek, bu araçların kullanıcılar için yararlı ve başarılı olup olmadığını anlamanıza yardımcı olabilir.
• Bilgi kaynağı kullanımı: Bireysel bilgi kaynaklarının ne sıklıkta kullanıldığını ve hata döndürme sıklığını öğrenmek, temsilcinizin yanıtlarının kalitesini ve kapsamını geliştirmenize yardımcı olur.

Oluşturulan yanıt oranı ve kalitesi

Oluşturucu yanıtlarla, aracınız bilgi kaynaklarını ve sağladığınız yönergeleri kullanarak kullanıcı sorgularına yanıtlar oluşturmak için yapay zekayı kullanabilir. Ancak aracınız tüm kullanıcı sorgularını yanıtlayamayabilir. Oluşturulan yanıt oranı ve kalite bölümü, size aracınızın yanıt verme performansını iyileştirme konusunda rehberlik sağlamak üzere yanıtlanmamış sorguları ve yanıt kalitesini izler, düzenler ve analiz eder.

Yanıt oranı, seçilen zaman aralığında yanıtlanan ve yanıtlanmayan soruların sayısını ve zaman içindeki değişim yüzdesini gösterir.

Yanıt kalitesi , yapay zeka kullanarak yanıtların kalitesini ölçer. Copilot Studio, yanıtlanan bir soru kümesine bakar ve yanıtın eksiksizliği, ilgi düzeyi ve temel düzeyi dahil olmak üzere farklı kaliteyi analiz eder. Yanıt belirli bir standardı karşılıyorsa Copilot Studio yanıtı İyi kalite olarak etiketler. Copilot Studio, düşük kalite olarak bu standarda uymayan yanıtları etiketler. Kötü yanıtlar için Copilot Studio kalite derecelendirmesi için bir neden atar ve her kategoriye atanan yanıtların yüzdesini gösterir.

Grafikteki çubukların herhangi bir bölümünün üzerine fareyle geldiğinizde, İyi veya Kötü kalite etiketi için her bir nedenin göreceli ağırlığını görebilirsiniz. Araç ipucu, hesaplanan yüzde değerine ulaşmak için örneklenen yanıt sayısını da gösterir.

Grafiğin altındaki açıklamada, kalite etiketi nedenlerinden herhangi birinin üzerine fareyle gelinerek o neden grafikte vurgulanabilir.

Çubuk grafiğin bir bölümünü seçerek bu yanıt kalitesine göre filtrelenmiş kullanıcı soruları sayfasını açın. Yapılandırılan zaman aralığındaki tüm soruların filtrelenmemiş listesini görmek için Soruları görüntüle'yi seçin.

Araç kullanımı

Araç kullanımı bölümünde, araçlarınızın zaman içinde ne sıklıkta başlatıldığını ve aracınızın bu araçları ne sıklıkta başarıyla kullandığını izleyen bir grafik ve ölçüm gösterilir. Ayrıca, temsilcinizin her aracı ne sıklıkta kullandığına ve çağrılan araçların başarıyla kullanılma yüzdesine ilişkin eğilim göstergelerini gösterir.

Grafik, Analizler sayfasının üst kısmında tanımlanan tarih aralığında kullanılan ilk beş aracı gösterir.

Grafiğin altındaki açıklama kısmında, araçlardan herhangi birinin üzerine fareyle geldiğinizde, bu araç grafikte vurgulanır.

Belirtilen zaman diliminde kullanılan tüm araçların listesini ve trend göstergelerini içeren bir yan panel açmak için grafikte Ayrıntıları Gör seçeneğini belirleyin. Araç kullanımı panelinde, her araç için kullanılan soru yüzdesi hesaplamalarını görüntüleyebilirsiniz. Aracınızın alt temsilcileri varsa, hesaplamaları hem ana aracı hem de alt aracılar için (Tüm), yalnızca Ana aracı veya yalnızca Alt aracı için görüntülemeyi seçebilirsiniz.

Bilgi kaynağı kullanımı

Bilgi kaynağı kullanımı bölümü, aracınızın bilgi kaynaklarını nasıl kullandığı ve bu kaynakların ne sıklıkta hata döndüreceği hakkında içgörü sağlar. Kullanılabilir ölçümler, filtreleme ve detaya gitme özellikleri hakkında tüm ayrıntılar için bkz. Bilgi kaynağı kullanımı.