Sohbet botu verimliliğini analiz etme

Copilot Studio'daki Analiz sayfası, aracınızın analiz oturumları boyunca genel etkinliğine ilişkin toplu bir içgörü sağlar. Sayfa, farklı performans bağlamlarına odaklanan temel alanlara ayrılmıştır. Sayfa ayrıca, aracınız için üst düzey temel performans göstergesi (KPI) ölçütleri sağlayan bir Genel Bakış alanı, aracınıza veya aracınızın araçlarına atfedilebilen zaman ve maliyet tasarruflarını analiz eden bir Tasarruf alanı ve aracınızın performansına ilişkin temel analitik bilgiler sağlayan bir Özet alanı da görüntüler.

Bunun hakkında daha fazla bilgi için:

• Özet ve Genel Bakış alanları, bkz. Analize genel bakış
• Tasarruf alanı, bkzAracılar için zaman ve maliyet tasarruflarını analiz etme

Konuşma tabanlı aracıların etkinliğini gözden geçirirken ve geliştirirken odaklanılması gereken altı temel alan vardır:

• Temalar: Temalar, kullanıcı sorularını yapay zeka tarafından önerilen kategorilere kümeleyerek analiz içgörüleri elde etmenize yardımcı olur.
• Konuşma sonuçları: Bir konuşmanın nihai sonucunu bilmek, aracınızın nerede başarılı olduğunu ve nerede iyileştirilmesi gerektiğini belirlemeye başlamanıza yardımcı olur.
• Aracılar: Bkz. çağrı hacmi ölçümleri, alt ve bağlı aracılar için başarı oranları ve geçerli durum.
• Oluşturulan yanıt oranı ve kalitesi: Aracının kullanıcı sorularına yanıt vermekte ne zaman zorlandığından ve bilgi kaynaklarını nasıl kullandığından anlamak, aracınızın yanıt oranını ve kalitesini geliştirmenin yollarını bulmanıza yardımcı olabilir.
• Araç kullanımı: Araçların ne sıklıkta kullanıldığını ve ne sıklıkta başarılı olduklarını öğrenmek, bu araçların kullanıcılar için yararlı ve başarılı olup olmadığını anlamanıza yardımcı olabilir.
• Memnuniyet: Kullanıcı geri bildirimlerini gözden geçirmek, yeni kullanıcı senaryolarını ve sorunlarını belirlemenize ve doğrudan kullanıcılarınızın istediklerine göre iyileştirmeler oluşturmanıza yardımcı olur.

Son 90 gün içinde gerçekleşen olayların analizini görüntüleyebilirsiniz.

Konuşma sonuçları

Konuşma sonuçları bölümü, aracınız ve kullanıcılar arasındaki her oturum için sonuç türünü izleyen bir grafik gösterir.

İster yığılmış histogram ister yığılmış alan grafiği olarak görüntülenen grafik, renk kodlu ve türe göre yığılmış göreli sonuç hacimlerini görselleştirir. Çözümlendi, Yükseltildi, Bırakıldı ve Tamamlanmamış her biri, her veri noktası için kendi renkleriyle temsil edilir. y ekseni, oturum sayısını gösterir.

Tek bir veri noktasına (belirli bir gün) özgü sonuçlarla ilgili ölçümleri görmek için ilgilendiğiniz gün ilginizi çeken bir sonucun rengini (örneğin, Terk Edildi için kanal) gösteren bir alanın üzerine gelin. Örnekte, 24 Kasım'da tüm oturum sonuçlarının %35,6'sını temsil eden 90 terk edilmiş oturum vardı.

Grafiğin altındaki göstergede, grafikte bu sonucu vurgulamak için sonuç etiketlerinden herhangi birinin üzerine gelin.

Yığılmış alan grafiğinde sonuçları göstermek veya gizlemek için gösterge etiketlerinden birini veya birkaçını seçin (açık veya kapalı). Aşağıdaki durumlarda kalan sonuçlara daha netlik kazandırmak için bunu yapın:

• Tek tek sonuç çizgileri görsel olarak birbirine yakın görünür.
• Eğilim çizgilerinin pozitif veya negatif eğilimde olduğunu ancak grafikteki yığılmış sonuçların toplamının bu eğilim çizgilerini düzleştirmesini daha net görmek istiyorsunuz.

Not

Grafikten bir sonucu bu şekilde kaldırdığınızda, bu sonucu görüntülenen daha büyük sonuçlar havuzundan kaldırırsınız. Görüntülenen sonuçların kaldırılması, oranın paydasını değiştirdiğinden havuzdaki kalan sonuçların görüntülenen yüzde değerini değiştirir.

Aşağıdaki örnekte, Yükseltilmiş ve Katılımsız etiketleri grafikten kaldırılmıştır. İpucu, 23 Kasım'da 95 terk edilmiş oturum olduğunu gösteriyor; bu da grafikte kalan görünür sonuçların %60,5'ini temsil ediyor (Çözülen + Terk Edilen sonuçlarının toplamı).

Konuşma sonucu verilerini (grafikte görselleştirilen veriler) indirmek için menü simgesini seçin ve CSV İndir seçeneğini seçin.

Not

İndirdiğinizde grafikten herhangi bir sonuç kaldırılırsa, bunların verileri CSV'de görünmez.

Konuşma sonuçları hakkında ayrıntılı bilgi içeren bir yan panel açmak için grafikte Ayrıntıları gör seçeneğini belirleyin. Konuşma sonuçları yan paneli şunları içerir:

• Oturum sonuçlarının pasta grafiği şeklinde dağılımı, Çözülen, Tırmanan ve Terk Edilen sonuçlarının göreceli ağırlığını (yüzde olarak ifade edilmiştir) göstermektedir.
• Çözümlenen tüm oturum sonuçlarını açıklayan Onaylanmış çözümlenen ve İma edilen çözümlenen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilen) gösteren yığılmış çubuk grafik.
• Yükseltilmiş oturum sonuçlarının tümünü açıklayan Sistem tarafından amaçlanan, Sistem tarafından amaçlanmayan ve Kullanıcı tarafından talep edilen sonuç nedenlerinin göreceli ağırlığını (yüzde olarak ifade edilir) gösteren yığılmış çubuk grafik.
• Her sonuca yol açan en önemli konular.

Not

Ham sayı bilgilerini içeren bir araç ipucu görmek için pasta grafiğin veya yığılmış çubuk grafik kesimlerinin üzerine gelin.

Bir oturum aşağıdaki iki durumdan birine girer:

• Katılımsız: Bir oturum, bir kullanıcı aracınızla etkileşime girdiğinde veya aracı kullanıcıya proaktif bir mesaj gönderdiğinde başlar. Oturum etkileşimsiz bir durumda başlar.

• Katılım: Kullanıcı, aracıyla etkin bir şekilde etkileşim kurar. Aracının düzenleme moduna göre davranışta bir fark vardır.

  • Klasik düzenleme: Aşağıdaki konulardan biri tetiklendiğinde oturum devreye girer:

    • Kullanıcı tarafından doğrudan tetiklenen özel konu
    • Konuyu tırmandır
    • Geri dönüş konusu
    • Sohbeti canlandıran konu

  • Üretken yapay zeka düzenlemesi: Kullanıcı bir planı doğrudan tetiklediğinde ve aşağıdaki öğelerden birini içerdiğinde oturum devreye girer:

    • Sistem dışı konusu
    • Konuyu tırmandır
    • Geri dönüş konusu
    • Bir Bilgi Kaynağı
    • Bir araç

Katılımlı bir oturum aşağıdaki sonuçlardan birine sahiptir:

Sonuç kategorisi	Sonuç	Description
Çözüldü		Oturum başarıyla sona eriyor. Çözümlenen oturumların iki türü vardır: Onaylanmış çözümlenen ve İma edilen çözümlenen.
	Çözüldü, onaylandı	Bir oturum, Konuşmanın Sonu konusu tetiklendiğinde ve kullanıcı etkileşimin başarılı olduğunu onayladığında Çözüldü onaylandı olarak kabul edilir.
	Çözümlendi ima edilen	Oturum, kullanıcının onayı olmadan, bunun yerine aracının mantığına göre tamamlandığında Örtülü Çözüldü. Çözümlenmiş ima edilen durumu, aracınızın Klasik veya Üretken Yapay Zeka düzenlemesi kullanıp kullanmadığına bağlıdır: - Klasik düzenleme: Konuşma Sonu konusu tetiklendiğinde oturumun Örtük olarak çözümlenmiş olduğu kabul edilir ve kullanıcı bir onay sağlamadan oturumun zaman aşımına uğramasına izin verir. - Üretken AI orkestrasyonu: Bir oturum zaman aşımına uğradığında ve kalan etkin plan olmadığında, oturum Çözüldü olarak kabul edilir. Etkin plan, kullanıcının girişini bekleyen bir plandır.
Aktarıldı		Bir oturum sona erer ancak Yükselt konusu tetiklendiğinde veya Temsilciye aktar düğümü çalıştırıldığında Yükseltilmiş olarak kabul edilir (görüşme canlı bir temsilciye aktarılsın veya aktarılmasın, mevcut analiz oturumu sona erer). Üç tür yükseltilmiş oturum vardır: Sistem hedeflendi, Sistem istenmedi ve Kullanıcı istendi.
	Sistem için amaçlanan	Bir oluşturucu tarafından ayarlanan otomatik iş kuralı sonucunda oturum otomatik olarak yükseltilir. İlerletme, konuşmanın beklenen bir sonucudur ve araştırılması veya değiştirilmesi gereken bir şey değildir. Örnek: Kullanıcı bir üçüncü tarafa 25.000 ABD dolarından fazla aktarmak istiyor. Bu tutar bir iş kuralındaki eşiği aşıyor ve sonuç olarak oturum otomatik olarak yükseltiliyor.
	Sistem istenmeyen	Yükseltme, bir oluşturucu tarafından ayarlanan bir veya daha fazla eşiği aşan bir oturumun sonucu olarak otomatik olarak gerçekleşir. Genellikle bu, kullanıcının konuşmada takıldığını ve yardıma ihtiyacı olduğunu gösterir. Örnek: Belirli bir görevi gerçekleştirmeye yönelik üç hatadan sonra bir oturum ilerletilir.
	Kullanıcı tarafından talep edildi	Konuşma sırasında açık bir kullanıcı isteği olduğundan oturum ilerletilir. Örnek: Kullanıcı Transfer me to an agent girer.
Bırakıldı		Bir oturum, 30 dakika sonra zaman aşımına uğradığında ve çözülmüş veya üst kademeye iletilmiş bir duruma ulaşmadığında sona erer ve Terk Edilmiş olarak kabul edilir.

Araç kod düzenleyicisini kullanarak conversationOutcome parametresiyle araçlar için sonucu da ayarlayabilirsiniz. Örneğin, onaylanan başarı için conversationOutcome: ResolvedConfirmed veya zımni başarı için conversationOutcome: ResolvedImplied.

Katılımın nasıl ölçüleceği ve iyileştirileceğine ilişkin öneriler ve en iyi uygulamalar için Copilot katılımını ölçme kılavuz belgesine bakın.

Aracılar

Aracılar listesi, ana aracınızın bağlı ve alt aracıları için üst düzey hacim, performans ve durum ölçümlerini görüntüler. Liste, listelenen aracının Tür sütunundaki ana aracınızla olan ilişki türünü tanımlar. Bir aracı bir alt aracıysa, onun türü Child olur. Bağlı aracıların, oluşturuldukları yeri yansıtan bir tür listesi bulunur (örneğin, Copilot Studio, Azure AI Foundry). Listelenen her aracı için Çağrılar ölçümü, ana aracıdan bağlı veya alt aracıya yapılan çağrıların hacmini açıklar. Başarı oranı, başarıyla tamamlanan çağrıların oranını (tüm çağrıların %'i olarak) yansıtır. Durum, her bağlı ve alt aracı için tek tek yönetim durumunu gösterir.

Varsayılan olarak Aracılar listesi, ana aracınızın en yüksekten en düşük toplam soru sayısına kadar derecelenmiş ilk beş (5) bağlı ve alt aracısını görüntüler. Beşten fazla aracı varsa, tüm aracıları görüntülemek için Tümünü göster'i seçin.

Not

Tümünü göster düğmesi yalnızca ana aracınıza beşten fazla bağlı veya alt aracı varsa görünür.

Oluşturulan yanıt oranı ve kalitesi (önizleme)

Önemli

Bu madde, Microsoft Copilot Studio önizleme belgelerini içerir ve değişikliğe tabidir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız, Microsoft Copilot Studio Genel Bakış'a bakın.

Oluşturucu yanıtlarla, aracınız bilgi kaynaklarını ve sağladığınız yönergeleri kullanarak kullanıcı sorgularına yanıtlar oluşturmak için yapay zekayı kullanabilir. Ancak aracınız tüm kullanıcı sorgularını yanıtlayamayabilir. Oluşturulan yanıt oranı ve kalitesi bölümü, aracınızın yanıtlama performansını iyileştirmeniz için size rehberlik sağlamak amacıyla yanıtlanmamış sorguları ve yanıt kalitesini izler, düzenler ve analiz eder.

Yanıt oranı, seçilen zaman aralığında yanıtlanan ve yanıtlanmayan soruların sayısını ve zaman içindeki değişim yüzdesini gösterir.

Yanıt kalitesi, yapay zeka kullanarak yanıtların kalitesini ölçer. Copilot Studio, yanıtlanan bir soru kümesine bakar ve eksiksizlik, ilgi ve yanıtın temel düzeyi gibi farklı kaliteyi analiz eder. Yanıt belirli bir standardı karşılıyorsa Copilot Studio yanıtı İyi kalite olarak etiketler. Copilot Studio, bu standardı karşılamayan yanıtları Düşük kalite olarak etiketler. Kötü yanıtlar için Copilot Studio, kalite derecelendirmesinin nedenini belirtir ve her kategoriye atanan yanıtların yüzdesini gösterir.

Grafikteki çubukların herhangi bir bölümünün üzerine fareyle geldiğinizde, İyi veya Kötü kalite etiketi için her bir nedenin göreceli ağırlığını görebilirsiniz. Araç ipucu, hesaplanan yüzde değerine ulaşmak için örneklenen yanıt sayısını da gösterir.

Grafiğin altındaki açıklamada, kalite etiketi nedenlerinden herhangi birinin üzerine fareyle gelinerek o neden grafikte vurgulanabilir.

Bu bölümle ilgili Microsoft'a geri bildirimde bulunmak için Beğen ve Beğenme simgelerini kullanabilirsiniz. Yorum eklemek ve ilgili dosyaları paylaşmak için Microsoft'a geri bildirim gönder panelini kullanın. Bunun gibi açıklayıcı geri bildirimler sağlayarak ürünümüzü sürekli geliştirmek için birlikte çalışabiliriz.

1. Microsoft'a geri bildirim gönder panelinde, paneli açmak için hangi simgeyi seçtiğinize bağlı olarak beğendiğiniz veya beğenmediğiniz doğal dilde açıklayın.
2. İstemi, oluşturulan yanıtı, ilgili içerik örneklerini ve ek günlük dosyalarını paylaşıp paylaşmayacağınızı seçin.
3. Gönder'i seçin.

Seçtiğiniz dönemdeki soru yanıt oranlarını, bilgi kaynağı kullanımını ve hata oranlarını içeren bir yan panel açmak için Ayrıntıları göster'i seçin. Kullanıcılara yardımcı olmak için hangi bilgi kaynaklarının işe yaradığını ve iyileştirmeler için hangilerinin hedefleneceğini belirlemek için bu grafikleri kullanabilirsiniz.

Eğer aracınızın alt aracıları varsa, yan panelde, hem ana aracı hem de alt aracılara ait ölçümleri görüntülemek için Tümünü, yalnızca ana aracıya ait ölçümleri görüntülemek için Ana aracı veya yalnızca alt aracılara ait ölçümleri görüntülemek için Alt aracı seçeneğini belirleyin.

• Yanıtlanmamış sorular, aracının bir kullanıcı sorgusunu yanıtlamama nedenlerini gösterir.
• Bilgi kaynağı kullanımı, aracının erişimi olan her bilgi kaynağının kullanıldığı oturumların yüzdesini gösterir.
• Tüm kaynaklar her bir bilgi kaynağını kullanan soruların yüzdesini gösterir.
• Hatalar, her bilgi kaynağı türü için (örneğin, SharePoint) bilgiyle ilgili bir hataya neden olan sorguların yüzdesini gösterir.

Tüm kaynaklar'ın altında, listelenen bilgi kaynaklarından herhangi birinin düzeyinde daha fazla bilgi görmek için tek bir kaynak seçin. Araç ipucu şunları içerir:

• Bu bilgi kaynağına atıfta bulunan toplam soru sayısı ve beğenme ve beğenmeme tepkilerinin sayısı.
• Bu bilgi kaynağına başvuran sorular için yanıt göreli ağırlıklarının kalitesinin dökümünü gösteren yığılmış çubuk grafik. Çubuk grafiğin herhangi bir kesiminin üzerine gelerek ilgili segmentin göreli ağırlık değerini ve bu değere ulaşmak için örneklenen soru sayısını görebilirsiniz.

Araç kullanımı

Araç kullanımı bölümünde, araçlarınızın zaman içinde ne sıklıkta başlatıldığını ve aracınızın bu araçları ne sıklıkta başarıyla kullandığını izleyen bir grafik ve ölçüm gösterilir. Aracınızın her bir aracı ne sıklıkta kullandığına dair kullanım eğilim göstergelerini ve çağrılan araçlardan başarıyla kullanılanların yüzdesini gösterir.

Grafik, Analizler sayfasının üst kısmında tanımlanan tarih aralığında kullanılan ilk beş aracı gösterir.

Grafiğin altındaki açıklamada, araçlardan herhangi birinin üzerine fareyle gelinerek o araç grafikte vurgulanabilir.

Belirtilen zaman diliminde kullanılan tüm araçların listesini ve trend göstergelerini içeren bir yan panel açmak için grafikte Ayrıntıları Gör seçeneğini belirleyin. Araç kullanımı panelinde, her araç için kullanılan soru yüzdesi hesaplamalarını görüntüleyebilirsiniz. Aracınızın alt temsilcileri varsa, hesaplamaları hem ana aracı hem de alt aracılar için (Tüm), yalnızca Ana aracı veya yalnızca Alt aracı için görüntülemeyi seçebilirsiniz.

Memnuniyet

Memnuniyet bölümü, bir oturum için aracı yanıtlarına ve anket sonuçlarına yapılan tepkilerden toplanan kullanıcı geri bildirimlerini gösterir. Memnuniyet, iki küçük bölüme ayrılmıştır: Belirli aracı yanıtları için olumlu ve olumsuz geri bildirimleri görüntüleyen Tepkiler bölümü ve tüm oturum için müşteri memnuniyeti (CSAT) puanını görüntüleyen Anket sonuçları bölümü.

Geri bildirim verileri Dataverse'deki konuşma transkripti tablosunda depolanır. Bu özelliği destekleyen kanalların listesi için bkz Özellik ayrıntıları.

Tepkiler

Tepkiler bölümü, bir oturum için aracı yanıtlarına ve anket sonuçlarına yapılan tepkilerden toplanan kullanıcı geri bildirimlerini gösterir. Grafik, kullanıcıların aracınızdan aldıkları her yanıtta bulunan beğenme (olumlu) veya beğenmeme (olumsuz) düğmelerinden hangisini seçtiklerini sayar.

Bir kullanıcı tepki verdikten sonra yorum bırakabilir. Açıklamaları görüntülemek için Ayrıntılara bakın'ı seçin. Tepkiler panelinde, yorumları filtrelemek için Tümünü, Beğenilenler veya Beğenilmeyenler seçeneklerinden birini seçin.

Not

• Microsoft 365 Copilot kanalında yayımlanan aracılar reaksiyonları desteklemez.
• Açıklamaları görüntülemek için Bot Transkript Görüntüleyicisi güvenlik rolüne sahip olmanız gerekir.

Her tepki için ilişkili kullanıcı sorgusunu ve aracı yanıtını görmek için açıklamanın yanındaki iki durumlu düğmeyi seçin. Analizler sayfası, kullanıcı sorgularını ve aracı yanıtlarını 28 güne kadar depolar.

Kullanıcı geri bildirimi varsayılan olarak Açık'tır. İsterseniz bu özelliği kapatabilirsiniz. Ayrıca, kullanıcılar için geri bildirimlerinin nasıl kullanıldığına ilişkin bir sorumluluk reddi beyanı ekleyebilir veya düzenleyebilirsiniz:

1. Aracıyı açın, ardından Ayarlar'a gidin ve Kullanıcı geri bildirimi bölümünü bulun.

2. Kullanıcıların bu aracı kullanırken geri bildirim vermesine izin ver seçeneğini Açık veya Kapalı olarak ayarlayın.

3. Kullanıcıların geri bildirimlerinin nasıl kullanıldığını bilmeleri için bir sorumluluk reddi beyanı ekleyin veya düzenleyin. Ayrıca gizlilik bilgileri ve ipuçları da sağlayabilirsiniz.

Anket sonuçları

Anket sonuçları bölümü, müşterilerin oturum sonu ankete katılma isteğine yanıt verdiği oturumlar için ortalama müşteri memnuniyeti (CSAT) puanlarını izleyen bir grafik ve ölçümler gösterir.

Not

1 ve 2 puanları Memnun Değil olarak, 3 puanı Nötr olarak ve 4 ve 5 puanları Memnun olarak değerlendirilir.

Raporun yapılandırılan zaman aralığına göre memnuniyet puanı eğilimlerini görmek için Ayrıntıları gör'e tıklayın.