Kullanıcı sorularını temaya göre analiz etme (önizleme)

[Bu makale yayın öncesi belgedir ve değişebilir.]

Temalar, üretken yanıtları tetikleyen ilgili kullanıcı sorularını gruplandırır. Temalar, ilgili soruları kümeleyerek müşteri amacı içgörülerini düzenlemenize, sık konuları belirlemenize ve geliştirme gereken alanlara odaklanmanıza yardımcı olur. Temadaki tek tek soruları inceleyebilir ve tema düzeyindeki ölçümleri anlamak için performansı izleyebilirsiniz.

Önemli

Bu makale Microsoft Copilot Studio önizleme belgelerini içerir ve değiştirilebilir.

Önizleme özellikleri, üretimde kullanıma yönelik değildir ve sınırlı işlevselliğe sahip olabilir. Bu özellikler, önceden erişebilmeniz ve geri bildirim sağlamanız amacıyla resmi sürümden önce kullanıma sunulur.

Üretime hazır bir aracı oluşturuyorsanız bkz. Microsoft Copilot Studio Overview.

Anahtar değer teklifi

Temalar özelliği, geçen hafta üretken yapay zeka yanıtlarını tetikleyen tüm sınıflandırılmamış soruları otomatik olarak analiz eder ve bu analizi temel alan temalar önerir. Bu işlem haftalık olarak çalışır. Haftalık tema önerisi çalıştırmaları arasında özellik, üretken yapay zeka yanıtlarını tetikleyen yeni soruların günlük sınıflandırmasını gerçekleştirir ve bu verileri tema ölçümlerine ekler. Temalarınızın ilgili kalması ve en son kullanıcı verilerini yansıtması için önerilen Temalar listesi düzenli olarak yenilenir. Bu otomatik yenileme size şu şekilde zaman kazandırır:

• Temanın yeni verilerle olan ilgisi sürekli değerlendiriliyor.
• Tek tek soruları otomatik olarak temalar halinde sınıflandırma.
• Her tema için ham ölçüm verilerinin alınmasını otomatikleştirme.
• Her tema için toplanan ölçüm verilerini hesaplama.

Önkoşullar

Temaların bileşen sorularını ve yanıtlarını görüntüleme özelliği de dahil olmak üzere Temalar özelliğinden en iyi şekilde yararlanmak için:

• Listeyi ve ölçümlerini görüntülemek için Bot Transkript Görüntüleyicisi güvenlik rolüne ihtiyacınız vardır. Aracı paylaşımı sırasında Bot Transkript Görüntüleyicisi güvenlik rolünü atayarak bu rolü yalnızca yöneticiler verebilir.

• Konuşma transkriptlerini Dataverse'de depolamak için ortam düzeyindeki ayarlar açıktır.

Önerilen temalar ve sınıflandırılmış sorular

Copilot Studio, yakın geçmişte sorulan soruların kayıtlarına dayalı temalar önerir. Önerilen her temayı kuruluşunuzun yapısına ve müşteri deneyimi stratejisine uyacak şekilde uyarlayarak, temaya özgü temel performans göstergeleri (KPI' ler) aracılığıyla daha iyi içgörüler elde edebilirsiniz. Bu daha ayrıntılı ayrıntı düzeyi, aracıların nerede düşük performans göstermiş olduğunu bulmayı kolaylaştırır.

Temalar, kullanıcıların aracıya hangi soruları sorduğunu ve aracının performansını anlamasına yardımcı olur. Tema tabanlı analizin ilk çalıştırması olan Copilot Studio, geçen haftaki tüm sorulara bakar ve kullanıcı sorularını birbirine benzer şekilde gruplandıran en fazla 10 tema önerir. Her tema toplam soru sayısı, yanıt oranı ve kullanıcı tepkisi gibi ölçümleri içerir. Seçilen analiz dönemi , Temalar listesinde görüntülenen verileri ayarlar.

İlk çalıştırmadan sonra Copilot Studio, mevcut temalara yönelik yeni soruları sürekli ve günlük olarak sınıflandırır ve haftalık olarak önerilen temaların yeni bir listesini oluşturur.

Uyarı

• Copilot Studio önerilen temaları oluşturmadan önce son yedi gün içinde en az 50 yanıt içeren soruların günlüğe kaydedilmesi gerekir.
• Üretici yapay zeka yanıtlarını tetikleyen bir soru birden fazla temada sınıflandırılabilir. Bu senaryo, aracı yanıtının birkaç farklı kaynaktan gelebildiği Üretken Düzenleme modunda daha yaygın hale gelebilir.
• Sınıflandırılmamış olarak kalan tüm sorular Sınıflandırılmamış bir temaya konur .
• Haftalık önerilerin tamamlanması birkaç dakika sürebilir. Bu süre boyunca Temalar bölümü kullanılamaz.

Temalar listesi

Varsayılan olarak Temalar listesi, her temaya sınıflandırılan toplam soru sayısına göre sıralanmış ilk beş temayı görüntüler. Listeyi genişletmek ve tüm temaları görüntülemek için Tümünü göster'i seçin.

Otomatik haftalık tema önerisi çalıştırmaları ve günlük soru sınıflandırmasıyla Temalar özelliği otomatik olarak gelişir ve kullanıcı davranışındaki değişikliklere uyarlanabilir.

Temalar listesi, listelenen her tema için metrikleri görüntüler.

Column	Açıklama
Name	Temanın adı.
Toplam soru sayısı	Yapılandırılan zaman aralığı için bu temada sınıflandırılan toplam soru sayısı.
Yanıtlı sorular	Kullanıcı sorusuna yanıt veren Toplam soruların oranı.
Yanıt kalitesi	Soru örneklemine dayanarak, tüm yanıtların kaliteli yanıt içeren toplamının oranı.
Reaksiyon	Her temaya sınıflandırılan sorulardan pozitif (başparmak yukarı) ve negatif (başparmak aşağı) tepkilerin ham sayısı.

Bir temanın üzerine gelerek Evaluate butonunu görebilirsiniz. Değerlendirme hakkında daha fazla bilgi edinin.

Uyarı

Tüm sınıflandırılmış sorular üretken yapay zeka yanıtlarını tetiklediğinde neden temamda 'Yanıtlanmamış sorular' var?

Tanım gereği, yalnızca üretken bir yapay zeka yanıtlarını tetikleyen sorular bir tema olarak sınıflandırılabilir. Ancak, üretken yanıtlara yönelik bir çağrı tetikleme, bir kullanıcı sorgusuna yanıt vermekle aynı değildir.

Örneğin, bir bilgi kaynağına bağlı konuşmayı teşvik eden bir konu olması yaygın bir durumdur. Bu durumda, bir amaç tanınmıyorsa, söz konusu bilgi kaynağındaki sorunun yanıtı olmasa bile bilgi kaynağını çağıran konu tetiklenebilir.

Tema üzerinde derinlemesine inceleme

Önemli

Detaya gitme işlevine erişmek için aşağıdakilerin her ikisi de doğru olmalıdır:

• Aşağıdaki ortam ayarları etkinleştirilir:

  • Aracı sahiplerinin ve düzenleyicilerinin, aracılarındaki konuşma etkileşimlerinden alınan oturum dökümlerini görmesine izin verin.
  • Konuşma transkriptlerinin ve ilişkili meta verilerinin Dataverse'e kaydedilmesine izin verin.

  Daha fazla bilgi için bkz. Tek bir ortam için transkript ayarlarını yapılandırma.

• Bot Transkript Görüntüleyicisi güvenlik rolü kullanıcıya atanır. Daha fazla bilgi için bkz. Güvenlik rolüne kullanıcı ekleme.

Herhangi bir temada gruplandırılmış soruların detayına gitmek için Temalar listesinden temayı seçin. Detaya gittiğiniz zaman, seçilen temaya özgü bir panel açılır ve hem temanın hem de tek tek soruların düzeylerinde ölçümler görüntülenir.

Uyarı

Temalar listesi şunları içerir:

• Her temada sınıflandırılan en son 100 soru.
• Yapılandırılan zaman aralığından bağımsız olarak son 30 güne ait sorular. Yapılandırılan süre son 30 günün tamamen dışındaysa, Copilot Studio listenin kullanılamadığını belirten bir bildirim görüntüler.

Bir temanın detaya gitme panelinde önce tema düzeyindeki ölçümler görüntülenir.

Tema düzeyinde ölçüm	Açıklama
Toplam soru sayısı	Bu temada sınıflandırılan ve yapılandırılan zaman aralığı için üretken yapay zeka yanıtlarını tetikleyen toplam soru sayısı.
Yanıtlı sorular	Bu temanın Kullanıcı sorusuna yanıt veren Toplam soruların oranı.
Yanıtlanmamış sorular	Bu temanın Kullanıcı sorusunun yanıtına neden olmayan Toplam soruların oranı.
Reaksiyon	Geri Bildirim Öğrenme mekanizmasında belirtildiği gibi, bu temaya sınıflandırılan sorulardan elde edilen pozitif (başparmak yukarı) ve negatif (başparmak aşağı) tepkilerin ham sayısı.

Yanıtlanan soruların örneklemesinin yanıt kalitesinin dökümünü ve bu temada başvuruda bulunan tüm bilgi kaynaklarını görüntülemek için Ayrıntılara bakın'ı seçin.

Tema metrikleri panelinde, tema düzeyindeki herhangi bir yanıt kalitesi değeri hakkında daha fazla bilgi görmek için Yanıt kalitesi'nin altında tek bir çubuk segmentinin üzerine gelin. Araç ipucu, bu segmentin göreli ağırlığının değerini ve bu değere ulaşmak için örneklenen soru sayısını içerir.

Temada listelenen bilgi kaynaklarından herhangi birinin seviyesinde daha fazla bilgi görmek için, Bilgi kaynağı kullanımı altında bireysel bir bilgi kaynağı seçin. Araç ipucu şunları içerir:

• Bu bilgi kaynağına atıfta bulunan toplam soru sayısı ve beğenme ve beğenmeme tepkilerinin sayısı.
• Bu bilgi kaynağına başvuran sorular için yanıt göreli ağırlıklarının kalitesinin dökümünü gösteren yığılmış çubuk grafik. Çubuk grafiğin herhangi bir kesiminin üzerine gelerek ilgili segmentin göreli ağırlık değerini ve bu değere ulaşmak için örneklenen soru sayısını görebilirsiniz.

Tema tabanlı soru listesi, üretken yapay zeka yanıtlarını tetikleyen ve bu temada sınıflandırılan tüm soruları yansıtır ve ölçümleri soru temelinde görüntüler.

Soru düzeyi ölçümler şunlardır:

Soru düzeyi boyutu veya metrik	Açıklama
Soru (boyut)	Bu temaya sınıflandırılan bir üretici yapay zeka yanıtlarını tetikleyen soru.
Yanıtladı?	Kullanıcı sorgusunun yanıtlanıp yanıtlanmadığı sorusuna yanıt. Olası değerler Answered ve Unanswered şeklindedir.
Yanıt kalitesi1	Kullanıcı sorgusuna verilen yanıt kalitesinin ne olduğu sorusuna yanıt. Olası değerler Poor ve Good şeklindedir.
Tepki	Boole Başparmak yukarı / Başparmak aşağı ölçümü ve metin tabanlı bir Açıklama parametresi olmak üzere iki parametre.
Tarih	Sorunun sorulduğu tarih.
Bilgi kaynağı	Bu temada bu soru tarafından atıfta bulunulan bilgi kaynaklarının virgülle ayrılmış listesi.

¹ Yanıt kalitesi her zaman kullanılamaz ve yalnızca sorunun kalite analizi için örneklenmesi durumunda gösterilir.

İsterseniz, temaya özgü soru listesi sayfasında aşağıdaki eylemleri gerçekleştirebilirsiniz:

• Listenin boyutsal filtrelerini kullanarak soru listesini daraltmak için daha fazla filtreleme uygulayın.
• Listelenen soruları değerlendirmenin test yönteminde tanımladığınız ölçütlere göre değerlendirin.
• Listelenen soruları .csv dosyası olarak indirin.
• Belirli bir aracı yanıtına ilişkin ayrıntılı bilgilere bakın.

Soru ayrıntıları panelinde soru hakkında daha fazla bilgi görüntülemek için listeden herhangi bir soruyu seçin. Bu panel şunları içerir:

Ayrıntılı soru düzeyi parametresi	Açıklama
Zaman damgası	Sorunun yanıtlandığı en son örneğin zaman damgası.
Kullanıcı sorgusu	Soru soruldu.
Yanıt	Üretici yapay zeka cevabı.
Başparmak yukarı / Başparmak aşağı değeri	Thumbs up / Thumbs down parametresi için bu sorunun en son örneğinin değeri.
Comment	Beğenme / Beğenmeme tepkisine ek olarak kullanıcı tarafından sağlanan isteğe bağlı ekstra metin tabanlı yorum.
Yanıt kalitesi1	Kullanıcı sorgusuna verilen yanıt kalitesinin ne olduğu sorusuna yanıt. Olası değerler Poor ve Good şeklindedir.
Neden2	Yanıt kalitesinin Poorolması durumunda, bu parametre nedenini açıklar.

¹ Yanıt kalitesi her zaman kullanılamaz ve yalnızca sorunun kalite analizi için örneklenmesi durumunda gösterilir.

² Yanıt kalitesi ise Good veya soru örneklendirilmediyse Reason parametresinin değeri yoktur.

Temsilcinizin cevaplarını temaya göre değerlendirin

Uyarı

Temalar sayfasında listelenen bir tema için Değerlendir'i seçtiğinizde, tema düzeyinde yeni bir test kümesi oluşturursunuz. Test kümesi, bu temada sınıflandırılan tüm soruları ve en fazla 100 soru içerir. Soru listesine daha fazla filtreleme uygulamak için, değerlendirme test kümesi oluşturmadan önce temada detaya gidin. Ardından listeye filtreleme uygulayın. İstediğiniz tüm filtrelemeyi uyguladıktan sonra soru listesi sayfasından Değerlendir'i seçin.

Aracı değerlendirmesini (önizleme) kullanarak temsilcinizin bir temayla ilgili soruların yanıtlarını test edebilirsiniz.

Temalı değerlendirmeler, temsilcinizin kapsamının belirli bölümlerini test eder. Örneğin, bir müşteri hizmetleri temsilciniz varsa, faturalama ve ödeme sorularının yanıt kalitesini sorun giderme gibi diğer kullanım durumlarından ayrı olarak takip edebilirsiniz.

Bir temadan test setleri oluşturma hakkında daha fazla bilgi edinin.