Monitör için SSS

Bu makale, Copilot Studio Monitor sekmesinde analiz özelliklerinde kullanılan yapay zeka yetenekleriyle ilgili sıkça sorulan soruları yanıtlamaktadır.

Üretken yapay zeka analiz için nasıl kullanılır?

Copilot Studio, yapay zekayı kullanarak üretken yanıtların kalitesini değerlendirir ve kümeleme aracılığıyla kullanıcı sorgularındaki desenleri tanımlar. Bu kümeler aracı performansıyla ilgili içgörüler sağlar.

Üretken yanıtlar , yanıt oluşturmak için seçtiğiniz bilgi kaynaklarını kullanır. Bu özellik, sağladığınız tüm geri bildirimleri de toplar. Analiz, kullanıcılar ve aracılar arasındaki sohbet iletilerini üretken yanıt yanıtlarının kalitesini gösteren düzeylerde sınıflandırmak için büyük dil modellerini (LLM' ler) kullanır. Bu sınıflandırmalar, aracı performansının özetini sağlamak için toplanır.

Kümeleme, kullanıcıların iletilerini paylaşılan konulara göre gruplar halinde sıralamak ve her gruba açıklayıcı bir ad sağlamak için LLM'leri kullanır. Copilot Studio, aracınızı geliştirmek için kullanabileceğiniz farklı içgörü türleri sağlamak için bu kümelerin adlarını kullanır.

Üretken yanıtlar için yanıtların kalitesi

Yanıt kalitesinin amaçlanan kullanımı nedir?

Aracı performansını anlamak ve iyileştirmeleri belirlemek için yanıt analizi kalitesini kullanın. Şu anda, bir aracının üretken yanıtlarının kalitesinin beklentilerinizi karşılayıp karşılamadiğini anlamak için analiz özelliğini kullanabilirsiniz.

Genel kaliteye ek olarak, yanıt analizinin kalitesi, bir aracının düşük performans gösterdiği veya hedeflerinizi gerçekleştiremediği alanları tanımlar. Üretken yanıtların nerede kötü performans göstermiş olduğunu belirleyin ve kalitelerini artırmak için adımlar atın.

Düşük performansı belirlerken kaliteyi artırmaya yardımcı olabilecek en iyi yöntemleri izleyin. Örneğin, düşük performansa sahip bilgi kaynaklarını tanımladıktan sonra, bilgi kaynağını düzenleyebilir veya daha yüksek kalite için bilgi kaynağını birden çok, daha odaklanmış kaynağa bölebilirsiniz.

Yanıt kalitesi için analiz oluşturmak için hangi veriler kullanılır?

Yanıt analizinin kalitesi, üretken yanıt etkileşimlerinin bir örneğini temel alır. Kullanıcı sorgusu, aracı yanıtı ve oluşturucu modelin oluşturucu yanıt için kullandığı ilgili bilgi kaynaklarını gerektirir. Yanıt analizi kalitesi, bu bilgileri üretken yanıt kalitesinin iyi olup olmadığını ve değilse kalitenin neden düşük olduğunu değerlendirmek için kullanır. Örneğin, yanıtların kalitesi eksik, ilgisiz veya tamamen gerekçelendirilmemiş yanıtları belirleyebilir.

Yanıt analizi kalitesinin sınırlamaları nelerdir ve kullanıcılar bu sınırlamaların etkilerini nasıl en aza indirebilir?

  • Yanıt analizinin kalitesi tüm üretken yanıtları kullanmaz. Bunun yerine analiz, kullanıcı aracısı oturumlarının bir örneğini ölçer. En az sayıda başarılı üretken yanıta sahip aracılar yanıt analizi özetinin kalitesini alamaz.

  • Analizler tek bir yanıtı doğru şekilde değerlendirmediğinde bazı durumlar vardır. Toplu düzeyde, çoğu durumda doğru olmalıdır.

  • Yanıt kalitesi analizleri, düşük kalite performansa yol açan özel sorguların bir ayrımını sunmaz. Ayrıca düşük kaliteli yanıtlar oluştuğunda kullanılan yaygın bilgi kaynaklarının veya konuların dökümünü sağlamaz.

  • Üretken bilgi kullanan yanıtlar için analitik hesaplanmaz.

  • Yanıt tamlığı, yanıt kalitesini değerlendirmek için kullanılan metriklerden biridir. Bu metrik, yanıtın alınan belgedeki içeriği ne kadar tam ele aldığını ölçür.

    Sistem, soru için ek bilgiyle ilgili bir belgeyi alamazsa, o belgenin tamlık ölçütünü değerlendirmez.

Sorumlu yapay zeka için Copilot Studio'da yanıt analizi kalitesi için hangi korumalar uygulanıyor?

Aracı kullanıcıları analiz sonuçlarını görmez. Sonuçlar yalnızca aracı oluşturucular ve yöneticiler tarafından kullanılabilir.

Oluşturucular ve yöneticiler yalnızca iyi kalite yanıtlarının yüzdesini ve düşük performansın önceden tanımlanmış nedenlerini görmek için yanıt analizi kalitesini kullanabilir. Sonuçlar toplanır ve yüzdeler ve önceden tanımlanmış kategoriler olarak sunulur.

İyi bir performans sağlamak için geliştirme sırasında yanıtların kalitesine yönelik analizleri kapsamlı bir şekilde test ettik. Ancak, nadir durumlarda, yanıt kalitesi değerlendirmeleri yanlış olabilir.

Konuşma oturumları için duygusal analiz

Duygusal analizin amacı nedir?

Kullanıcı iletilerinin yapay zeka analizi sonuçlarına dayanarak, konuşma oturumlarındaki kullanıcı memnuniyeti düzeyini anlamak için duygu analizi kullanın. Oturumun genel yaklaşımını (pozitif, negatif veya nötr) anlayabilir, nedenleri araştırabilir ve buna yönelik önlemler alabilirsiniz.

Yaklaşım analizi için hangi veriler kullanılır?

Yaklaşım analizi, örnek bir konuşma oturumu kümesi için aracıya gönderilen kullanıcı iletilerini kullanır.

Duygu analitiği, bu bilgileri oturum sırasında kullanıcı memnuniyetinin olumlu, olumsuz veya nötr olup olmadığını değerlendirmek için kullanır. Örneğin, bir kullanıcı, ajanla etkileşime dayanarak hayal kırıklığı veya memnuniyetsizliği belirten kelimeler ve ses tonu kullanabilir. Bu durumda, oturum olumsuz duygu olarak sınıflandırılır.

Duygusal analizin sınırlamaları nelerdir ve kullanıcılar bu sınırlamaları nasıl hafifletebilir?

Duygu analizleri tüm konuşma oturumlarıyla hesaplanmaz. Bunun yerine analiz, kullanıcı aracısı oturumlarının bir örneğini ölçer. Günlük başarılı üretken cevapların minimum sayısının altında olan ajanlar duygu puanı alamaz.

Duygu analizi şu anda üretken cevaplara bağımlıdır ve ajan için duygu puanını hesaplamak için minimum sayıda günlük başarılı cevap sayısını gerektirir.

Bir oturum için duygu hesaplamak için en az iki kullanıcı mesajı olmalıdır. Ayrıca, mevcut teknik kısıtlamalar nedeniyle, toplam 26 mesajı aşan oturumlarda (hem kullanıcı hem de ajan mesajları dahil) duygusal analiz yapılmıyor

Duygusal analiz, duygu puanına yol açan belirli kullanıcı mesajlarının bir dökümünü sağlamaz.

Copilot Studio'da sorumlu AI için duygu analizi konusunda hangi korumalar uygulanıyor?

Aracı kullanıcıları analiz sonuçlarını görmez. Sonuçlar yalnızca aracı oluşturucular ve yöneticiler tarafından kullanılabilir.

Yaklaşım analizini yalnızca tüm oturumlardaki yaklaşımın dökümünü görmek için kullanabilirsiniz.

İyi performans sağlamak için geliştirme sürecinde duygusal analiz testini kapsamlı şekilde test ettik. Ancak, nadir durumlarda, duygusal değerlendirmeler yanlış olabilir.

Kullanıcı soruları temaları

Temaların amaçlanan kullanımı nedir?

Temalara ve tema düzeyinde analize göre kümeleme, kullanıcıların büyük ölçekte neleri sorduğunu hızlı bir şekilde anlamanıza yardımcı olur. Bu özellik, büyük hacimli kullanıcı sorgularını analiz eder ve kullanıcıların önemsediğini ana konuları temsil eden üst düzey konuları ("temalar") ortaya çıkarmaktadır. Bu analiz, tek tek konuşmaları incelemeden daha geniş desenleri, yeni ortaya çıkan gereksinimleri ve ilgi alanlarını belirlemeye geçmenize yardımcı olur.

Kullanıcı etkinliğine yönelik yapılandırılmış, veri odaklı bir genel bakış sağlayarak, tema düzeyinde analiz şunları gerçekleştirmenize yardımcı olur:

  • Kullanıcıların etkileşimde olduğu en yaygın konuları belirleyin.

  • Kapsam veya belirsiz deneyimlerdeki boşlukları algılama.

  • Kullanıcı ilgi alanlarının zaman içinde nasıl geliştiğini izleyin.

  • Gerçek kullanıcı talebine göre iyileştirmelerin önceliğini belirleyin.

Tema analizi yüksek düzeyde nasıl çalışır?

Bu özellik, kullanıcı sorgularını sürekli olarak anlamlı gruplar halinde düzenleyen çok aşamalı bir işlem olarak çalışır. Yüksek düzeyde, bu işlem iki temel aşama içerir:

Tema adaylarının oluşturulması

Sistem, son kullanıcı sorguları kümesini analiz eder ve farklı üst düzey konuları temsil eden aday temaları tanımlar. Sistem, bu adayları türetmek için sorgular arasında desenleri, benzerlikleri ve yinelenen konuları algılar.

Sorguların temalara ilişkilendirilmesi

Sistem aday temaları oluşturduktan sonra tek tek sorguları en uygun temayla ilişkilendirir. Her tema, ilgili kullanıcı sorularından oluşan bir koleksiyonu temsil eder ve sistem yeni sorguları işlerken gelişir. Sistem, anlamsal benzerlik ve kullanıcı geri bildirimi gibi sinyalleri kullanarak zaman içinde bu temaları iyileştirmektedir. Bu iyileştirme işlemi, gösterimin kullanıcı davranışı değiştikçe uyum sağlamasına olanak tanır.

Tema oluşturmak için hangi veriler kullanılır?

Kullanıcılar, sorgulardan, üretken yanıtlara neden olan temalar oluşturur. Süreç, temaların geçerli kullanıcı ilgi alanlarını ve gelişen eğilimleri yansıtmasını sağlamak için yakın zamandaki bir etkinlik penceresine odaklanır. Yeni veriler kullanıma sunuldukça sistem, temaları ilgili tutmak için yeniler.

Temalar kullanıcı sorgularındaki desenlere dayandığından, özellik analiz etmek için anlamlı bir etkinlik miktarına bağlıdır. Verilerin sınırlı olduğu veya yüksek oranda parçalanmış sorguların bulunduğu durumlarda sistem tema oluşturmayabilir veya sınırlı içgörü sağlayabilir.

Tema analizinin sınırlamaları nelerdir ve bunları nasıl hafifletebilirim?

Tema analizi, veri temelli bir kümeleme sistemidir ve etkinliği kullanıcı sorgularının doğasına ve hacmine bağlıdır. Bazı olası sınırlamalar şunlardır:

  • Yetersiz veya çok çeşitli veriler çok geniş veya dar temalara yol açabilir.

  • Yakından ilgili konular bazen ayrı temalara ayrılabilir.

  • İlişkisiz sorgular zaman zaman birlikte gruplandırılabilir.

  • Zaman içinde kullanıcı dilinde yapılan değişiklikler temaların tutarlılığını etkileyebilir.

Temalardan en iyi şekilde yararlanmak için:

  • Oluşturulan temaları düzenli olarak gözden geçirin.

  • Kaliteyi artırmak için geri bildirim sağlayın (örneğin: başparmak yukarı veya aşağı).

  • Temaları tam kategoriler yerine yönlü içgörüler olarak yorumlayın.

Hangi sorumlu yapay zeka korumaları uygulanıyor?

Tema kümeleme ve analiz, sorumlu yapay zeka ilkeleri göz önünde bulundurularak tasarlanmıştır.

  • Temaları yalnızca yetkili oluşturucular ve yöneticiler görebilir.

  • Yalnızca kullanıcı sorgularını görme yetkisi olanlar temalara göre dökümlerini görebilir.

  • Temalar, kullanıcı sorgularının içeriğini yansıtdığından, oluşturucuların ve yöneticilerin görmesi için dürüst bir özet sağlar.

Bu korumalar, Temaların güvenli ve denetimli bir deneyimi sürdürürken yararlı içgörüler sağlamasına yardımcı olur.

Özel metrik analizi

Özel ölçümlerin amaçlanan kullanımı nedir?

Konuşma aracılarınızın iş sonuçlarını ne kadar etkilediğini anlamak için özel ölçüm analizini kullanın. Bu ölçümler tasarruf analizini tamamlar. Özel ölçümlere örnek olarak çözüm oranı, müşteri amacı sınıflandırması ve etki alanına özgü diğer sonuçlar verilebilir.

Özel ölçümler, aracıların hedeflenen hedefleri nerede kaçırdığını gösterebilir. Ölçülecekleri tanımlayın, ölçümleri gerçek oturum verilerine göre test edin ve sonuçlara göre tanımları iyileştirin.

Özel ölçümleri hesaplamak için hangi veriler kullanılır?

Geçmiş aracı oturumlarının bir örneğini kullanarak özel ölçümleri hesaplayın. Hesaplama, oturum sırasında değiş tokuş edilen konuşma iletilerini kullanır.

Yapay zeka modeli, oturum verilerini ölçüm tanımınıza göre sınıflandırır. Ajan, seçilen zaman aralığı için genel metrik performansını göstermek amacıyla sonuçları örnek genelinde toplar.

Özel ölçümlerin sınırlamaları nelerdir ve kullanıcılar sınırlamaların etkilerini nasıl en aza indirebilir?

Özel ölçümlerde tüm temsilci oturumları kullanılmaz. Bunun yerine, seçilen zaman aralığındaki oturumların bir örneğini ölçerler. Sonuçlar bir örneğe dayalı olduğundan, bunları tam rakamlar yerine yön göstergesi olarak değerlendirin.

Ölçüm hesaplamasının ölçümleri yorumlarken ileti transkriptine dayalı olduğunu düşünün. Konular ve araçlar gibi öncelikli olarak iletilerin dışında gerçekleşen davranışlar hakkında sonuç çıkarmaktan kaçının.

Yapay zeka modeli oturumları yanlış sınıflandırabilir. Toplama sonuçları genel olarak doğrudur. Tanımlı bir kategoriyle eşleşmeyen oturumlar geri dönüş (Diğer) kategorisine yerleştirilir. Test sonuçları beklenen sonuçlarla eşleşmiyorsa ölçüm açıklamasını ve kategori tanımlarını güncelleştirebilirsiniz.

Ölçüm tanımladıktan sonra aracının yönergelerini veya yapılandırmasını önemli ölçüde değiştirirseniz ölçüm artık aracının güncelleştirilmiş davranışını doğru yansıtmayabilir. Aracıda önemli değişiklikler yaptıktan sonra özel ölçümlerini gözden geçirin.

Copilot Studio'da sorumlu yapay zeka için özel ölçümler adına ne tür korumalar mevcut?

Özel ölçüm sonuçlarına yalnızca aracı oluşturucular ve yöneticiler erişebilir. Ajanın kullanıcıları analiz sonuçlarına erişemez.

Kaydetmeden önce tüm özel ölçümleri gözden geçirir ve onaylarsınız. Ölçüm tanımı sırasında ölçümleri örnek oturum verilerine göre test eder, tek tek sonuçları ve model manhazlarını gözden geçirirsiniz. Sonuçlar beklentileri karşılamıyorsa ölçümü güncelleştirebilir veya atabilirsiniz. Ölçümler, sizin açık onayınız olmadan uygulanmaz.

Oturumları sınıflandırmak için kullanılan yapay zeka tarafından oluşturulan istem kullanıcı arabiriminde görünür. Böylece modelin ölçüm tanımınızı nasıl yorumladığını anlayabilirsiniz. Özel ölçümleri istediğiniz zaman düzenleyebilir veya kaldırabilirsiniz.

Nadir durumlarda, bireysel oturum sınıflandırmaları yanlış olabilir. Sonuçlar tek tek oturum düzeyinde değil, toplu olarak yorumlanmalıdır.

İlgili içerik

  • Last updated on