Bir ajanı optimize etmek lansmanla bitmez. Copilot Studio, kullanıcıların ajanınızla nasıl etkileşimde bulunduğunu, konuşmaların nerede başarılı veya bozulduğunu ve ajanın araçlarını ve bilgisini ne kadar iyi kullandığını anlamanıza yardımcı olan zengin analizler sunar. Bu makale, temsilcinizi sürekli değerlendirmenize ve geliştirmenize yardımcı olacak yapılandırılmış bir kontrol listesi ve en iyi uygulamaları sunar.
İyileşmenizi ve analitik hazırlıklarınızı doğrulayın
Bu soruları, sprint törenleri, aylık optimizasyonlar veya çıkış öncesi hazırlık gibi düzenli değerlendirmelerde kullanın.
Temalar ve kullanıcı niyet kalıpları
| Yapılmış? |
Görev |
| ✓ |
Kullanıcı soruları ve ortaya çıkan niyetler kümelerini belirlemek için temaları gözden geçiriyor musunuz? |
| ✓ |
Gelecekteki iyileştirmeler için sık sık ortaya çıkan temaları biriktirmeye dahil ediyor musunuz? |
Konuşma sonuçları
| Yapılmış? |
Görev |
| ✓ |
Çözülen, tırmanmış, terk edilmiş ve ilgisiz konuşmaları analiz ederek gelişme alanlarını mı buluyorsunuz? |
| ✓ |
Konuşmaların Konuşmanın Sonu konusuyla bitmesini ve sonuçların doğru şekilde yakalanmasını sağlıyor musunuz? |
| ✓ |
Belirsiz yanıtları veya eksik mantıkları tespit etmek için terk edilen oturumlarda artışları mı araştırıyorsunuz? |
| ✓ |
Yükseltme yollarının sadece uygun olduğunda tetiklendiğini doğruluyor musunuz? |
Oluşturulan yanıt oranı ve kalitesi
| Yapılmış? |
Görev |
| ✓ |
Bilgi eksikliklerini veya eksik kapsamı tespit etmek için oluşturulan yanıt oranını gözden geçiriyor musunuz? |
| ✓ |
Cevap kalitesi metriklerini kontrol ediyorsunuz, örneğin tamlık, gerçeklik ve alaka düzeyi? |
| ✓ |
Düşük kaliteli cevapları araştırıp analitikte belirtilen nedenleri ele alıyor musunuz? |
| Yapılmış? |
Görev |
| ✓ |
Araçların ve eylemlerin ne sıklıkla çağrıldığını ve başarılı olup olmadığını takip ediyor musunuz? |
| ✓ |
Az kullanılan veya hata eğilimli araçları belirler ve optimize edip etmeyeceğinize karar veriyor musunuz? |
| ✓ |
Üretken orkestrasyonda kullanılan araçların güvenilir performans gösterdiğini doğrulayıyor musunuz? |
| Yapılmış? |
Görev |
| ✓ |
Tüm bilgi kaynaklarının kullanım ve hata oranlarını gözden geçiriyor musunuz? |
| ✓ |
Yüksek hata oranları veya tutarsız sonuçlara sahip bilgi kaynakları için güncellemeleri önceliklendiriyor musunuz? |
| ✓ |
Doğru bilgi kaynaklarının amaçlanan senaryoları desteklediğini doğrulayıyor musunuz? |
Memnuniyet ve kullanıcı geri bildirimi
| Yapılmış? |
Görev |
| ✓ |
Kullanıcı duygularını başparmak yukarı/aşağı ve CSAT anketleriyle mi topluyorsunuz? |
| ✓ |
Belirsiz yanıtlar veya zayıf konuşma akışlarını tespit etmek için geri bildirim eğilimlerini analiz ediyor musunuz? |
| ✓ |
Yeniden tasarım için backlogunuza düşük tatminli etkileşim kalıpları mı ekliyorsunuz? |
En iyi uygulama çağrıları
-
Analitiği yinelemeli bir iyileştirme döngüsü olarak değerlendirin: Analitiği kademeli değişiklikler için kullanın. Sprint planlamasını bilgilendirmek ve birikmiş öğeleri önceliklendirmek için temalar, eksik cevaplar ve başarısızlık kalıplarını kullanın.
-
Sadece hacmi değil, sonuçların kalitesine odaklanın: Sağlıklı bir sistem, çözülen konuşmaları en üst düzeye çıkarır ve tırmanmaları ile terk edilmeyi en aza indirir. Sonuç oranlarını netlik ve etkinliğin önde gelen göstergesi olarak kullanın.
-
Bilgi kaynaklarını proaktif olarak güçlendirin: Yüksek hata oranı veya düşük kaliteli cevaplar genellikle belirsiz, eski veya uyumsuz bilgi kaynaklarına işaret eder. Bu kaynakları daha iyi topraklama için sık sık güncelleyin ve yeniden yapılandırın.
-
İstikrar ve başarı için araçları optimize edin: Güvenilmez araç çağrıları güveni zedeler. Başarı oranlarını takip edin ve sık sık başarısız olan veya tutarsız veri döndüren eylemleri yeniden yapılayın.
-
Yeni fırsatları belirlemek için temaları kullanın: Temalar, ortaya çıkan niyetleri vurgular. Yeni konuları, bilgi kaynaklarını veya entegrasyon ihtiyaçlarını bilgilendirmek için kullanın.
-
Konuşmaların temiz bittiğinden emin olun: Çözüm ve CSAT'ı yakalamak için her zaman Konuşmanın Sonu konusunu kullanın. Bu konu olmadan, analitikler eksik ve yanıltıcı hale gelir.
-
Otonom ve kullanıcı tarafından başlatılan ajanların ayrı değerlendirilmesi: Otonom ajanlar büyük ölçüde tetikleyicilere ve araç zincirlerine dayanır. Kullanıcı başlatan akışlardan ayrı olarak çalışma sonuçlarını ve tetikleyicileri inceleyin.
-
Duyguları zamanla takip edin: İzole geri bildirim faydalıdır, ancak çok haftalık duygu eğilimleri sistematik sorunları ortaya koyar. Sürekli düşüşleri erken araştırın.