Copilot Studio में एजेंट के प्रदर्शन की निगरानी करें

नोट

यह आलेख मानक हार्नेस द्वारा संचालित एजेंटों या एजेंट प्रवाह में उपयोग की जाने वाली सुविधाओं का वर्णन करता है।

यह समझने के लिए कि आपका एजेंट कितना अच्छा प्रदर्शन कर रहा है तथा सुधार के क्षेत्रों की पहचान करने के लिए विश्लेषण का उपयोग करें।

Copilot Studio में मॉनिटर पेज प्रमुख मेट्रिक्स का सारांश प्रस्तुत करता है और आपके एजेंट के घटकों के लिए उपयोग विश्लेषण प्रदान करता है। अंतर्निहित डेटा का पता लगाने के लिए अलग-अलग मेट्रिक्स खोलें।

मॉनिटर अनुभव संवादी एजेंटों और स्वायत्त एजेंटों के लिए अनुकूलित है।

निगरानी सभी भौगोलिक क्षेत्रों में उपलब्ध है। मॉनिटर डेटा 360 दिनों तक उपलब्ध है। सत्र विवरण और प्रतिलेख जानकारी पिछले 28 दिनों के लिए उपलब्ध हैं। एनालिटिक्स में समय-और-तारीख की मुहरें कोऑर्डिनेटेड यूनिवर्सल टाइम (UTC) में होती हैं. समय और दिनांक स्टैम्प में दिन की शुरुआत और समाप्ति समय, सत्र समय, और आपके एजेंट के डेटा में किसी अन्य समय चिन्ह शामिल होते हैं।

नोट

मॉनिटर पृष्ठ आपके द्वारा पूरी की गई गतिविधि के लिए विश्लेषण नहीं दिखाता है जब आप परीक्षण पैनल का उपयोग करके Copilot Studio में अपने एजेंट का परीक्षण करते हैं।

Analytics के लिए केवल दृश्य तक सीमित पहुंच प्रदान करें

अगर आप एजेंट के मालिक हैं, तो एजेंट को Analytics व्यूअर साझाकरण भूमिका के साथ साझा करें, ताकि केवल उसके मॉनिटर पेज तक पहुंच प्रदान की जा सके. वार्तालाप प्रतिलेख जानकारी तक पहुंचने के लिए, व्यक्ति के पास बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका भी होनी चाहिए।

एजेंट के विश्लेषण साझा करें के बारे में अधिक जानें।

Important

एजेंट के स्वामी के रूप में, आप Analytics दर्शक की भूमिका को केवल व्यक्तियों के साथ साझा कर सकते हैं, न कि उपयोगकर्ताओं के समूहों के साथ.

अपने एजेंट के मॉनिटर पेज तक पहुंचने के लिए:

1. Copilot Studio में अपना एजेंट खोलें।
2. शीर्ष मेनू बार पर मॉनिटर का चयन करें।

सारांश

सारांश क्षेत्र आपके एजेंट के बारे में प्रमुख विश्लेषण अंतर्दृष्टि का एआई सारांश उत्पन्न करने के लिए Copilot का उपयोग करता है। इनसाइट की पूरी सारांशित सूची देखने के लिए अधिक देखें चुनें.

यह आपको सामान्य विषयों और मेट्रिक्स को जल्दी से समझने और चयनित रिपोर्टिंग अवधि के लिए बुलेटेड सूची में सारांशित करके अपने एजेंट के लिए सुधार के क्षेत्रों की पहचान करने में मदद करता है। इस सूची में सहभागिता मेट्रिक्स, ग्राहक भावना और फीडबैक और पिछली रिपोर्टिंग अवधि के रुझान शामिल हो सकते हैं।

ग्राहक टिप्पणियाँ सारांश (पूर्वावलोकन)

[यह सेक्शन पूर्व-रिलीज़ दस्तावेज़ीकरण है और परिवर्तन के अधीन है.]

ग्राहक टिप्पणियों का सारांश आपको प्रतिक्रिया और टिप्पणियों से एजेंट के बारे में उच्च-स्तरीय ग्राहक भावना को समझने में मदद करता है। संबंधित टिप्पणियों की मात्रा और उनके समग्र महत्व दोनों के आधार पर अंतर्दृष्टि को प्राथमिकता दी जाती है। सारांश कम-मूल्य या अप्रासंगिक टिप्पणियों को फ़िल्टर करता है और संबंधित फ़ीडबैक को एक साथ समूहित करता है।

Important

इस आलेख में Microsoft Copilot Studio पूर्वावलोकन दस्तावेज़ शामिल हैं और यह परिवर्तन के अधीन है।

पूर्वावलोकन सुविधाएं उत्पादन में उपयोग के लिए नहीं होती हैं और इनकी कार्यक्षमता प्रतिबंधित हो सकती हैं. ये सुविधाएँ आधिकारिक रिलीज़ से पहले उपलब्ध हैं ताकि आप जल्दी पहुँच प्राप्त कर सकें और प्रतिक्रिया प्रदान कर सकें।

यदि आप उत्पादन के लिए तैयार एजेंट बना रहे हैं, तो Microsoft Copilot Studio का अवलोकन देखें.

इस अनुभाग के बारे में Microsoft को प्रतिक्रिया प्रदान करने के लिए, थम्स अप या थम्स डाउन का चयन करें. कोई टिप्पणी जोड़ने के लिए Microsoft को प्रतिक्रिया भेजें पैनल का उपयोग करें और चुनें कि संबंधित फ़ाइलें साझा करनी हैं या नहीं.

1. Microsoft पैनल पर प्रतिक्रिया सबमिट करें पर, अपनी पसंद या नापसंद का प्राकृतिक भाषा में वर्णन करें, यह इस बात पर निर्भर करता है कि आपने पैनल खोलने के लिए किस आइकन का चयन किया है।
2. चुनें कि प्रॉम्प्ट, जेनरेट की गई प्रतिक्रिया, प्रासंगिक सामग्री नमूने और अतिरिक्त लॉग फ़ाइलें साझा करनी हैं या नहीं.
3. सबमिट करें चुनें.

अवलोकन

अवलोकन क्षेत्र में उच्च-स्तरीय प्रदर्शन सारांश की जाँच करें, फिर अलग-अलग मीट्रिक को अधिक विस्तार से देखें।

सक्रिय उपयोगकर्ता

सक्रिय उपयोगकर्ता मेट्रिक्स यह दर्शाते हैं कि किसी संवादात्मक एजेंट को कितना अपनाया जा रहा है और समय के साथ इसमें क्या बदलाव आते हैं। एक सक्रिय उपयोगकर्ता एक अद्वितीय उपयोगकर्ता होता है जो रिपोर्ट की अवधि के दौरान कम से कम एक बार संवादी एजेंट के साथ बातचीत करता है। मॉनिटर पृष्ठ दैनिक सक्रिय उपयोगकर्ताओं (DAU) और मासिक सक्रिय उपयोगकर्ताओं (MAU) को प्रदर्शित करता है। दैनिक गणना UTC में पूरे 24 घंटे के दिन को कवर करती है। मासिक गणना UTC में कैलेंडर महीने का अनुसरण करती है।

Important

सक्रिय उपयोगकर्ता मीट्रिक सुविधा केवल तभी समर्थित होती है, जब आप अपने एजेंट को सेटिंगसुरक्षा>प्रमाणीकरण> अंतर्गत प्रमाणीकरण की आवश्यकता के लिए सेट करते हैं.

चयनित अवधि के लिए औसत DAU, साथ ही पिछली अवधि से इसका प्रतिशत परिवर्तन, अवलोकन अनुभाग में एक प्रमुख प्रदर्शन संकेतक (KPI) के रूप में दिखाई देता है.

नोट

औसत DAU गणना मीट्रिक का सूत्र है: (sum of all full-day active user counts in the period) / (count of full days in the period).

समय के साथ चलन में आने वाले दैनिक और मासिक सक्रिय उपयोगकर्ताओं की संख्या के बारे में अधिक विवरण देखने के लिए, अवलोकन पैनल के ऊपरी दाएं कोने में सक्रिय उपयोगकर्ता देखें बटन चुनें.

केवल संवादात्मक सत्र

Analytics for conversational agents in Copilot Studio अपने एजेंट के साथ उपयोगकर्ता सहभागिता को ट्रैक करें और यह कैप्चर करने का प्रयास करें कि आपका एजेंट उपयोगकर्ता कार्यों को कितनी अच्छी तरह संभालता है.

संवादात्मक विश्लेषण निम्नलिखित अवधारणाओं और शब्दों का उपयोग करता है:

• बातचीत एक चैनल और आपके एजेंट पर एक विशिष्ट उपयोगकर्ता, या उपयोगकर्ताओं के समूह के बीच चल रही बातचीत है।

• बातचीत को रोका जा सकता है और बाद में फिर से शुरू किया जा सकता है, या ग्राहक सेवा प्रतिनिधि को हस्तांतरित किया जा सकता है। बातचीत एकतरफा हो सकती है, या तो ग्राहक से एजेंट तक, या एजेंट से ग्राहक तक, लेकिन यह आमतौर पर ग्राहक और एजेंट के बीच आगे-पीछे की बातचीत होती है।

• 30 मिनट की निष्क्रियता के बाद बातचीत का समय समाप्त हो जाता है।

• टेलीफोनी चैनल पर उपलब्ध एजेंटों के लिए, बातचीत समाप्त करें इवेंट के 3 मिनट बाद बातचीत का समय समाप्त हो जाता है।

• एक एकल वार्तालाप में एक या अधिक विश्लेषण सत्र हो सकते हैं.

• मानक हार्नेस द्वारा संचालित एक विश्लेषण सत्र उपयोगकर्ता द्वारा ट्रिगर किए गए अंतिम कस्टम विषय से जुड़ा होता है। यदि सत्र में कस्टम विषय शामिल नहीं हैं, तो यह उपयोगकर्ता द्वारा सीधे ट्रिगर किया गया अंतिम सिस्टम विषय है।

केवल इवेंट ट्रिगर सत्र

स्वायत्त एजेंट एक ऐसा एजेंट होता है जिसके पास इवेंट ट्रिगर होता है। ये एजेंट केवल ट्रिगर वाले एजेंटों के लिए विश्लेषण का समर्थन करते हैं।

ट्रिगर्स वाले एजेंटों के लिए एक एनालिटिक्स सत्र तब से ट्रैक करता है जब एजेंट को ट्रिगर से पेलोड प्राप्त होता है, एजेंट द्वारा प्रतिक्रिया में की गई किसी भी कार्रवाई के माध्यम से। ये विश्लेषण सत्र यह दर्शाते हैं कि आपका एजेंट किस बात पर प्रतिक्रिया दे रहा है, तथा आपका एजेंट कितना अच्छा प्रदर्शन कर रहा है।

नोट

यदि कोई ट्रिगर विफल हो जाता है और एजेंट को ट्रिगर पेलोड प्राप्त नहीं होता है, तो एनालिटिक्स सत्र शुरू नहीं हो सकता है। एनालिटिक्स केवल सफलतापूर्वक ट्रिगर किए गए रन को ट्रैक करता है।

हाइब्रिड दृश्य - वार्तालाप आधारित और घटना प्रेरित सत्र दोनों

जब आपके एजेंट के डेटा में कम से कम एक वार्तालाप के लिए सत्र और रिपोर्ट की अवधि में कम से कम एक ट्रिगर-आधारित रन शामिल होता है, तो मॉनिटर पृष्ठ वार्तालाप और स्वायत्त सत्रों दोनों के लिए प्रासंगिक मीट्रिक का एक हाइब्रिड दृश्य प्रदर्शित करता है. इस दृश्य में, अवलोकन और प्रभावशीलता अनुभाग संवादात्मक और ईवेंट-ट्रिगर किए गए दोनों सत्रों के लिए मीट्रिक को साथ-साथ दिखाते हैं. उपयोग अनुभाग आपको वार्तालाप या रन के बीच चयन करने की अनुमति देता है, जो केवल प्रासंगिक डेटा प्रदर्शित करता है। सभी का चयन करने से उपयोग से संबंधित सभी डेटा दिखाई देता है. संतुष्टि अनुभाग संवादी सत्रों के लिए संतुष्टि मीट्रिक प्रदर्शित करता है।

अधिक जानकारी के लिए पढ़ें:

• संवादात्मक सत्र मेट्रिक्स के लिए संवादी एजेंट प्रभावशीलता की निगरानी करें

• इवेंट-ट्रिगर सत्र मेट्रिक्स के लिए स्वायत्त एजेंट स्वास्थ्य की निगरानी करें

संवादात्मक प्रतिलिपियाँ डाउनलोड करें

आप पिछले 28 दिनों के भीतर की अवधि के लिए Copilot Studio में सत्र प्रतिलेख डाउनलोड कर सकते हैं। एनालिटिक्स सत्र समाप्त होने के बाद, संबंधित डेटा को एनालिटिक्स डैशबोर्ड पर दिखाई देने में एक घंटे तक का समय लग सकता है। उपलब्धता, अनुमतियों और डाउनलोड चरणों के बारे में Copilot Studio में वार्तालाप प्रतिलेख डाउनलोड करना में अधिक जानें।

Dataverse ट्रांसक्रिप्ट रिटेंशन Copilot Studio में 28-दिवसीय सत्र-डेटा विंडो से अलग है। Power Apps में वार्तालाप प्रतिलेख डाउनलोड करें में अधिक जानें.

विषय उपयोग विश्लेषण

Copilot Studio में, एक विषय परिभाषित करता है कि एजेंट वार्तालाप कैसे आगे बढ़ता है और उपयोगकर्ता और एजेंट के बीच बातचीत के एक हिस्से का प्रतिनिधित्व करता है। मॉनीटर फलक विषय दिखाता है कि कोई व्यक्तिगत विषय कैसा प्रदर्शन कर रहा है, जिसमें यह शामिल है कि इसे कितनी बार ट्रिगर किया जाता है, इसे शामिल करने वाले सत्र कैसे हल होते हैं और उपयोगकर्ता उन सत्रों से कितने संतुष्ट होते हैं. इन जानकारियों का उपयोग करके ऐसे विषयों की पहचान करें जो अक्सर गंभीर हो जाते हैं या जिन्हें बीच में ही छोड़ दिया जाता है, और फिर उनमें सुधार के लिए उन्हें प्राथमिकता दें। विषय बनाएँ और संपादित करें में अधिक जानें.

नोट

टॉपिक मॉनिटर केवल उन एजेंटों के लिए उपलब्ध है जो स्टैंडर्ड हार्नेस पर काम करते हैं और जो सत्र से जुड़े टॉपिक्स के लिए हैं। यदि आपका एजेंट जनरेटिव ऑर्केस्ट्रेशन का उपयोग करता है, तो इसके बजाय मॉनिटर पृष्ठ पर वार्तालाप परिणामों और थीम का उपयोग करें।

विषय मॉनिटर पैनल देखने के लिए:

1. Copilot Studio में अपने एजेंट के विषय पृष्ठ पर जाएं।

2. उस विषय का चयन करें जिसका आप विश्लेषण करना चाहते हैं. यदि कोई विषय उपलब्ध नहीं है, तो विषय बनाएँ और संपादित करें देखें.

3. विषय पृष्ठ के ऊपरी-दाएँ कोने में, अधिक (...) > का चयन करेंमॉनिटर।

मॉनिटर विषय का पैनल दिखाता है:

• विषय परिणाम: सत्र परिणामों का एक चार्ट, Escalated, , ResolvedAbandonedऔर उन सत्रों के लिए जहां यह विषय ट्रिगर किया गया था। विषय के स्वास्थ्य का शीघ्रता से आकलन करने के लिए इस चार्ट का उपयोग करें। या परिणामों Escalated के उच्च Abandoned अनुपात का मतलब यह हो सकता है कि विषय में सुधार की आवश्यकता है।
• कुल विषय उपयोग: समय के साथ विषय परिणामों की प्रवृत्ति का एक चार्ट। इसका उपयोग प्रतिगमन का पता लगाने के लिए करें, उदाहरण के लिए, किसी विषय को संपादित करने के बाद परित्यक्त सत्रों में वृद्धि या यह पुष्टि करने के लिए कि हाल के परिवर्तनों ने समाधान दरों में सुधार किया है।
• ग्राहक संतुष्टि स्कोर: इस विषय से जुड़े सत्रों के उपयोगकर्ता सर्वेक्षण प्रतिक्रियाओं के आधार पर एक स्कोर.
• संतुष्टि स्कोर प्रवृत्ति: एक चार्ट जो दिखाता है कि समय के साथ संतुष्टि स्कोर कैसे बदलता है। इस प्रवृत्ति का उपयोग उन अवधियों की पहचान करने के लिए करें जहां उपयोगकर्ता की भावना में गिरावट आई या सुधार हुआ।

समय सीमा बदलने के लिए, विषय मॉनिटर पैनल के शीर्ष पर समय सीमा ड्रॉपडाउन का चयन करें।

संबंधित जानकारी

एआई एजेंटों के निवेश पर रिटर्न (आरओआई) और व्यावसायिक मूल्य को मापें