संवादी एजेंट प्रभावशीलता का विश्लेषण करें

Copilot Studio में Analytics पेज analytics सत्र में आपके एजेंट की समग्र प्रभावशीलता के बारे में एक समग्र जानकारी प्रदान करता है। यह पेज विभिन्न प्रदर्शन संदर्भों पर केंद्रित मुख्य क्षेत्रों में विभाजित है. पृष्ठ एक अवलोकन क्षेत्र भी प्रदर्शित करता है जो आपके एजेंट के लिए उच्च-स्तरीय, कुंजी प्रदर्शन संकेतक (KPI) मेट्रिक्स प्रदान करता है, एक बचत क्षेत्र जो आपके एजेंट या आपके एजेंट के टूल के कारण समय और लागत बचत का विश्लेषण करता है, और एक सारांश क्षेत्र जो आपके एजेंट के प्रदर्शन में महत्वपूर्ण विश्लेषणात्मक अंतर्दृष्टि प्रदान करता है।

अधिक जानकारी के लिए:

• सारांश और अवलोकन क्षेत्र, एनालिटिक्स का अवलोकन देखें
• बचत क्षेत्र, एजेंटों के लिए समय और लागत बचत का विश्लेषण करें देखें

वार्तालाप-आधारित एजेंट की प्रभावशीलता की समीक्षा और सुधार करते समय ध्यान केंद्रित करने के लिए छह मुख्य क्षेत्र हैं:

• थीम:थीम्स आपको उपयोगकर्ता के प्रश्नों को AI-सुझाई गई श्रेणियों में क्लस्टर करके एनालिटिक्स अंतर्दृष्टि प्राप्त करने में मदद करती हैं।
• बातचीत के परिणाम: बातचीत के अंतिम परिणाम को जानने से आपको यह पहचानने में मदद मिलती है कि आपका एजेंट कहां सफल हो रहा है और इसमें कहां सुधार की आवश्यकता है।
• एजेंट: चाइल्ड और कनेक्टेड एजेंटों के लिए कॉल वॉल्यूम मेट्रिक्स, सफलता दर और वर्तमान स्थिति देखें.
• उत्पन्न उत्तर दर और गुणवत्ता: यह समझना कि एजेंट उपयोगकर्ता के प्रश्नों के उत्तर प्रदान करने के लिए कब संघर्ष करता है और यह ज्ञान स्रोतों का उपयोग कैसे करता है, आपको अपने एजेंट की उत्तर दर और गुणवत्ता में सुधार करने के तरीके खोजने में मदद कर सकता है।
• उपकरण का उपयोग: यह सीखना कि टूल कितनी बार उपयोग किए जाते हैं और वे कितनी बार सफल होते हैं, यह समझने में आपकी सहायता कर सकता है कि वे उपकरण उपयोगकर्ताओं के लिए उपयोगी और सफल हैं या नहीं.
• प्रभावशीलता: उपयोगकर्ता प्रतिक्रिया की समीक्षा करने से आपको नए उपयोगकर्ता परिदृश्यों और समस्याओं की पहचान करने में मदद मिलती है, और आपके उपयोगकर्ता जो मांग रहे हैं उसके आधार पर सीधे सुधार करने में मदद मिलती है।

आप पिछले 90 दिनों में हुई घटनाओं के लिए एनालिटिक्स देख सकते हैं.

वार्तालाप परिणाम

वार्तालाप परिणाम अनुभाग एक चार्ट दिखाता है जो आपके एजेंट और उपयोगकर्ताओं के बीच हर सत्र के परिणाम को ट्रैक करता है.

चार्ट, चाहे वह स्टैक्ड हिस्टोग्राम या स्टैक्ड एरिया चार्ट के रूप में प्रदर्शित किया जाता हो, परिणामों की सापेक्ष मात्रा को दर्शाता है, जो रंग-कोडित और प्रकार के अनुसार स्टैक्ड होता है। हल किया गया, बढ़ाया गया, परित्यक्त, और असंबद्ध में से प्रत्येक को प्रत्येक डेटा बिंदु के लिए उनके संबंधित रंगों द्वारा दर्शाया जाता है। y- अक्ष सत्रों की संख्या को इंगित करता है।

किसी एक डेटा पॉइंट (एक विशेष दिन) से संबंधित व्यक्तिगत परिणामों के मेट्रिक्स देखने के लिए, जिस दिन में आपकी रुचि है उस दिन पर किसी परिणाम के रंग को दर्शाने वाले क्षेत्र (उदाहरण के लिए, परित्यक्त के लिए चैती) पर होवर करें। उदाहरण में, 24 नवंबर को 90 परित्यक्त सत्र थे, जो सभी सत्र परिणामों का 35.6% प्रतिनिधित्व करते थे।

चार्ट के नीचे लेजेंड में, चार्ट में उस परिणाम को हाइलाइट करने के लिए किसी भी परिणाम लेबल पर होवर करें।

स्टैक्ड क्षेत्र चार्ट से परिणाम दिखाने या छिपाने के लिए एक या एकाधिक लीजेंड लेबल का चयन करें, जिससे उन्हें चालू या बंद किया जा सके। परिणामों में अधिक स्पष्टता जोड़ने के लिए ऐसा तब करें, जब:

• अलग-अलग परिणाम रेखाएं एक साथ दृष्टिगत रूप से करीब दिखाई देती हैं।
• आप अधिक स्पष्ट रूप से देखना चाहते हैं जब ट्रेंड लाइनें सकारात्मक या नकारात्मक ट्रेंड कर रही हैं, लेकिन चार्ट पर स्टैक्ड परिणामों का समुच्चय इन ट्रेंड लाइनों को समतल कर रहा है।

नोट

जब आप इस तरह से चार्ट से कोई परिणाम निकालते हैं, तो आप उस परिणाम को प्रदर्शित परिणामों के बड़े पूल से निकाल देते हैं। प्रदर्शित परिणामों को हटाने से पूल के विरुद्ध किसी भी शेष परिणाम का प्रदर्शित प्रतिशत मान बदल जाता है क्योंकि यह अनुपात के हर को बदल देता है।

नीचे दिए गए उदाहरण में, चार्ट से एस्केलेटेड और अनएंगेज्ड लेबल हटा दिए गए हैं। टूलटिप से पता चलता है कि 23 नवंबर को कुल 95 परित्यक्त सत्र थे, जो कि चार्ट पर शेष दृश्यमान परिणामों का 60.5% है (यह हल किए गए और + परित्यक्त परिणामों का योग है)।

वार्तालाप परिणाम डेटा (ग्राफ़ में विज़ुअलाइज़ किया गया डेटा) डाउनलोड करने के लिए, मेनू आइकन का चयन करें और CSV डाउनलोड करें का चयन करें.

नोट

अगर डाउनलोड करते समय चार्ट से कोई भी परिणाम हटा दिया जाता है, तो उनका डेटा CSV में दिखाई नहीं देता है.

वार्तालाप परिणामों के बारे में विस्तृत जानकारी के साथ एक साइड पैनल खोलने के लिए, चार्ट पर विवरण देखें चुनें. वार्तालाप परिणाम साइड पैनल में शामिल हैं:

• सत्र के नतीजों का एक पाई चार्ट ब्रेकडाउन, जिसमें हल किए गए, बढ़े हुए, और परित्यक्त नतीजों का रिलेटिव वेटेज (प्रतिशत के रूप में) दिखाया गया है.
• एक स्टैक्ड बार ग्राफ जो सभी हल किए गए सत्र परिणामों का वर्णन करने वाले हल किए गए पुष्टि और हल किए गए निहित परिणाम कारणों के सापेक्ष भार (प्रतिशत के रूप में व्यक्त) दिखा रहा है।
• एक स्टैक्ड बार ग्राफ़ जो सभी एस्केलेटेड सेशन नतीजों को बताने वाले System intended, सिस्टम अनपेक्षित, और उपयोगकर्ता रिक्वेस्टेड आउटकम कारणों की रिलेटिव वेटिंग (प्रतिशत के रूप में) दिखाता है।
• शीर्ष विषय जो प्रत्येक परिणाम का नेतृत्व करते हैं।

नोट

कच्ची गणना की जानकारी के साथ टूलटिप देखने के लिए, पाई चार्ट या स्टैक्ड बार चार्ट के किसी भी हिस्से पर होवर करें।

एक सत्र निम्नलिखित दो स्थितियों में से एक में आता है:

• अनएंगेज्ड: सत्र तब शुरू होता है जब कोई उपयोगकर्ता आपके एजेंट के साथ इंटरैक्ट करता है या एजेंट उपयोगकर्ता को एक सक्रिय संदेश भेजता है। सत्र एक असक्रिय स्थिति में प्रारंभ होता है।

• व्यस्त: उपयोगकर्ता एजेंट के साथ सक्रिय रूप से बातचीत करता है। एजेंट के ऑर्केस्ट्रेशन मोड के आधार पर व्यवहार में अंतर होता है।

  • क्लासिक ऑर्केस्ट्रेशन: कोई सत्र तब व्यस्त माना जाता है जब निम्न में से कोई विषय ट्रिगर होता है:

    • उपयोगकर्ता द्वारा सीधे ट्रिगर किया गया कस्टम विषय
    • विषय को आगे बढ़ाएं
    • फ़ॉलबैक विषय
    • संवादी बढ़ाने वाला विषय

  • जनरेटिव AI ऑर्केस्ट्रेशन: एक सत्र तब व्यस्त हो जाता है जब कोई उपयोगकर्ता सीधे किसी योजना को ट्रिगर करता है और इसमें निम्नलिखित तत्वों में से एक शामिल होता है:

    • गैर-सिस्टम विषय
    • विषय को आगे बढ़ाएं
    • फ़ॉलबैक विषय
    • नॉलेज स्रोत
    • एक उपकरण

एक सक्रिय सत्र का परिणाम निम्नलिखित में से एक होता है:

परिणाम श्रेणी	परिणाम	विवरण
समाधान किया गया		एक सत्र सफलतापूर्वक समाप्त होता है. हल किए गए सत्र दो प्रकार के होते हैं: पुष्टि किए गए हल और निहित हल।
	समाधान किया गया और पुष्टि की गई	एक सेशन को सुलझा हुआ कन्फर्म माना जाता है जब बातचीत का अंत टॉपिक ट्रिगर होता है और यूज़र कन्फर्म करता है कि बातचीत सफल रही।
	निहित समस्या का समाधान	एक सेशन को रिज़ॉल्व्ड इम्प्लाइड माना जाता है जब सेशन यूज़र के कन्फर्मेशन के बिना, बल्कि एजेंट के लॉजिक के आधार पर पूरा हो जाता है. समाधान की गई निहित स्थिति इस पर निर्भर करती है कि आपका एजेंट क्लासिक या जनरेटिव एआई ऑर्केस्ट्रेशन का उपयोग करता है: - पारंपरिक ऑर्केस्ट्रेशन: किसी सत्र को आपेक्षिक हल तब माना जाता है जब वार्तालाप का अंत विषय ट्रिगर होता है, और उपयोगकर्ता पुष्टि प्रदान किए बिना सत्र को समाप्त होने देता है. - जनरेटिव AI ऑर्केस्ट्रेशन: एक सत्र को संकेतित हल तब माना जाता है जब सत्र समय समाप्त हो जाए और कोई सक्रिय योजना शेष नहीं रहती. सक्रिय योजना वह योजना है जो उपयोगकर्ता के इनपुट की प्रतीक्षा कर रही है.
उन्नयन किया गया		जब एस्केलेट टॉपिक ट्रिगर होता है या एजेंट को ट्रांसफ़र करें नोड चलता है, तो एक सेशन खत्म हो जाता है लेकिन उसे एस्केलेटेड माना जाता है (मौजूदा एनालिटिक्स सेशन खत्म हो जाता है, चाहे बातचीत लाइव एजेंट को ट्रांसफर हो या नहीं)। एस्केलेटेड सेशन तीन तरह के होते हैं: सिस्टम द्वारा इच्छित, सिस्टम द्वारा अनपेक्षित, और उपयोगकर्ता द्वारा अनुरोधित.
	सिस्टम का इरादा	किसी निर्माता द्वारा निर्धारित स्वचालित व्यवसाय नियम के परिणामस्वरूप एक सत्र स्वचालित रूप से आगे बढ़ जाता है। विवाद की तीव्रता बातचीत का एक अपेक्षित परिणाम है और ऐसा कुछ नहीं है जिसे जांच या बदलाव की आवश्यकता हो। उदाहरण: एक उपयोगकर्ता $25,000 से अधिक किसी तीसरे पक्ष को स्थानांतरित करना चाहता है। यह राशि किसी व्यवसाय नियम में एक सीमा से अधिक हो जाती है और परिणामस्वरूप सत्र स्वचालित रूप से बढ़ जाता है.
	सिस्टम अनपेक्षित	निर्माता द्वारा निर्धारित एक या अधिक थ्रेसहोल्ड के ऊपर जाने के परिणामस्वरूप एक सत्र में स्वचालित रूप से एस्केलेशन होता है। आमतौर पर, यह परिणाम इंगित करता है कि उपयोगकर्ता बातचीत में फंस गया है और उसे सहायता की आवश्यकता है। उदाहरण: किसी विशेष कार्य को करने में तीन विफलताओं के बाद एक सत्र बढ़ाया जाता है।
	उपयोगकर्ता ने अनुरोध किया	एक सत्र बढ़ाया जाता है क्योंकि वार्तालाप के दौरान एक स्पष्ट उपयोगकर्ता अनुरोध था। उदाहरण: एक उपयोगकर्ता प्रवेश करता है Transfer me to an agent.
छोड़े गए		जब कोई सत्र 30 मिनट के बाद समाप्त हो जाता है और समाधान या बढ़ाई गई स्थिति तक नहीं पहुंचता है, तो सत्र समाप्त हो जाता है और उसे परित्यक्त माना जाता है।

आप टूल कोड संपादक का उपयोग करके पैरामीटर वाले टूल के conversationOutcome लिए परिणाम भी सेट कर सकते हैं। उदाहरण के लिए, conversationOutcome: ResolvedConfirmed पुष्टि सफलता के लिए या conversationOutcome: ResolvedImplied अंतर्निहित सफलता के लिए।

सहभागिता को मापने और सुधारने के तरीके के बारे में सुझावों और सर्वोत्तम प्रथाओं के लिए सहभागिता को मापने पर मार्गदर्शन दस्तावेज़ देखें.

एजेंट

एजेंटों की सूची आपके मुख्य एजेंट के कनेक्टेड और चाइल्ड एजेंटों के उच्च-स्तरीय वॉल्यूम, प्रदर्शन और स्थिति संबंधी मेट्रिक्स प्रदर्शित करती है. यह सूची प्रकार कॉलम में मुख्य एजेंट के साथ प्रत्येक सूचीबद्ध एजेंट के संबंध प्रकार को दर्शाती है. यदि कोई एजेंट चाइल्ड एजेंट है, तो इसका प्रकार Child के रूप में दिखाया जाता है। कनेक्टेड एजेंटों के पास एक सूचीबद्ध प्रकार होता है जो दर्शाता है कि उन्हें कहाँ बनाया गया था (उदाहरण के लिए, Copilot Studio, Azure AI Foundry)। कॉल मेट्रिक प्रत्येक कनेक्टेड या चाइल्ड एजेंट को मुख्य एजेंट द्वारा किए गए कॉल की कुल संख्या दर्शाती है. सफलता दर यह दर्शाता है कि कुल कॉल में से कितने कॉल सफलता पूर्वक पूर्ण हुए (प्रतिशत के रूप में). स्थिति प्रत्येक कनेक्टेड और चाइल्ड एजेंट की प्रशासनिक स्थिति दर्शाता है.

डिफ़ॉल्ट रूप से एजेंट सूची मुख्य एजेंट के शीर्ष पाँच कनेक्टेड और चाइल्ड एजेंटों को प्रश्नों की कुल संख्या के आधार पर (अधिकतम से न्यूनतम क्रम में) दिखाती है. यदि पाँच से अधिक एजेंट हैं, तो सभी एजेंटों को देखने के लिए सभी देखें चुनें.

नोट

सभी देखें बटन तभी दिखाई देता है जब आपके मुख्य एजेंट से जुड़े हुए पाँच से अधिक संयुक्त या सहायक एजेंट हों.

उत्पन्न उत्तर दर और गुणवत्ता

जनरेटिव उत्तरों के साथ, आपका एजेंट एआई का उपयोग करके दिए गए निर्देशों और ज्ञान स्रोतों से उपयोगकर्ता प्रश्नों के उत्तर जनरेट कर सकता है। हालाँकि, आपका एजेंट सभी प्रश्नों के उत्तर देने में सक्षम नहीं हो सकता. उत्पन्न उत्तर दर और गुणवत्ता अनुभाग अनुत्तरित प्रश्नों और उत्तर गुणवत्ता को ट्रैक करता है, व्यवस्थित करता है और विश्लेषण करता है ताकि आपको अपने एजेंट के उत्तर देने वाले प्रदर्शन में सुधार के लिए मार्गदर्शन मिल सके।

उत्तर दर चयनित समय अवधि के भीतर उत्तर दिए गए और अनुत्तरित प्रश्नों की संख्या और समय के साथ प्रतिशत परिवर्तन को दर्शाती है।

उत्तर गुणवत्ता एआई का उपयोग करके उत्तरों की गुणवत्ता को मापती है। Copilot Studio उत्तर दिए गए प्रश्न के एक नमूना सेट को देखता है और प्रतिक्रिया की पूर्णता, प्रासंगिकता और ग्राउंडेडनेस के स्तर सहित विभिन्न गुणवत्ता का विश्लेषण करता है। यदि उत्तर एक निर्धारित मानक को पूरा करता है, तो Copilot Studio उत्तर को Good गुणवत्ता के रूप में लेबल करता है। Copilot Studio उन उत्तरों को लेबल करता है जो खराब गुणवत्ता के रूप में उस मानक को पूरा नहीं करते हैं। खराब उत्तरों के लिए, Copilot Studio गुणवत्ता रेटिंग के लिए एक कारण निर्दिष्ट करता है, और प्रत्येक श्रेणी को सौंपे गए उत्तरों का प्रतिशत दिखाता है।

चार्ट में बार के किसी भी सेगमेंट पर होवर करके किसी अच्छे या खराब क्वालिटी लेबल के लिए किसी व्यक्तिगत कारण का सापेक्ष भार देखें. टूलटिप गणना किए गए प्रतिशत मान पर पहुंचने के लिए नमूना किए गए उत्तरों की संख्या को भी इंगित करता है।

उत्पन्न उत्तरों की गुणवत्ता के स्टैक्ड बार चार्ट का स्क्रीनशॉट, जिसमें व्यक्तिगत कारणों पर मेट्रिक्स दिखाने वाला टूलटिप शामिल है।

चार्ट के नीचे लेजेंड में, किसी भी क्वालिटी लेबल कारण पर होवर करें ताकि चार्ट में उस कारण को हाइलाइट किया जा सके।

कॉन्फ़िगर की गई समयावधि में सभी प्रश्नों की फ़िल्टर न की गई सूची देखने के लिए प्रश्न देखें का चयन करें.

अपनी चयनित समयावधि में प्रश्न उत्तर दरों, ज्ञान स्रोत उपयोग और त्रुटि दरों के साथ एक साइड पैनल खोलने के लिए विवरण देखें का चयन करें। आप इन चार्टों का उपयोग यह पहचानने के लिए कर सकते हैं कि कौन से ज्ञान स्रोत उपयोगकर्ताओं की मदद करने में कारगर हैं, और किनमें सुधार किया जाना चाहिए।

यदि आपके एजेंट के चाइल्ड एजेंट हैं, तो साइड पैनल में सभी चुनें ताकि मुख्य एजेंट और चाइल्ड एजेंट दोनों के लिए मेट्रिक्स दिखें मुख्य एजेंट केवल मुख्य एजेंट के लिए, या चाइल्ड एजेंट केवल चाइल्ड एजेंट के लिए मेट्रिक्स दिखाने के लिए.

• ज्ञान स्रोत उपयोग उन सत्रों का प्रतिशत दिखाता है, जिनमें एजेंट के पास पहुँच वाले प्रत्येक ज्ञान स्रोत का उपयोग किया गया है।
• सभी स्रोत उन प्रश्नों का प्रतिशत दिखाते हैं जो प्रत्येक ज्ञान स्रोत का उपयोग करते हैं।
• Errors क्वेरीज़ का प्रतिशत दिखाता है, जिसके परिणामस्वरूप प्रत्येक नॉलेज स्रोत प्रकार (उदाहरण के लिए, SharePoint) के लिए ज्ञान-संबंधित त्रुटि हुई.

सभी स्रोतों के तहत, सूचीबद्ध किसी भी नॉलेज स्रोतों के स्तर पर अधिक जानकारी देखने के लिए, किसी व्यक्तिगत स्रोत को चुनें. टूलटिप में शामिल हैं:

• कुल प्रश्नों की संख्या जिन्होंने इस ज्ञान स्रोत को संदर्भित किया, तथा थम्स अप और थम्स डाउन प्रतिक्रियाओं की संख्या.
• किसी विशेष नॉलेज सोर्स को संदर्भित करने वाले प्रश्नों के लिए प्रतिक्रिया गुणवत्ता के रिलेटिव वेटिंग्स का विभाजन दिखाने वाला एक स्टैक्ड बार चार्ट। बार चार्ट के किसी भी हिस्से पर होवर करने पर उस हिस्से की रिलेटिव वेटिंग का मान और उस मान तक पहुँचने के लिए सैंपल किए गए प्रश्नों की संख्या दिखाई देती है।

एजेंट प्रश्नों की एक सूची के लिए नीचे ड्रिल करें

मीट्रिक और सहायक संदर्भ में योगदान देने वाले विशिष्ट प्रश्नों को देखने के लिए ड्रिल डाउन करें, जैसे कि एजेंट ने कैसे प्रतिक्रिया दी, उपयोगकर्ताओं ने कैसे प्रतिक्रिया दी, और कौन से ज्ञान स्रोत शामिल थे। यह दृष्टिकोण प्रतिक्रिया गुणवत्ता में बेहतर अंतर्दृष्टि प्रदान करता है और ज्ञान कवरेज में संभावित अंतराल की पहचान करने में मदद करता है।

महत्त्वपूर्ण

सूची और उसके मेट्रिक्स देखने के लिए आपको बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका की आवश्यकता होती है। केवल व्यवस्थापक ही एजेंट साझाकरण के दौरान बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका असाइन करके यह भूमिका प्रदान कर सकते हैं।

अपने एकल या समूह परिवेश में इस सुरक्षा भूमिका को सक्षम करने के लिए, ट्रांसक्रिप्ट सेटिंग्स को कॉन्फ़िगर करने का तरीका देखें.

प्रश्नों की सूची में ड्रिलिंग वर्तमान में निम्नलिखित मीट्रिक पैनलों के लिए समर्थित है: उत्पन्न उत्तर दर और गुणवत्ता और ज्ञान स्रोत का उपयोग।

प्रश्नों की सूची विंडो में गहराई से जाने के लिए:

• जनरेट की गई उत्तर दर और गुणवत्ता पैनल से, प्रश्न देखें चुनें.
• जेनरेट की गई उत्तर दर और गुणवत्ता पैनल से, होवर करें और अच्छे या खराब उत्तर बार खंड का चयन करें।
• जेनरेट की गई उत्तर दर और गुणवत्ता पैनल से, 'उत्तर' या 'अनुत्तरित' प्रश्न प्रतिशत मीट्रिक चुनें।
• नॉलेज स्रोत उपयोग पैनल से, नॉलेज स्रोत उपयोग साइड पैनल खोलने के लिए विवरण देखें का चयन करें, वांछित स्रोत का चयन करें और फिर पॉप-अप में प्रश्न देखें का चयन करें.

उपयोगकर्ता प्रश्न सूची आपके द्वारा ड्रिल किए गए डेटा बिंदु के आधार पर फ़िल्टर की जाती है। यह प्रश्न सूची के ऊपर डिफ़ॉल्ट फ़िल्टर सेटिंग्स में दिखाई देता है। उदाहरण के लिए, उत्पन्न उत्तरों की गुणवत्ता टाइल में खराब बार के अप्रासंगिक बार सेगमेंट को चुनना सूचीबद्ध प्रश्नों के लिए प्रतिक्रिया गुणवत्ता फ़िल्टर Irrelevant सेट करता है।

यदि वांछित है, तो आप सूची पृष्ठ पर निम्न क्रियाएँ कर सकते हैं:

• सूची के आयामी फ़िल्टर का उपयोग करके प्रश्नों की सूची को और कम करने के लिए अधिक फ़िल्टरिंग लागू करें।
• मूल्यांकन की परीक्षण पद्धति में आपके द्वारा परिभाषित मानदंडों के अनुसार सूचीबद्ध प्रश्नों का मूल्यांकन करें।
• सूचीबद्ध प्रश्नों को .csv फ़ाइल के रूप में डाउनलोड करें।
• किसी व्यक्तिगत प्रश्न के लिए विशिष्ट विस्तृत जानकारी देखें।

प्रश्नों की सूची विंडो निम्न प्रदर्शित करती है:

कालम	विवरण
प्रश्न	सवाल पूछा गया।
उत्तर दिया	जनरेटिव एआई प्रतिक्रिया की स्थिति: उत्तर दिया गया या अनुत्तरित।
प्रतिक्रिया गुणवत्ता	नमूना प्रश्नों के लिए प्रतिक्रिया गुणवत्ता। संभावित मान हैं Poor और .Good
अभिक्रिया	थम्स अप, थम्स डाउन, या बिना प्रतिक्रिया के, वैकल्पिक रूप से दी गई टेक्स्ट-आधारित टिप्पणी के साथ।
दिनांक	दिनांक जब प्रश्न का उत्तर दिया गया था।
ज्ञान का स्रोत	एजेंट की प्रतिक्रिया में उद्धृत ज्ञान स्रोतों की सूची।

अधिक जानकारी के लिए, प्रश्न विवरण साइड पैनल खोलने के लिए किसी भी प्रश्न पर विवरण दिखाएं चुनें। यह पैनल प्रत्येक प्रश्न से जुड़ी प्रतिक्रिया गुणवत्ता में अतिरिक्त अंतर्दृष्टि प्रदान करता है।

विस्तृत प्रश्न-स्तरीय पैरामीटर	विवरण
समय स्टैम्प	प्रश्न का उत्तर देने के सबसे हालिया उदाहरण का टाइम स्टैम्प।
उपयोगकर्ता क्वेरी	सवाल पूछा गया।
प्रत्युत्तर	जनरेटिव एआई प्रतिक्रिया।
अंगूठे ऊपर / अंगूठे नीचे मूल्य	थम्स अप / थम्स डाउन पैरामीटर के लिए इस सवाल के सबसे नए उदाहरण की वैल्यू।
टिप्पणी	थम्स अप और थम्स डाउन प्रतिक्रिया के अतिरिक्त, उपयोगकर्ता द्वारा प्रदत्त वैकल्पिक अतिरिक्त टेक्स्ट-आधारित टिप्पणी।
प्रतिक्रिया गुणवत्ता1	इस सवाल का जवाब कि उपयोगकर्ता क्वेरी के जवाब की गुणवत्ता क्या थी। संभावित मान हैं Poor और .Good
कारण2	उस मामले में जहां प्रतिक्रिया गुणवत्ता है Poor, यह पैरामीटर बताता है कि क्यों।

¹ प्रतिक्रिया गुणवत्ता हमेशा उपलब्ध नहीं होती है और केवल तभी दिखाई देती है जब प्रश्न गुणवत्ता विश्लेषण के लिए नमूना लिया गया हो।

² यदि प्रतिक्रिया गुणवत्ता है Good या यदि प्रश्न का नमूना नहीं लिया गया था, तो कारण पैरामीटर को कोई मान असाइन नहीं किया गया है।

सत्रों का गहराई से विश्लेषण करें

मीट्रिक में योगदान देने वाले विशिष्ट सत्रों को देखने और अंतर्निहित सत्र डेटा की जांच करने के लिए सत्रों को गहराई से जांचें। यह गहरा दृश्य आपको यह समझने में मदद करता है कि शीर्ष-स्तरीय एजेंट मेट्रिक्स के पीछे क्यों औरकैसे और आपको संभावित मुद्दों की पहचान और जांच करने में सक्षम बनाता है।

एजेंट के प्रदर्शन का विश्लेषण करने के लिए सत्र सूची का उपयोग करें और सत्र स्तर के डेटा की जांच करके जांच करें जो सत्र परिणाम (,resolved , escalatedabandoned, या ) unengagedकी ओर ले जाता है। उदाहरण के लिए, चैनल के आधार पर फ़िल्टर करें, कम CSAT सत्रों पर ध्यान केंद्रित करें और फिर सत्र डेटा में ड्रिल करके यह जानकारी प्राप्त करें कि उन चैनलों के ग्राहकों को खराब अनुभव क्यों हो सकता है.

सत्र सूची विंडो पर ड्रिल डाउन करने के लिए:

• वार्तालाप परिणाम पैनल से, विश्लेषणात्मक अवधि के लिए सभी सत्र देखने के लिए सत्र देखें चुनें.
• वार्तालाप परिणाम पैनल से, विवरण देखें चुनें. यह वार्तालाप सत्र के परिणामों पर आगे के मेट्रिक्स का एक साइड फलक खोलता है। सत्रों की फ़िल्टर सूची देखने के लिए किसी भी हाइलाइट किए गए मीट्रिक प्लॉट का चयन करें।

सत्र सूची को आपके द्वारा ड्रिल किए गए डेटा बिंदु के आधार पर फ़िल्टर किया जाता है। यह सत्र सूची के ऊपर डिफ़ॉल्ट फ़िल्टर सेटिंग्स में दिखाई देता है। उदाहरण के लिए, वार्तालाप परिणामों का साइड पैनल के भीतर, हल किए गए परिणाम कारण बार टाइल के हल की पुष्टि की गई बार खंड का चयन करना सत्र परिणाम और परिणाम कारण को क्रमशः हल और हल की पुष्टि की गई के रूप में सेट करता है।

किसी भी सत्र पर क्लिक करने से सत्र-स्तरीय डेटा दिखाई देगा। सत्र की विंडो की सूची को Time period, Session outcome, Outcome reason और Channel द्वारा फ़िल्टर किया जा सकता है।

नोट

• सत्र देखने के लिए, आपके पास बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका होनी चाहिए।

• सत्र की सूची प्रतिदिन अपडेट की जाती है और प्रति दिन 10,000 सत्र तक दिखाई देती है। केवल पिछले 28 दिनों के सत्र संग्रहीत किए जाते हैं और देखे जाने के लिए उपलब्ध होते हैं।

सत्र विंडो की सूची को निम्न मापदंडों द्वारा क्रमबद्ध किया गया है:

विस्तृत सत्र-स्तरीय पैरामीटर	विवरण
प्रारंभ समय	सत्र को कब प्रारंभ किया गया था का टाइमस्टैम्प।
मियाद	एजेंट के साथ बातचीत की लंबाई, मिनटों और सेकंड में दिखाई जाती है।
संदेश	प्रयोक्ता और एजेंट के बीच आदान-प्रदान किए गए संदेशों की संख्या।
परिणाम	एजेंट वार्तालाप का परिणाम। संभावित मान , ResolvedEscalated, Abandoned, या Unengaged.
परिणाम कारण	सत्र का परिणाम क्यों हुआ, इसका विवरण (उदाहरण के लिए, सिस्टम त्रुटि या हल किया गया) देने वाला अतिरिक्त संदर्भ।
चैनल	वह चैनल जहां बातचीत हुई, जैसे Teams, Microsoft 365 Copilot और SharePoint।
सीएसएटी	सत्र के लिए ग्राहक संतुष्टि (CSAT) रेटिंग, उपयोगकर्ता प्रतिक्रिया के आधार पर, यदि उपलब्ध हो।

उपकरण का उपयोग

टूल उपयोग अनुभाग एक चार्ट और मीट्रिक दिखाता है जो ट्रैक करता है कि समय के साथ आपके टूल कितनी बार शुरू होते हैं, और कितनी बार आपके एजेंट ने उन उपकरणों का सफलतापूर्वक उपयोग किया है। यह, यह भी दिखाता है कि आपका एजेंट प्रत्येक टूल का कितनी बार उपयोग करता है और कॉल किए गए टूल्स में से कितने प्रतिशत का सफल उपयोग हुआ।

चार्ट Analytics पृष्ठ के शीर्ष पर परिभाषित दिनांक अवधि में उपयोग किए जाने वाले प्रमुख पांच टूल प्रदर्शित करता है.

चार्ट के नीचे दिए गए लेजेंड में, किसी भी टूल पर होवर करें ताकि चार्ट में वह टूल हाईलाइट हो जाए।

निर्दिष्ट समय अवधि में उपयोग किए जाने वाले सभी उपकरणों की सूची के साथ एक साइड पैनल खोलने के लिए, रुझान संकेतकों के साथ, चार्ट पर विवरण देखें का चयन करें। टूल उपयोग पैनल पर, आप प्रत्येक टूल के लिए उपयोग किए गए प्रश्नों का प्रतिशत देख सकते हैं। यदि आपके एजेंट में चाइल्ड एजेंट्स शामिल हैं, तो आप मुख्य एजेंट और चाइल्ड एजेंट्स दोनों के लिए गणनाएँ दिखाने के लिए (सभी), केवल मुख्य एजेंट के लिए मुख्य एजेंट या केवल चाइल्ड एजेंट्स के लिए चाइल्ड एजेंट चुन सकते हैं.

प्रभावशीलता

प्रभावशीलता अनुभाग एक सत्र के लिए प्रतिक्रियाओं, एजेंट प्रतिक्रियाओं, सर्वेक्षण परिणामों और भावना स्कोर से एकत्र की गई उपयोगकर्ता प्रतिक्रिया दिखाता है। संतुष्टि कई उप-वर्गों में विभाजित है:

• प्रतिक्रियाएं: विशिष्ट एजेंट प्रतिक्रियाओं के लिए उपयोगकर्ता प्रतिक्रियाएं, जो अंगूठा ऊपर/अंगूठा नीचे रेटिंग और टिप्पणियों को शामिल करती हैं।
• ग्राहक संतुष्टि: ग्राहक संतुष्टि का प्रदर्शन (CSAT) स्कोर।
• सेंटीमेंट (पूर्वावलोकन): पूरे सत्र के लिए एआई-आधारित भावना विश्लेषण।

फ़ीडबैक डेटा, Dataverse में कन्वर्सेशन ट्रांसक्रिप्ट टेबल में स्टोर किया जाता है. इस सुविधा का समर्थन करने वाले चैनलों की सूची के लिए, फ़ीचर विवरण देखें.

प्रतिक्रियाएँ

प्रतिक्रियाएँ अनुभाग एजेंट प्रतिक्रियाओं से एकत्रित उपयोगकर्ता प्रतिक्रिया दिखाता है। चार्ट यह गिनता है कि यूज़र्स ने आपके एजेंट से मिले हर जवाब पर मौजूद थम्स अप (पॉज़िटिव) या थम्स डाउन (नेगेटिव) बटन को कितनी बार चुना.

नोट

• Microsoft 365 Copilot चैनल पर प्रकाशित एजेंट प्रतिक्रियाओं का समर्थन नहीं करते हैं।
• टिप्पणियाँ देखने के लिए आपके पास बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका होना आवश्यक है.

उपयोगकर्ता प्रतिक्रियाएँ डिफ़ॉल्ट रूप से चालू होती हैं। यदि आप चाहें तो इस सुविधा को बंद कर सकते हैं। आप उपयोगकर्ताओं के लिए उनके फ़ीडबैक का उपयोग कैसे किया जाता है, इस बारे में अस्वीकरण भी जोड़ या संपादित कर सकते हैं:

1. एजेंट खोलें, फिर सेटिंग्स पर जाएं, और उपयोगकर्ता फ़ीडबैक अनुभाग ढूंढें.

2. एजेंट संदेशों पर उपयोगकर्ता प्रतिक्रियाएँ एकत्र करने कोचालू या बंद करें.

3. अस्वीकरण जोड़ें या संपादित करें ताकि उपयोगकर्ता जान सकें कि उनकी प्रतिक्रिया का उपयोग कैसे किया जाता है. आप गोपनीयता संबंधी जानकारी और सुझाव भी दे सकते हैं।

टिप्पणियों के लिए ड्रिल डाउन करें

उपयोगकर्ता रिएक्शन देने के बाद एक टिप्पणी छोड़ सकते हैं। Analytics पेज पर, उपयोगकर्ता की टिप्पणियों को देखने के लिए, प्रतिक्रियाएं टाइल पर टिप्पणियां आइकॉन चुनें.

यदि वांछित है, तो आप टिप्पणियाँ सूची पृष्ठ पर निम्न क्रियाएँ कर सकते हैं:

• सूची के आयामी फ़िल्टर का उपयोग करके उपयोगकर्ता टिप्पणियों की सूची को और कम करने के लिए अधिक फ़िल्टरिंग लागू करें।
• मूल्यांकन की परीक्षण विधि में आपके द्वारा परिभाषित मानदंडों के अनुसार सूचीबद्ध टिप्पणियों का मूल्यांकन करें।
• किसी व्यक्तिगत टिप्पणी के लिए विशिष्ट विस्तृत जानकारी देखें.

प्रतिक्रियाओं में गहराई से जाएं

किसी व्यक्तिगत उपयोगकर्ता प्रतिक्रिया में योगदान करने वाले एजेंट प्रतिक्रियाओं की सूची तक ड्रिल डाउन करने के लिए, प्रतिक्रियाएँ पाई चार्ट पर, अंगूठे ऊपर याथम्स डाउन पाई सेगमेंट में से किसी एक का चयन करें. डिफ़ॉल्ट रूप से, एजेंट प्रतिक्रियाओं ( प्रतिक्रियाओं की सूची) की सूची आपके द्वारा ड्रिल की गई उपयोगकर्ता प्रतिक्रिया के आधार पर फ़िल्टर की जाती है।

यदि वांछित है, तो आप प्रतिक्रिया सूची पृष्ठ पर निम्न क्रियाएँ कर सकते हैं:

• सूची के आयामी फ़िल्टर का उपयोग करके एजेंट प्रतिक्रियाओं की सूची को और कम करने के लिए अधिक फ़िल्टरिंग लागू करें।
• मूल्यांकन की परीक्षण विधि में परिभाषित मानदंडों के अनुसार सूचीबद्ध एजेंट प्रतिक्रियाओं का मूल्यांकन करें।
• किसी व्यक्तिगत एजेंट की प्रतिक्रिया के लिए विशिष्ट विस्तृत जानकारी देखें।

समय के साथ प्रतिक्रिया रुझान देखें

प्रतिक्रियाएँ साइड पैनल खोलने के लिए प्रतिक्रियाएँ टाइल पर विवरण देखें चुनें. पैनल दिखाता है कि समय के साथ सकारात्मक और नकारात्मक प्रतिक्रियाएं ( थम्स अप औरथम्स डाउन से) कैसे ट्रेंड करती हैं।

ग्राहक संतुष्टि

ग्राहक संतुष्टि अनुभाग उपयोगकर्ता सर्वेक्षण परिणामों के आधार पर उपयोगकर्ता संतुष्टि के बारे में जानकारी दिखाता है:

• संतुष्टि स्कोर: 5 में से एक स्कोर की गणना उन सत्रों के लिए औसत ग्राहक संतुष्टि (CSAT) स्कोर से की जाती है, जिसमें उपयोगकर्ताओं ने सर्वेक्षण लेने के लिए सत्र के अंत के अनुरोधों का जवाब दिया था.

  नोट

  1 और 2 के स्कोर असंतुष्ट के बराबर होते हैं, 3 के स्कोर को न्यूट्रल माना जाता है, और 4 और 5 के स्कोर संतुष्ट के बराबर होते हैं.

• सत्र के अनुसार संतुष्टि: एक स्टैक्ड बार चार्ट जो सर्वेक्षण की प्रत्येक स्कोर श्रेणियों के सापेक्ष महत्व को दर्शाता है, जो हैं Dissatisfied, Neutral, और Satisfied. नमूने का आकार और प्रत्येक स्कोर श्रेणी के भार का संख्यात्मक मान देखने के लिए चार्ट के प्रत्येक खंड पर होवर करें।

चयनित समयावधि में संतुष्टि स्कोर प्रवृत्ति देखने के लिए विवरण देखें चुनें .

भावना (पूर्वावलोकन)

भावना विश्लेषण एजेंट के लिए समग्र उपयोगकर्ता भावना का मूल्यांकन करने के लिए सत्रों के नमूने से उपयोगकर्ता संदेशों का विश्लेषण करने के लिए एआई का उपयोग करता है। संख्यात्मक मान नकारात्मक उपयोगकर्ता भावना वाले सत्रों के प्रतिशत का प्रतिनिधित्व करता है।

प्रत्येक भावना श्रेणी (, Positive, और Neutral) के सापेक्ष भार का भावना डेटा देखने के लिए Negative का चयन करें।