नोट
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप साइन इन करने या निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
नोट
यह आलेख मानक हार्नेस द्वारा संचालित एजेंटों या एजेंट प्रवाह में उपयोग की जाने वाली सुविधाओं का वर्णन करता है।
[यह आलेख रिलीज़-पूर्व दस्तावेज़ है और परिवर्तन के अधीन है.]
थीम समूह से संबंधित उपयोगकर्ता प्रश्न जो जनरेटिव उत्तरों को ट्रिगर करते हैं। संबंधित प्रश्नों को क्लस्टर करके, थीम आपको ग्राहक के इरादे की अंतर्दृष्टि को व्यवस्थित करने, लगातार विषयों की पहचान करने और सुधार की आवश्यकता वाले क्षेत्रों पर ध्यान केंद्रित करने में मदद करती है। आप थीम के भीतर अलग-अलग प्रश्नों का पता लगा सकते हैं और थीम-स्तरीय मेट्रिक्स को समझने के लिए प्रदर्शन की निगरानी कर सकते हैं।
थीम्स सुविधा स्वचालित रूप से उन सभी अवर्गीकृत प्रश्नों का विश्लेषण करती है जिन्होंने पिछले सप्ताह में जनरेटिव एआई प्रतिक्रियाओं को ट्रिगर किया और इस विश्लेषण के आधार पर विषयों का सुझाव दिया। यह प्रक्रिया साप्ताहिक रूप से चलती है। साप्ताहिक थीम-सुझाव रन के बीच, यह सुविधा किसी भी नए प्रश्न का दैनिक वर्गीकरण करती है जो जनरेटिव एआई प्रतिक्रियाओं को ट्रिगर करती है और इस डेटा को थीम मेट्रिक्स में जोड़ती है। सुझाई गई थीम सूची को नियमित रूप से ताज़ा किया जाता है ताकि आपकी थीम प्रासंगिक बनी रहें और नवीनतम उपयोगकर्ता डेटा को प्रतिबिंबित करें। यह स्वचालित रीफ्रेश आपके समय की बचत करता है:
- नए डेटा के खिलाफ विषय प्रासंगिकता का लगातार मूल्यांकन करना।
- व्यक्तिगत प्रश्नों को स्वचालित रूप से विषयों में वर्गीकृत करना।
- प्रत्येक विषय के लिए कच्चे मीट्रिक डेटा की पुनर्प्राप्ति को स्वचालित करना।
- प्रत्येक थीम के लिए एकत्रित मीट्रिक डेटा की गणना करना.
Important
इस आलेख में Microsoft Copilot Studio पूर्वावलोकन दस्तावेज़ शामिल हैं और यह परिवर्तन के अधीन है।
पूर्वावलोकन सुविधाएं उत्पादन में उपयोग के लिए नहीं होती हैं और इनकी कार्यक्षमता प्रतिबंधित हो सकती हैं. ये सुविधाएँ आधिकारिक रिलीज़ से पहले उपलब्ध हैं ताकि आप जल्दी पहुँच प्राप्त कर सकें और प्रतिक्रिया प्रदान कर सकें।
यदि आप उत्पादन के लिए तैयार एजेंट बना रहे हैं, तो Microsoft Copilot Studio का अवलोकन देखें.
पूर्वावश्यकताएँ
थीम्स सुविधा से अधिकतम मूल्य प्राप्त करने के लिए, जिसमें प्रत्येक थीम के घटक प्रश्नों और उत्तरों को देखने की क्षमता शामिल है:
सूची और उसके मेट्रिक्स देखने के लिए आपको बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका की आवश्यकता है। केवल व्यवस्थापक ही एजेंट साझाकरण के दौरान बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका असाइन करके यह भूमिका प्रदान कर सकते हैं।
Dataverse में वार्तालाप प्रतिलेख संग्रहीत करने के लिए पर्यावरण-स्तरीय सेटिंग्स चालू हैं।
सुझाए गए विषय और वर्गीकृत प्रश्न
कोपायलट स्टूडियो हाल के दिनों में पूछे गए प्रश्नों के रिकॉर्ड के आधार पर विषयों का सुझाव देता है। अपने संगठन की संरचना और ग्राहक अनुभव रणनीति के अनुरूप प्रत्येक सुझाई गई थीम को तैयार करके, आप थीम-विशिष्ट कुंजी प्रदर्शन संकेतक (KPI) के माध्यम से बेहतर अंतर्दृष्टि प्राप्त कर सकते हैं। यह गहरी ग्रैन्युलैरिटी यह पता लगाना आसान बनाती है कि एजेंट कहां खराब प्रदर्शन करते हैं।
थीम निर्माताओं को यह समझने में मदद करती है कि उपयोगकर्ता एजेंट से क्या प्रश्न पूछते हैं और एजेंट कैसा प्रदर्शन करता है। थीम-आधारित एनालिटिक्स के शुरुआती दौर में, Copilot Studio पिछले सप्ताह के सभी प्रश्नों को देखता है और 10 थीम तक का सुझाव देता है जो उपयोगकर्ता के प्रश्नों को एक दूसरे से समानता के आधार पर समूहित करते हैं। प्रत्येक विषय में मेट्रिक्स शामिल हैं जैसे प्रश्नों की कुल संख्या, उत्तर दर और उपयोगकर्ता प्रतिक्रिया। चयनित विश्लेषण अवधि थीम सूची में प्रदर्शित डेटा को समायोजित करती है।
प्रारंभिक रन के बाद, Copilot Studio नए प्रश्नों को मौजूदा विषयों के लिए निरंतर, दैनिक आधार पर वर्गीकृत करता है, और साप्ताहिक आधार पर सुझाए गए विषयों की एक नई सूची तैयार करता है।
नोट
- 50 अलग-अलग सत्रों के जनरेटिव उत्तरों के साथ कम से कम 50 प्रश्न पिछले सात दिनों में लॉग इन किए जाने चाहिए, इससे पहले कि Copilot Studio सुझाए गए थीम उत्पन्न करे।
- एक प्रश्न जो एक जनरेटिव एआई प्रतिक्रिया को ट्रिगर करता है, उसे एक से अधिक विषयों में वर्गीकृत किया जा सकता है। यह परिदृश्य जनरेटिव ऑर्केस्ट्रेशन मोड में अधिक सामान्य हो सकता है, जहां एक एजेंट उत्तर कई अलग-अलग स्रोतों से आ सकता है।
- कोई भी प्रश्न जो अवर्गीकृत रहता है उसे एक अवर्गीकृत विषय में रखा जाता है।
- साप्ताहिक सुझाव प्रक्रिया पूरा होने में कुछ मिनट लग सकते हैं। इस समय के दौरान, विषयवस्तु अनुभाग उपयोग के लिए उपलब्ध नहीं है।
थीम सूची
डिफ़ॉल्ट रूप से, थीम सूची शीर्ष पांच थीम प्रदर्शित करती है, जिन्हें प्रत्येक थीम के लिए वर्गीकृत प्रश्नों की कुल संख्या के आधार पर रैंक किया गया है। सूची का विस्तार करने और सभी थीम प्रदर्शित करने के लिए सभी देखें चुनें .
स्वचालित साप्ताहिक थीम सुझाव रन और दैनिक प्रश्न वर्गीकरण के साथ, थीम्स सुविधा स्वचालित रूप से विकसित होती है और उपयोगकर्ता व्यवहार में परिवर्तन के अनुकूल होती है।
थीम सूची प्रत्येक सूचीबद्ध थीम के लिए मीट्रिक प्रदर्शित करती है।
| कालम | विवरण |
|---|---|
| नाम | विषय का नाम। |
| कुल प्रश्न | कॉन्फ़िगर की गई समय अवधि के लिए इस विषय में वर्गीकृत प्रश्नों की कुल संख्या. |
| सवालों के जवाब दिए गए | कुल प्रश्नों का अनुपात जिसके परिणामस्वरूप उपयोगकर्ता प्रश्न का उत्तर मिलता है। |
| प्रतिक्रिया गुणवत्ता | सभी प्रतिक्रियाओं के योग का वह अनुपात जिसे प्रश्नों के नमूने में Good गुणवत्ता की प्रतिक्रिया प्राप्त होती है। |
| प्रतिक्रियाएँ | प्रत्येक विषय के लिए वर्गीकृत प्रश्नों से सकारात्मक (अंगूठे ऊपर) और नकारात्मक (अंगूठे नीचे) प्रतिक्रियाओं की कच्ची गिनती। |
मूल्यांकन बटन देखने के लिए किसी विषयवस्तु पर होवर करें. और जानें एजेंट के मूल्यांकन के बारे में।
नोट
मेरे विषय में 'अनुत्तरित प्रश्न' क्यों हैं जब सभी वर्गीकृत प्रश्नों ने जनरेटिव एआई उत्तरों को ट्रिगर किया?
परिभाषा के अनुसार, केवल उन प्रश्नों को ही एक विषय में वर्गीकृत किया जा सकता है जो एक जनरेटिव एआई उत्तर को ट्रिगर करते हैं। लेकिन जनरेटिव उत्तरों के लिए कॉल को ट्रिगर करना उपयोगकर्ता क्वेरी का उत्तर देने के समान नहीं है।
उदाहरण के लिए, किसी ज्ञान स्रोत से जुड़ा एक संवादी बूस्टिंग विषय होना आम बात है। इस मामले में, यदि किसी इरादे को पहचाना नहीं जाता है, तो विषय ट्रिगर हो सकता है जो ज्ञान स्रोत को कॉल करता है, भले ही उस ज्ञान स्रोत में प्रश्न का कोई उत्तर न हो।
किसी थीम पर ड्रिल डाउन करें
Important
ड्रिल-डाउन कार्यक्षमता तक पहुँचने के लिए, निम्न में से दोनों सत्य होना चाहिए:
निम्न परिवेश सेटिंग्स सक्षम हैं:
- एजेंट मालिकों और संपादकों को अपने एजेंटों में वार्तालाप इंटरैक्शन से सत्र प्रतिलेख देखने की अनुमति दें।
- वार्तालाप प्रतिलेखों और उनसे जुड़े मेटाडेटा को Dataverse में सहेजने की अनुमति दें.
अधिक जानकारी के लिए, किसी एकल परिवेश के लिए ट्रांसक्रिप्ट सेटिंग्स कॉन्फ़िगर करें देखें.
बॉट ट्रांसक्रिप्ट व्यूअर सुरक्षा भूमिका उपयोगकर्ता को सौंपी गई है। अधिक जानकारी के लिए, उपयोगकर्ताओं को सुरक्षा भूमिका में जोड़ें देखें.
किसी एक थीम में समूहीकृत प्रश्नों तक जाने के लिए, विषयवस्तु सूची में थीम का चयन करें. जब आप ड्रिल डाउन करते हैं, तो चयनित थीम के लिए विशिष्ट पैनल खुलता है, जो थीम और व्यक्तिगत प्रश्नों दोनों के स्तरों पर मेट्रिक्स प्रदर्शित करता है।
नोट
थीम्स सूची में शामिल हैं:
- सबसे हाल के 100 प्रश्नों को प्रत्येक विषय में वर्गीकृत किया गया है।
- कॉन्फ़िगर की गई समय अवधि की परवाह किए बिना पिछले 30 दिनों के प्रश्न। यदि कॉन्फ़िगर की गई अवधि पूरी तरह से पिछले 30 दिनों से बाहर है, तो Copilot Studio एक सूचना प्रदर्शित करता है कि सूची अनुपलब्ध है।
थीम के ड्रिल-डाउन पैनल में, थीम स्तर पर मेट्रिक्स पहले प्रदर्शित होते हैं।
| थीम-स्तरीय मीट्रिक | विवरण |
|---|---|
| कुल प्रश्न | इस विषय में वर्गीकृत प्रश्नों की कुल संख्या जिसने कॉन्फ़िगर की गई समय अवधि के लिए जनरेटिव एआई प्रतिक्रियाओं को ट्रिगर किया। |
| सवालों के जवाब दिए गए | इस विषय के कुल प्रश्नों का अनुपात जिसके परिणामस्वरूप उपयोगकर्ता प्रश्न का उत्तर प्राप्त हुआ। |
| अनुत्तरित प्रश्न | इस विषय के कुल प्रश्नों का अनुपात जिनके परिणामस्वरूप उपयोगकर्ता प्रश्न का उत्तर नहीं मिला। |
| प्रतिक्रियाएँ | इस थीम से जुड़े सवालों पर पॉजिटिव (थम्ब्स अप) और नेगेटिव (थम्ब्स डाउन) रिएक्शन की रॉ काउंट, जैसा कि लर्न प्रतिक्रिया मैकेनिज्म में रिकॉर्ड किया गया है। |
उत्तर दिए गए प्रश्नों के नमूने के लिए प्रतिक्रिया की गुणवत्ता और इस विषयवस्तु में सभी संदर्भित ज्ञान स्रोतों का विश्लेषण प्रदर्शित करने के लिए, विवरण देखें का चयन करें.
थीम मीट्रिक पैनल पर, थीम के स्तर पर किसी एक प्रतिसाद गुणवत्ता मान के बारे में अधिक जानकारी देखने के लिए, प्रतिक्रिया गुणवत्ता के अंतर्गत, किसी व्यक्तिगत बार सेगमेंट पर होवर करें. टूलटिप में उस सेगमेंट के सापेक्ष भार का मान और उस मान पर पहुंचने के लिए नमूने लिए गए प्रश्नों की संख्या शामिल होती है।
विषयवस्तु में सूचीबद्ध नॉलेज स्रोतों में से किसी एक के स्तर पर अधिक जानकारी देखने के लिए, नॉलेज स्रोत उपयोग के अंतर्गत, किसी व्यक्तिगत नॉलेज स्रोत का चयन करें. टूलटिप में शामिल हैं:
- कुल प्रश्नों की संख्या जिन्होंने इस ज्ञान स्रोत को संदर्भित किया, तथा थम्स अप और थम्स डाउन प्रतिक्रियाओं की संख्या.
- किसी विशेष नॉलेज सोर्स को संदर्भित करने वाले प्रश्नों के लिए प्रतिक्रिया गुणवत्ता के रिलेटिव वेटिंग्स का विभाजन दिखाने वाला एक स्टैक्ड बार चार्ट। बार चार्ट के किसी भी सेगमेंट पर होवर करके उस सेगमेंट के सापेक्ष भार का मान और उस मान पर पहुंचने के लिए नमूने लिए गए प्रश्नों की संख्या देखें.
एक थीम-आधारित प्रश्न सूची उन सभी प्रश्नों को दर्शाती है जो जनरेटिव एआई प्रतिक्रियाओं को ट्रिगर करते हैं और उन्हें इस विषय में वर्गीकृत किया गया था, और प्रति प्रश्न के आधार पर मेट्रिक्स प्रदर्शित करता है।
प्रश्न-स्तरीय मेट्रिक्स में शामिल हैं:
| प्रश्न-स्तरीय आयाम या मीट्रिक | विवरण |
|---|---|
| प्रश्न (आयाम) | प्रश्न जिसने इस विषय के लिए वर्गीकृत एक जनरेटिव एआई प्रतिक्रिया को ट्रिगर किया। |
| उत्तर दिया गया? | इस प्रश्न का उत्तर कि उपयोगकर्ता क्वेरी का उत्तर दिया गया था या नहीं। संभावित मान हैं Answered और .Unanswered |
| प्रतिक्रिया गुणवत्ता1 | इस सवाल का जवाब कि उपयोगकर्ता क्वेरी के जवाब की गुणवत्ता क्या थी। संभावित मान हैं Poor और .Good |
| अभिक्रिया | दो पैरामीटर, बूलियन थम्स अप/थम्स डाउन मीट्रिक और एक टेक्स्ट-आधारित टिप्पणी पैरामीटर है। |
| दिनांक | प्रश्न पूछे जाने की तिथि |
| ज्ञान का स्रोत | इस विषय में इस प्रश्न द्वारा संदर्भित ज्ञान स्रोतों की अल्पविराम से अलग सूची। |
1 प्रतिक्रिया गुणवत्ता हमेशा उपलब्ध नहीं होती है और केवल तभी दिखाई देती है जब प्रश्न गुणवत्ता विश्लेषण के लिए नमूना लिया गया हो।
यदि आप चाहें, तो आप विषय-विशिष्ट प्रश्न सूची पृष्ठ पर निम्न क्रियाएँ कर सकते हैं:
- सूची के आयामी फ़िल्टर का उपयोग करके प्रश्नों की सूची को और अधिक सीमित करने के लिए अधिक फ़िल्टरिंग लागू करें.
- मूल्यांकन की परीक्षण पद्धति में आपके द्वारा परिभाषित मानदंडों के अनुसार सूचीबद्ध प्रश्नों का मूल्यांकन करें।
- सूचीबद्ध प्रश्नों को .csv फ़ाइल के रूप में डाउनलोड करें।
- किसी व्यक्तिगत एजेंट की प्रतिक्रिया के लिए विशिष्ट विस्तृत जानकारी देखें।
प्रश्न विवरण पैनल में प्रश्न के बारे में अधिक जानकारी प्रदर्शित करने के लिए सूची में किसी भी प्रश्न का चयन करें। इस पैनल में शामिल हैं:
| विस्तृत प्रश्न-स्तरीय पैरामीटर | विवरण |
|---|---|
| समय स्टैम्प | प्रश्न का उत्तर देने के सबसे हालिया उदाहरण का टाइम स्टैम्प। |
| उपयोगकर्ता क्वेरी | सवाल पूछा गया। |
| प्रत्युत्तर | जनरेटिव एआई प्रतिक्रिया। |
| अंगूठे ऊपर / अंगूठे नीचे मूल्य | थम्ब्स अप / थम्ब्स डाउन पैरामीटर के लिए इस सवाल के सबसे नई आवृत्ति की वैल्यू। |
| टिप्पणी | थम्ब्स अप और थम्ब्स डाउन प्रतिक्रिया के अतिरिक्त, उपयोगकर्ता द्वारा प्रदत्त वैकल्पिक अतिरिक्त टेक्स्ट-आधारित टिप्पणी। |
| प्रतिक्रिया गुणवत्ता1 | इस सवाल का जवाब कि उपयोगकर्ता क्वेरी के जवाब की गुणवत्ता क्या थी। संभावित मान हैं Poor और .Good |
| कारण2 | उस मामले में जहां प्रतिक्रिया गुणवत्ता है Poor, यह पैरामीटर बताता है कि क्यों। |
1 प्रतिक्रिया गुणवत्ता हमेशा उपलब्ध नहीं होती है और केवल तभी दिखाई देती है जब प्रश्न गुणवत्ता विश्लेषण के लिए नमूना लिया गया हो।
2 यदि प्रतिक्रिया गुणवत्ता है Good या यदि प्रश्न का नमूना नहीं लिया गया था, तो कारण पैरामीटर का कोई मान नहीं है।
थीम के आधार पर अपने एजेंट के उत्तरों का मूल्यांकन करें
नोट
जब आप विषयवस्तु पृष्ठ पर सूचीबद्ध किसी विषयवस्तु के लिए मूल्यांकन करें का चयन करते हैं, तो आप विषयवस्तु स्तर पर एक नया परीक्षण सेट बनाते हैं. परीक्षण सेट में उस विषय के लिए वर्गीकृत सभी प्रश्न शामिल हैं, अधिकतम 100 प्रश्न। प्रश्नों की सूची पर अधिक फ़िल्टरिंग लागू करने के लिए, मूल्यांकन परीक्षण सेट बनाने से पहले, पहले विषयवस्तु पर ड्रिल डाउन करें. फिर, सूची में फ़िल्टरिंग लागू करें। सभी इच्छित फ़िल्टरिंग लागू करने के बाद, प्रश्न सूची पृष्ठ से मूल्यांकन करें का चयन करें.
आप एजेंट मूल्यांकन (पूर्वावलोकन) का उपयोग करके किसी विषय से संबंधित प्रश्नों के अपने एजेंट के उत्तरों का परीक्षण कर सकते हैं।
थीम-आधारित मूल्यांकन आपके एजेंट के दायरे के विशिष्ट भागों का परीक्षण करते हैं। उदाहरण के लिए, यदि आपके पास ग्राहक सेवा एजेंट है, तो आप समस्या निवारण जैसे अन्य उपयोग के मामलों से अलग बिलिंग और भुगतान प्रश्नों के उत्तर की गुणवत्ता को ट्रैक कर सकते हैं.
किसी थीम से टेस्ट सेट बनाने के बारे में और जानें.
