नोट
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप साइन इन करने या निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
ये अक्सर पूछे जाने वाले प्रश्न (FAQ) Copilot Studio में एनालिटिक्स सहायता सुविधाओं के AI प्रभाव का वर्णन करते हैं।
विश्लेषण के लिए जनरेटिव AI का उपयोग कैसे किया जाता है?
Copilot Studio जनरेटिव उत्तर प्रतिक्रियाओं की गुणवत्ता को मापने और क्लस्टर बनाने के लिए AI का उपयोग करता है। ये क्लस्टर एजेंट के प्रदर्शन में अंतर्दृष्टि प्रदान करते हैं।
जनरेटिव उत्तर आपके द्वारा प्रतिक्रिया उत्पन्न करने के लिए चुने गए ज्ञान स्रोतों का उपयोग करते हैं। यह फ़ीचर आपके द्वारा दी गई किसी भी फीडबैक को भी एकत्र करता है। विश्लेषिकी उपयोगकर्ताओं और एजेंटों के बीच चैट संदेशों को उन स्तरों में वर्गीकृत करने के लिए बड़े भाषा मॉडल (एलएलएम) का उपयोग करते हैं जो जनरेटिव उत्तर प्रतिक्रियाओं की गुणवत्ता को इंगित करते हैं। Copilot Studio आपको एजेंट के समग्र प्रदर्शन का सारांश देने के लिए इन संकेतकों को संकलित करता है।
क्लस्टरिंग LLMs का उपयोग करके उपयोगकर्ताओं के संदेशों को साझा विषयों के आधार पर समूहों में वर्गीकृत करती है और प्रत्येक समूह को वर्णनात्मक नाम देती है। Copilot Studio इन समूहों के नामों का उपयोग विभिन्न प्रकार की अंतर्दृष्टि प्रदान करने के लिए करता है जिसका उपयोग आप अपने एजेंट को बेहतर बनाने के लिए कर सकते हैं।
जनरेटिव उत्तरों की प्रत्युत्तर की गुणवत्ता
प्रत्युत्तर की गुणवत्ता का इच्छित उपयोग क्या है?
एजेंट उपयोग और प्रदर्शन के बारे में जानकारी खोजने के लिए प्रतिक्रिया विश्लेषण की गुणवत्ता का उपयोग करें, और फिर एजेंट सुधार के लिए कार्रवाई बनाएं। वर्तमान में, आप यह समझने के लिए एनालिटिक्स का उपयोग कर सकते हैं कि किसी एजेंट के जनरेटिव उत्तरों की गुणवत्ता आपकी अपेक्षाओं को पूरा करती है या नहीं।
समग्र गुणवत्ता के अलावा, प्रतिक्रिया विश्लेषण की गुणवत्ता उन क्षेत्रों की पहचान करती है जहां एक एजेंट खराब प्रदर्शन करता है या आपके इच्छित लक्ष्यों को पूरा करने में विफल रहता है। आप उन क्षेत्रों को परिभाषित कर सकते हैं जहां जनरेटिव उत्तर खराब प्रदर्शन करते हैं और उनकी गुणवत्ता में सुधार के लिए कदम उठा सकते हैं।
खराब प्रदर्शन की पहचान करते समय, सर्वोत्तम प्रथाओं का पालन करें जो गुणवत्ता में सुधार करने में मदद कर सकते हैं। उदाहरण के लिए, खराब प्रदर्शन वाले ज्ञान स्रोतों की पहचान करने के बाद, आप ज्ञान स्रोत को संपादित कर सकते हैं या बढ़ी हुई गुणवत्ता के लिए ज्ञान स्रोत को कई, अधिक केंद्रित स्रोतों में विभाजित कर सकते हैं।
प्रत्युत्तर की गुणवत्ता के लिए विश्लेषण बनाने में कौन सा डेटा उपयोग किया जाता है?
प्रतिक्रिया विश्लेषण की गुणवत्ता की गणना जनरेटिव उत्तर प्रतिक्रियाओं के नमूने का उपयोग करके की जाती है। इसके लिए उपयोगकर्ता क्वेरी, एजेंट की प्रत्युत्तर, और उन संबंधित नॉलेज स्रोतों की आवश्यकता होती है जिन्हें जनरेटिव मॉडल जनरेटिव उत्तर बनाने के लिए उपयोग करता है।
प्रतिक्रिया विश्लेषण की गुणवत्ता उस जानकारी का उपयोग यह मूल्यांकन करने के लिए करती है कि क्या जनरेटिव उत्तर गुणवत्ता अच्छी है, और यदि नहीं, तो गुणवत्ता खराब क्यों है। उदाहरण के लिए, प्रत्युत्तर की गुणवत्ता अधूरी, अप्रासंगिक, या पूरी तरह से ग्राउंडेड नहीं प्रत्युत्तर की पहचान कर सकती है।
प्रतिक्रिया विश्लेषण की गुणवत्ता की सीमाएँ क्या हैं, और उपयोगकर्ता इन सीमाओं के प्रभाव को कैसे कम कर सकते हैं?
प्रतिक्रिया विश्लेषण की गुणवत्ता सभी जनरेटिव प्रतिक्रियाओं का उपयोग नहीं करती है। इसके बजाय, विश्लेषण उपयोगकर्ता-एजेंट सत्रों के एक नमूने को मापती है। सफल जनरेटिव उत्तरों की न्यूनतम संख्या से कम वाले एजेंट प्रतिक्रिया विश्लेषणात्मक सारांश की गुणवत्ता प्राप्त नहीं कर सकते हैं।
कुछ मामलों में, विश्लेषण किसी एकल प्रत्युत्तर का सही ढंग से मूल्यांकन नहीं कर पाती। हालाँकि, समेकित स्तर पर यह अधिकांश मामलों के लिए सही होना चाहिए।
प्रतिक्रिया विश्लेषण की गुणवत्ता उन विशिष्ट प्रश्नों का विवरण प्रदान नहीं करती है जिनके कारण गुणवत्ता का प्रदर्शन कम होता है। वे यह भी नहीं बताते कि जब कम गुणवत्ता वाले उत्तर आते हैं, तब कौन-से सामान्य ज्ञान स्रोत या विषय उपयोग किए गए थे, इसका कोई विवरण।
Analytics की गणना जनरेटिव ज्ञान का उपयोग करने वाले उत्तरों के लिए नहीं की जाती है.
उत्तर पूर्णता प्रतिक्रिया गुणवत्ता का आकलन करने के लिए उपयोग किए जाने वाले मेट्रिक्स में से एक है। यह मीट्रिक मापता है कि प्रतिक्रिया पुनर्प्राप्त दस्तावेज़ में सामग्री को पूरी तरह से कैसे संबोधित करती है।
यदि सिस्टम प्रश्न के लिए अतिरिक्त जानकारी के साथ एक प्रासंगिक दस्तावेज़ पुनर्प्राप्त नहीं करता है, तो यह उस दस्तावेज़ के लिए पूर्णता मीट्रिक का मूल्यांकन नहीं करता है।
जिम्मेदार AI के लिए Copilot Studio के भीतर प्रतिक्रिया विश्लेषण की गुणवत्ता के लिए क्या सुरक्षा है?
एजेंट के उपयोगकर्ता विश्लेषण परिणाम नहीं देख सकते; ये केवल एजेंट निर्माता और व्यवस्थापकों के लिए उपलब्ध हैं।
निर्माता और एडमिन केवल प्रत्युत्तर की गुणवत्ता विश्लेषण का उपयोग यह देखने के लिए कर सकते हैं कि कितने प्रतिशत उत्तर अच्छी गुणवत्ता वाले हैं और किसी भी पूर्वनिर्धारित कारण से खराब प्रदर्शन क्यों हुआ। निर्माता केवल अच्छे गुणवत्ता वाले उत्तरों का प्रतिशत और पूर्वनिर्धारित कारण देख सकते हैं।
हमने विकास के दौरान प्रत्युत्तर की गुणवत्ता विश्लेषण का पूरी तरह परीक्षण किया ताकि अच्छा प्रदर्शन सुनिश्चित किया जा सके। हालांकि, दुर्लभ घटनाओं पर, प्रतिक्रिया आकलन की गुणवत्ता गलत हो सकती है।
संवादी सत्रों के लिए भावना विश्लेषण
भावना विश्लेषण का इच्छित उपयोग क्या है?
एजेंट को उपयोगकर्ता संदेशों के एआई विश्लेषण के आधार पर बातचीत सत्रों में उपयोगकर्ता संतुष्टि के स्तर को समझने के लिए भावना विश्लेषण का उपयोग करें। आप सत्र की समग्र भावना (सकारात्मक, नकारात्मक या तटस्थ) को समझ सकते हैं, कारणों की जांच कर सकते हैं और इसे संबोधित करने के उपाय कर सकते हैं।
संवादी सत्र में भावना को परिभाषित करने के लिए किस डेटा का उपयोग किया जाता है?
Copilot Studio संवादी सत्रों के एक नमूना सेट के लिए एजेंट को उपयोगकर्ता संदेशों के आधार पर भावना विश्लेषण की गणना करता है।
सेंटीमेंट एनालिटिक्स उस जानकारी का उपयोग यह मूल्यांकन करने के लिए करता है कि सत्र के दौरान उपयोगकर्ता की संतुष्टि सकारात्मक, नकारात्मक या तटस्थ है या नहीं। उदाहरण के लिए, एक उपयोगकर्ता शब्दों और आवाज के लहजे का उपयोग कर सकता है जो एजेंट के साथ बातचीत के आधार पर निराशा या असंतोष का संकेत देता है। इस मामले में, सत्र को नकारात्मक भावना के रूप में वर्गीकृत किया गया है।
भावना विश्लेषण की सीमाएँ क्या हैं, और उपयोगकर्ता इन सीमाओं को कैसे कम कर सकते हैं?
सेंटिमेंट एनालिटिक्स की गणना सभी वार्तालाप सत्रों का उपयोग करके नहीं की जाती है. इसके बजाय, विश्लेषण उपयोगकर्ता-एजेंट सत्रों के एक नमूने को मापती है। दैनिक सफल जनरेटिव उत्तरों की न्यूनतम संख्या से नीचे के एजेंट भावना स्कोर प्राप्त नहीं कर सकते हैं।
भावना विश्लेषण वर्तमान में जनरेटिव उत्तरों पर निर्भर है और एजेंट के लिए भावना स्कोर की गणना करने के लिए न्यूनतम दैनिक सफल उत्तरों की आवश्यकता होती है।
किसी सत्र के लिए भावना की गणना करने के लिए, कम से कम दो उपयोगकर्ता संदेश होने चाहिए। साथ ही, वर्तमान तकनीकी बाधाओं के कारण, भावना विश्लेषण कुल 26 संदेशों (उपयोगकर्ता और एजेंट संदेशों सहित) से अधिक सत्रों पर नहीं किया जाता है
भावना विश्लेषण उन विशिष्ट उपयोगकर्ता संदेशों का विवरण प्रदान नहीं करता है जिनके कारण भावना स्कोर हुआ।
जिम्मेदार AI के लिए Copilot Studio के भीतर भावना विश्लेषण के लिए क्या सुरक्षा है?
एजेंट के उपयोगकर्ता विश्लेषण परिणाम नहीं देख सकते; ये केवल एजेंट निर्माता और व्यवस्थापकों के लिए उपलब्ध हैं।
आप केवल सभी सत्रों में भावना के टूटने को देखने के लिए भावना विश्लेषण का उपयोग कर सकते हैं।
हमने अच्छा प्रदर्शन सुनिश्चित करने के लिए विकास के दौरान भावना विश्लेषण का पूरी तरह से परीक्षण किया। हालांकि, दुर्लभ घटनाओं पर, भावना आकलन गलत हो सकता है।
उपयोगकर्ता प्रश्नों के विषय
थीम का मकसद क्या है?
यह सुविधा स्वचालित रूप से उपयोगकर्ता क्वेरी के बड़े सेट का विश्लेषण करती है और उन्हें थीम नामक उच्च-स्तरीय विषयों में समूहित करती है. प्रत्येक विषय एक एकल उच्च-स्तरीय विषय का प्रतिनिधित्व करता है जिसके बारे में उपयोगकर्ताओं ने पूछा था। थीम उपयोगकर्ता सामग्री का एक अपर्यवेक्षित, डेटा-संचालित दृश्य प्रदान करती हैं। यह दृश्य टीमों को यह समझने में मदद करता है कि उपयोगकर्ताओं को हजारों प्रश्नों की समीक्षा करने के मैन्युअल चरण के बिना सबसे अधिक किस चीज़ की परवाह है।
क्लस्टर बनाने के लिए किस डेटा का उपयोग किया जाता है?
थीम्स सुविधा उपयोगकर्ता क्वेरी का उपयोग करती है जो जनरेटिव उत्तरों को ट्रिगर करती हैं। थीम्स नए सुझाए गए विषयों को उत्पन्न करने के लिए पिछले सात दिनों के सभी प्रश्नों का विश्लेषण करता है।
विषय-वस्तु समूह प्रश्नों के लिए शब्दार्थ समानता का उपयोग करती है। फिर प्रत्येक क्लस्टर के लिए शीर्षक और विवरण उत्पन्न करने के लिए एक भाषा मॉडल का उपयोग किया जाता है। क्लस्टरिंग गुणवत्ता में सुधार के लिए निर्माताओं की प्रतिक्रिया (जैसे सकारात्मक/नकारात्मक) भी एकत्र की जाती है।
थीम्स के लिए क्लस्टरिंग की सीमाएँ क्या हैं, और उपयोगकर्ता इन सीमाओं को कैसे कम कर सकते हैं?
विषयों में सफल क्लस्टरिंग क्वेरी वॉल्यूम पर निर्भर करता है। यदि पर्याप्त प्रश्न नहीं हैं या यदि प्रश्न एक दूसरे से बहुत असंबंधित हैं, तो Copilot Studio प्रश्नों को उन विषयों में क्लस्टर कर सकता है जो अत्यधिक व्यापक या अत्यधिक संकीर्ण हैं।
थीम कभी-कभी समान विषयों को विभाजित कर सकती हैं या असंबंधित विषयों को मर्ज कर सकती हैं।
क्वेरीज़ में भाषा शिफ्ट करने से समय के साथ क्लस्टर की स्थिरता प्रभावित हो सकती है।
आप नियमित रूप से थीम की समीक्षा कर सकते हैं और नामकरण गुणवत्ता में सुधार के लिए प्रतिक्रिया प्रदान कर सकते हैं।
जिम्मेदार AI के संदर्भ में Copilot Studio के भीतर थीम्स के लिए क्या सुरक्षा है?
थीम केवल निर्माताओं और व्यवस्थापकों को दिखाई देती हैं। हानिकारक या अनुचित आउटपुट के जोखिम को कम करने के लिए नाम और विवरण उत्पन्न करते समय सामग्री मॉडरेशन लागू किया जाता है।
कस्टम मेट्रिक्स एनालिटिक्स
कस्टम मेट्रिक्स का इच्छित उपयोग क्या है?
निर्माता यह समझने के लिए कस्टम मेट्रिक्स एनालिटिक्स का उपयोग करते हैं कि उनके संवादी एजेंट व्यावसायिक परिणामों को कितना प्रभावित करते हैं। ये मेट्रिक्स बचत विश्लेषण के पूरक हैं। कस्टम मीट्रिक के उदाहरणों में रिज़ॉल्यूशन दर, ग्राहक आशय वर्गीकरण और अन्य डोमेन-विशिष्ट परिणाम शामिल हैं।
कस्टम मीट्रिक दिखा सकते हैं कि एजेंट इच्छित लक्ष्यों से कहां चूक जाते हैं. निर्माता परिभाषित कर सकते हैं कि क्या मापना है, वास्तविक सत्र डेटा के खिलाफ मेट्रिक्स का परीक्षण करना है और परिणामों के आधार पर परिभाषाओं को परिष्कृत करना है।
कस्टम मेट्रिक्स की गणना करने के लिए किस डेटा का उपयोग किया जाता है?
कस्टम मीट्रिक की गणना पिछले एजेंट सत्रों के नमूने का उपयोग करके की जाती है. गणना एक सत्र के दौरान आदान-प्रदान किए गए संवादी संदेशों का उपयोग करती है।
एआई मॉडल आपकी मीट्रिक परिभाषा के आधार पर सत्र डेटा को वर्गीकृत करता है। एजेंट चयनित समय अवधि के लिए समग्र मीट्रिक प्रदर्शन दिखाने के लिए नमूने में परिणामों को एकत्रित करता है।
कस्टम मेट्रिक्स की सीमाएँ क्या हैं और उपयोगकर्ता सीमाओं के प्रभाव को कैसे कम कर सकते हैं?
कस्टम मीट्रिक की गणना सभी एजेंट सत्रों का उपयोग करके नहीं की जाती है. इसके बजाय, वे चयनित समय अवधि से सत्रों का एक नमूना मापते हैं। क्योंकि परिणाम एक नमूने पर आधारित होते हैं, इसलिए उन्हें सटीक आंकड़ों के बजाय दिशात्मक संकेतक के रूप में माना जाना चाहिए।
आपको यह विचार करना चाहिए कि मीट्रिक गणना मेट्रिक्स की व्याख्या करते समय संदेशों के प्रतिलेख पर आधारित है। उन व्यवहारों के बारे में निष्कर्ष निकालने से बचें जो मुख्य रूप से बाहरी संदेशों में होते हैं, जैसे कि विषय और उपकरण।
एआई मॉडल सत्रों को गलत तरीके से वर्गीकृत कर सकता है। कुल परिणाम आम तौर पर सटीक होते हैं। किसी निर्धारित श्रेणी से मेल नहीं खाने वाले सत्रों को फ़ॉलबैक (अन्य) श्रेणी में रखा गया है. यदि परीक्षण के परिणाम अपेक्षित परिणामों से मेल नहीं खाते हैं, तो आप मीट्रिक विवरण और श्रेणी परिभाषाओं को अपडेट कर सकते हैं.
यदि मीट्रिक को परिभाषित करने के बाद किसी एजेंट के निर्देश या कॉन्फ़िगरेशन में महत्वपूर्ण रूप से बदलाव किया जाता है, तो मीट्रिक अब एजेंट के अद्यतन व्यवहार को सटीक रूप से प्रतिबिंबित नहीं कर सकता है। एजेंट में महत्वपूर्ण परिवर्तन करने के बाद आपको उनके कस्टम मेट्रिक्स की समीक्षा करनी चाहिए।
जिम्मेदार AI के लिए Copilot Studio के भीतर कस्टम मेट्रिक्स के लिए क्या सुरक्षा है?
कस्टम मीट्रिक परिणाम केवल एजेंट निर्माताओं और व्यवस्थापकों के लिए उपलब्ध हैं. एजेंट के उपयोगकर्ताओं के पास एनालिटिक्स परिणामों तक पहुंच नहीं होती है।
सहेजने से पहले सभी कस्टम मेट्रिक्स की समीक्षा करें और उन्हें स्वीकृत करें। मीट्रिक परिभाषा के दौरान, नमूना सत्र डेटा के विरुद्ध मीट्रिक का परीक्षण करें और व्यक्तिगत परिणामों और मॉडल तर्क की समीक्षा करें. अगर नतीजे उम्मीदों पर खरे नहीं उतरते हैं, तो आप मेट्रिक को अपडेट या छोड़ सकते हैं. आपकी स्पष्ट पुष्टि के बिना मीट्रिक लागू नहीं किए जाते हैं.
सत्रों को वर्गीकृत करने के लिए उपयोग किया जाने वाला एआई-जनरेटेड प्रॉम्प्ट आपको यूआई में दिखाई देता है, इसलिए आप समझ सकते हैं कि मॉडल आपकी मीट्रिक परिभाषा की व्याख्या कैसे करता है। आप किसी भी समय कस्टम मीट्रिक में बदलाव कर सकते हैं या उन्हें हटा सकते हैं.
दुर्लभ अवसरों पर, व्यक्तिगत सत्र वर्गीकरण गलत हो सकते हैं। परिणामों की व्याख्या व्यक्तिगत सत्र स्तर के बजाय समग्र रूप से की जानी चाहिए।