अपने एजेंट का मूल्यांकन करने के लिए एक परीक्षण सेट बनाएं या संशोधित करें

[यह आलेख रिलीज़-पूर्व दस्तावेज़ है और परिवर्तन के अधीन है.]

एक परीक्षण सेट में 100 परीक्षण मामलों तक का एक समूह होता है। जब आप एक एजेंट मूल्यांकन चलाते हैं, तो आप एक परीक्षण सेट का चयन करते हैं और Copilot Studio आपके एजेंट के खिलाफ उस सेट में प्रत्येक परीक्षण मामले को चलाता है।

आप मैन्युअल रूप से परीक्षण सेट के भीतर परीक्षण मामले बना सकते हैं, स्प्रेडशीट का उपयोग करके उन्हें आयात कर सकते हैं, या अपने एजेंट के डिज़ाइन और संसाधनों के आधार पर संदेश उत्पन्न करने के लिए AI का उपयोग कर सकते हैं। फिर आप चुन सकते हैं कि आप एक परीक्षण सेट के भीतर प्रत्येक परीक्षण मामले के लिए अपने एजेंट की प्रतिक्रियाओं की गुणवत्ता को कैसे मापना चाहते हैं।

एजेंट मूल्यांकन कैसे कार्य करता है के बारे में अधिक जानकारी के लिए, एजेंट मूल्यांकन के बारे में देखें।

किसी मौजूदा परीक्षण सेट को संपादित करने का तरीका जानने के लिए, किसी परीक्षण सेट का विवरण परिवर्तित करना देखें.

महत्वपूर्ण

परीक्षण के परिणाम Copilot Studio में 89 दिनों के लिए उपलब्ध हैं। अपने परीक्षण परिणामों को लंबी अवधि के लिए सहेजने के लिए, परिणामों को CSV फ़ाइल में निर्यात करें ।

एक नया परीक्षण सेट बनाएं

1. अपने एजेंट के मूल्यांकन पृष्ठ पर जाएं।

स्क्रीनशॉट दिखाता है कि स्क्रीन आकार के कारण टैब चयन संपीड़ित होने पर मूल्यांकन टैब का चयन कैसे करें।

1. नया मूल्यांकन चुनें.

   मूल्यांकन पृष्ठ पर नया परीक्षण बनाएं बटन दिखाने वाला स्क्रीनशॉट।

2. नया मूल्यांकन पृष्ठ में, वह विधि चुनें जिसका उपयोग आप अपना परीक्षण सेट बनाने के लिए करना चाहते हैं. एक परीक्षण सेट में 100 परीक्षण मामले हो सकते हैं।

   • त्वरित प्रश्न सेट Copilot स्टूडियो को आपके एजेंट के विवरण, निर्देश और क्षमताओं के आधार पर स्वचालित रूप से परीक्षण मामले बनाने में सक्षम करता है। यह विकल्प छोटे, तेज़ मूल्यांकन चलाने या एक बड़ा परीक्षण सेट बनाने के लिए शुरू करने के लिए 10 प्रश्न उत्पन्न करता है।
   • पूर्ण प्रश्न सेट से Copilot Studio का उपयोग करके ज्ञान स्रोत या विषय का उपयोग करते हुए परीक्षण मामले उत्पन्न करें और उत्पन्न प्रश्नों की संख्या चुनें।
   • अपने परीक्षण चैट में आपके द्वारा प्रदान किए गए प्रश्नों के साथ परीक्षण सेट को स्वचालित रूप से पॉप्युलेट करने के लिए अपने परीक्षण चैट वार्तालाप का उपयोग करें। यह विधि नवीनतम परीक्षण चैट के प्रश्नों का उपयोग करती है। आप मूल्यांकन बटन का उपयोग करके परीक्षण चैट से मूल्यांकन भी शुरू कर सकते हैं। परीक्षण चैट में नया परीक्षण बनाएं बटन दिखाने वाला स्क्रीनशॉट।
   • अपनी फ़ाइल को निर्दिष्ट क्षेत्र में खींचकर, फ़ाइल अपलोड करने के लिए ब्राउज़ करें का चयन करके, या अन्य अपलोड विकल्पों में से एक का चयन करके किसी फ़ाइल से परीक्षण मामले आयात करें।
   • या, मैन्युअल रूप से एक परीक्षण सेट बनाने के लिए स्वयं कुछ प्रश्न लिखें। परीक्षण मामलों को जोड़ने और संपादित करने के लिए परीक्षण सेट को संपादित करने के लिए चरणों का पालन करें।
   • अपने एजेंट के विश्लेषण से थीम के आधार पर उत्पादन डेटा का उपयोग करें। स्क्रीनशॉट एक थीम के लिए थीम सूची में किसी थीम के लिए मूल्यांकन विकल्प दिखा रहा है।

3. परीक्षण मामलों का विवरण संपादित करें। सामान्य गुणवत्ता को छोड़कर विधियों का उपयोग करने वाले सभी परीक्षण मामलों के लिए अपेक्षित प्रतिक्रियाओं की आवश्यकता होती है। संपादन के बारे में अधिक जानकारी के लिए, परीक्षण सेट संशोधित करें देखें.

4. नाम के अंतर्गत, अपने परीक्षण सेट के लिए एक नाम दर्ज करें.

5. उन परीक्षण विधियों को बदलें या जोड़ें जिनका आप उपयोग करना चाहते हैं:

   • एक नई विधि जोड़ें:
     1. परीक्षण विधि जोड़ें का चयन करें.
     2. उन सभी विधियों का चयन करें जिनके साथ आप परीक्षण करना चाहते हैं, फिर ठीक चुनें।
     3. कुछ तरीकों के लिए पास स्कोर की आवश्यकता होती है। पास स्कोर यह निर्धारित करता है कि पास या विफलता में कौन सा स्कोर परिणाम होता है। स्कोर सेट करें, फिर ठीक चुनें।
     4. कुछ विधियों के लिए आपके प्रत्येक परीक्षण मामले के लिए अपेक्षित प्रतिक्रियाएं या कीवर्ड जोड़ने की आवश्यकता होती है। अधिक जानकारी के लिए, मूल्यांकन विधियाँ चुनें देखें
   • संपादित करने या हटाने के लिए किसी मौजूदा परीक्षण विधि का चयन करें.

   जाँचने का तरीका	माप	स्कोरिंग	कॉन्फ़िगरेशन
   सामान्य गुणवत्ता	विशिष्ट गुणों के आधार पर टेस्ट केस का उत्तर कितना अच्छा है	100% में से प्राप्त अंक	कोई नहीं
   अर्थ की तुलना करें	परीक्षण मामले के उत्तर का अर्थ अपेक्षित उत्तर से कितनी अच्छी तरह मेल खाता है	100% में से प्राप्त अंक	उत्तीर्ण स्कोर, अपेक्षित उत्तर
   उपकरण का उपयोग	क्या परीक्षण मामले में अपेक्षित संसाधनों का उपयोग किया गया है	पास/असफल	अपेक्षित क्षमताएं
   कीवर्ड मिलान	क्या परीक्षण मामले में सभी या किसी भी अपेक्षित कीवर्ड या वाक्यांश का उपयोग किया गया है	पास/असफल	अपेक्षित कीवर्ड या वाक्यांश
   पाठ समानता	परीक्षण मामले के उत्तर का पाठ अपेक्षित उत्तर से कितनी अच्छी तरह मेल खाता है	100% में से प्राप्त अंक	उत्तीर्ण स्कोर, अपेक्षित उत्तर
   सटीक मिलान	क्या परीक्षण मामले का उत्तर अपेक्षित उत्तर से बिल्कुल मेल खाता है	पास/असफल	अपेक्षित उत्तर
   रिवाज़	वर्णित मानदंडों के अनुसार उत्तरों को लेबल करता है	पास/असफल	परीक्षण विवरण और लेबल विवरण

6. उपयोगकर्ता प्रोफ़ाइल का चयन करें, फिर उस खाते का चयन करें या जोड़ें जिसे आप इस परीक्षण सेट के लिए उपयोग करना चाहते हैं, या प्रमाणीकरण के बिना जारी रखें. मूल्यांकन परीक्षण के दौरान ज्ञान स्रोतों और उपकरणों से कनेक्ट करने के लिए इस खाते का उपयोग करता है। उपयोगकर्ता प्रोफ़ाइल जोड़ने और प्रबंधित करने के बारे में जानकारी के लिए, उपयोगकर्ता प्रोफ़ाइल और कनेक्शन प्रबंधित करना देखें.

   नोट

   स्वचालित परीक्षण चयनित परीक्षण खाते के प्रमाणीकरण का उपयोग करता है। यदि आपके एजेंट के पास ज्ञान स्रोत या कनेक्शन हैं जिनके लिए विशिष्ट प्रमाणीकरण की आवश्यकता होती है, तो अपने परीक्षण के लिए उपयुक्त खाता चुनें। जब Copilot Studio परीक्षण मामले उत्पन्न करता है, तो यह आपके एजेंट के ज्ञान स्रोतों और उपकरणों तक पहुंचने के लिए कनेक्टेड खाते के प्रमाणीकरण क्रेडेंशियल्स का उपयोग करता है। जेनरेट किए गए परीक्षण मामलों या परिणामों में संवेदनशील जानकारी शामिल हो सकती है जिस तक कनेक्टेड खाते की पहुंच है, और यह जानकारी उन सभी निर्माताओं को दिखाई देती है जो परीक्षण सेट तक पहुंच सकते हैं।

7. परीक्षण मामलों को चलाए बिना परीक्षण सेट को अपडेट करने के लिए सहेजें का चयन करें या परीक्षण सेट को तुरंत चलाने के लिए मूल्यांकन करें ।

टेस्ट केस जनरेशन सीमा

यदि एक या अधिक प्रश्न आपके एजेंट की सामग्री मॉडरेशन सेटिंग्स का उल्लंघन करते हैं, तो परीक्षण मामला निर्माण विफल हो जाता है. संभावित कारणों में शामिल हैं:

• एजेंट के निर्देश या विषय मॉडल को ऐसी सामग्री उत्पन्न करने के लिए प्रेरित करते हैं जिसे सिस्टम फ़्लैग करता है।
• कनेक्टेड नॉलेज स्रोत में संवेदनशील या प्रतिबंधित सामग्री शामिल होती है.
• एजेंट की सामग्री मॉडरेशन सेटिंग्स अत्यधिक सख्त हैं।

समस्या को हल करने के लिए, विभिन्न क्रियाओं का प्रयास करें, जैसे ज्ञान स्रोतों को समायोजित करना, निर्देशों को अद्यतन करना या मॉडरेशन सेटिंग्स को संशोधित करना।

एक परीक्षण सेट में 100 परीक्षण मामले हो सकते हैं।

ज्ञान या विषयों से एक परीक्षण सेट उत्पन्न करें

आप अपने एजेंट के पास पहले से मौजूद जानकारी और संवादात्मक स्रोतों का उपयोग करके प्रश्न उत्पन्न करके अपने एजेंट का परीक्षण कर सकते हैं। यह परीक्षण विधि यह परीक्षण करने के लिए अच्छी है कि आपका एजेंट ज्ञान स्रोत या उसके पास पहले से मौजूद विषयों का उपयोग कैसे करता है, लेकिन यह जानकारी अंतराल के परीक्षण के लिए अच्छा नहीं है।

आप इन ज्ञान स्रोतों का उपयोग करके परीक्षण मामले उत्पन्न कर सकते हैं:

• पाठ

• Microsoft Word

• Microsoft Excel

आप परीक्षण प्रश्न उत्पन्न करने के लिए 5 एमबी तक की फ़ाइलों का उपयोग कर सकते हैं।

एक परीक्षण सेट उत्पन्न करने के लिए:

1. नए मूल्यांकन में, पूर्ण प्रश्न सेट का चयन करें.

2. ज्ञानया विषयों में से किसी एक का चयन करें.

   • ज्ञान उन एजेंटों के लिए सबसे अच्छा काम करता है जो जनरेटिव ऑर्केस्ट्रेशन का उपयोग करते हैं। यह विधि आपके एजेंट के ज्ञान स्रोतों में से किसी एक का उपयोग करके प्रश्न बनाती है।
   • विषय उन एजेंटों के लिए सबसे अच्छा काम करता है जो क्लासिक ऑर्केस्ट्रेशन का उपयोग करते हैं। यह विधि आपके एजेंट के विषयों का उपयोग करके प्रश्न बनाती है।

3. ज्ञान के लिए, उस ज्ञान स्रोत का चयन करें जिसका उपयोग आप प्रश्न उत्पन्न करने के लिए करना चाहते हैं.

परीक्षण केस जनरेशन में शामिल करने के लिए ज्ञान स्रोतों के चयन को दिखाने वाला स्क्रीनशॉट।

1. ज्ञान और विषयों के लिए, उत्पन्न करने के लिए प्रश्नों की संख्या चुनने के लिए स्लाइडर का चयन करें और खींचें।

स्क्रीनशॉट स्लाइडर दिखा रहा है कि यह चुनने के लिए कि कितने प्रश्न उत्पन्न करने हैं।

1. उत्पन्न करें का चयन करें.

2. नाम के अंतर्गत, अपने परीक्षण सेट के लिए एक नाम दर्ज करें.

3. 1. उन परीक्षण विधियों को बदलें या जोड़ें जिनका आप उपयोग करना चाहते हैं:
   • एक नई विधि जोड़ें:
     1. परीक्षण विधि जोड़ें का चयन करें.
     2. उन सभी विधियों का चयन करें जिनके साथ आप परीक्षण करना चाहते हैं, फिर ठीक चुनें। आप कई तरीके जोड़ सकते हैं।
     3. कुछ विधियों के लिए, एक पास स्कोर सेट करें, फिर ठीक चुनें। पास स्कोर यह निर्धारित करता है कि पास या विफलता में कौन सा स्कोर परिणाम होता है।
     4. कुछ विधियों के लिए आपके प्रत्येक परीक्षण मामले के लिए अपेक्षित प्रतिक्रियाएं या कीवर्ड जोड़ने की आवश्यकता होती है। अधिक जानकारी के लिए, मूल्यांकन विधियाँ चुनें देखें
   • संपादित करने या हटाने के लिए किसी मौजूदा परीक्षण विधि का चयन करें.

4. परीक्षण मामलों का विवरण संपादित करें। सामान्य गुणवत्ता को छोड़कर विधियों का उपयोग करने वाले सभी परीक्षण मामलों के लिए अपेक्षित प्रतिक्रियाओं की आवश्यकता होती है। संपादन के बारे में अधिक जानकारी के लिए, परीक्षण सेट संशोधित करें देखें.

5. परीक्षण मामलों को चलाए बिना परीक्षण सेट को अपडेट करने के लिए सहेजें का चयन करें या परीक्षण सेट को तुरंत चलाने के लिए मूल्यांकन करें ।

आयात करने के लिए एक परीक्षण सेट फ़ाइल बनाएँ

अपने परीक्षण मामलों को सीधे Copilot Studio में बनाने के बजाय, आप अपने सभी परीक्षण मामलों के साथ एक स्प्रेडशीट फ़ाइल बना सकते हैं और अपना परीक्षण सेट बनाने के लिए उन्हें आयात कर सकते हैं। आप प्रत्येक परीक्षण प्रश्न लिख सकते हैं, उस परीक्षण विधि को निर्धारित कर सकते हैं जिसका आप उपयोग करना चाहते हैं, और प्रत्येक प्रश्न के लिए अपेक्षित प्रतिक्रियाएँ बता सकते हैं। जब आप फ़ाइल बनाना समाप्त कर लें, तो इसे .csv या .txt फ़ाइल के रूप में सहेजें और इसे Copilot स्टूडियो में आयात करें।

महत्वपूर्ण

• फ़ाइल में अधिकतम 100 प्रश्न हो सकते हैं।
• प्रत्येक प्रश्न रिक्त स्थान सहित 1,000 वर्णों तक हो सकता है।
• फ़ाइल अल्पविराम से अलग किए गए मानों (CSV) या पाठ स्वरूप में होनी चाहिए.

आयात फ़ाइल बनाने के लिए:

1. कोई स्प्रेडशीट अनुप्रयोग खोलें (उदाहरण के लिए, Microsoft Excel).

2. इस क्रम में, पहली पंक्ति में निम्नलिखित शीर्षक जोड़ें:

   • प्रश्न
   • अपेक्षित प्रतिक्रिया
   • जाँचने का तरीका

3. प्रश्न कॉलम में अपने परीक्षण प्रश्न दर्ज करें। प्रत्येक प्रश्न रिक्त स्थान सहित 1,000 वर्ण या उससे कम हो सकता है।

4. परीक्षण विधि स्तंभ में प्रत्येक प्रश्न के लिए निम्न परीक्षण विधियों में से एक दर्ज करें:

   • सामान्य गुणवत्ता
   • अर्थ की तुलना करें
   • समानता
   • सटीक मिलान
   • कीवर्ड मिलान

5. अपेक्षित प्रतिसाद स्तंभ में प्रत्येक प्रश्न के लिए अपेक्षित प्रतिसाद दर्ज करें. परीक्षण सेट आयात करने के लिए अपेक्षित प्रतिसाद वैकल्पिक हैं. हालाँकि, आपको मैच, समानता चलाने और अर्थ परीक्षण मामलों की तुलना करने के लिए अपेक्षित प्रतिक्रियाओं की आवश्यकता है।

6. फ़ाइल को .csv या .txt फ़ाइल के रूप में सहेजें.

7. एक नया परीक्षण सेट बनाएँ में चरणों का पालन करके फ़ाइल आयात करें।

किसी थीम के आधार पर एक परीक्षण सेट बनाएं

वास्तविक उपयोगकर्ताओं के साथ बातचीत के प्रश्नों के साथ एक परीक्षण सेट बनाएं। यह विधि आपके एजेंट के विश्लेषण में पाए जाने वाले थीम (पूर्वावलोकन) का उपयोग करती है।

थीम उपयोगकर्ता प्रश्नों के पूल से लिए गए प्रश्नों के समूह हैं जो जनरेटिव उत्तरों को ट्रिगर करते हैं। जब आप किसी थीम का उपयोग करके एक परीक्षण सेट बनाते हैं, तो आप उस थीम से संबंधित उपयोगकर्ताओं द्वारा पूछे गए प्रश्नों से परीक्षण मामले उत्पन्न करते हैं।

अपने एजेंट के दायरे के एक क्षेत्र या विषय पर केंद्रित मूल्यांकन करने के लिए इन परीक्षण सेट का उपयोग करें। उदाहरण के लिए, यदि आपके पास ग्राहक सेवा एजेंट है, तो आप समस्या निवारण जैसे अन्य उपयोग के मामलों से अलग बिलिंग और भुगतान प्रश्नों के उत्तर की गुणवत्ता को ट्रैक कर सकते हैं.

नोट

थीम से टेस्ट सेट बनाने से पहले, आपको Analytics में थीम तक पहुंच की आवश्यकता होती है. थीम (पूर्वावलोकन) के लिए आवश्यक शर्तों की समीक्षा करें।

1. अपने एजेंट के Analytics पेज पर, थीम सूची पर जाएं.

2. किसी विषयवस्तु पर होवर करें और फिर मूल्यांकन करें का चयन करें.

   थीम सूची में किसी थीम के लिए मूल्यांकन विकल्प दिखाने वाला स्क्रीनशॉट।

   आप अधिक थीम देखने के लिए सभी देखें का चयन भी कर सकते हैं, फिर मूल्यांकन करें का चयन कर सकते हैं।

3. बनाएँ और खोलें चुनें.

4. परीक्षण सेट और मामलों का विवरण संपादित करें। सामान्य गुणवत्ता को छोड़कर विधियों का उपयोग करने वाले सभी परीक्षण मामलों के लिए अपेक्षित प्रतिक्रियाओं की आवश्यकता होती है। संपादन के बारे में अधिक जानकारी के लिए, परीक्षण सेट संशोधित करें देखें.

5. परीक्षण मामलों को चलाए बिना परीक्षण सेट को अपडेट करने के लिए सहेजें का चयन करें या परीक्षण सेट को तुरंत चलाने के लिए मूल्यांकन करें ।