नोट
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप साइन इन करने या निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
इस पेज तक पहुँच के लिए प्रमाणन की आवश्यकता होती है. आप निर्देशिकाओं को बदलने का प्रयास कर सकते हैं.
प्रत्येक प्रशिक्षण के बाद, AI Builder नए मॉडल की गुणवत्ता और फिट का मूल्यांकन करने के लिए परीक्षण डेटा सेट का उपयोग करता है। आपके मॉडल का सारांश पृष्ठ आपके मॉडल प्रशिक्षण परिणाम को दर्शाता है। ये परिणाम ए, बी, सी, या डी के प्रदर्शन ग्रेड के रूप में व्यक्त किए जाते हैं।
प्रदर्शन का आकलन
प्रदर्शन ग्रेड
प्रत्येक प्रशिक्षण के बाद, AI Builder आपके मॉडल की सटीकता का मूल्यांकन करने में आपकी सहायता के लिए एक ग्रेड दिखाता है। आपका मॉडल प्रकाशन के लिए तैयार है या नहीं, इसका निर्णय आपको अपनी विशिष्ट आवश्यकताओं और परिस्थितियों के आधार पर करना होगा। AI Builder निर्णय लेने में आपकी सहायता के लिए निम्नलिखित प्रदर्शन ग्रेड प्रदान करता है।
प्रत्येक ग्रेड की व्याख्या कैसे करें
| ग्रेड | मार्गदर्शन |
|---|---|
| A | मॉडल में सुधार करना अभी भी संभव हो सकता है, लेकिन यह सबसे अच्छा ग्रेड है जिसे आप प्राप्त कर सकते हैं. |
| B | कई मामलों में मॉडल सही है. क्या इसमें सुधार किया जा सकता है? यह आपकी विशिष्ट परिस्थितियों, डेटा और आवश्यकताओं पर निर्भर करता है। |
| C | मॉडल यादृच्छिक अनुमान से थोड़ा बेहतर प्रदर्शन कर रहा है। यह कुछ अनुप्रयोगों के लिए स्वीकार्य हो सकता है, लेकिन ज्यादातर मामलों में, यह एक ऐसा मॉडल है जिसमें आप बदलाव और सुधार करना जारी रखेंगे। |
| D | कुछ गलत है। आपका मॉडल या तो हमारे यादृच्छिक अनुमान से खराब प्रदर्शन कर रहा है (अंडरफिट मॉडल)। या, यह इतना अच्छा प्रदर्शन कर रहा है (100% पर या उसके करीब) कि आपको संभवतः एक डेटा कॉलम मिल गया है जो सीधे परिणाम (ओवरफिट मॉडल) से संबंधित है। |
सटीकता सीमा आपके डेटा के आधार पर भिन्न होती है
यदि आप 2 या अधिक परिणामों की भविष्यवाणी कर रहे हैं, तो उपरोक्त ग्रेड के अनुरूप वास्तविक सटीकता दरें आपके ऐतिहासिक डेटा के डेटा वितरण के आधार पर भिन्न हो सकती हैं। अंतर इस तथ्य के कारण है कि जब आप उस आधार रेखा को आगे बढ़ाते हैं तो आपकी आधार रेखा दर के सापेक्ष सुधार बदल जाता है।
मान लीजिए कि आपका मॉडल भविष्यवाणी करता है कि कोई शिपमेंट समय पर पहुंचेगा या नहीं। यदि आपकी ऐतिहासिक ऑन-टाइम दर 80 प्रतिशत है, तो 92 का प्रदर्शन स्कोर बी ग्रेड के अनुरूप होगा। लेकिन, यदि आपकी ऐतिहासिक ऑन-टाइम दर केवल 50 प्रतिशत है, तो 92 ए ग्रेड के अनुरूप होगा। ऐसा इसलिए है क्योंकि 80 प्रतिशत से अधिक की तुलना में 92 50 प्रतिशत से कहीं बेहतर सुधार है, और आप एक यादृच्छिक अनुमान से उन प्रतिशत के करीब होने की उम्मीद करेंगे।
बाइनरी ऐतिहासिक डेटा उदाहरण
यह उदाहरण प्रत्येक ग्रेड के लिए सटीकता सीमा दिखाता है जब ऐतिहासिक डेटा में बाइनरी पूर्वानुमान के लिए अलग-अलग समय-समय पर दरें शामिल होती हैं।
| ग्रेड | ऐतिहासिक 25% ऑन-टाइम दर के लिए सटीकता सीमा | ऐतिहासिक 50% ऑन-टाइम दर के लिए सटीकता सीमा | ऐतिहासिक 80% ऑन-टाइम दर के लिए सटीकता सीमा | ऐतिहासिक 95% ऑन-टाइम दर के लिए सटीकता सीमा |
|---|---|---|---|---|
| A | 92.5 – <99.3% | 90 - 98% | 93 – <99% | 98.1 – <99.8% |
| B | 81.3 – <92.5% | 75 – <90% | 84 – <93% | 95.3 – <98.1% |
| C | 66.3 – <81.3% | 55 – <75% | 71 – <84% | 91.5 – <95.3% |
| D | <66.3% या ≥99.3% | <55% या ≥98% | <71% या ≥99% | <91.5% या ≥99.8% |
एकाधिक परिणाम ऐतिहासिक डेटा उदाहरण
जब आप 2 से अधिक परिणामों की भविष्यवाणी कर रहे हों तो प्रत्येक ग्रेड के अनुरूप सटीकता दरें भी भिन्न हो सकती हैं। मान लें कि आपका मॉडल डिलीवरी के लिए दो से अधिक विकल्पों की भविष्यवाणी करता है: जल्दी, समय पर या देर से।
जब आपकी ऐतिहासिक ऑन-टाइम दरें बदलती हैं तो प्रत्येक ग्रेड के लिए सटीकता सीमाएँ बदल जाती हैं।
| ग्रेड | प्रारंभिक (33.3%) | प्रारंभिक (20%) | प्रारंभिक (10%) |
|---|---|---|---|
| समय पर (33.3%) | समय पर (40%) | समय पर (80%) | |
| देर से (33.4%) | देर से (40%) | देर से (10%) | |
| A | 86.7 – <98.7% | 87.2 – <98.7% | 93.2 – <99.3% |
| B | 66.7 – <86.7% | 68.0 – <87.2% | 83.0 – <93.2% |
| C | 40.0 – <66.7% | 42.4 – <68.0% | 69.4 – <83.0% |
| D | 33.3 – <40.0% | 36.0 – <42.4% | 66.0 – <69.4% |
संख्यात्मक पूर्वानुमान उदाहरण
संख्यात्मक पूर्वानुमान के लिए, AI Builder आपके मॉडल सटीकता ग्रेड की गणना करने के लिए आर-वर्ग सांख्यिकीय माप का उपयोग करता है। निम्न तालिका प्रत्येक ग्रेड के अनुरूप ग्रेड दिखाती है:
| ग्रेड | आर चुकता |
|---|---|
| A | 85% - <99% |
| B | 60% - <85% |
| C | 10% - <60% |
| D | ≥99% या <10% |
प्रदर्शन विवरण
प्रशिक्षण विवरण के लिए, मॉडल के ग्रेड बॉक्स पर विवरण देखें चुनें। प्रदर्शन टैब पर, निम्नलिखित जानकारी उपलब्ध है:
नोट
इस क्षेत्र के लिए नियोजित अतिरिक्त सुविधाओं के बारे में जानकारी के लिए, रिलीज़ योजनाएं देखें।
- सटीक स्कोर
- आर चुकता
सटीक स्कोर
AI Builder परीक्षण डेटासेट के पूर्वानुमान परिणाम के आधार पर आपके मॉडल के लिए सटीकता स्कोर की गणना करता है। प्रशिक्षण से पहले, AI Builder आपके डेटासेट को अलग-अलग प्रशिक्षण डेटा और परीक्षण डेटा सेट में अलग करता है। और प्रशिक्षण के बाद, AI Builder अपने AI मॉडल को परीक्षण डेटासेट पर लागू करता है, और फिर आपके सटीकता स्कोर की गणना करता है। उदाहरण के लिए: यदि आपके परीक्षण डेटासेट में 200 पंक्तियाँ हैं, और AI Builder उनमें से 192 की सही भविष्यवाणी करता है, तो AI Builder 96 प्रतिशत का सटीकता स्कोर दिखाता है।
अधिक जानकारी के लिए, अपने मॉडल का मूल्यांकन करें देखें।
आर-वर्ग
संख्यात्मक पूर्वानुमान के लिए, AI Builder प्रत्येक प्रशिक्षण के बाद एक आर-वर्ग स्कोर की गणना करता है। यह स्कोर आपके मॉडल की 'फिटनेस की अच्छाई' को मापता है, और इसका उपयोग आपके मॉडल के प्रदर्शन ग्रेड को निर्धारित करने के लिए किया जाता है।
मान लीजिए कि आप किसी ऑर्डर को पूरा करने, शिप करने और वितरित करने के दिनों की संख्या का अनुमान लगा रहे हैं। मॉडल संख्याओं के एक सेट की भविष्यवाणी करता है। आर-वर्ग मान आपके प्रशिक्षण डेटा में अनुमानित मूल्यों और वास्तविक मूल्यों के बीच की दूरी पर आधारित है। इसे 0 - 100% के बीच एक संख्या के रूप में व्यक्त किया जाता है, उच्च मान यह दर्शाता है कि अनुमानित मूल्य वास्तविक मूल्य के करीब है। आमतौर पर, उच्च स्कोर का मतलब है कि मॉडल बेहतर प्रदर्शन करता है। हालाँकि, याद रखें कि पूर्ण या लगभग पूर्ण स्कोर (ओवरफिट मॉडल) आमतौर पर आपके प्रशिक्षण डेटा में किसी समस्या का संकेत होते हैं।
सारांश टैब पर, निम्नलिखित प्रदर्शन जानकारी उपलब्ध है:
- प्रशिक्षण तिथि
- डेटा स्रोत
- ऐतिहासिक परिणाम
- तालिका सूची का उपयोग पूर्वानुमान करने के लिए किया जाता है।
अपने पूर्वानुमान मॉडल के प्रदर्शन में सुधार करें
अपने मॉडल को प्रशिक्षित और मूल्यांकन करने के बाद, उसके प्रदर्शन को बेहतर बनाने के लिए अपने मॉडल में बदलाव करने का समय आ गया है। यहां कुछ चीज़ें दी गई हैं जिन्हें आप अपने मॉडल की पूर्वानुमानित शक्ति को बेहतर बनाने में मदद करने के लिए आज़मा सकते हैं।
त्रुटियों और मुद्दों की समीक्षा करें
- यदि प्रशिक्षण समाप्त करने के बाद कोई त्रुटि हो, तो उन्हें ठीक करें और मॉडल को फिर से प्रशिक्षित करें।
- यदि कोई त्रुटि नहीं है, तो प्रशिक्षण विवरण जांचें। यथासंभव अधिक से अधिक समस्याओं का समाधान करने का प्रयास करें और फिर मॉडल को पुनः प्रशिक्षित करें।
शीर्ष प्रभावशाली व्यक्तियों की समीक्षा करें
प्रत्येक प्रशिक्षण के बाद, मॉडल विवरण पृष्ठ पर शीर्ष प्रभावशाली लोगों की एक सूची दिखाई देती है। प्रशिक्षण में उपयोग किए गए प्रत्येक कॉलम में प्रशिक्षण पर इसके प्रभाव को दर्शाने के लिए एक अंक होता है। ये स्कोर मिलकर 100 प्रतिशत के बराबर होते हैं।
इससे यह दिखाने में मदद मिलती है कि आपका मॉडल आपकी अपेक्षा के अनुरूप प्रशिक्षित है या नहीं। उदाहरण के लिए, यदि आप ऑनलाइन खरीदारों के इरादे का अनुमान लगाना चाहते हैं और आप उम्र, उत्पाद को सबसे प्रभावशाली कॉलम के रूप में उम्मीद कर रहे हैं, तो आपको इसे मॉडल विवरण पृष्ठ में सबसे प्रभावशाली कॉलम सूची में देखना चाहिए। यदि नहीं, तो यह संकेत दे सकता है कि प्रशिक्षण परिणाम अपेक्षित नहीं है। इस मामले में, आप या तो अप्रासंगिक या भ्रामक कॉलम को अचयनित कर सकते हैं और मॉडल को फिर से प्रशिक्षित कर सकते हैं, या अधिक विवरण देखने के लिए अपने प्रशिक्षण मुद्दों की जांच कर सकते हैं।
अधिक डेटा जोड़ें
प्रशिक्षण डेटा के लिए न्यूनतम आवश्यकता 50 पंक्तियाँ हैं, लेकिन इसका मतलब यह नहीं है कि 50 डेटा पंक्तियाँ एक अत्यधिक पूर्वानुमानित मॉडल को प्रशिक्षित करेंगी। विकल्पों के बीच यथार्थवादी वितरण के साथ, सही ढंग से लेबल की गई 1,000 या अधिक डेटा पंक्तियाँ प्रदान करने का प्रयास करें।
अपने डेटा वितरण की जाँच करें
उदाहरण के लिए, यदि आप हाँ या नहीं के दो विकल्प लेबल का उपयोग कर रहे हैं, और आपकी अधिकांश डेटा पंक्तियाँ इस कॉलम में केवल हां है, आपके मॉडल के लिए इस डेटा से सीखना कठिन है। अपने डेटा में विकल्पों का वितरण करने का प्रयास करें जो मोटे तौर पर उन विकल्पों के वितरण को दर्शाता है जिन्हें आप देखने की उम्मीद कर सकते हैं। उदाहरण के लिए, यदि आप cat_owner और dog_owner के लिए डेटा कॉलम देख रहे हैं, तो कहीं आसपास डेटा वितरण का उपयोग करें 50 प्रतिशत। यदि आप धोखाधड़ी वाले लेनदेन को देख रहे हैं, तो अधिक असंतुलित वितरण का उपयोग करें - शायद 95 प्रतिशत से 5 प्रतिशत। यदि आप नहीं जानते कि क्या अपेक्षा की जाए तो इस प्रकार की जानकारी के लिए उद्योग मानकों को देखें।
और कॉलम जोड़ें
उदाहरण के लिए, आप यह अनुमान लगाना चाहते हैं कि किन ग्राहकों के वापस लौटने और आपके उत्पाद खरीदने की अधिक संभावना है। प्रशिक्षण डेटा को अधिक समृद्ध बनाने के लिए आप अधिक कॉलम जोड़ सकते हैं। उदाहरण के लिए:
- वे उत्पाद का मूल्यांकन कैसे करते हैं?
- वे उत्पाद का कितना उपयोग करते हैं?
- क्या वे मौजूदा ग्राहक हैं?
प्रासंगिक जानकारी के लिए चयनित कॉलमों को संक्षिप्त करें
आपके पास पहले से ही कई डेटा कॉलम के साथ, बहुत सारे सही ढंग से लेबल किए गए प्रशिक्षण डेटा हो सकते हैं। तो फिर मॉडल अभी भी अच्छा प्रदर्शन क्यों नहीं कर पा रहा है? ऐसा हो सकता है कि आप ऐसे स्तंभों का चयन कर रहे हैं जो अवांछित पूर्वाग्रह को जन्म देते हैं। सुनिश्चित करें कि आपके द्वारा चुने गए सभी कॉलम आप जो भविष्यवाणी करना चाहते हैं उसे प्रभावित करने के लिए प्रासंगिक हैं। अप्रासंगिक या भ्रामक स्तंभों का चयन रद्द करें.
डेटा सत्यापित करें
- सुनिश्चित करें कि डेटा कॉलम में गुम मानों की उच्च दर (99 प्रतिशत से अधिक) नहीं है। गुम मानों को डिफ़ॉल्ट डेटा से भरें या मॉडल प्रशिक्षण से डेटा कॉलम हटा दें।
- यदि किसी डेटा कॉलम का पूर्वानुमान परिणाम के साथ उच्च सहसंबंध है, तो मॉडल प्रशिक्षण से डेटा कॉलम हटा दें।