पूर्वानुमानित स्कोरिंग मॉडल की सटीकता और प्रदर्शन देखें

यह जानना कि अनुमानित स्कोरिंग मॉडल कितना सटीक है, आपको यह तय करने में मदद करता है कि मॉडल उपयोग के लिए तैयार है या उच्च सटीकता के लिए इसे ठीक करने की आवश्यकता है। यह आपको अपनी नेतृत्व टीम और विक्रेताओं को बेहतर व्यावसायिक परिणामों के लिए मॉडल अपनाने के लिए राजी करने में भी मदद करता है।

इस आलेख में वर्णित मीट्रिक्स अवसर स्कोरिंग और लीड स्कोरिंग दोनों पर लागू होते हैं।

लाइसेंस और भूमिका आवश्यकताएँ

आवश्यकता का प्रकार	आपको होना आवश्यक है
लाइसेंस	Dynamics 365 Sales प्रीमियम या Dynamics 365 Sales एंटरप्राइज़ अधिक जानकारी: Dynamics 365 Sales मूल्य निर्धारण
सुरक्षा भूमिकाएँ	सिस्टम व्यवस्थापक अधिक जानकारी: बिक्री के लिए पूर्वनिर्धारित सुरक्षा भूमिकाएँ

सटीकता को प्रभावित करने वाले कारक

अनुमानित स्कोरिंग मॉडल इस संभावना की गणना करता है कि किसी अवसर या लीड के परिणामस्वरूप बिक्री होगी। मॉडल की सटीकता निम्नलिखित कारकों पर निर्भर करती है:

• मॉडल के प्रशिक्षण के लिए उपलब्ध डेटा की गुणवत्ता और मात्रा
• आपके द्वारा चयनित व्यवसाय प्रोसेस फ़्लो और फ़िल्टर
• यदि मॉडल प्रति चरण मॉडलिंग का उपयोग करता है, तो आपके द्वारा चयनित चरण और विशेषताएँ

मॉडल को प्रशिक्षण डेटासेट में 80% बंद अवसरों या लीड्स का उपयोग करके प्रशिक्षित किया जाता है। शेष 20% को परीक्षण डाटासेट के रूप में प्रयोग करके इसका सत्यापन किया जाता है, जिसमें नवीनतम रिकॉर्ड शामिल होते हैं। मॉडल की सटीकता की गणना सत्य सकारात्मक, असत्य सकारात्मक आदि जैसे मापदंडों के आधार पर मान्य परीक्षण डेटासेट का उपयोग करके की जाती है।

सटीकता और प्रदर्शन मीट्रिक देखें

1. विक्रय हब ऐप के निचले-बाएँ कोने में क्षेत्र बदलें पर जाएँ और Sales Insights सेटिंग्स चुनें.

2. साइट मानचित्र पर पूर्वानुमान मॉडल के अंतर्गत, अवसर स्कोरिंग या लीड स्कोरिंग चुनें.

3. मॉडल चुनें सूची में, एक मॉडल चुनें.

4. प्रदर्शन टैब का चयन करें.

   

प्रदर्शन टैब निम्नलिखित मेट्रिक्स प्रदर्शित करता है। यदि आपको प्रदर्शन टैब में कोई मीट्रिक दिखाई नहीं देता है, तो अवसर स्कोरिंग मॉडल को संपादित करें और पुनः प्रशिक्षित करें.

• मॉडल प्रदर्शन: यह निर्दिष्ट करता है कि मॉडल निम्नलिखित मापदंडों के आधार पर प्रकाशन के लिए तैयार है या नहीं:

  • सटीकता: मॉडल ने कितनी बार सही भविष्यवाणियां कीं, चाहे सकारात्मक हों या नकारात्मक। यह मीट्रिक तब सबसे अधिक उपयोगी होता है जब डेटासेट संतुलित होता है, तथा गलत सकारात्मक और गलत नकारात्मक की लागत समान होती है। सटीक स्कोर की गणना निम्नलिखित सूत्र का उपयोग करके की जाती है:

    सटीकता = (टीपी + टीएन) / (अवसरों या लीड की कुल संख्या) *100

  • स्मरण करें: वास्तविक सकारात्मक परिणामों की तुलना में मॉडल ने कितनी बार सकारात्मक परिणाम की सही भविष्यवाणी की। कम रिकॉल स्कोर का अर्थ है कि मॉडल कम सच्चे सकारात्मक परिणामों की भविष्यवाणी कर रहा है। रिकॉल स्कोर की गणना निम्नलिखित सूत्र का उपयोग करके की जाती है:

    रिकॉल = टीपी / (टीपी + एफएन) *100

  • रूपांतरण दर: ऐतिहासिक डेटा के अनुसार योग्य या जीते गए अवसरों या लीड का प्रतिशत, या संभावना कि कोई अवसर या लीड रूपांतरित होगा। मॉडल इस मान का उपयोग यह निर्धारित करने के लिए करता है कि कोई विशेषता पूर्वानुमानित स्कोर को कैसे प्रभावित करेगी। रूपांतरण दर की गणना निम्नलिखित सूत्र का उपयोग करके की जाती है:

    रूपांतरण दर = (टीपी + एफएन) / (अवसरों या लीड की कुल संख्या) *100

• भ्रम मैट्रिक्स: ऐतिहासिक डेटा के विरुद्ध परीक्षण किए जाने पर आपके मॉडल ने परिणामों की कितनी अच्छी भविष्यवाणी की। मैट्रिक्स सत्य सकारात्मक, सत्य नकारात्मक, असत्य सकारात्मक और असत्य नकारात्मक की संख्या प्रदर्शित करता है।

  मीट्रिक	भविष्यवाणी की	वास्तविक
  सही सकारात्मक परिणाम (TP)	हां	हां
  सही नकारात्मक परिणाम (TN)	No	No
  भ्रामक सकारात्मक परिणाम (FP)	हां	No
  भ्रामक नकारात्मक परिणाम (FN)	No	हां

• वक्र के नीचे का क्षेत्र: मॉडल का वक्र के नीचे का क्षेत्र (AUC) स्कोर. एयूसी स्कोर इस संभावना को निर्धारित करता है कि एक मॉडल यादृच्छिक रूप से चुने गए सकारात्मक उदाहरण (एक जीता हुआ अवसर या एक योग्य लीड) को यादृच्छिक रूप से चुने गए नकारात्मक उदाहरण (एक खोया हुआ अवसर या एक अयोग्य लीड) की तुलना में उच्च रैंक देगा। उच्चतर AUC वाला मॉडल सच्चे सकारात्मक और सच्चे नकारात्मक का पूर्वानुमान लगाने में बेहतर होता है।

• F1 स्कोर: मॉडल की सटीकता और रिकॉल स्कोर के आधार पर गणना की गई F1 स्कोर। F1 स्कोर डेटा असंतुलित होने पर भी मॉडल की गुणवत्ता निर्धारित करता है।

• सीमा: वह सीमा जिस पर लीड या अवसर को योग्य या जीता हुआ माना जाता है। उदाहरण के लिए, यदि सीमा 45 है, तो 45 से अधिक अंक वाले अवसरों को जीता हुआ मान लिया जाएगा। F1 स्कोर को अनुकूलित करने के लिए सीमा का चयन किया जाता है।

उदाहरण: मॉडल प्रदर्शन मीट्रिक्स

आइए 1,000 अवसरों के नमूना डेटासेट के लिए पूर्वानुमान परिणामों पर नज़र डालें:

डेटा	अवसरों की संख्या
सच्चा सकारात्मक	650
भ्रामक सकारात्मक परिणाम	200
सच्चा नकारात्मक	100
मिथ्या नकारात्मक	50

मॉडल ने भविष्यवाणी की थी कि 850 (टीपी + एफपी) अवसर जीते जाएंगे; हालांकि, वास्तव में केवल 650 (टीपी) अवसर ही जीते गए। इसी प्रकार, मॉडल ने भविष्यवाणी की थी कि 150 (TN + FN) अवसर नष्ट हो जायेंगे, लेकिन वास्तव में केवल 100 (TN) अवसर ही नष्ट हुए।

निम्न तालिका डेटा के लिए मीट्रिक्स दिखाती है।

मीट्रिक	अंक
सटीकता	(650 + 100) / 1,000 = 75%
रीकॉल	650 / (650 + 50) = 92%
रूपांतरण दर	(650 + 50) / 1,000 = 70%

मॉडल का प्रदर्शन सुधारें

यदि आपका मॉडल प्रकाशन के लिए तैयार नहीं है या अच्छा प्रदर्शन नहीं कर रहा है, तो उसके स्कोर सुधारने के लिए निम्नलिखित चरणों का प्रयास करें।

• इसमें प्रयुक्त विशेषताओं की समीक्षा करें।
• मॉडल के समग्र पूर्वानुमान पर उनके प्रभाव को समझने के लिए विशेषता अंतर्दृष्टि देखें .
• रिक्त मानों को अनदेखा करें उन विशेषताओं के लिए जिनमें रिक्त मानों का प्रतिशत अधिक है और जो गलत सकारात्मक या गलत नकारात्मक परिणामों में योगदान दे सकती हैं।
• शामिल करना बुद्धिमान क्षेत्र लीड स्कोरिंग मॉडल को स्कोर को बेहतर बनाने या नुकसान पहुंचाने वाले कारकों के बीच अंतर करने में मदद करना।
• उपयोग प्रति चरण मॉडलिंग अवसर स्कोरिंग मॉडल में प्रत्येक व्यवसाय प्रक्रिया चरण पर लागू करने के लिए विशेषताओं का चयन करना।
• फ़िल्टर मानदंड, प्रशिक्षण डेटा के लिए समय अवधि, या अन्य मॉडल कॉन्फ़िगरेशन को परिष्कृत करें। उदाहरण के लिए, यदि आपने प्रशिक्षण डेटा के लिए दो वर्ष की समयावधि चुनी है और उस अवधि के दौरान बहुत अधिक परीक्षण या गलत रिकॉर्ड हैं, तो एक छोटी समयावधि चुनें, जैसे छह महीने या एक वर्ष, जब आपके डेटा की गुणवत्ता बेहतर हो।

आपके ऐप में विकल्प नहीं मिल रहे हैं?

तीन संभावनाएं हैं:

• आपके पास आवश्यक लाइसेंस या भूमिका नहीं है।
• आपके व्यवस्थापक ने सुविधा चालू नहीं की है.
• आपका संगठन किसी कस्टम ऐप का उपयोग कर रहा है. सटीक चरणों के लिए अपने व्यवस्थापक से संपर्क करें. इस आलेख में वर्णित चरण आउट-ऑफ़-द-बॉक्स विक्रय हब और Sales Professional ऐप के लिए विशिष्ट हैं.

भी देखें

अनुमानित लीड स्कोरिंग कॉन्फ़िगर करें
अनुमानित अवसर स्कोरिंग कॉन्फ़िगर करें