ดูความแม่นยำและประสิทธิภาพของโมเดลการให้คะแนนที่คาดคะเนได้
การรู้ความแม่นยำของรูปแบบการให้คะแนนที่คาดคะเนได้ช่วยคุณตัดสินใจว่ารูปแบบพร้อมใช้งานหรือไม่ หรือคุณจำเป็นต้องปรับแต่งอย่างละเอียดเพื่อความแม่นยำที่ดีขึ้น นอกจากนี้ยังช่วยให้คุณโน้มน้าวทีมผู้นำและผู้ขายให้นำรูปแบบนี้ไปใช้เพื่อปรับปรุงผลลัพธ์ทางธุรกิจ
เมตริกที่อธิบายในบทความนี้ใช้กับทั้งการให้คะแนนโอกาสทางการขายและการให้คะแนนลูกค้าเป้าหมาย
ข้อกำหนดสิทธิ์การใช้งานและบทบาท
| ชนิดข้อกำหนด | คุณต้องมี |
|---|---|
| ใบอนุญาต | Dynamics 365 Sales Premium หรือ Dynamics 365 Sales Enterprise ข้อมูลเพิ่มเติม: การกำหนดราคา Dynamics 365 Sales |
| Security role | ผู้ดูแลระบบ ข้อมูลเพิ่มเติม: บทบาทความปลอดภัยที่กำหนดไว้ล่วงหน้าสำหรับ Sales |
ปัจจัยที่มีอิทธิพลต่อความแม่นยำ
รูปแบบการให้คะแนนที่คาดคะเนได้คำนวณความเป็นไปได้ของโอกาสทางการขายหรือลูกค้าเป้าหมายที่มีผลในการขาย ความแม่นยำของโมเดลขึ้นอยู่กับปัจจัยต่อไปนี้:
- คุณภาพและปริมาณของข้อมูลที่สามารถนำไปฝึกโมเดลได้
- โฟลว์กระบวนการธุรกิจที่คุณเลือก
- ลำดับขั้นและแอตทริบิวต์ที่คุณเลือก หากโมเดลสำหรับการสร้างโมเดลแบบต่อลำดับขั้น
โมเดลได้รับการฝึกโดยใช้ 80% ของโอกาสทางการขายหรือลูกค้าเป้าหมายที่ปิดในการฝึกชุดข้อมูล มีการตรวจสอบโดยใช้ 20% ที่เหลือเป็นการทดสอบชุดข้อมูล ซึ่งประกอบด้วยเรกคอร์ดล่าสุด ความแม่นยำของโมเดลจะคำนวณโดยใช้ชุดข้อมูลทดสอบที่ตรวจสอบแล้วโดยอิงตามพารามิเตอร์ เช่น ผลบวกจริง ผลลัพธ์ที่ผิด และอื่นๆ
ดูเมตริกวัดความแม่นยำและประสิทธิภาพ
ไปที่ เปลี่ยนพื้นที่ ที่มุมล่างซ้ายของแอปฮับการขาย และเลือก การตั้งค่า Sales Insights
บนแผนผังเว็บไซต์ภายใต้ รูปแบบที่คาดคะเนได้ เลือก การให้คะแนนโอกาสทางการขาย หรือ การให้คะแนนลูกค้าเป้าหมาย
ในรายการ เลือกโมเดล เลือกโมเดล
เลือกแท็บ ประสิทธิภาพ
แท็บ ประสิทธิภาพ แสดงเมตริกต่อไปนี้ หากคุณไม่เห็นเมตริกใดๆ ในแท็บ ประสิทธิภาพ ให้ แก้ไขและฝึกแบบจำลองการให้คะแนนโอกาสทางการขายใหม่
ประสิทธิภาพของโมเดล: ระบุว่าโมเดลพร้อมที่จะเผยแพร่ตามพารามิเตอร์ต่อไปนี้หรือไม่:
ความแม่นยำ: โมเดลของคุณทำการคาดคะเนได้ถูกต้องบ่อยเพียงใด ไม่ว่าจะเป็นค่าบวกหรือค่าลบ เมตริกนี้มีประโยชน์มากที่สุดเมื่อชุดข้อมูลมีความสมดุลและต้นทุนของผลลัพธ์ที่ผิดและผลลบลวงจะเท่ากัน คะแนนความแม่นยำคำนวณโดยใช้สูตรดังนี้:
ความแม่นยำ = (TP + TN) / (จำนวนรวมของโอกาสทางการขายหรือลูกค้าเป้าหมายที่ให้คะแนน) *100
รีคอล: โมเดลคาดคะเนผลบวกอย่างถูกต้องบ่อยเพียงใดเมื่อเทียบกับผลบวกที่เกิดขึ้นจริง คะแนนการเรียกคืนต่ำหมายความว่าโมเดลคาดคะเนผลบวกจริงน้อยลง คะแนนการเรียกคืนคำนวณโดยใช้สูตรดังนี้:
การเรียกคืน = TP / (TP + FN) * 100
อัตราการแปลง: เปอร์เซ็นต์ของโอกาสทางการขายหรือลูกค้าเป้าหมายที่มีคุณสมบัติเหมาะสมหรือชนะต่อข้อมูลย้อนหลัง หรือความเป็นไปได้ที่โอกาสทางการขายหรือลูกค้าเป้าหมายจะแปลง โมเดลใช้ค่านี้เพื่อกำหนดว่าแอตทริบิวต์จะส่งผลต่อคะแนนการคาดคะเนอย่างไร อัตราการแปลงคำนวณโดยใช้สูตรดังนี้:
อัตราการแปลง = (TP + FN) / (จำนวนรวมของโอกาสทางการขายหรือลูกค้าเป้าหมายที่ให้คะแนน) *100
เมทริกซ์ความสับสน: โมเดลของคุณสามารถคาดคะเนผลลัพธ์ได้ดีเพียงใดเมื่อทดสอบเทียบกับข้อมูลย้อนหลัง เมทริกซ์แสดงจำนวนของผลบวกจริง ผลลบจริง ผลลัพธ์ที่ผิด และผลลบลวง
เมตริก ที่คาดคะเนไว้ เกิดขึ้นจริง ผลบวกจริง (TP) ใช่ ใช่ ผลลบจริง (TN) ไม่ใช่ ไม่ใช่ ผลลัพธ์ที่ผิด (FP) ใช่ ไม่ใช่ ผลลบปลอม (FN) ไม่ใช่ ใช่ พื้นที่ใต้กราฟ: คะแนนพื้นที่ใต้กราฟ (AUC) ของโมเดล คะแนน AUC กำหนดความน่าจะเป็นที่โมเดลจะจัดอันดับตัวอย่างเชิงบวกที่ถูกสุ่มเลือก (โอกาสทางการขายที่ชนะหรือลูกค้าเป้าหมายที่มีคุณสมบัติ) สูงกว่าตัวอย่างเชิงลบที่เลือก (โอกาสทางการขายหรือลูกค้าเป้าหมายที่ไม่มีคุณสมบัติ) โมเดลที่มี AUC สูงกว่าจะคาดคะเนผลบวกจริงและผลลบจริงได้ดีกว่า
คะแนน F1: คะแนน F1 ที่คำนวณตามความแม่นยำของโมเดลและคะแนนการรีคอล คะแนน F1 กำหนดคุณภาพของโมเดลได้แม้ในกรณีที่ข้อมูลไม่สมดุล
ค่าเกณฑ์: ค่าเกณฑ์ที่ลูกค้าเป้าหมายหรือโอกาสทางการขายถือเป็นมีคุณสมบัติหรือชนะ ตัวอย่างเช่น หากค่าเกณฑ์คือ 45 โอกาสทางการขายที่มีคะแนนมากกว่า 45 จะถือว่าชนะ ค่าเกณฑ์ถูกเลือกมาเพื่อปรับคะแนน F1 ให้เหมาะสม
ตัวอย่าง: เมตริกวัดประสิทธิภาพของโมเดล
มาดูผลลัพธ์การคาดคะเนสำหรับตัวอย่างชุดข้อมูลจากโอกาส 1,000 ครั้ง:
| ข้อมูล | จำนวนของโอกาสทางการขาย |
|---|---|
| ผลบวกจริง | 650 |
| ผลลัพธ์ที่ผิด | 200 |
| ผลลบจริง | 100 |
| ผลลบปลอม | 50 |
โมเดลคาดคะเนว่าชนะโอกาสทางการขาย 850 ครั้ง (TP + FP) แต่จริงๆ แล้วมีโอกาสทางการขายที่ชนะ (TP) 650 ครั้งเท่านั้น ในทำนองเดียวกัน โมเดลคาดคะเนว่าโอกาสทางการขาย (TN + FN) แพ้ 150 ครั้ง แต่โอกาสทางการขายแพ้ (TN) เพียง 100 ครั้งเท่านั้น
ตารางต่อไปนี้แสดงเมตริกสำหรับข้อมูล
| เมตริก | คะแนน |
|---|---|
| ความแม่นยำ | (650 + 100) / 1,000 = 75% |
| เรียกคืน | 650 / (650 + 50) = 92% |
| อัตราการแปลง | (650 + 50) / 1,000 = 70% |
ปรับปรุงประสิทธิภาพของแบบจำลอง
หากโมเดลของคุณไม่พร้อมที่จะเผยแพร่หรือทำงานได้ไม่ดี ให้ลองทำตามขั้นตอนต่อไปนี้เพื่อปรับปรุงคะแนน
- ตรวจสอบแอตทริบิวต์ที่จะใช้
- ดูข้อมูลเชิงลึกของแอตทริบิวต์ เพื่อทำความเข้าใจอิทธิพลที่มีต่อการคาดคะเนโดยรวมของโมเดล
- ละเว้นค่าว่าง สำหรับแอตทริบิวต์ที่มีเปอร์เซ็นต์ค่าว่างสูงกว่า และอาจมีส่วนทำให้เกิดผลลัพธ์ที่ผิดหรือผลลบปลอม
- รวม ฟิลด์ข่าวกรอง เพื่อช่วยรูปแบบการให้คะแนนลูกค้าเป้าหมายแยกความแตกต่างระหว่างปัจจัยต่างๆ ที่ปรับปรุงหรือส่งผลเสียต่อคะแนน
- ใช้ การสร้างโมเดลแบบต่อลำดับขั้น ในโมเดลการให้คะแนนโอกาสทางการขายเพื่อเลือกแอตทริบิวต์ที่จะใช้กับแต่ละลำดับขั้นตอนของกระบวนการทางธุรกิจ
- ปรับแต่งเกณฑ์การกรอง ระยะเวลาสำหรับข้อมูลการฝึก หรือการกำหนดค่าโมเดลอื่นๆ ตัวอย่างเช่น หากคุณเลือกช่วงเวลา 2 ปีสำหรับข้อมูลการฝึกและมีเรกคอร์ดทดสอบมากเกินไปหรือข้อมูลที่ไม่ถูกต้องในระหว่างช่วงเวลานั้น ให้เลือกช่วงเวลาที่สั้นลง เช่น หกเดือนหรือหนึ่งปี เมื่อคุณภาพของข้อมูลดีขึ้น
ไม่เจอตัวเลือกในแอปของคุณใช่หรือไม่
มีความเป็นไปได้สามทางดังต่อไปนี้
- คุณไม่มีใบอนุญาตหรือบทบาทที่จำเป็น ตรวจสอบส่วนใบอนุญาตและข้อกำหนดบทบาทที่ด้านบนของหน้านี้
- ผู้ดูแลระบบของคุณยังไม่ได้เปิดคุณลักษณะนี้
- องค์กรของคุณกำลังใช้แอปที่กำหนดเอง โปรดตรวจสอบกับผู้ดูแลระบบของคุณสำหรับขั้นตอนที่แน่นอน ขั้นตอนที่อธิบายในบทความนี้ใช้กับแอปฮับการขายหรือ Sales Professional ที่ใช้งานได้ทันทีโดยเฉพาะ
ข้อมูลที่เกี่ยวข้อง
ตั้งค่าคอนฟิกการให้คะแนนลูกค้าเป้าหมายที่คาดคะเนได้
กำหนดค่าการให้คะแนนโอกาสทางการขายที่คาดคะเนได้