تقييم الموصى به
توضح هذه المقالة كيفية استخدام مكون تقييم التوصية في مصمم التعلم الآلي من Microsoft Azure. الهدف هو قياس دقة التنبؤات التي قدمها نموذج التوصية. باستخدام هذا المكون، يمكنك تقييم أنواع مختلفة من التوصيات:
- التقييمات المتوقعة لمستخدم وعنصر
- العناصر الموصى بها للمستخدم
عند إنشاء تنبؤات باستخدام نموذج توصية، يتم عرض نتائج مختلفة قليلاً لكل نوع من أنواع التنبؤ المدعومة هذه. يستنتج مكون تقييم التوصية نوع التنبؤ من تنسيق العمود لمجموعة البيانات المسجلة. على سبيل المثال، قد تحتوي مجموعة البيانات المسجلة على:
- ثلاثة أضعاف تصنيف عناصر المستخدم
- المستخدمون وعناصرهم الموصى بها
يطبق المكون أيضاً قياسات الأداء المناسبة، بناءً على نوع التنبؤ الذي يتم إجراؤه.
كيفية تكوين "تقييم التوصية"
يقارن مكون "تقييم التوصية" إخراج التنبؤ باستخدام نموذج التوصية مع بيانات "الحقيقة الأساسية" المقابلة. على سبيل المثال، يُنتج مكون Score SVD التوصية مجموعات بيانات مسجلة يمكنك تحليلها باستخدام تقييم التوصية.
المتطلبات
يتطلب تقييم التوصية مجموعات البيانات التالية كمدخلات.
اختبار مجموعة البيانات
تحتوي مجموعة بيانات الاختبار على بيانات "الحقيقة الأساسية" في شكل ثلاثة أضعاف تصنيف عناصر المستخدم.
مجموعة البيانات المسجلة
تحتوي مجموعة البيانات المسجلة على التوقعات التي أنشأها نموذج التوصية.
تعتمد الأعمدة في مجموعة البيانات الثانية هذه على نوع التنبؤ الذي قمت به أثناء عملية التسجيل. على سبيل المثال، قد تحتوي مجموعة البيانات المسجلة على أي مما يلي:
- المستخدمون والعناصر والتصنيفات التي من المحتمل أن يقدمها المستخدم للعنصر
- قائمة المستخدمين والعناصر الموصى بها لهم
القياسات
يتم إنشاء قياسات الأداء للنموذج بناءً على نوع الإدخال. الأقسام التالية تعطي التفاصيل.
تقييم التقييمات المتوقعة
عندما تقوم بتقييم التقييمات المتوقعة، يجب أن تحتوي مجموعة البيانات التي تم تسجيلها (الإدخال الثاني لتقييم المُوصي) على ثلاث مرات تصنيف عناصر المستخدم التي تفي بهذه المتطلبات:
- يحتوي العمود الأول من مجموعة البيانات على معرفات المستخدم.
- يحتوي العمود الثاني على معرفات العناصر.
- يحتوي العمود الثالث على تصنيفات عناصر المستخدم المقابلة.
هام
لكي ينجح التقييم، يجب أن تكون أسماء الأعمدة User وItemRating على التوالي.
يقارن التقييم المُوصي التقييمات في مجموعة بيانات "الحقيقة الأساسية" بالتصنيفات المتوقعة لمجموعة البيانات المسجلة. ثم يحسب متوسط الخطأ المطلق (MAE) والجذر التربيعي المتوسط للخطأ (RMSE).
تقييم توصيات العنصر
عندما تقوم بتقييم توصيات العناصر، استخدم مجموعة بيانات مسجلة تتضمن العناصر الموصى بها لكل مستخدم:
- يجب أن يحتوي العمود الأول من مجموعة البيانات على معرف المستخدم.
- يجب أن تحتوي جميع الأعمدة اللاحقة على معرفات العناصر الموصى بها المقابلة، مرتبة حسب مدى صلة العنصر بالمستخدم.
قبل توصيل مجموعة البيانات هذه، نوصي بفرز مجموعة البيانات بحيث تأتي العناصر الأكثر صلة أولاً.
هام
لكي تعمل أداة التقييم، يجب أن تكون أسماء الأعمدة User وItem 1Item 2Item 3 وما إلى ذلك.
تقييم التوصية يحسب متوسط الكسب التراكمي المخصوم الذي تم تسويته (NDCG) ويعيده في مجموعة بيانات الإخراج.
نظراً لأنه من المستحيل معرفة "ground truth" الفعلية للعناصر الموصى بها، فإن Evaluate Recommender يستخدم تصنيفات عناصر المستخدم في مجموعة بيانات الاختبار كمكاسب في حساب NDCG. للتقييم، يجب أن ينتج عن مكون درجات التوصية فقط توصيات للعناصر ذات تصنيفات "ground truth" (في مجموعة بيانات الاختبار).
الخطوات التالية
راجع مجموعة المكونات المتوفرة للتعلم الآلي من Azure.