تقييم التوصي

توضح هذه المقالة كيفية استخدام مكون Evaluate Recommender في مصمم التعلم الآلي من Microsoft Azure. الهدف هو قياس دقة التنبؤات التي قام بها نموذج التوصية. باستخدام هذا المكون، يمكنك تقييم أنواع مختلفة من التوصيات:

• التصنيفات المتوقعة لمستخدم وعنصر
• العناصر الموصى بها للمستخدم

عند إنشاء تنبؤات باستخدام نموذج توصية، يتم إرجاع نتائج مختلفة قليلا لكل نوع من أنواع التنبؤ المدعومة هذه. يستنتج مكون Evaluate Recommender نوع التنبؤ من تنسيق العمود لمجموعة البيانات المسجلة. على سبيل المثال، قد تحتوي مجموعة البيانات المسجلة على:

• ثلاث مرات لتصنيف عنصر المستخدم
• المستخدمون والعناصر الموصى بها

يطبق المكون أيضا مقاييس الأداء المناسبة، بناء على نوع التنبؤ الذي يتم إجراؤه.

كيفية تكوين Evaluate Recommender

يقارن مكون Evaluate Recommender إخراج التنبؤ باستخدام نموذج توصية مع بيانات "الحقيقة الأساسية" المقابلة. على سبيل المثال، ينتج مكون Score SVD Recommender مجموعات بيانات مسجلة يمكنك تحليلها باستخدام Evaluate Recommender.

المتطلبات

يتطلب Evaluate Recommender مجموعات البيانات التالية كإدخل.

اختبار مجموعة البيانات

تحتوي مجموعة بيانات الاختبار على بيانات "الحقيقة الأساسية" في شكل ثلاث مرات لتصنيف عنصر المستخدم.

مجموعة البيانات المسجلة

تحتوي مجموعة البيانات المسجلة على التنبؤات التي أنشأها نموذج التوصية.

تعتمد الأعمدة في مجموعة البيانات الثانية هذه على نوع التنبؤ الذي قمت به أثناء عملية التسجيل. على سبيل المثال، قد تحتوي مجموعة البيانات المسجلة على أي مما يلي:

• المستخدمون والعناصر والتقييمات التي من المحتمل أن يعطيها المستخدم للعنصر
• قائمة المستخدمين والعناصر الموصى بها لهم

المقاييس

يتم إنشاء مقاييس الأداء للنموذج استنادا إلى نوع الإدخال. توفر الأقسام التالية التفاصيل.

تقييم التصنيفات المتوقعة

عند تقييم التصنيفات المتوقعة، يجب أن تحتوي مجموعة البيانات المسجلة (الإدخال الثاني إلى Evaluate Recommender) على ثلاثة أضعاف تصنيف عنصر المستخدم التي تلبي هذه المتطلبات:

• يحتوي العمود الأول من مجموعة البيانات على معرفات المستخدم.
• يحتوي العمود الثاني على معرفات العنصر.
• يحتوي العمود الثالث على تصنيفات عناصر المستخدم المقابلة.

هام

لكي ينجح التقييم، يجب أن تكون Userأسماء الأعمدة و Itemو و Ratingعلى التوالي.

يقارن Evaluate Recommender التصنيفات في مجموعة بيانات "الحقيقة الأساسية" بالتصنيفات المتوقعة لمجموعة البيانات المسجلة. ثم يحسب متوسط الخطأ المطلق (MAE) وخطأ التربيع المتوسط الجذر (RMSE).

تقييم توصيات العنصر

عند تقييم توصيات العنصر، استخدم مجموعة بيانات مسجلة تتضمن العناصر الموصى بها لكل مستخدم:

• يجب أن يحتوي العمود الأول من مجموعة البيانات على معرف المستخدم.
• يجب أن تحتوي جميع الأعمدة اللاحقة على معرفات العناصر الموصى بها المقابلة، مرتبة حسب مدى صلة العنصر بالمستخدم.

قبل توصيل مجموعة البيانات هذه، نوصي بفرز مجموعة البيانات بحيث تأتي العناصر الأكثر صلة أولا.

هام

لكي يعمل Evaluate Recommender، يجب أن تكون Userأسماء الأعمدة و Item 1Item 2Item 3 و وهكذا.

يحسب Evaluate Recommender متوسط الربح التراكمي المخفض العادي (NDCG) ويعيده في مجموعة بيانات الإخراج.

نظرا إلى أنه من المستحيل معرفة "الحقيقة الأساسية" الفعلية للعناصر الموصى بها، يستخدم Evaluate Recommender تصنيفات عنصر المستخدم في مجموعة بيانات الاختبار كمكاسب في حساب NDCG. للتقييم، يجب أن ينتج مكون تسجيل نقاط التوصية توصيات فقط للعناصر ذات تصنيفات "الحقيقة الأساسية" (في مجموعة بيانات الاختبار).

الخطوات التالية

راجع مجموعة المكونات المتوفرة للتعلم الآلي من Azure.