تقييم حل RAG
نصيحة
راجع علامة التبويب النص والصور لمزيد من التفاصيل!
تطبيق RAG هو مسار، لذلك لا تثبت الإجابة الجيدة وحدها أن الحل بأكمله يعمل بشكل جيد. يجب أن يفحص التقييم كل من المعلومات التي تم استردادها والاستجابة التي تم إنشاؤها منها.
تقييم الاسترداد
يسأل تقييم الاسترداد ما إذا كان نظام البحث يقوم بإرجاع محتوى مصدر مفيد.
للحصول على مجموعة من الأسئلة التمثيلية، ضع في اعتبارك:
- الصلة: هل تعالج المجموعات المستردة السؤال؟
- التغطية: هل كل المعلومات المطلوبة للحصول على إجابة كاملة موجودة؟
- الترتيب: هل أقوى النتائج متقدمة على النتائج الأضعف؟
- الأمان والطازجة: هل المحتوى مصرح به للمستخدم وما زال محدثا؟
إذا لم يتم استرداد المعلومات الصحيحة، فلن يؤدي تغيير مطالبة الجيل وحدها إلى حل المشكلة. قد تحتاج إلى تحسين محتوى المصدر أو حدود المجموعات أو بيانات التعريف أو معالجة الاستعلام أو استراتيجية البحث أو الترتيب.
تقييم الجيل
يأخذ تقييم الجيل في الاعتبار كيفية استخدام النموذج للسياق المسترد.
تتضمن اعتبارات تقييم المحتوى الذي تم إنشاؤه ما يلي:
- الأرضية: هل كل مطالبة مدعومة بالمحتوى الذي تم استرداده؟
- الصلة: هل تجيب الاستجابة مباشرة على سؤال المستخدم؟
- الاكتمال: هل تتضمن الإجابة المعلومات المهمة في السياق؟
- جودة الاقتباس: هل تشير الاقتباسات إلى المصادر التي تدعم المطالبات المرتبطة؟
- عدم اليقين المناسب: هل يتجنب التطبيق التخمين عندما يكون السياق غير كاف؟
تحتوي مجموعة الاختبار المفيدة على أسئلة واقعية ومقاطع مصدر متوقعة ومعايير للإجابات المقبولة. وينبغي أن تتضمن أيضا حالات صعبة، مثل الأسئلة الغامضة، والأسئلة التي لا تحتوي على إجابة في البيانات، والوثائق القديمة، ومحاولات استرداد المعلومات غير المصرح بها.
جودة الرصيد وزمن الانتقال والتكلفة
يمكن أن يؤدي استرداد المزيد من المجموعات ومعالجتها إلى تحسين التغطية، ولكنه يزيد أيضا من حجم المطالبة ووقت الاستجابة والتكلفة. حتى أن الكثير من السياق يمكن أن يجعل من الصعب على النموذج التركيز على الأدلة الأكثر صلة. ولذلك ينطوي تصميم RAG على موازنة جودة الإجابة مع زمن الانتقال والتكلفة.
يمكن أن تكشف مراقبة الاستخدام الحقيقي عن أسئلة لم تتم الإجابة عنها، والاقتباسات الضعيفة، وعمليات البحث البطيئة، والتغييرات في جودة المحتوى. استخدم هذه الملاحظات لتحسين البنية الأساسية لبرنامج ربط العمليات التجارية، وإعادة تقييمها كلما تغيرت البيانات أو النماذج أو المطالبات أو إعدادات الاسترداد.