إعداد البيانات للاسترداد
نصيحة
راجع علامة التبويب النص والصور لمزيد من التفاصيل!
يمكن أن يعثر الاسترداد فقط على المعلومات التي تم جعلها قابلة للبحث. قبل أن يتمكن تطبيق RAG من الإجابة عن الأسئلة، فإنه يحتاج إلى تدفق فهرسة يقوم بإعداد بيانات المصدر.
عادة ما يقوم مسار الفهرسة بتنفيذ المهام التالية:
- استخراج النص المصدر.
- تقسيم النص إلى مقاطع مركزة.
- ترميز الرموز المميزة للنص كخطوط متجهة للتضمين تغلف السمات الدلالية.
- إنشاء فهرس يمكن استخدامه للبحث في التضمينات.
دعونا نستكشف كل من هذه المهام بمزيد من التعمق.
تحديد بيانات المصدر ومعالجتها
قد يتضمن مصدر معارف RAG أدلة المنتجات أو النهج أو صفحات الويب أو سجلات قاعدة البيانات أو تذاكر الدعم أو أي محتوى معتمد آخر. تتضمن عملية الإعداد عادة الخطوات التالية:
- تحميل المحتوى من كل مصدر.
- استخرج النص والبنية المفيدة من تنسيقات مثل ملفات PDF أو العروض التقديمية أو صفحات الويب أو الجداول.
- قم بتنظيف المحتوى عن طريق إزالة الرؤوس المتكررة أو نص التنقل أو العناصر الأخرى غير المفيدة للإجابة على الأسئلة.
- أضف بيانات التعريف مثل العنوان وعنوان URL المصدر والفئة وأذونات الوصول وتاريخ التحديث الأخير.
أهمية جودة المصدر. يمكن أن تؤدي المستندات المكررة أو القديمة أو المتناقضة إلى إجابات رديئة وغير موثوق بها. تعد عناصر التحكم في الوصول ضرورية أيضا: يجب على المستخدمين استرداد المحتوى المصرح لهم بعرضه فقط.
تقسيم المحتوى إلى أجزاء
غالبا ما تكون المستندات كبيرة جدا بحيث لا يمكن إرسالها إلى نموذج بالكامل. إنها مقسمة إلى مقاطع أصغر تسمى مجموعات. يجب أن تحتوي كل مجموعة على سياق كاف ليكون ذا معنى مع التركيز على موضوع معين.
على سبيل المثال، يمكن تقسيم سياسة السفر حسب القسم إلى مجموعات منفصلة للرحلات الجوية والفنادق والوجبات والنقل البري. يمكن لسؤال حول حدود الفنادق استرداد قسم الفندق دون إضافة النهج بأكمله إلى المطالبة.
يتضمن التقسيم المفاضلة:
- يمكن أن تحتوي المجموعات الكبيرة جدا على معلومات غير ذات صلة واستهلاك المزيد من نافذة سياق النموذج.
- يمكن للتقسيمات الصغيرة جدا فصل عبارة عن العناوين أو التعريفات أو المعلومات الأخرى اللازمة لفهمها.
غالبا ما تتداخل المجموعات قليلا بحيث لا يتم فقدان السياق الهام عند الحد.
إنشاء التضمينات
تستخدم حلول RAG عادة نموذج تضمين لتحويل كل مجموعة إلى تضمين: متجه رقمي يمثل الخصائص الدلالية للمحتوى. تحتوي المجموعات ذات المعاني المماثلة على تضمينات قريبة من بعضها البعض في مساحة متجهة، حتى عندما تستخدم كلمات مختلفة.
فهرسة البيانات
يخزن الحل المجموعات والتضمينات وبيانات التعريف المفيدة في فهرس بحث أو مخزن بيانات يدعم المتجهات. قد يدعم الفهرس:
- البحث عن الكلمات الأساسية، وهو أمر فعال عندما تكون الكلمات أو المعرفات أو رموز المنتجات دقيقة.
- البحث عن المتجهات، الذي يعثر على محتوى مشابه دلاليا.
- البحث المختلط، الذي يجمع بين الكلمة الأساسية والبحث عن المتجهات.
إعداد البيانات ليس مهمة لمرة واحدة. يجب أن تضيف البنية الأساسية لبرنامج ربط العمليات التجارية للفهرسة محتوى جديدا، وتحديث المحتوى الذي تم تغييره، وإزالة المحتوى الذي لم يعد صالحا بحيث يعكس الاسترداد المصدر الحالي للحقيقة.