استخراج الحقول والرسم الخرائط
نصيحة
راجع علامة التبويب النص والصور لمزيد من التفاصيل!
استخراج الحقل هو عملية أخذ مخرجات النص من OCR وتعيين قيمه النصية الفردية إلى حقول بيانات محددة ومعنونة تتوافق مع معلومات أعمال ذات معنى. بينما يخبرك OCR بالنص الموجود في المستند، فإن استخراج الحقول يخبرك بما يعنيه هذا النصوأين ينتمي إلى أنظمة عملك.
خط أنابيب استخراج الميداني
يتبع استخراج الحقل خط أنابيب منهجي يحول مخرجات التعرف الضوئي على الحروف البصرية إلى بيانات منظمة.
مراحل عملية الاستخراج الميداني هي:
- امتصاص الكاميرا الضوئية الضوئية.
- الكشف الميداني وتحديد المرشحين.
- رسم الخرائط الميدانية والارتباط.
- تطبيع البيانات وتوحيد القياس.
- التكامل مع العمليات والأنظمة التجارية.
دعونا نستعرض هذه المراحل بمزيد من التفصيل.
المرحلة 1: ابتلاع مخرج التعرف الضوئي على الحروف الواضحة
تبدأ العملية بالمخرجات المنظمة من خط أنابيب التعرف الضوئي على الحرارة، والتي يمكن أن تشمل:
- محتوى النص الخام: الأحرف والكلمات الفعلية المستخرجة من المستند
- بيانات وصفية الموضعية: إحداثيات صندوق الإحداد، مواقع الصفحات، ومعلومات ترتيب القراءة
- درجات الثقة: مستويات ثقة محرك OCR لكل عنصر نصي
- معلومات التخطيط: هيكل المستند، فواصل الأسطر، حدود الفقرات
إشعار
على عكس معالجة النصوص البسيطة، يعتمد استخراج الحقول بشكل كبير على مكان ظهور النص في المستند، وليس فقط على ما يقوله. قد يساعد موقع "12345" في تحديد ما إذا كان رقم فاتورة أو معرف عميل أو رقم هاتف.
المرحلة الثانية: الكشف الميداني وتحديد المرشحين
تحدد هذه المرحلة القيمة المحتملة للمجال في مخرجات السجل الضوئي على الحروف الواضحة. هناك عدة طرق يمكن استخدامها، بشكل مستقل أو مجتمع، لتحديد الحقول المحتملة في نتائج OCR.
الكشف القائم على القوالب
تعتمد قوالب اكتشاف الحقل على مطابقة الأنماط القائمة على القواعد. يمكن تحقيق التعرف الميداني باستخدام تقنيات مثل:
- تخطيطات المستندات المحددة مسبقا مع مواقع الحقول المعروفة وكلمات الربط الرئيسية.
- يبحث عن أزواج التصنيف والقيمة مثل "رقم الفاتورة:"التاريخ:"التاريخ"، "الإجمالي:".
- التعبيرات النمطية وخوارزميات مطابقة السلاسل النصية.
تشمل مزايا النهج القائم على القوالب الدقة العالية لأنواع المستندات المعروفة، والمعالجة السريعة، والنتائج القابلة للتفسير.
تشمل قيود هذا النهج الحاجة لإنشاء القوالب يدويا، والتعقيد الناتج عن اختلافات في التخطيط أو عدم اتساق تسمية الحقول.
الكشف القائم على التعلم الآلي
بدلا من المنطق المبرمج لاستخراج الحقول بناء على الأسماء والمواقع المعروفة، يمكنك استخدام مجموعة من النماذج لتدريب نموذج تعلم آلي يستخرج الحقول بناء على العلاقات التي تعلمتها. النماذج المعتمدة على المحولات على وجه الخصوص جيدة في تطبيق الإشارات السياقية لتحديد الأنماط، وغالبا ما تكون أساس حل كشف الحقل.
تشمل أساليب التدريب لنماذج التعلم الآلي للكشف الميداني ما يلي:
- التعلم تحت الإشراف: تم تدريبه على مجموعات بيانات معنونة ذات مواقع ميدانية معروفة.
- التعلم الذاتي الإشرافي: مدرب مسبقا على مجموعات وثائق كبيرة لفهم أنماط التخطيط.
- التعلم متعدد الوسائط: يجمع بين النص والميزات البصرية والموضعية.
-
هياكل النماذج المتقدمة، مثل:
- شبكات الرسم البياني العصبي (GNNs) التي تنمذج العلاقات المكانية بين عناصر النص كاتصالات بيانية.
- آليات الانتباه التي تركز على المناطق ذات الصلة عند توقع قيم الحقل.
- نماذج تسلسل إلى تسلسل تحول تسلسلات نصية غير منظمة إلى تعيينات حقول منظمة.
الذكاء الاصطناعي توليدي للاستخراج القائم على المخططات
أدت التطورات الحديثة في نماذج اللغة الكبيرة (LLMs) إلى ظهور تقنيات الكشف الحقلي التوليدي المعتمدة على الذكاء الاصطناعي، والتي تمكن من اكتشاف ميداني أكثر كفاءة وفعالية من خلال:
- استخراج قائم على الأوامر حيث تزود نموذج اللغة الكبيرة بنص المستند وتعريف المخطط، ويطابق النص مع الحقول في المخطط.
- تعلم بنظام اللقاءات القليلة حيث يمكنك تدريب النماذج باستخدام أمثلة قليلة لاستخراج الحقول المخصصة.
- التفكير بسلسلة التفكير التي توجه النماذج عبر منطق تحديد الحقل خطوة بخطوة.
المرحلة 3: رسم الخرائط الحقلية والارتباط
بعد تحديد القيم المرشحة، يجب ربطها بحقول مخطط محددة:
تقنيات الاقتران بين القيم الرئيسية
في كثير من الحالات، تكون حقول البيانات في المستند أو النموذج قيما منفصلة يمكن ربطها بمفاتيح - مثل اسم البائع، التاريخ، والمبلغ الكلي في إيصال أو فاتورة. تشمل التقنيات الشائعة المستخدمة في الاقتران بين المفاتيح والقيم ما يلي:
تحليل القرب:
- التجميع المكاني: تجميع عناصر النص القريبة باستخدام خوارزميات المسافة.
- تحليل ترتيب القراءة: اتبع تدفق النص الطبيعي لربط التسميات بالقيم.
- العلاقات الهندسية: استخدم أنماط المحاذاة، والانبعاجات، وأنماط التموضع.
التعرف على الأنماط اللغوية:
- التعرف على الكيانات المسماة (NER): يحدد أنواع الكيانات المحددة (التواريخ، المكميات، الأسماء).
- وسم أجزاء الكلام: فهم العلاقات النحوية بين التسميات والقيم.
- تحليل التبعية: تحليل العلاقات النحوية في النص.
معالجة المحتوى الجداول والهيكلية
بعض الوثائق تتضمن هياكل نصية أكثر تعقيدا، مثل الجداول. على سبيل المثال، قد يتضمن الإيصال أو الفاتورة جدولا من العناصر السطرية مع أعمدة لاسم العنصر والسعر والكمية المشتراة.
يمكن تحديد وجود الجدول باستخدام عدة تقنيات، منها:
- هياكل الشبكات العصبية الالفافية المتخصصة (CNN) للتعرف على بنية الجدول.
- تم تعديل أساليب اكتشاف الكائنات لتحديد خلايا الجدول.
- التحليل القائم على الرسوم البيانية يمثل بنية الجداول كعلاقات بيانية بين الخلايا.
لربط القيم في الخلايا في الجدول بالحقول، قد يستخدم حل استخراج الحقل واحدة أو أكثر من التقنيات التالية:
- ارتباط الصف-العمود لربط خلايا الجدول بمخططات الحقول المحددة.
- اكتشاف الرؤوس لتحديد رؤوس الأعمدة لفهم معاني الحقول.
- المعالجة الهرمية للتعامل مع هياكل الجداول المتداخلة والمجاميع الفرعية.
تقييم الثقة والتحقق
تعتمد دقة استخراج الحقل على عوامل عديدة، والخوارزميات والنماذج المستخدمة لتنفيذ الحل عرضة لأخطاء محتملة في التعرف الخاطئ أو تفسير القيمة. لأخذ ذلك في الاعتبار، تستخدم تقنيات مختلفة لتقييم دقة قيم الحقل المتوقعة؛ منها:
- الثقة في OCR: وراثة درجات الثقة من التعرف الأساسي على النص.
- ثقة مطابقة الأنماط: التقييم بناء على مدى توافق الاستخراج مع الأنماط المتوقعة.
- التحقق من صحة السياق: التحقق من أن قيم الحقول منطقية في سياق المستند.
- التحقق عبر الحقول: التحقق من العلاقات بين الحقول المستخرجة (على سبيل المثال، التحقق من مجموع مجموع البند الفرعي للفاتورة الكلي).
المرحلة 4: تطبيع البيانات وتوحيد المعايير
عادة ما يتم تحويل القيم المستخرجة الخام إلى صيغ متسقة (على سبيل المثال لضمان أن جميع التواريخ المستخرجة معبر عنها بنفس صيغة التاريخ) ويتم التحقق من صحتها.
تنسيق التوحيد القياسي
أمثلة على توحيد الصيغ التي يمكن تنفيذها تشمل:
تطبيع التاريخ:
- اكتشاف الصيغ: حدد تنسيقات التواريخ المختلفة (MM/DD/YYYYY، DD-MM-YYYY، إلخ).
- خوارزميات التحليل: التحويل إلى تنسيقات ISO الموحدة.
- حل الغموض: التعامل مع الحالات التي يكون فيها تنسيق التاريخ غير واضح.
العملة والمعالجة الرقمية:
- التعرف على الرموز: التعامل مع رموز العملات المختلفة والفواصل الألف.
- التطبيع العشري: توحيد تمثيل الفاصلة العشرية عبر المواقع.
- تحويل الوحدة: التحويل بين وحدات قياس مختلفة حسب الحاجة.
توحيد النصوص:
- تطبيع الحالة: تطبيق قواعد رسم كبير متسقة.
- توحيد الترميز: التعامل مع ترميزات الأحرف المختلفة والأحرف الخاصة.
- توسيع الاختصارات: تحويل الاختصارات الشائعة إلى أشكال كاملة.
التحقق من صحة البيانات وضمان الجودة
بالإضافة إلى تنسيق الحقول المستخرجة، تتيح عملية التوحيد القياسي التحقق من صحة القيم التي تم استخراجها من خلال تقنيات مثل:
التحقق القائم على القواعد:
- فحص التنسيق: تحقق من تطابق القيم المستخرجة مع الأنماط المتوقعة (أرقام الهواتف، عناوين البريد الإلكتروني).
- التحقق من النطاق: تأكد من أن القيم الرقمية تقع ضمن حدود معقولة.
- التحقق الميداني المطلوب: تأكد من وجود جميع الحقول الإلزامية.
التحقق الإحصائي:
- اكتشاف القيم الشاذة: حدد القيم العالية أو المنخفضة بشكل غير معتاد قد تشير إلى أخطاء الاستخراج.
- تحليل التوزيع: قارن القيم المستخرجة مع الأنماط التاريخية.
- التحقق من صحة المستندات المتقاطعة: تحقق من الاتساق بين الوثائق ذات الصلة.
المرحلة 5: التكامل مع العمليات والأنظمة التجارية
عادة ما تتضمن المرحلة النهائية من العملية دمج قيم الحقول المستخرجة في عملية أو نظام تجاري:
تعيين المخطط
قد تحتاج الحقول المستخرجة إلى تحويل أو إعادة تنسيق إضافية لتتوافق مع مخططات التطبيقات المستخدمة لإدخال البيانات إلى الأنظمة اللاحقة. على سبيل المثال:
- مخططات قاعدة البيانات: تعيين الحقول المستخرجة إلى أعمدة وجداول قاعدة بيانات محددة.
- حمولة API: تنسيق البيانات لاستهلاك REST API من قبل الأنظمة اللاحقة.
- قوائم الرسائل: تحضير رسائل منظمة للمعالجة غير المتزامنة.
قد تتضمن عملية تعيين المخطط تحويلات مثل:
- إعادة تسمية الحقول: قم بتعيين أسماء الحقول المستخرجة إلى اتفاقيات النظام المستهدف.
- تحويل نوع البيانات: تأكد من تطابق القيم مع أنواع البيانات المتوقعة في الأنظمة المستهدفة.
- المنطق الشرطي: تطبيق قواعد العمل لتحويل الحقول والاشتقاق.
مقاييس الجودة والتقارير
مهمة شائعة أخرى بعد انتهاء عملية الاستخراج هي تقييم وتقديم تقرير عن جودة البيانات المستخرجة. يمكن أن يتضمن التقرير معلومات مثل:
- درجات الثقة على مستوى الميدان: تقييمات الثقة الفردية لكل حقل مستخرج.
- تقييم جودة على مستوى الوثائق: مقاييس نجاح الاستخراج بشكل عام.
- تصنيف الأخطاء: تصنيف فشل الاستخراج حسب النوع والسبب.